FaceNinja
עברית
פתיחת חשבון

עיון · ARKit · מעקב פנים

52 צורות ה־blendshape של ARKit, על ראש ממשי.

ARKit מתאר פנים בעזרת 52 צורות blendshape: משקלים בין 0 ל־1 לתנועות כמו jawOpen או eyeBlinkLeft. מעקב הפנים ב־iPhone שולח משקלים, ו־Live Link Face, אפליקציות VTubing ומנועי משחק מנגנים אותם על כל ראש עם אותן 52 צורות. כאן מופיעים כל שם, התנועה שלו וראש שכולל את כולם.

בחינם נרשמים בחינם ומורידים 20 ראשי MetaHuman לדוגמה באיכות גבוהה: עור ב-4K, 52 צורות ARKit ופורמטים GLB, FBX ו-MetaHuman ZIP.

קבלת הדוגמאות בחינםלצפייה בדוגמאות

כל ה־52, לפי אזור בפנים

השמות זהים לכתיב של Apple. Left ו־Right הם שמאל וימין של הפנים, לא של הצופה.

עיניים14 צורות

  1. eyeBlinkLeft
    eyeBlinkRight    סוגרת את העפעף.
  2. eyeLookDownLeft
    eyeLookDownRight    העפעפיים עוקבים אחר מבט מטה.
  3. eyeLookInLeft
    eyeLookInRight    העפעפיים עוקבים אחר מבט אל האף.
  4. eyeLookOutLeft
    eyeLookOutRight    העפעפיים עוקבים אחר מבט הרחק מהאף.
  5. eyeLookUpLeft
    eyeLookUpRight    העפעפיים עוקבים אחר מבט מעלה.
  6. eyeSquintLeft
    eyeSquintRight    מצרה את העין: העפעף התחתון והלחי עולים.
  7. eyeWideLeft
    eyeWideRight    פוקחת את העין לרווחה: העפעף העליון עולה.

לסת4 צורות

  1. jawForwardדוחפת את הלסת קדימה.
  2. jawLeftמזיזה את הלסת לשמאל הפנים.
  3. jawRightמזיזה את הלסת לימין הפנים.
  4. jawOpenפותחת את הלסת.

פה23 צורות

  1. mouthCloseסוגרת שפתיים כשהלסת פתוחה; משמשת יחד עם jawOpen.
  2. mouthFunnelמעגלת שפתיים פתוחות לצורת משפך, כמו בצליל ״אוּ״.
  3. mouthPuckerדוחפת שפתיים סגורות קדימה, כמו נשיקה.
  4. mouthLeftמזיזה את שתי השפתיים לשמאל הפנים.
  5. mouthRightמזיזה את שתי השפתיים לימין הפנים.
  6. mouthSmileLeft
    mouthSmileRight    מעלה את זווית הפה.
  7. mouthFrownLeft
    mouthFrownRight    מורידה את זווית הפה.
  8. mouthDimpleLeft
    mouthDimpleRight    מושכת את זווית הפה אחורה, לעבר הגומה.
  9. mouthStretchLeft
    mouthStretchRight    מותחת את זווית הפה הצדה ומטה.
  10. mouthRollLowerמגלגלת את השפה התחתונה פנימה, מעל השיניים.
  11. mouthRollUpperמגלגלת את השפה העליונה פנימה, מעל השיניים.
  12. mouthShrugLowerדוחפת את השפה התחתונה למעלה והחוצה.
  13. mouthShrugUpperדוחפת את השפה העליונה למעלה והחוצה.
  14. mouthPressLeft
    mouthPressRight    מצמידה את השפה התחתונה לעליונה באותו צד.
  15. mouthLowerDownLeft
    mouthLowerDownRight    מושכת מטה את השפה התחתונה באותו צד.
  16. mouthUpperUpLeft
    mouthUpperUpRight    מעלה את השפה העליונה באותו צד.

גבות5 צורות

  1. browDownLeft
    browDownRight    מורידה את החלק החיצוני של הגבה.
  2. browInnerUpמעלה את הקצוות הפנימיים של שתי הגבות.
  3. browOuterUpLeft
    browOuterUpRight    מעלה את החלק החיצוני של הגבה.

לחיים3 צורות

  1. cheekPuffמנפחת את שתי הלחיים החוצה.
  2. cheekSquintLeft
    cheekSquintRight    מעלה את הלחי סביב העפעף התחתון.

אף2 צורות

  1. noseSneerLeft
    noseSneerRight    מעלה את צדי האף, כמו בהבעת בוז.

לשון1 צורות

  1. tongueOutמוציאה לשון מהפה.

מקור השמות: תיעוד ARKit של Apple.

הזזת הצורות על ראש ממשי

אלה ראשי הדוגמה כפי שיצר FaceNinja מתמונה אחת לכל ראש. אפשר לטעון ראש ולגרור מחוונים: כל מחוון הוא צורת ARKit אחת בפנים, וההבעות משלבות כמה צורות.

ספסל בדיקהתמונה סטילס

ראשים לדוגמה

ראש ה-MetaHuman התלת־ממדי ש-FaceNinja בנה מתמונה S-07
הבעה
מבט
תאורה

ערכי ARKit

הערכים עוקבים אחרי ההבעה. גוררים מחוון כדי לקבוע צורה אחת.

אדם סינתטיהתצוגה המקדימה דחוסה לאינטרנט. ההורדה כוללת את מפות ה-4K המלאות.

שש הבעות והצורות שיוצרות אותן

הבעה היא שילוב של צורות. כל תמונה להלן היא דוגמה S-16 עם הצורות הרשומות מתחתיה; בפנים הניטרליות כולן כבויות.

  • דוגמה S-16, אדם סינתטי, עם ניטרליניטרלי
    —
  • דוגמה S-16, אדם סינתטי, עם mouthSmileLeft, mouthSmileRightחיוך
    mouthSmileLeft mouthSmileRight
  • דוגמה S-16, אדם סינתטי, עם jawOpen, browInnerUpהפתעה
    jawOpen browInnerUp
  • דוגמה S-16, אדם סינתטי, עם browDownLeft, mouthFrownLeftזעף
    browDownLeft mouthFrownLeft
  • דוגמה S-16, אדם סינתטי, עם mouthPuckermouthPucker
  • דוגמה S-16, אדם סינתטי, עם eyeBlinkLefteyeBlinkLeft

למה tongueOut צריכה לשון

tongueOut נראית רק בראש עם לשון ופה שנפתח מספיק. בראשי FaceNinja יש את שניהם, ולכן GLB ו־FBX כוללים את כל 52 הצורות, כולל tongueOut.

Perfect Sync: כל 52 הצורות ב־VTubing

ב־VTubing, אווטאר עם כל 52 צורות ARKit נקרא Perfect Sync (パーフェクトシンク): מעקב iPhone מפעיל כל צורה ישירות במקום מספר הבעות קבועות. אפליקציות VRM דורשות קובץ VRM, ש־FaceNinja אינו יוצר. Creator Kit החינמי שלנו בוחר דרך אחרת: הראש הופך ל־MetaHuman ב־Unreal Engine, בהפעלה דרך Live Link Face או מצלמת רשת.

Creator Kit

היכן נמצאות 52 הצורות בכל מנוע

אותם 52 שמות בארבעה מנועים
מנועהיכן הצורותהערה
Unreal EngineMorph targets על Skeletal Mesh; Live Link Face מפעיל אותם לפי שם.יש לייבא עם morph targets ולהפעיל Used with Morph Targets בחומרי הראש (תיעוד EN).
UnityBlend shapes ב־Skinned Mesh Renderer, מתוך FBX.Import BlendShapes פעיל כברירת מחדל בהגדרות ייבוא המודל.
Godot 4Blend shapes ב־MeshInstance3D, מתוך GLB.find_blend_shape_by_name() מחזירה את האינדקס עבור set_blend_shape_value().
three.jsmesh.morphTargetDictionary ממפה כל שם לאינדקס שלו ב־mesh.morphTargetInfluences.יש לטעון את GLB עם GLTFLoader.
המדריך צעד אחר צעד ל־Unity, Godot ו־three.js

שאלות על צורות blendshape של ARKit

01מהן צורות blendshape של ARKit?
52 תנועות פנים בעלות שמות שהגדירה Apple למעקב פנים ב־iPhone וב־iPad. לכל אחת משקל מ־0 עד 1, וכל הבעה היא שילוב שלהן.
02כמה צורות blendshape יש ב־ARKit?
52: 14 לעיניים, 4 ללסת, 23 לפה, 5 לגבות, 3 ללחיים, 2 לאף ו־1 ללשון.
03צריך iPhone?
כדי ללכוד את כל ה־52 בשידור חי נדרש מכשיר עם מעקב הפנים של Apple, כמו iPhone עם Face ID; Live Link Face משתמש בו. כדי לנגן אותן מספיק מנוע שקורא blendshape, בלי iPhone.
04ראשי FaceNinja כוללים tongueOut?
כן. GLB ו־FBX כוללים את כל 52 הצורות, כולל tongueOut, מותאמות לכל פנים.
05מהו Perfect Sync?
מונח VTubing לאווטאר עם כל 52 צורות ARKit, כך שמעקב הפנים מפעיל כל אחת ישירות.
06אפשר לנסות ראש עם כל 52 הצורות?
כן. נרשמים בחינם ומורידים את 20 ראשי הדוגמה: בכל GLB ו־FBX יש את כל ה־52.

אפשר לנסות ראש עם כל 52 הצורות?

כן. נרשמים בחינם ומורידים את 20 ראשי הדוגמה: בכל GLB ו־FBX יש את כל ה־52.

קבלת הדוגמאות בחינםמה כלול בראש