Довідник · ARKit · трекінг обличчя
52 блендшейпи ARKit на справжній голові.
ARKit описує обличчя 52 блендшейпами: вагами від 0 до 1 для рухів на кшталт jawOpen чи eyeBlinkLeft. Трекінг обличчя в iPhone передає ці ваги, а Live Link Face, застосунки для VTuber та ігрові рушії відтворюють їх на будь-якій голові з тими самими 52 формами. Тут усі назви, що рухає кожна, і голова, яка має їх усі.
Безплатно Зареєструйтеся безкоштовно і завантажте 20 зразків голів MetaHuman високої якості: шкіра 4K, 52 форми ARKit, GLB/FBX/MetaHuman ZIP.
Усі 52 за частинами обличчя
Назви точно такі, як пише Apple. Left і Right — ліва й права сторона самого обличчя, а не глядача.
ОчіФорм: 14
eyeBlinkLeftЗаплющує повіку.
eyeBlinkRighteyeLookDownLeftПовіки йдуть за поглядом униз.
eyeLookDownRighteyeLookInLeftПовіки йдуть за поглядом до носа.
eyeLookInRighteyeLookOutLeftПовіки йдуть за поглядом від носа.
eyeLookOutRighteyeLookUpLeftПовіки йдуть за поглядом угору.
eyeLookUpRighteyeSquintLeftЗвужує око: нижня повіка й щока піднімаються.
eyeSquintRighteyeWideLeftШироко розплющує око: верхня повіка піднімається.
eyeWideRight
ЩелепаФорм: 4
jawForwardВисуває щелепу вперед.jawLeftЗсуває щелепу до лівого боку обличчя.jawRightЗсуває щелепу до правого боку обличчя.jawOpenВідкриває щелепу.
РотФорм: 23
mouthCloseСтуляє губи при відкритій щелепі; використовується разом ізjawOpen.mouthFunnelОкруглює розтулені губи лійкою, як на звуці «у».mouthPuckerВитягує стулені губи вперед, як для поцілунку.mouthLeftЗсуває обидві губи до лівого боку обличчя.mouthRightЗсуває обидві губи до правого боку обличчя.mouthSmileLeftПіднімає куточок рота.
mouthSmileRightmouthFrownLeftОпускає куточок рота.
mouthFrownRightmouthDimpleLeftВідтягує куточок рота назад, до ямочки.
mouthDimpleRightmouthStretchLeftРозтягує куточок рота вбік і вниз.
mouthStretchRightmouthRollLowerПідгортає нижню губу всередину, на зуби.mouthRollUpperПідгортає верхню губу всередину, на зуби.mouthShrugLowerВиштовхує нижню губу вгору й назовні.mouthShrugUpperВиштовхує верхню губу вгору й назовні.mouthPressLeftПритискає нижню губу до верхньої з цього боку.
mouthPressRightmouthLowerDownLeftОпускає нижню губу з цього боку.
mouthLowerDownRightmouthUpperUpLeftПіднімає верхню губу з цього боку.
mouthUpperUpRight
БровиФорм: 5
browDownLeftОпускає зовнішню частину брови.
browDownRightbrowInnerUpПіднімає внутрішні кінці обох брів.browOuterUpLeftПіднімає зовнішню частину брови.
browOuterUpRight
ЩокиФорм: 3
cheekPuffНадуває обидві щоки.cheekSquintLeftПіднімає щоку навколо нижньої повіки.
cheekSquintRight
НісФорм: 2
noseSneerLeftПіднімає крило носа, як у зневажливій гримасі.
noseSneerRight
ЯзикФорм: 1
tongueOutВисуває язик із рота.
Джерело назв: документація ARKit від Apple.
Рухайте форми на справжній голові
Це зразки голів — такі, якими FaceNinja зробив їх, кожну з одного фото. Завантажте будь-яку й рухайте повзунки: кожен повзунок — одна форма ARKit на цьому обличчі, а вирази змішують кілька.
Зразки голів
Стрілки повертають голову. Плюс і мінус масштабують. Нуль скидає вигляд. Escape виходить із переглядача.
Показники ARKit
Значення йдуть за виразом. Повзунок задає одну форму.
Шість виразів і форми, з яких вони складаються
Вираз — це суміш форм. Кожен кадр нижче — зразок S-16 із піднятими формами, вказаними під ним; у нейтрального обличчя їх немає.
Спокій—
УсмішкаmouthSmileLeft mouthSmileRight
ЗдивуванняjawOpen browInnerUp
НахмуренняbrowDownLeft mouthFrownLeft
mouthPucker
eyeBlinkLeft
Навіщо tongueOut потрібен язик
tongueOut видно лише на голові з язиком і ротом, що відкривається досить широко. Голови FaceNinja мають і те, і те, тож GLB і FBX містять усі 52 форми, включно з tongueOut.
Perfect Sync: 52 форми у VTubing
У VTubing аватар з усіма 52 формами ARKit називають Perfect Sync (パーフェクトシンク): трекінг з iPhone керує кожною формою напряму, а не кількома пресетами. Застосункам на основі VRM потрібен файл VRM, а його FaceNinja не робить. Наш безкоштовний Creator Kit іде іншим шляхом: ваша голова стає MetaHuman в Unreal Engine, яким керує Live Link Face або вебкамера.
Де живуть 52 форми в кожному рушії
| Рушій | Де форми | Примітка |
|---|---|---|
| Unreal Engine | Morph targets на Skeletal Mesh; Live Link Face керує ними за назвами. | Імпортуйте з увімкненими morph targets і позначте Used with Morph Targets у матеріалах голови (документація EN). |
| Unity | Blend shapes на Skinned Mesh Renderer, з FBX. | Import BlendShapes увімкнено за замовчуванням у налаштуваннях імпорту моделі. |
| Godot 4 | Blend shapes на MeshInstance3D, з GLB. | find_blend_shape_by_name() дає індекс для set_blend_shape_value(). |
| three.js | mesh.morphTargetDictionary зіставляє кожну назву з індексом у mesh.morphTargetInfluences. | Завантажте GLB через GLTFLoader. |
Питання про блендшейпи ARKit
- 01Що таке блендшейпи ARKit?
- 52 іменовані рухи обличчя, які Apple визначила для трекінгу обличчя на iPhone та iPad. Кожен — вага від 0 до 1, а будь-який вираз — їхня суміш.
- 02Скільки блендшейпів в ARKit?
- 52: 14 для очей, 4 для щелепи, 23 для рота, 5 для брів, 3 для щік, 2 для носа й 1 для язика.
- 03Чи потрібен iPhone?
- Щоб знімати всі 52 наживо, потрібен пристрій із трекінгом обличчя Apple, наприклад iPhone з Face ID; його використовує Live Link Face. Для відтворення підійде будь-який рушій, що читає блендшейпи, без iPhone.
- 04Чи є в головах FaceNinja
tongueOut? - Так. GLB і FBX містять усі 52 форми, включно з
tongueOut, зроблені під кожне обличчя. - 05Що таке Perfect Sync?
- Термін із VTubing для аватара з усіма 52 формами ARKit, щоб трекінг обличчя керував кожною напряму.
- 06Чи можна спробувати голову з усіма 52 формами?
- Так. Зареєструйтеся безкоштовно й завантажте 20 зразків голів: у кожному GLB і FBX є всі 52.
Чи можна спробувати голову з усіма 52 формами?
Так. Зареєструйтеся безкоштовно й завантажте 20 зразків голів: у кожному GLB і FBX є всі 52.