Справочник · ARKit · трекинг лица
52 блендшейпа ARKit на настоящей голове.
ARKit описывает лицо 52 блендшейпами: весами от 0 до 1 для движений вроде jawOpen или eyeBlinkLeft. Трекинг лица в iPhone передаёт эти веса, а Live Link Face, приложения для VTuber и игровые движки воспроизводят их на любой голове с теми же 52 формами. Здесь все названия, что двигает каждое, и голова, у которой есть все.
Бесплатно Зарегистрируйтесь бесплатно и скачайте 20 примеров 3D-голов MetaHuman высокого качества: кожа 4K, 52 формы ARKit, GLB/FBX/MetaHuman ZIP.
Все 52 по частям лица
Названия точно такие, как пишет Apple. Left и Right — левая и правая сторона самого лица, а не зрителя.
ГлазаФорм: 14
eyeBlinkLeftЗакрывает веко.
eyeBlinkRighteyeLookDownLeftВеки следуют за взглядом вниз.
eyeLookDownRighteyeLookInLeftВеки следуют за взглядом к носу.
eyeLookInRighteyeLookOutLeftВеки следуют за взглядом от носа.
eyeLookOutRighteyeLookUpLeftВеки следуют за взглядом вверх.
eyeLookUpRighteyeSquintLeftСужает глаз: нижнее веко и щека поднимаются.
eyeSquintRighteyeWideLeftШироко открывает глаз: верхнее веко поднимается.
eyeWideRight
ЧелюстьФорм: 4
jawForwardВыдвигает челюсть вперёд.jawLeftСдвигает челюсть к левой стороне лица.jawRightСдвигает челюсть к правой стороне лица.jawOpenОткрывает челюсть.
РотФорм: 23
mouthCloseСмыкает губы при открытой челюсти; используется вместе сjawOpen.mouthFunnelОкругляет приоткрытые губы воронкой, как на звуке «у».mouthPuckerВытягивает сомкнутые губы вперёд, как для поцелуя.mouthLeftСдвигает обе губы к левой стороне лица.mouthRightСдвигает обе губы к правой стороне лица.mouthSmileLeftПоднимает уголок рта.
mouthSmileRightmouthFrownLeftОпускает уголок рта.
mouthFrownRightmouthDimpleLeftОттягивает уголок рта назад, к ямочке.
mouthDimpleRightmouthStretchLeftРастягивает уголок рта в сторону и вниз.
mouthStretchRightmouthRollLowerПодворачивает нижнюю губу внутрь, на зубы.mouthRollUpperПодворачивает верхнюю губу внутрь, на зубы.mouthShrugLowerВыталкивает нижнюю губу вверх и наружу.mouthShrugUpperВыталкивает верхнюю губу вверх и наружу.mouthPressLeftПрижимает нижнюю губу к верхней с этой стороны.
mouthPressRightmouthLowerDownLeftОпускает нижнюю губу с этой стороны.
mouthLowerDownRightmouthUpperUpLeftПоднимает верхнюю губу с этой стороны.
mouthUpperUpRight
БровиФорм: 5
browDownLeftОпускает внешнюю часть брови.
browDownRightbrowInnerUpПоднимает внутренние концы обеих бровей.browOuterUpLeftПоднимает внешнюю часть брови.
browOuterUpRight
ЩёкиФорм: 3
cheekPuffНадувает обе щеки.cheekSquintLeftПоднимает щёку вокруг нижнего века.
cheekSquintRight
НосФорм: 2
noseSneerLeftПриподнимает крыло носа, как при презрительной гримасе.
noseSneerRight
ЯзыкФорм: 1
tongueOutВысовывает язык изо рта.
Источник названий: документация ARKit от Apple.
Двигайте формы на настоящей голове
Это примеры голов — такие, какими FaceNinja сделал их, каждую по одному фото. Загрузите любую и двигайте ползунки: каждый ползунок — одна форма ARKit на этом лице, а выражения смешивают несколько.
Примеры голов
Стрелки поворачивают голову. Плюс и минус — масштаб. Ноль сбрасывает вид. Escape выходит из просмотрщика.
Значения ARKit
Значения следуют выражению. Ползунок задаёт одну форму.
Шесть выражений и формы, из которых они состоят
Выражение — это смесь форм. Каждый кадр ниже — пример S-16 с поднятыми формами, указанными под ним; у нейтрального лица их нет.
Нейтрально—
УлыбкаmouthSmileLeft mouthSmileRight
УдивлениеjawOpen browInnerUp
Хмурый видbrowDownLeft mouthFrownLeft
mouthPucker
eyeBlinkLeft
Зачем tongueOut нужен язык
tongueOut виден только на голове с языком и ртом, который открывается достаточно широко. У голов FaceNinja есть и то и другое, поэтому GLB и FBX несут все 52 формы, включая tongueOut.
Perfect Sync: 52 формы во VTubing
Во VTubing аватар со всеми 52 формами ARKit называют Perfect Sync (パーフェクトシンク): трекинг с iPhone управляет каждой формой напрямую, а не несколькими пресетами. Приложениям на базе VRM нужен файл VRM, а его FaceNinja не делает. Наш бесплатный Creator Kit идёт другим путём: ваша голова становится MetaHuman в Unreal Engine, которым управляет Live Link Face или вебкамера.
Где живут 52 формы в каждом движке
| Движок | Где формы | Примечание |
|---|---|---|
| Unreal Engine | Morph targets на Skeletal Mesh; Live Link Face управляет ими по названиям. | Импортируйте с включёнными morph targets и отметьте Used with Morph Targets в материалах головы (документация EN). |
| Unity | Blend shapes на Skinned Mesh Renderer, из FBX. | Import BlendShapes включён по умолчанию в настройках импорта модели. |
| Godot 4 | Blend shapes на MeshInstance3D, из GLB. | find_blend_shape_by_name() даёт индекс для set_blend_shape_value(). |
| three.js | mesh.morphTargetDictionary сопоставляет каждое название с индексом в mesh.morphTargetInfluences. | Загрузите GLB через GLTFLoader. |
Вопросы о блендшейпах ARKit
- 01Что такое блендшейпы ARKit?
- 52 именованных движения лица, которые Apple определила для трекинга лица на iPhone и iPad. Каждое — вес от 0 до 1, а любое выражение — их смесь.
- 02Сколько блендшейпов в ARKit?
- 52: 14 для глаз, 4 для челюсти, 23 для рта, 5 для бровей, 3 для щёк, 2 для носа и 1 для языка.
- 03Нужен ли iPhone?
- Чтобы снимать все 52 вживую, нужно устройство с трекингом лица Apple, например iPhone с Face ID; его использует Live Link Face. Для воспроизведения подойдёт любой движок, который читает блендшейпы, без iPhone.
- 04Есть ли в головах FaceNinja
tongueOut? - Да. GLB и FBX несут все 52 формы, включая
tongueOut, сделанные под каждое лицо. - 05Что такое Perfect Sync?
- Термин из VTubing для аватара со всеми 52 формами ARKit, чтобы трекинг лица управлял каждой напрямую.
- 06Можно ли попробовать голову со всеми 52 формами?
- Да. Зарегистрируйтесь бесплатно и скачайте 20 примеров голов: в каждом GLB и FBX есть все 52.
Можно ли попробовать голову со всеми 52 формами?
Да. Зарегистрируйтесь бесплатно и скачайте 20 примеров голов: в каждом GLB и FBX есть все 52.