Dokumentacja · ARKit · śledzenie twarzy
52 blendshape ARKit na prawdziwej głowie.
ARKit opisuje twarz za pomocą 52 blendshape’ów: wag od 0 do 1 dla ruchów takich jak jawOpen czy eyeBlinkLeft. Śledzenie twarzy w iPhonie wysyła te wagi, a Live Link Face, aplikacje do VTubingu i silniki gier odtwarzają je na każdej głowie, która ma te same 52 kształty. Oto każda nazwa, co porusza, i głowa, która ma je wszystkie.
Za darmo Załóż darmowe konto i pobierz 20 przykładowych głów MetaHuman wysokiej jakości: skóra 4K, 52 kształty ARKit, GLB/FBX/MetaHuman ZIP.
Wszystkie 52, według części twarzy
Nazwy są zapisane dokładnie tak jak u Apple. Left i Right to lewa i prawa strona samej twarzy, nie patrzącego.
OczyKształty: 14
eyeBlinkLeftZamyka powiekę.
eyeBlinkRighteyeLookDownLeftPowieki podążają za spojrzeniem w dół.
eyeLookDownRighteyeLookInLeftPowieki podążają za spojrzeniem w stronę nosa.
eyeLookInRighteyeLookOutLeftPowieki podążają za spojrzeniem w stronę od nosa.
eyeLookOutRighteyeLookUpLeftPowieki podążają za spojrzeniem w górę.
eyeLookUpRighteyeSquintLeftZwęża oko: dolna powieka i policzek unoszą się.
eyeSquintRighteyeWideLeftSzeroko otwiera oko: górna powieka się unosi.
eyeWideRight
ŻuchwaKształty: 4
jawForwardWysuwa żuchwę do przodu.jawLeftPrzesuwa żuchwę w lewo (lewa strona twarzy).jawRightPrzesuwa żuchwę w prawo (prawa strona twarzy).jawOpenOtwiera żuchwę.
UstaKształty: 23
mouthCloseZamyka usta przy otwartej żuchwie; używany razem zjawOpen.mouthFunnelZaokrągla otwarte usta w lejek, jak przy „u”.mouthPuckerWysuwa zamknięte usta do przodu, jak do pocałunku.mouthLeftPrzesuwa obie wargi w lewo (lewa strona twarzy).mouthRightPrzesuwa obie wargi w prawo (prawa strona twarzy).mouthSmileLeftUnosi kącik ust.
mouthSmileRightmouthFrownLeftOpuszcza kącik ust.
mouthFrownRightmouthDimpleLeftCofa kącik ust w stronę dołeczka.
mouthDimpleRightmouthStretchLeftRozciąga kącik ust w bok i w dół.
mouthStretchRightmouthRollLowerZawija dolną wargę do środka, na zęby.mouthRollUpperZawija górną wargę do środka, na zęby.mouthShrugLowerWypycha dolną wargę w górę i na zewnątrz.mouthShrugUpperWypycha górną wargę w górę i na zewnątrz.mouthPressLeftDociska dolną wargę do górnej po tej stronie.
mouthPressRightmouthLowerDownLeftŚciąga dolną wargę w dół po tej stronie.
mouthLowerDownRightmouthUpperUpLeftUnosi górną wargę po tej stronie.
mouthUpperUpRight
BrwiKształty: 5
browDownLeftOpuszcza zewnętrzną część brwi.
browDownRightbrowInnerUpUnosi wewnętrzne końce obu brwi.browOuterUpLeftUnosi zewnętrzną część brwi.
browOuterUpRight
PoliczkiKształty: 3
cheekPuffWydyma oba policzki.cheekSquintLeftUnosi policzek wokół dolnej powieki.
cheekSquintRight
NosKształty: 2
noseSneerLeftUnosi bok nosa, jak przy grymasie pogardy.
noseSneerRight
JęzykKształty: 1
tongueOutWysuwa język z ust.
Źródło nazw: dokumentacja ARKit od Apple.
Poruszaj kształtami na prawdziwej głowie
To przykładowe głowy, takie, jak FaceNinja zrobiło je, każdą z jednego zdjęcia. Wczytaj jedną i przesuwaj suwaki: każdy suwak to jeden kształt ARKit na tej twarzy, a miny łączą kilka.
Przykładowe głowy
Strzałki obracają głowę. Plus i minus zmieniają zoom. Zero resetuje widok. Escape zamyka podgląd.
Odczyt ARKit
Wartości podążają za mimiką. Suwak ustawia jeden kształt.
Sześć min i kształty, które je tworzą
Mina to mieszanka kształtów. Każdy kadr poniżej to przykład S-16 z podkręconymi kształtami podanymi pod nim; neutralna twarz nie ma żadnego.
Neutralny—
UśmiechmouthSmileLeft mouthSmileRight
ZdziwieniejawOpen browInnerUp
GrymasbrowDownLeft mouthFrownLeft
mouthPucker
eyeBlinkLeft
Dlaczego tongueOut potrzebuje języka
tongueOut widać tylko na głowie z językiem i ustami, które otwierają się wystarczająco szeroko. Głowy FaceNinja mają jedno i drugie, więc GLB i FBX zawierają wszystkie 52 kształty, z tongueOut.
Perfect Sync: 52 kształty w VTubingu
W VTubingu awatar ze wszystkimi 52 kształtami ARKit nazywa się Perfect Sync (パーフェクトシンク): śledzenie z iPhone’a steruje każdym kształtem bezpośrednio, a nie kilkoma presetami. Aplikacje oparte na VRM potrzebują pliku VRM, którego FaceNinja nie robi. Nasz darmowy Creator Kit idzie inną drogą: twoja głowa staje się MetaHumanem w Unreal Engine, sterowanym przez Live Link Face albo kamerkę.
Gdzie są 52 kształty w każdym silniku
| Silnik | Gdzie są kształty | Uwaga |
|---|---|---|
| Unreal Engine | Morph targety na Skeletal Mesh; Live Link Face steruje nimi po nazwie. | Importuj z włączonymi morph targetami i zaznacz Used with Morph Targets w materiałach głowy (dokumentacja EN). |
| Unity | Blend shapes na Skinned Mesh Renderer, z FBX. | Import BlendShapes jest domyślnie włączone w ustawieniach importu modelu. |
| Godot 4 | Blend shapes na MeshInstance3D, z GLB. | find_blend_shape_by_name() zwraca indeks dla set_blend_shape_value(). |
| three.js | mesh.morphTargetDictionary przypisuje każdej nazwie jej indeks w mesh.morphTargetInfluences. | Wczytaj GLB przez GLTFLoader. |
Pytania o blendshape ARKit
- 01Czym są blendshape ARKit?
- To 52 nazwane ruchy twarzy, które Apple zdefiniowało do śledzenia twarzy na iPhonie i iPadzie. Każdy to waga od 0 do 1, a każda mina jest ich mieszanką.
- 02Ile jest blendshape’ów ARKit?
- 52: 14 dla oczu, 4 dla żuchwy, 23 dla ust, 5 dla brwi, 3 dla policzków, 2 dla nosa i 1 dla języka.
- 03Czy potrzebuję iPhone’a?
- Do przechwytywania wszystkich 52 na żywo potrzebujesz urządzenia ze śledzeniem twarzy Apple, na przykład iPhone’a z Face ID; korzysta z niego Live Link Face. Do odtwarzania wystarczy dowolny silnik, który czyta blendshape, bez iPhone’a.
- 04Czy głowy FaceNinja mają
tongueOut? - Tak. GLB i FBX zawierają wszystkie 52 kształty, z
tongueOut, zrobione pod każdą twarz. - 05Co to jest Perfect Sync?
- Termin z VTubingu oznaczający awatar ze wszystkimi 52 kształtami ARKit, dzięki czemu śledzenie twarzy steruje każdym z nich bezpośrednio.
- 06Czy mogę wypróbować głowę ze wszystkimi 52 kształtami?
- Tak. Załóż konto za darmo i pobierz 20 przykładowych głów: każdy plik GLB i FBX ma wszystkie 52.
Czy mogę wypróbować głowę ze wszystkimi 52 kształtami?
Tak. Załóż konto za darmo i pobierz 20 przykładowych głów: każdy plik GLB i FBX ma wszystkie 52.