Reference · ARKit · sledování obličeje
52 blendshapů ARKit na skutečné hlavě.
ARKit popisuje obličej 52 blendshapy: váhami od 0 do 1 pro pohyby jako jawOpen nebo eyeBlinkLeft. Sledování obličeje v iPhonu tyto váhy posílá a Live Link Face, aplikace pro VTubing i herní enginy je přehrají na jakékoli hlavě, která má stejných 52 tvarů. Tady je každý název, čím hýbe, a hlava, která je má všechny.
Zdarma Zaregistrujte se zdarma a stáhněte si 20 kvalitních ukázkových hlav MetaHuman: pleť ve 4K, 52 blendshapů ARKit, GLB/FBX/MetaHuman ZIP.
Všech 52 podle části obličeje
Názvy jsou přesně tak, jak je píše Apple. Left a Right znamenají levou a pravou stranu samotného obličeje, ne pozorovatele.
OčiPočet tvarů: 14
eyeBlinkLeftZavře víčko.
eyeBlinkRighteyeLookDownLeftVíčka sledují pohled dolů.
eyeLookDownRighteyeLookInLeftVíčka sledují pohled k nosu.
eyeLookInRighteyeLookOutLeftVíčka sledují pohled od nosu.
eyeLookOutRighteyeLookUpLeftVíčka sledují pohled nahoru.
eyeLookUpRighteyeSquintLeftPřimhouří oko: dolní víčko a tvář se zvednou.
eyeSquintRighteyeWideLeftDoširoka otevře oko: horní víčko se zvedne.
eyeWideRight
ČelistPočet tvarů: 4
jawForwardVysune čelist dopředu.jawLeftPosune čelist k levé straně obličeje.jawRightPosune čelist k pravé straně obličeje.jawOpenOtevře čelist.
ÚstaPočet tvarů: 23
mouthCloseZavře rty, zatímco čelist zůstává otevřená; používá se spolu sjawOpen.mouthFunnelZakulatí otevřené rty do trychtýře, jako při „u“.mouthPuckerVysune zavřené rty dopředu, jako k polibku.mouthLeftPosune oba rty k levé straně obličeje.mouthRightPosune oba rty k pravé straně obličeje.mouthSmileLeftZvedne koutek úst.
mouthSmileRightmouthFrownLeftSníží koutek úst.
mouthFrownRightmouthDimpleLeftStáhne koutek úst dozadu, k dolíčku.
mouthDimpleRightmouthStretchLeftNatáhne koutek úst do strany a dolů.
mouthStretchRightmouthRollLowerVtáhne dolní ret dovnitř přes zuby.mouthRollUpperVtáhne horní ret dovnitř přes zuby.mouthShrugLowerVytlačí dolní ret nahoru a ven.mouthShrugUpperVytlačí horní ret nahoru a ven.mouthPressLeftPřitiskne dolní ret k hornímu na dané straně.
mouthPressRightmouthLowerDownLeftStáhne dolní ret dolů na dané straně.
mouthLowerDownRightmouthUpperUpLeftZvedne horní ret na dané straně.
mouthUpperUpRight
ObočíPočet tvarů: 5
browDownLeftSníží vnější část obočí.
browDownRightbrowInnerUpZvedne vnitřní konce obou obočí.browOuterUpLeftZvedne vnější část obočí.
browOuterUpRight
TvářePočet tvarů: 3
cheekPuffNafoukne obě tváře.cheekSquintLeftZvedne tvář kolem dolního víčka.
cheekSquintRight
NosPočet tvarů: 2
noseSneerLeftZvedne bok nosu, jako při pohrdavém úšklebku.
noseSneerRight
JazykPočet tvarů: 1
tongueOutVysune jazyk z úst.
Zdroj názvů: dokumentace ARKit od Applu.
Hýbejte tvary na skutečné hlavě
Toto jsou ukázkové hlavy, jak je FaceNinja vytvořilo, každou z jedné fotky. Načtěte jednu a táhněte posuvníky: každý posuvník je jeden tvar ARKit na tomto obličeji a výrazy jich míchají několik.
Ukázkové hlavy
Šipky otáčejí hlavou. Plus a mínus přibližují. Nula obnoví pohled. Escape opustí prohlížeč.
Hodnoty ARKit
Hodnoty sledují výraz. Posuvníkem nastavíte jeden tvar.
Šest výrazů a tvary, ze kterých vznikají
Výraz je směs tvarů. Každý snímek níže je ukázka S-16 s vytaženými tvary uvedenými pod ním; neutrální obličej nemá žádný.
Neutrální—
ÚsměvmouthSmileLeft mouthSmileRight
PřekvapeníjawOpen browInnerUp
ZamračeníbrowDownLeft mouthFrownLeft
mouthPucker
eyeBlinkLeft
Proč tongueOut potřebuje jazyk
tongueOut je vidět jen na hlavě s jazykem a ústy, která se otevřou dost široko. Hlavy FaceNinja mají obojí, takže GLB i FBX nesou všech 52 tvarů, včetně tongueOut.
Perfect Sync: 52 tvarů ve VTubingu
Ve VTubingu se avatar se všemi 52 tvary ARKit nazývá Perfect Sync (パーフェクトシンク): sledování z iPhonu řídí každý tvar přímo, ne jen pár předvoleb. Aplikace postavené na VRM potřebují soubor VRM, který FaceNinja nevytváří. Náš Creator Kit zdarma jde jinou cestou: z vaší hlavy se stane MetaHuman v Unreal Engine, řízený přes Live Link Face nebo webkameru.
Kde je 52 tvarů v jednotlivých enginech
| Engine | Kde jsou tvary | Poznámka |
|---|---|---|
| Unreal Engine | Morph targety na Skeletal Mesh; Live Link Face je řídí podle názvu. | Importujte se zapnutými morph targety a u materiálů hlavy zaškrtněte Used with Morph Targets (dokumentace EN). |
| Unity | Blend shapes na Skinned Mesh Renderer, z FBX. | Import BlendShapes je v nastavení importu modelu ve výchozím stavu zapnutý. |
| Godot 4 | Blend shapes na MeshInstance3D, z GLB. | find_blend_shape_by_name() vrátí index pro set_blend_shape_value(). |
| three.js | mesh.morphTargetDictionary přiřazuje každému názvu jeho index v mesh.morphTargetInfluences. | Načtěte GLB pomocí GLTFLoader. |
Otázky k blendshapům ARKit
- 01Co jsou blendshapy ARKit?
- 52 pojmenovaných pohybů obličeje, které Apple definoval pro sledování obličeje na iPhonu a iPadu. Každý je váha od 0 do 1 a každý výraz je jejich směsí.
- 02Kolik je blendshapů ARKit?
- 52: 14 pro oči, 4 pro čelist, 23 pro ústa, 5 pro obočí, 3 pro tváře, 2 pro nos a 1 pro jazyk.
- 03Potřebuji iPhone?
- Pro snímání všech 52 naživo potřebujete zařízení se sledováním obličeje od Applu, například iPhone s Face ID; používá ho Live Link Face. Pro přehrávání stačí jakýkoli engine, který čte blendshapy, bez iPhonu.
- 04Mají hlavy FaceNinja
tongueOut? - Ano. GLB i FBX nesou všech 52 tvarů, včetně
tongueOut, vytvořených pro každý obličej. - 05Co je Perfect Sync?
- Pojem z VTubingu pro avatar, který má všech 52 tvarů ARKit, takže sledování obličeje řídí každý z nich přímo.
- 06Můžu si vyzkoušet hlavu se všemi 52 tvary?
- Ano. Zaregistrujte se zdarma a stáhněte si 20 ukázkových hlav: každý soubor GLB i FBX má všech 52.
Můžu si vyzkoušet hlavu se všemi 52 tvary?
Ano. Zaregistrujte se zdarma a stáhněte si 20 ukázkových hlav: každý soubor GLB i FBX má všech 52.