FaceNinja

Referens · ARKit · ansiktsspårning

De 52 ARKit-blendshapes, på ett riktigt huvud.

ARKit beskriver ett ansikte med 52 blendshapes: vikter från 0 till 1 för rörelser som jawOpen eller eyeBlinkLeft. En iPhones ansiktsspårning skickar de här vikterna, och Live Link Face, VTubing-appar och spelmotorer spelar upp dem på vilket huvud som helst som har samma 52 blendshapes. Här är varje namn, vad det rör, och ett huvud som har alla.

Gratis Skapa ett gratis konto och ladda ner 20 högkvalitativa MetaHuman-exempelhuvuden: 4K-hud, 52 ARKit-shapes, GLB/FBX/MetaHuman ZIP.

Alla 52, efter del av ansiktet

Namnen står exakt som Apple skriver dem. Left och Right är ansiktets egen vänster och höger, inte betraktarens.

Ögon14 blendshapes

  1. eyeBlinkLeft
    eyeBlinkRight
    Stänger ögonlocket.
  2. eyeLookDownLeft
    eyeLookDownRight
    Ögonlocken följer en blick nedåt.
  3. eyeLookInLeft
    eyeLookInRight
    Ögonlocken följer en blick mot näsan.
  4. eyeLookOutLeft
    eyeLookOutRight
    Ögonlocken följer en blick bort från näsan.
  5. eyeLookUpLeft
    eyeLookUpRight
    Ögonlocken följer en blick uppåt.
  6. eyeSquintLeft
    eyeSquintRight
    Kisar med ögat: det nedre ögonlocket och kinden höjs.
  7. eyeWideLeft
    eyeWideRight
    Spärrar upp ögat: det övre ögonlocket höjs.

Käke4 blendshapes

  1. jawForwardSkjuter käken framåt.
  2. jawLeftFlyttar käken mot ansiktets vänstra sida.
  3. jawRightFlyttar käken mot ansiktets högra sida.
  4. jawOpenÖppnar käken.

Mun23 blendshapes

  1. mouthCloseStänger läpparna medan käken är öppen; används tillsammans med jawOpen.
  2. mouthFunnelFormar de öppna läpparna till en tratt, som i ”o”.
  3. mouthPuckerSkjuter fram de stängda läpparna, som vid en puss.
  4. mouthLeftFlyttar båda läpparna mot ansiktets vänstra sida.
  5. mouthRightFlyttar båda läpparna mot ansiktets högra sida.
  6. mouthSmileLeft
    mouthSmileRight
    Höjer mungipan.
  7. mouthFrownLeft
    mouthFrownRight
    Sänker mungipan.
  8. mouthDimpleLeft
    mouthDimpleRight
    Drar mungipan bakåt, mot smilgropen.
  9. mouthStretchLeft
    mouthStretchRight
    Sträcker mungipan åt sidan och nedåt.
  10. mouthRollLowerRullar in underläppen över tänderna.
  11. mouthRollUpperRullar in överläppen över tänderna.
  12. mouthShrugLowerSkjuter underläppen uppåt och utåt.
  13. mouthShrugUpperSkjuter överläppen uppåt och utåt.
  14. mouthPressLeft
    mouthPressRight
    Pressar underläppen upp mot överläppen på den sidan.
  15. mouthLowerDownLeft
    mouthLowerDownRight
    Drar ner underläppen på den sidan.
  16. mouthUpperUpLeft
    mouthUpperUpRight
    Höjer överläppen på den sidan.

Bryn5 blendshapes

  1. browDownLeft
    browDownRight
    Sänker den yttre delen av ögonbrynet.
  2. browInnerUpHöjer de inre ändarna av båda ögonbrynen.
  3. browOuterUpLeft
    browOuterUpRight
    Höjer den yttre delen av ögonbrynet.

Kinder3 blendshapes

  1. cheekPuffBlåser ut båda kinderna.
  2. cheekSquintLeft
    cheekSquintRight
    Höjer kinden runt det nedre ögonlocket.

Näsa2 blendshapes

  1. noseSneerLeft
    noseSneerRight
    Drar upp sidan av näsan, som vid en grimas av förakt.

Tunga1 blendshapes

  1. tongueOutSträcker ut tungan ur munnen.

Källa till namnen: Apples ARKit-dokumentation.

Rör blendshapes på ett riktigt huvud

Det här är exempelhuvudena, så som FaceNinja gjorde dem från ett foto var. Ladda ett och dra i reglagen: varje reglage är en ARKit-blendshape på just det ansiktet, och uttrycken blandar flera.

InspektionsbänkStillbild

Exempelhuvuden

MetaHuman-huvudet i 3D som FaceNinja gjorde av foto S-07

Piltangenterna vrider huvudet. Plus och minus zoomar. Noll återställer vyn. Escape lämnar visaren.

Uttryck
Vy
Ljussättning

ARKit-avläsning

Värdena följer uttrycket. Dra i ett reglage för att sätta en shape.

Syntetisk personFörhandsvisningen är komprimerad för webben. Nedladdningen har hela 4K-texturerna.

Sex uttryck, och vilka blendshapes som skapar dem

Ett uttryck är en blandning av blendshapes. Varje stillbild nedan är exempel S-16 med blendshapes under bilden uppskruvade; det neutrala ansiktet har inga.

  • Exempel S-16, en syntetisk person, med NeutralNeutral
    —
  • Exempel S-16, en syntetisk person, med mouthSmileLeft, mouthSmileRightLeende
    mouthSmileLeft mouthSmileRight
  • Exempel S-16, en syntetisk person, med jawOpen, browInnerUpFörvåning
    jawOpen browInnerUp
  • Exempel S-16, en syntetisk person, med browDownLeft, mouthFrownLeftSur min
    browDownLeft mouthFrownLeft
  • Exempel S-16, en syntetisk person, med mouthPuckermouthPucker
  • Exempel S-16, en syntetisk person, med eyeBlinkLefteyeBlinkLeft

Varför tongueOut behöver en tunga

tongueOut syns bara på ett huvud med en tunga och en mun som öppnas tillräckligt. FaceNinjas huvuden har båda, så GLB och FBX bär alla 52 blendshapes, tongueOut inräknad.

Perfect Sync: de 52 blendshapes i VTubing

Inom VTubing kallas en avatar med alla 52 ARKit-blendshapes Perfect Sync (パーフェクトシンク): spårning från en iPhone styr varje blendshape direkt i stället för några få förinställningar. Appar byggda på VRM behöver en VRM-fil, och en sådan gör FaceNinja inte. Vårt gratis Creator Kit går den andra vägen: ditt huvud blir en MetaHuman i Unreal Engine, styrd av Live Link Face eller en webbkamera.

Var de 52 blendshapes finns i varje motor

Samma 52 namn i fyra motorer
MotorVar blendshapes finnsAnmärkning
Unreal EngineMorph targets på Skeletal Mesh; Live Link Face styr dem efter namn.Importera med morph targets påslagna och kryssa i Used with Morph Targets på huvudets material (dokumentation EN).
UnityBlend shapes på Skinned Mesh Renderer, från FBX-filen.Import BlendShapes är påslaget som standard i modellens importinställningar.
Godot 4Blend shapes på MeshInstance3D, från GLB-filen.find_blend_shape_by_name() ger indexet för set_blend_shape_value().
three.jsmesh.morphTargetDictionary kopplar varje namn till dess index i mesh.morphTargetInfluences.Ladda GLB-filen med GLTFLoader.

Frågor om ARKit-blendshapes

01Vad är ARKit-blendshapes?
De 52 namngivna ansiktsrörelser som Apple definierade för ansiktsspårning på iPhone och iPad. Var och en är en vikt från 0 till 1, och alla uttryck är en blandning av dem.
02Hur många ARKit-blendshapes finns det?
52: 14 för ögonen, 4 för käken, 23 för munnen, 5 för bryna, 3 för kinderna, 2 för näsan och 1 för tungan.
03Behöver jag en iPhone?
För att fånga alla 52 live behöver du en enhet med Apples ansiktsspårning, till exempel en iPhone med Face ID; Live Link Face använder den. För att spela upp dem fungerar vilken motor som helst som läser blendshapes, utan iPhone.
04Har FaceNinjas huvuden tongueOut?
Ja. GLB och FBX bär alla 52 blendshapes, tongueOut inräknad, gjorda för varje ansikte.
05Vad är Perfect Sync?
En VTubing-term för en avatar med alla 52 ARKit-blendshapes, så att ansiktsspårningen styr var och en direkt.
06Kan jag prova ett huvud med alla 52 blendshapes?
Ja. Registrera dig gratis och ladda ner de 20 exempelhuvudena: varje GLB och FBX har alla 52.

Kan jag prova ett huvud med alla 52 blendshapes?

Ja. Registrera dig gratis och ladda ner de 20 exempelhuvudena: varje GLB och FBX har alla 52.