FaceNinja
Deutsch
Konto erstellen

Referenz · ARKit · Face-Tracking

Die 52 ARKit-Blendshapes, an einem echten Kopf.

ARKit beschreibt ein Gesicht mit 52 Blendshapes: Gewichte von 0 bis 1 für Bewegungen wie jawOpen oder eyeBlinkLeft. Das Face-Tracking eines iPhones sendet diese Gewichte, und Live Link Face, VTubing-Apps und Game-Engines spielen sie auf jedem Kopf ab, der dieselben 52 Shapes hat. Hier finden Sie jeden Namen, was er bewegt, und einen Kopf, der alle hat.

Gratis Erstellen Sie kostenlos ein Konto und laden Sie 20 hochwertige MetaHuman-Beispielköpfe herunter: 4K-Haut, 52 ARKit-Blendshapes, GLB/FBX/MetaHuman ZIP.

Gratis-Beispiele holenBeispiele ansehen

Alle 52, nach Gesichtsbereich

Die Namen stehen genau so da, wie Apple sie schreibt. Left und Right meinen die linke und rechte Seite des Gesichts selbst, nicht die des Betrachters.

Augen14 Shapes

  1. eyeBlinkLeft
    eyeBlinkRight    Schließt das Augenlid.
  2. eyeLookDownLeft
    eyeLookDownRight    Die Lider folgen einem Blick nach unten.
  3. eyeLookInLeft
    eyeLookInRight    Die Lider folgen einem Blick zur Nase hin.
  4. eyeLookOutLeft
    eyeLookOutRight    Die Lider folgen einem Blick von der Nase weg.
  5. eyeLookUpLeft
    eyeLookUpRight    Die Lider folgen einem Blick nach oben.
  6. eyeSquintLeft
    eyeSquintRight    Verengt das Auge: Unterlid und Wange heben sich.
  7. eyeWideLeft
    eyeWideRight    Öffnet das Auge weit: Das Oberlid hebt sich.

Kiefer4 Shapes

  1. jawForwardSchiebt den Kiefer nach vorn.
  2. jawLeftBewegt den Kiefer zur linken Seite des Gesichts.
  3. jawRightBewegt den Kiefer zur rechten Seite des Gesichts.
  4. jawOpenÖffnet den Kiefer.

Mund23 Shapes

  1. mouthCloseSchließt die Lippen, während der Kiefer offen bleibt; wird zusammen mit jawOpen verwendet.
  2. mouthFunnelFormt die geöffneten Lippen zu einem Trichter, wie bei „u“.
  3. mouthPuckerSchiebt die geschlossenen Lippen nach vorn, wie bei einem Kuss.
  4. mouthLeftBewegt beide Lippen zur linken Seite des Gesichts.
  5. mouthRightBewegt beide Lippen zur rechten Seite des Gesichts.
  6. mouthSmileLeft
    mouthSmileRight    Hebt den Mundwinkel.
  7. mouthFrownLeft
    mouthFrownRight    Senkt den Mundwinkel.
  8. mouthDimpleLeft
    mouthDimpleRight    Zieht den Mundwinkel nach hinten, zum Grübchen hin.
  9. mouthStretchLeft
    mouthStretchRight    Zieht den Mundwinkel zur Seite und nach unten.
  10. mouthRollLowerRollt die Unterlippe nach innen, über die Zähne.
  11. mouthRollUpperRollt die Oberlippe nach innen, über die Zähne.
  12. mouthShrugLowerSchiebt die Unterlippe nach oben und außen.
  13. mouthShrugUpperSchiebt die Oberlippe nach oben und außen.
  14. mouthPressLeft
    mouthPressRight    Drückt die Unterlippe auf dieser Seite gegen die Oberlippe.
  15. mouthLowerDownLeft
    mouthLowerDownRight    Zieht die Unterlippe auf dieser Seite nach unten.
  16. mouthUpperUpLeft
    mouthUpperUpRight    Hebt die Oberlippe auf dieser Seite.

Brauen5 Shapes

  1. browDownLeft
    browDownRight    Senkt den äußeren Teil der Braue.
  2. browInnerUpHebt die inneren Enden beider Brauen.
  3. browOuterUpLeft
    browOuterUpRight    Hebt den äußeren Teil der Braue.

Wangen3 Shapes

  1. cheekPuffBläst beide Wangen auf.
  2. cheekSquintLeft
    cheekSquintRight    Hebt die Wange um das Unterlid.

Nase2 Shapes

  1. noseSneerLeft
    noseSneerRight    Hebt die Seite der Nase, wie beim Naserümpfen.

Zunge1 Shapes

  1. tongueOutStreckt die Zunge aus dem Mund.

Quelle der Namen: ARKit-Dokumentation von Apple.

Bewegen Sie die Shapes an einem echten Kopf

Das sind die Beispielköpfe, so wie FaceNinja sie aus je einem Foto erstellt hat. Laden Sie einen und ziehen Sie die Regler: Jeder Regler ist ein ARKit-Shape an diesem Gesicht, und die Ausdrücke mischen mehrere.

PrüfstandStandbild

Beispielköpfe

Der 3D-MetaHuman-Kopf, den FaceNinja aus dem Foto S-07 erstellt hat
Mimik
Ansicht
Licht

ARKit-Werte

Die Werte folgen der Mimik. Ein Regler setzt eine Blendshape.

Synthetische PersonDie Vorschau ist für das Web komprimiert. Der Download enthält die vollen 4K-Maps.

Sechs Ausdrücke und die Shapes, die sie bilden

Ein Ausdruck ist eine Mischung aus Shapes. Jedes Standbild unten zeigt Beispiel S-16 mit den darunter genannten Shapes aufgedreht; das neutrale Gesicht hat keine.

  • Beispiel S-16, eine synthetische Person, mit NeutralNeutral
    —
  • Beispiel S-16, eine synthetische Person, mit mouthSmileLeft, mouthSmileRightLächeln
    mouthSmileLeft mouthSmileRight
  • Beispiel S-16, eine synthetische Person, mit jawOpen, browInnerUpStaunen
    jawOpen browInnerUp
  • Beispiel S-16, eine synthetische Person, mit browDownLeft, mouthFrownLeftMürrisch
    browDownLeft mouthFrownLeft
  • Beispiel S-16, eine synthetische Person, mit mouthPuckermouthPucker
  • Beispiel S-16, eine synthetische Person, mit eyeBlinkLefteyeBlinkLeft

Warum tongueOut eine Zunge braucht

tongueOut zeigt sich nur an einem Kopf mit Zunge und einem Mund, der sich weit genug öffnet. FaceNinja-Köpfe haben beides, deshalb enthalten GLB und FBX alle 52 Shapes, tongueOut eingeschlossen.

Perfect Sync: die 52 Shapes beim VTubing

Beim VTubing heißt ein Avatar mit allen 52 ARKit-Shapes Perfect Sync (パーフェクトシンク): Das Tracking vom iPhone steuert jedes Shape direkt statt nur einiger Presets. Apps, die auf VRM aufbauen, brauchen eine VRM-Datei, und die erstellt FaceNinja nicht. Unser kostenloses Creator-Kit geht den anderen Weg: Ihr Kopf wird zu einem MetaHuman in Unreal Engine, gesteuert von Live Link Face oder einer Webcam.

Das Creator-Kit

Wo die 52 Shapes in jeder Engine liegen

Dieselben 52 Namen in vier Engines
EngineWo die Shapes sindHinweis
Unreal EngineMorph Targets am Skeletal Mesh; Live Link Face steuert sie über den Namen.Mit aktivierten Morph Targets importieren und bei den Materialien des Kopfs Used with Morph Targets anhaken (Doku EN).
UnityBlend Shapes am Skinned Mesh Renderer, aus dem FBX.Import BlendShapes ist in den Importeinstellungen des Modells standardmäßig an.
Godot 4Blend Shapes an der MeshInstance3D, aus dem GLB.find_blend_shape_by_name() liefert den Index für set_blend_shape_value().
three.jsmesh.morphTargetDictionary ordnet jedem Namen seinen Index in mesh.morphTargetInfluences zu.Laden Sie das GLB mit GLTFLoader.
Die Schritt-für-Schritt-Anleitung für Unity, Godot und three.js

Fragen zu ARKit-Blendshapes

01Was sind ARKit-Blendshapes?
Die 52 benannten Gesichtsbewegungen, die Apple für das Face-Tracking auf iPhone und iPad definiert hat. Jede ist ein Gewicht von 0 bis 1, und jeder Ausdruck ist eine Mischung daraus.
02Wie viele ARKit-Blendshapes gibt es?
52: 14 für die Augen, 4 für den Kiefer, 23 für den Mund, 5 für die Brauen, 3 für die Wangen, 2 für die Nase und 1 für die Zunge.
03Brauche ich ein iPhone?
Um alle 52 live aufzunehmen, brauchen Sie ein Gerät mit Apples Face-Tracking, etwa ein iPhone mit Face ID; Live Link Face nutzt es. Zum Abspielen genügt jede Engine, die Blendshapes liest, ganz ohne iPhone.
04Enthalten FaceNinja-Köpfe tongueOut?
Ja. GLB und FBX enthalten alle 52 Shapes, tongueOut eingeschlossen, für jedes Gesicht eigens erstellt.
05Was ist Perfect Sync?
Ein Begriff aus dem VTubing für einen Avatar, der alle 52 ARKit-Shapes hat, sodass das Face-Tracking jedes einzelne direkt steuert.
06Kann ich einen Kopf mit allen 52 Shapes ausprobieren?
Ja. Registrieren Sie sich kostenlos und laden Sie die 20 Beispielköpfe herunter: Jedes GLB und FBX hat alle 52.

Kann ich einen Kopf mit allen 52 Shapes ausprobieren?

Ja. Registrieren Sie sich kostenlos und laden Sie die 20 Beispielköpfe herunter: Jedes GLB und FBX hat alle 52.

Gratis-Beispiele holenInhalt eines Kopfs