FaceNinja
Română
Creați un cont

Referință · ARKit · face tracking

Cele 52 de blendshape-uri ARKit, pe un cap real.

ARKit descrie o față prin 52 de blendshape-uri: ponderi de la 0 la 1 pentru mișcări precum jawOpen sau eyeBlinkLeft. Face tracking-ul unui iPhone trimite aceste ponderi, iar Live Link Face, aplicațiile de VTubing și engine-urile de jocuri le redau pe orice cap care are aceleași 52 de forme. Iată fiecare nume, ce mișcă și un cap care le are pe toate.

Gratuit Creați un cont gratuit și descărcați 20 capete MetaHuman de exemplu, de înaltă calitate: piele 4K, 52 de forme ARKit, GLB/FBX/MetaHuman ZIP.

Luați exemplele gratuiteVedeți exemplele

Toate cele 52, pe zone ale feței

Numele sunt exact cum le scrie Apple. Left și Right sunt stânga și dreapta feței, nu ale privitorului.

Ochi14 de forme

  1. eyeBlinkLeft
    eyeBlinkRight    Închide pleoapa.
  2. eyeLookDownLeft
    eyeLookDownRight    Pleoapele urmează privirea în jos.
  3. eyeLookInLeft
    eyeLookInRight    Pleoapele urmează privirea spre nas.
  4. eyeLookOutLeft
    eyeLookOutRight    Pleoapele urmează privirea în afară, dinspre nas.
  5. eyeLookUpLeft
    eyeLookUpRight    Pleoapele urmează privirea în sus.
  6. eyeSquintLeft
    eyeSquintRight    Îngustează ochiul: pleoapa de jos și obrazul se ridică.
  7. eyeWideLeft
    eyeWideRight    Deschide larg ochiul: pleoapa de sus se ridică.

Maxilar4 de forme

  1. jawForwardÎmpinge maxilarul înainte.
  2. jawLeftMută maxilarul spre stânga feței.
  3. jawRightMută maxilarul spre dreapta feței.
  4. jawOpenDeschide maxilarul.

Gură23 de forme

  1. mouthCloseÎnchide buzele cât timp maxilarul rămâne deschis; se folosește împreună cu jawOpen.
  2. mouthFunnelRotunjește buzele deschise ca o pâlnie, ca la „u”.
  3. mouthPuckerÎmpinge buzele închise înainte, ca pentru un sărut.
  4. mouthLeftMută ambele buze spre stânga feței.
  5. mouthRightMută ambele buze spre dreapta feței.
  6. mouthSmileLeft
    mouthSmileRight    Ridică colțul gurii.
  7. mouthFrownLeft
    mouthFrownRight    Coboară colțul gurii.
  8. mouthDimpleLeft
    mouthDimpleRight    Trage colțul gurii înapoi, spre gropiță.
  9. mouthStretchLeft
    mouthStretchRight    Întinde colțul gurii lateral și în jos.
  10. mouthRollLowerRulează buza de jos spre interior, peste dinți.
  11. mouthRollUpperRulează buza de sus spre interior, peste dinți.
  12. mouthShrugLowerÎmpinge buza de jos în sus și în afară.
  13. mouthShrugUpperÎmpinge buza de sus în sus și în afară.
  14. mouthPressLeft
    mouthPressRight    Apasă buza de jos în sus, pe buza de sus, pe acea parte.
  15. mouthLowerDownLeft
    mouthLowerDownRight    Trage buza de jos în jos, pe acea parte.
  16. mouthUpperUpLeft
    mouthUpperUpRight    Ridică buza de sus, pe acea parte.

Sprâncene5 de forme

  1. browDownLeft
    browDownRight    Coboară partea exterioară a sprâncenei.
  2. browInnerUpRidică capetele interioare ale ambelor sprâncene.
  3. browOuterUpLeft
    browOuterUpRight    Ridică partea exterioară a sprâncenei.

Obraji3 de forme

  1. cheekPuffUmflă ambii obraji.
  2. cheekSquintLeft
    cheekSquintRight    Ridică obrazul în jurul pleoapei de jos.

Nas2 de forme

  1. noseSneerLeft
    noseSneerRight    Ridică latura nasului, ca într-o grimasă de dispreț.

Limbă1 de forme

  1. tongueOutScoate limba din gură.

Sursa numelor: documentația ARKit de la Apple.

Mișcați formele pe un cap real

Acestea sunt capetele de exemplu, așa cum le-a creat FaceNinja, fiecare dintr-o fotografie. Încărcați unul și trageți glisoarele: fiecare glisor este o formă ARKit pe acea față, iar expresiile combină mai multe.

Banc de inspecțieImagine statică

Capete de probă

Capul 3D MetaHuman creat de FaceNinja din fotografia S-07
Expresie
Vedere
Iluminare

Valori ARKit

Valorile urmează expresia. Trageți un glisor ca să setați o formă.

Persoană sinteticăPrevizualizarea este comprimată pentru web. Descărcarea conține hărțile 4K complete.

Șase expresii și formele care le compun

O expresie este o combinație de forme. Fiecare imagine de mai jos este exemplul S-16 cu formele de sub ea activate; fața neutră nu are niciuna.

  • Exemplul S-16, o persoană sintetică, cu NeutruNeutru
    —
  • Exemplul S-16, o persoană sintetică, cu mouthSmileLeft, mouthSmileRightZâmbet
    mouthSmileLeft mouthSmileRight
  • Exemplul S-16, o persoană sintetică, cu jawOpen, browInnerUpSurpriză
    jawOpen browInnerUp
  • Exemplul S-16, o persoană sintetică, cu browDownLeft, mouthFrownLeftÎncruntat
    browDownLeft mouthFrownLeft
  • Exemplul S-16, o persoană sintetică, cu mouthPuckermouthPucker
  • Exemplul S-16, o persoană sintetică, cu eyeBlinkLefteyeBlinkLeft

De ce tongueOut are nevoie de o limbă

tongueOut se vede doar pe un cap cu limbă și cu o gură care se deschide suficient. Capetele FaceNinja le au pe amândouă, așa că GLB-ul și FBX-ul conțin toate cele 52 de forme, inclusiv tongueOut.

Perfect Sync: cele 52 de forme în VTubing

În VTubing, un avatar cu toate cele 52 de forme ARKit se numește Perfect Sync (パーフェクトシンク): tracking-ul de pe un iPhone controlează direct fiecare formă, în loc de câteva presetări. Aplicațiile bazate pe VRM au nevoie de un fișier VRM, pe care FaceNinja nu îl creează. Creator Kit-ul nostru gratuit merge pe cealaltă cale: capul dumneavoastră devine un MetaHuman în Unreal Engine, controlat de Live Link Face sau de un webcam.

Creator Kit

Unde se află cele 52 de forme în fiecare engine

Aceleași 52 de nume în patru engine-uri
EngineUnde sunt formeleNotă
Unreal EngineMorph targets pe Skeletal Mesh; Live Link Face le controlează după nume.Importați cu morph targets activate și bifați Used with Morph Targets pe materialele capului (documentație EN).
UnityBlend shapes pe Skinned Mesh Renderer, din FBX.Import BlendShapes este activat implicit în setările de import ale modelului.
Godot 4Blend shapes pe MeshInstance3D, din GLB.find_blend_shape_by_name() dă indexul pentru set_blend_shape_value().
three.jsmesh.morphTargetDictionary asociază fiecare nume cu indexul său din mesh.morphTargetInfluences.Încărcați GLB-ul cu GLTFLoader.
Ghidul pas cu pas pentru Unity, Godot și three.js

Întrebări despre blendshape-urile ARKit

01Ce sunt blendshape-urile ARKit?
Cele 52 de mișcări faciale cu nume, definite de Apple pentru face tracking pe iPhone și iPad. Fiecare este o pondere de la 0 la 1, iar orice expresie este o combinație a lor.
02Câte blendshape-uri ARKit există?
52: 14 pentru ochi, 4 pentru maxilar, 23 pentru gură, 5 pentru sprâncene, 3 pentru obraji, 2 pentru nas și 1 pentru limbă.
03Am nevoie de un iPhone?
Ca să captați toate cele 52 în timp real, aveți nevoie de un dispozitiv cu face tracking de la Apple, cum ar fi un iPhone cu Face ID; Live Link Face îl folosește. Ca să le redați, merge orice engine care citește blendshape-uri, fără iPhone.
04Capetele FaceNinja includ tongueOut?
Da. GLB-ul și FBX-ul conțin toate cele 52 de forme, inclusiv tongueOut, create pentru fiecare față.
05Ce este Perfect Sync?
Un termen din VTubing pentru un avatar care are toate cele 52 de forme ARKit, astfel încât face tracking-ul controlează direct fiecare formă.
06Pot încerca un cap cu toate cele 52 de forme?
Da. Creați un cont gratuit și descărcați cele 20 de capete de exemplu: fiecare GLB și FBX le are pe toate cele 52.

Pot încerca un cap cu toate cele 52 de forme?

Da. Creați un cont gratuit și descărcați cele 20 de capete de exemplu: fiecare GLB și FBX le are pe toate cele 52.

Luați exemplele gratuiteCe conține un cap