FaceNinja
Dansk
Opret en konto

Reference · ARKit · ansigtstracking

De 52 ARKit-blendshapes på et rigtigt hoved.

ARKit beskriver et ansigt med 52 blendshapes: vægte fra 0 til 1 for bevægelser som jawOpen eller eyeBlinkLeft. En iPhones ansigtstracking sender disse vægte, og Live Link Face, VTubing-apps og spilmotorer afspiller dem på ethvert hoved, der har de samme 52 blendshapes. Her er hvert navn, hvad det flytter, og et hoved, der har dem alle.

Gratis Opret en gratis konto og hent 20 MetaHuman-eksempelhoveder i høj kvalitet: 4K-hud, 52 ARKit-blendshapes, GLB/FBX/MetaHuman ZIP.

Hent de gratis eksemplerSe eksemplerne

Alle 52, efter del af ansigtet

Navnene står præcis, som Apple skriver dem. Left og Right er ansigtets egen venstre og højre side, ikke beskuerens.

Øjne14 blendshapes

  1. eyeBlinkLeft
    eyeBlinkRight    Lukker øjenlåget.
  2. eyeLookDownLeft
    eyeLookDownRight    Øjenlågene følger et blik nedad.
  3. eyeLookInLeft
    eyeLookInRight    Øjenlågene følger et blik mod næsen.
  4. eyeLookOutLeft
    eyeLookOutRight    Øjenlågene følger et blik væk fra næsen.
  5. eyeLookUpLeft
    eyeLookUpRight    Øjenlågene følger et blik opad.
  6. eyeSquintLeft
    eyeSquintRight    Knibser øjet sammen: det nederste øjenlåg og kinden løftes.
  7. eyeWideLeft
    eyeWideRight    Spiler øjet op: det øverste øjenlåg løftes.

Kæbe4 blendshapes

  1. jawForwardSkubber kæben frem.
  2. jawLeftFlytter kæben mod ansigtets venstre side.
  3. jawRightFlytter kæben mod ansigtets højre side.
  4. jawOpenÅbner kæben.

Mund23 blendshapes

  1. mouthCloseLukker læberne, mens kæben er åben; bruges sammen med jawOpen.
  2. mouthFunnelFormer de åbne læber til en tragt, som i »o«.
  3. mouthPuckerSkubber de lukkede læber frem, som ved et kys.
  4. mouthLeftFlytter begge læber mod ansigtets venstre side.
  5. mouthRightFlytter begge læber mod ansigtets højre side.
  6. mouthSmileLeft
    mouthSmileRight    Løfter mundvigen.
  7. mouthFrownLeft
    mouthFrownRight    Sænker mundvigen.
  8. mouthDimpleLeft
    mouthDimpleRight    Trækker mundvigen bagud, mod smilehullet.
  9. mouthStretchLeft
    mouthStretchRight    Strækker mundvigen til siden og nedad.
  10. mouthRollLowerRuller underlæben ind over tænderne.
  11. mouthRollUpperRuller overlæben ind over tænderne.
  12. mouthShrugLowerSkubber underlæben op og ud.
  13. mouthShrugUpperSkubber overlæben op og ud.
  14. mouthPressLeft
    mouthPressRight    Presser underlæben op mod overlæben i den side.
  15. mouthLowerDownLeft
    mouthLowerDownRight    Trækker underlæben ned i den side.
  16. mouthUpperUpLeft
    mouthUpperUpRight    Løfter overlæben i den side.

Bryn5 blendshapes

  1. browDownLeft
    browDownRight    Sænker den yderste del af øjenbrynet.
  2. browInnerUpLøfter de inderste ender af begge øjenbryn.
  3. browOuterUpLeft
    browOuterUpRight    Løfter den yderste del af øjenbrynet.

Kinder3 blendshapes

  1. cheekPuffPuster begge kinder ud.
  2. cheekSquintLeft
    cheekSquintRight    Løfter kinden omkring det nederste øjenlåg.

Næse2 blendshapes

  1. noseSneerLeft
    noseSneerRight    Løfter siden af næsen, som ved en hånlig grimasse.

Tunge1 blendshapes

  1. tongueOutRækker tungen ud af munden.

Kilde til navnene: Apples ARKit-dokumentation.

Bevæg blendshapes på et rigtigt hoved

Det er eksempelhovederne, som FaceNinja lavede dem ud fra ét foto hver. Indlæs et, og træk i skyderne: hver skyder er én ARKit-blendshape på netop det ansigt, og udtrykkene blander flere.

InspektionsbænkStillbillede

Eksempelhoveder

MetaHuman-hovedet i 3D, som FaceNinja lavede ud fra foto S-07
Udtryk
Visning
Lys

ARKit-aflæsning

Værdierne følger udtrykket. Træk i en skyder for at sætte én form.

Syntetisk personForhåndsvisningen er komprimeret til nettet. Downloaden har de fulde 4K-maps.

Seks udtryk, og de blendshapes, der skaber dem

Et udtryk er en blanding af blendshapes. Hvert stillbillede herunder er eksempel S-16 med de blendshapes, der står under det, skruet op; det neutrale ansigt har ingen.

  • Eksempel S-16, en syntetisk person, med NeutralNeutral
    —
  • Eksempel S-16, en syntetisk person, med mouthSmileLeft, mouthSmileRightSmil
    mouthSmileLeft mouthSmileRight
  • Eksempel S-16, en syntetisk person, med jawOpen, browInnerUpOverrasket
    jawOpen browInnerUp
  • Eksempel S-16, en syntetisk person, med browDownLeft, mouthFrownLeftPanderynk
    browDownLeft mouthFrownLeft
  • Eksempel S-16, en syntetisk person, med mouthPuckermouthPucker
  • Eksempel S-16, en syntetisk person, med eyeBlinkLefteyeBlinkLeft

Hvorfor tongueOut kræver en tunge

tongueOut ses kun på et hoved med en tunge og en mund, der åbner langt nok. FaceNinjas hoveder har begge dele, så GLB og FBX indeholder alle 52 blendshapes, tongueOut medregnet.

Perfect Sync: de 52 blendshapes i VTubing

I VTubing kaldes en avatar med alle 52 ARKit-blendshapes Perfect Sync (パーフェクトシンク): tracking fra en iPhone styrer hver blendshape direkte i stedet for nogle få forudindstillinger. Apps bygget på VRM skal have en VRM-fil, og den laver FaceNinja ikke. Vores gratis Creator Kit går den anden vej: dit hoved bliver en MetaHuman i Unreal Engine, styret af Live Link Face eller et webcam.

Creator Kit

Hvor de 52 blendshapes ligger i hver motor

De samme 52 navne i fire motorer
MotorHvor blendshapes liggerBemærk
Unreal EngineMorph targets på Skeletal Mesh; Live Link Face styrer dem ved navn.Importér med morph targets slået til, og sæt flueben ved Used with Morph Targets på hovedets materialer (dokumentation EN).
UnityBlend shapes på Skinned Mesh Renderer, fra FBX-filen.Import BlendShapes er slået til som standard i modellens importindstillinger.
Godot 4Blend shapes på MeshInstance3D, fra GLB-filen.find_blend_shape_by_name() giver indekset til set_blend_shape_value().
three.jsmesh.morphTargetDictionary knytter hvert navn til dets indeks i mesh.morphTargetInfluences.Indlæs GLB-filen med GLTFLoader.
Trin-for-trin-guiden til Unity, Godot og three.js

Spørgsmål om ARKit-blendshapes

01Hvad er ARKit-blendshapes?
De 52 navngivne ansigtsbevægelser, som Apple definerede til ansigtstracking på iPhone og iPad. Hver er en vægt fra 0 til 1, og ethvert udtryk er en blanding af dem.
02Hvor mange ARKit-blendshapes er der?
52: 14 til øjnene, 4 til kæben, 23 til munden, 5 til brynene, 3 til kinderne, 2 til næsen og 1 til tungen.
03Skal jeg have en iPhone?
For at optage alle 52 live skal du have en enhed med Apples ansigtstracking, for eksempel en iPhone med Face ID; Live Link Face bruger den. Til afspilning virker enhver motor, der læser blendshapes, uden iPhone.
04Har FaceNinjas hoveder tongueOut?
Ja. GLB og FBX indeholder alle 52 blendshapes, tongueOut medregnet, lavet til hvert ansigt.
05Hvad er Perfect Sync?
Et VTubing-udtryk for en avatar med alle 52 ARKit-blendshapes, så ansigtstracking styrer hver enkelt direkte.
06Kan jeg prøve et hoved med alle 52 blendshapes?
Ja. Tilmeld dig gratis, og hent de 20 eksempelhoveder: hver GLB og FBX har alle 52.

Kan jeg prøve et hoved med alle 52 blendshapes?

Ja. Tilmeld dig gratis, og hent de 20 eksempelhoveder: hver GLB og FBX har alle 52.

Hent de gratis eksemplerHovedets indhold