FaceNinja

Referensi · ARKit · face tracking

52 blendshape ARKit, pada kepala sungguhan.

ARKit menggambarkan wajah dengan 52 blendshape: bobot dari 0 sampai 1 untuk gerakan seperti jawOpen atau eyeBlinkLeft. Face tracking iPhone mengirim bobot ini, lalu Live Link Face, aplikasi VTuber, dan game engine memutarnya kembali pada kepala mana pun yang punya 52 shape yang sama. Berikut setiap nama, apa yang digerakkannya, dan kepala yang memiliki semuanya.

Gratis Buat akun gratis dan unduh 20 kepala contoh MetaHuman berkualitas tinggi: kulit 4K, 52 blendshape ARKit, GLB/FBX/MetaHuman ZIP.

Semua 52, per bagian wajah

Nama-namanya persis seperti yang ditulis Apple. Left dan Right adalah kiri dan kanan wajah itu sendiri, bukan kiri dan kanan yang melihat.

Mata14 shape

  1. eyeBlinkLeft
    eyeBlinkRight
    Menutup kelopak mata.
  2. eyeLookDownLeft
    eyeLookDownRight
    Kelopak mengikuti pandangan ke bawah.
  3. eyeLookInLeft
    eyeLookInRight
    Kelopak mengikuti pandangan ke arah hidung.
  4. eyeLookOutLeft
    eyeLookOutRight
    Kelopak mengikuti pandangan menjauhi hidung.
  5. eyeLookUpLeft
    eyeLookUpRight
    Kelopak mengikuti pandangan ke atas.
  6. eyeSquintLeft
    eyeSquintRight
    Menyipitkan mata: kelopak bawah dan pipi naik.
  7. eyeWideLeft
    eyeWideRight
    Membuka mata lebar: kelopak atas naik.

Rahang4 shape

  1. jawForwardMendorong rahang ke depan.
  2. jawLeftMenggeser rahang ke kiri wajah.
  3. jawRightMenggeser rahang ke kanan wajah.
  4. jawOpenMembuka rahang.

Mulut23 shape

  1. mouthCloseMenutup bibir sementara rahang tetap terbuka; dipakai bersama jawOpen.
  2. mouthFunnelMembulatkan bibir yang terbuka menjadi corong, seperti saat mengucapkan "u".
  3. mouthPuckerMendorong bibir yang tertutup ke depan, seperti mencium.
  4. mouthLeftMenggeser kedua bibir ke kiri wajah.
  5. mouthRightMenggeser kedua bibir ke kanan wajah.
  6. mouthSmileLeft
    mouthSmileRight
    Menaikkan sudut mulut.
  7. mouthFrownLeft
    mouthFrownRight
    Menurunkan sudut mulut.
  8. mouthDimpleLeft
    mouthDimpleRight
    Menarik sudut mulut ke belakang, ke arah lesung pipi.
  9. mouthStretchLeft
    mouthStretchRight
    Meregangkan sudut mulut ke samping dan ke bawah.
  10. mouthRollLowerMenggulung bibir bawah ke dalam, menutupi gigi.
  11. mouthRollUpperMenggulung bibir atas ke dalam, menutupi gigi.
  12. mouthShrugLowerMendorong bibir bawah ke atas dan ke luar.
  13. mouthShrugUpperMendorong bibir atas ke atas dan ke luar.
  14. mouthPressLeft
    mouthPressRight
    Menekan bibir bawah ke bibir atas di sisi itu.
  15. mouthLowerDownLeft
    mouthLowerDownRight
    Menarik bibir bawah ke bawah di sisi itu.
  16. mouthUpperUpLeft
    mouthUpperUpRight
    Menaikkan bibir atas di sisi itu.

Alis5 shape

  1. browDownLeft
    browDownRight
    Menurunkan bagian luar alis.
  2. browInnerUpMenaikkan ujung dalam kedua alis.
  3. browOuterUpLeft
    browOuterUpRight
    Menaikkan bagian luar alis.

Pipi3 shape

  1. cheekPuffMenggembungkan kedua pipi.
  2. cheekSquintLeft
    cheekSquintRight
    Menaikkan pipi di sekitar kelopak mata bawah.

Hidung2 shape

  1. noseSneerLeft
    noseSneerRight
    Menaikkan sisi hidung, seperti saat mencibir.

Lidah1 shape

  1. tongueOutMenjulurkan lidah keluar dari mulut.

Sumber nama: dokumentasi ARKit dari Apple.

Gerakkan shape pada kepala sungguhan

Ini adalah kepala contoh, persis seperti yang dibuat FaceNinja dari masing-masing satu foto. Muat salah satunya dan geser slidernya: setiap slider adalah satu shape ARKit pada wajah itu, dan ekspresinya memadukan beberapa shape.

Meja inspeksiGambar diam

Kepala contoh

Kepala 3D MetaHuman yang dibuat FaceNinja dari foto S-07

Tombol panah memutar kepala. Plus dan minus untuk zoom. Nol mereset tampilan. Escape menutup penampil.

Ekspresi
Tampilan
Pencahayaan

Bacaan ARKit

Nilai mengikuti ekspresi. Seret slider untuk mengatur satu shape.

Orang sintetisPratinjau dikompresi untuk web. File unduhannya memuat map 4K penuh.

Enam ekspresi, dan shape yang membentuknya

Ekspresi adalah perpaduan beberapa shape. Setiap gambar diam di bawah adalah contoh S-16 dengan shape yang tercantum di bawahnya dinaikkan; wajah netral tidak memakai satu pun.

  • Contoh S-16, orang sintetis, dengan NetralNetral
    —
  • Contoh S-16, orang sintetis, dengan mouthSmileLeft, mouthSmileRightSenyum
    mouthSmileLeft mouthSmileRight
  • Contoh S-16, orang sintetis, dengan jawOpen, browInnerUpTerkejut
    jawOpen browInnerUp
  • Contoh S-16, orang sintetis, dengan browDownLeft, mouthFrownLeftCemberut
    browDownLeft mouthFrownLeft
  • Contoh S-16, orang sintetis, dengan mouthPuckermouthPucker
  • Contoh S-16, orang sintetis, dengan eyeBlinkLefteyeBlinkLeft

Mengapa tongueOut butuh lidah

tongueOut hanya terlihat pada kepala yang punya lidah dan mulut yang bisa terbuka cukup lebar. Kepala FaceNinja punya keduanya, jadi GLB dan FBX membawa semua 52 shape, termasuk tongueOut.

Perfect Sync: 52 shape dalam dunia VTuber

Dalam dunia VTuber, avatar dengan semua 52 shape ARKit disebut Perfect Sync (パーフェクトシンク): tracking dari iPhone menggerakkan setiap shape secara langsung, bukan beberapa preset. Aplikasi berbasis VRM memerlukan file VRM, yang tidak dibuat FaceNinja. Creator Kit gratis kami menempuh jalan lain: kepala Anda menjadi MetaHuman di Unreal Engine, digerakkan oleh Live Link Face atau webcam.

Letak 52 shape di setiap engine

52 nama yang sama di empat engine
EngineLetak shape-nyaCatatan
Unreal EngineMorph target pada Skeletal Mesh; Live Link Face menggerakkannya berdasarkan nama.Impor dengan morph target aktif, dan centang Used with Morph Targets pada material kepala (dokumentasi EN).
UnityBlend shape pada Skinned Mesh Renderer, dari FBX.Import BlendShapes aktif secara default di pengaturan impor model.
Godot 4Blend shape pada MeshInstance3D, dari GLB.find_blend_shape_by_name() memberi indeks untuk set_blend_shape_value().
three.jsmesh.morphTargetDictionary memetakan setiap nama ke indeksnya di mesh.morphTargetInfluences.Muat GLB dengan GLTFLoader.

Pertanyaan tentang blendshape ARKit

01Apa itu blendshape ARKit?
52 gerakan wajah bernama yang didefinisikan Apple untuk face tracking di iPhone dan iPad. Masing-masing berupa bobot dari 0 sampai 1, dan setiap ekspresi adalah perpaduannya.
02Ada berapa blendshape ARKit?
52: 14 untuk mata, 4 untuk rahang, 23 untuk mulut, 5 untuk alis, 3 untuk pipi, 2 untuk hidung, dan 1 untuk lidah.
03Apakah saya perlu iPhone?
Untuk menangkap ke-52-nya secara langsung, Anda memerlukan perangkat dengan face tracking Apple, seperti iPhone dengan Face ID; Live Link Face memakainya. Untuk memutarnya kembali, engine apa pun yang membaca blendshape bisa dipakai, tanpa iPhone.
04Apakah kepala FaceNinja menyertakan tongueOut?
Ya. GLB dan FBX membawa semua 52 shape, termasuk tongueOut, dibuat untuk setiap wajah.
05Apa itu Perfect Sync?
Istilah dunia VTuber untuk avatar yang memiliki semua 52 shape ARKit, sehingga face tracking menggerakkan setiap shape secara langsung.
06Bisakah saya mencoba kepala dengan semua 52 shape?
Bisa. Daftar gratis dan unduh 20 kepala contoh: setiap GLB dan FBX memiliki ke-52-nya.

Bisakah saya mencoba kepala dengan semua 52 shape?

Bisa. Daftar gratis dan unduh 20 kepala contoh: setiap GLB dan FBX memiliki ke-52-nya.