Tham khảo · ARKit · face tracking
52 blendshape ARKit, trên một đầu 3D thật.
ARKit mô tả một khuôn mặt bằng 52 blendshape: các trọng số từ 0 đến 1 cho những chuyển động như jawOpen hay eyeBlinkLeft. Face tracking của iPhone gửi các trọng số này, và Live Link Face, ứng dụng VTuber và game engine phát lại chúng trên bất kỳ đầu 3D nào có cùng 52 shape. Dưới đây là mọi tên gọi, thứ mà nó làm chuyển động, và một đầu 3D có đủ tất cả.
Miễn phí Tạo tài khoản miễn phí và tải về 20 đầu 3D MetaHuman mẫu chất lượng cao: da 4K, 52 blendshape ARKit, GLB/FBX/MetaHuman ZIP.
Đủ 52, theo từng vùng trên khuôn mặt
Tên giữ đúng như Apple viết. Left và Right là trái và phải của chính khuôn mặt, không phải của người xem.
Mắt14 shape
eyeBlinkLeftKhép mí mắt.
eyeBlinkRighteyeLookDownLeftMí mắt theo ánh nhìn xuống dưới.
eyeLookDownRighteyeLookInLeftMí mắt theo ánh nhìn về phía mũi.
eyeLookInRighteyeLookOutLeftMí mắt theo ánh nhìn ra xa mũi.
eyeLookOutRighteyeLookUpLeftMí mắt theo ánh nhìn lên trên.
eyeLookUpRighteyeSquintLeftNheo mắt: mí dưới và má nhô lên.
eyeSquintRighteyeWideLeftMở to mắt: mí trên nâng lên.
eyeWideRight
Hàm4 shape
jawForwardĐẩy hàm ra trước.jawLeftĐưa hàm sang bên trái của khuôn mặt.jawRightĐưa hàm sang bên phải của khuôn mặt.jawOpenMở hàm.
Miệng23 shape
mouthCloseKhép môi trong khi hàm vẫn mở; dùng cùng vớijawOpen.mouthFunnelTròn đôi môi đang mở thành hình phễu, như khi phát âm “u”.mouthPuckerĐẩy đôi môi đang khép ra trước, như khi hôn.mouthLeftĐưa cả hai môi sang bên trái của khuôn mặt.mouthRightĐưa cả hai môi sang bên phải của khuôn mặt.mouthSmileLeftNâng khóe miệng.
mouthSmileRightmouthFrownLeftHạ khóe miệng.
mouthFrownRightmouthDimpleLeftKéo khóe miệng ra sau, về phía lúm đồng tiền.
mouthDimpleRightmouthStretchLeftKéo giãn khóe miệng sang ngang và xuống dưới.
mouthStretchRightmouthRollLowerCuộn môi dưới vào trong, phủ lên răng.mouthRollUpperCuộn môi trên vào trong, phủ lên răng.mouthShrugLowerĐẩy môi dưới lên và ra ngoài.mouthShrugUpperĐẩy môi trên lên và ra ngoài.mouthPressLeftÉp môi dưới lên môi trên ở bên đó.
mouthPressRightmouthLowerDownLeftKéo môi dưới xuống ở bên đó.
mouthLowerDownRightmouthUpperUpLeftNâng môi trên ở bên đó.
mouthUpperUpRight
Lông mày5 shape
browDownLeftHạ phần ngoài của lông mày.
browDownRightbrowInnerUpNâng đầu trong của cả hai lông mày.browOuterUpLeftNâng phần ngoài của lông mày.
browOuterUpRight
Má3 shape
cheekPuffPhồng cả hai má.cheekSquintLeftNâng phần má quanh mí mắt dưới.
cheekSquintRight
Mũi2 shape
noseSneerLeftNâng cánh mũi, như khi nhăn mặt khinh bỉ.
noseSneerRight
Lưỡi1 shape
tongueOutĐẩy lưỡi ra khỏi miệng.
Nguồn tên gọi: tài liệu ARKit của Apple.
Điều khiển các shape trên một đầu 3D thật
Đây là các đầu 3D mẫu, đúng như FaceNinja dựng từ mỗi ảnh một đầu. Hãy tải một đầu và kéo thanh trượt: mỗi thanh trượt là một shape ARKit trên khuôn mặt đó, còn biểu cảm thì pha trộn nhiều shape.
Đầu 3D mẫu
Phím mũi tên xoay đầu. Phím cộng và trừ để thu phóng. Phím 0 đặt lại góc nhìn. Phím Escape thoát trình xem.
Số liệu ARKit
Các giá trị theo biểu cảm. Kéo một thanh trượt để đặt một shape.
Sáu biểu cảm, và các shape tạo nên chúng
Một biểu cảm là sự pha trộn của nhiều shape. Mỗi ảnh tĩnh bên dưới là mẫu S-16 với các shape ghi bên dưới được tăng lên; khuôn mặt trung tính không có shape nào.
Trung tính—
CườimouthSmileLeft mouthSmileRight
Ngạc nhiênjawOpen browInnerUp
Cau màybrowDownLeft mouthFrownLeft
mouthPucker
eyeBlinkLeft
Vì sao tongueOut cần có lưỡi
tongueOut chỉ hiện trên đầu 3D có lưỡi và có miệng mở đủ rộng. Đầu 3D của FaceNinja có cả hai, nên GLB và FBX mang đủ 52 shape, có cả tongueOut.
Perfect Sync: 52 shape trong giới VTuber
Trong giới VTuber, một avatar có đủ 52 shape ARKit được gọi là Perfect Sync (パーフェクトシンク): tracking từ iPhone điều khiển trực tiếp từng shape thay vì vài preset. Các ứng dụng xây trên VRM cần tệp VRM, thứ mà FaceNinja không làm. Creator Kit miễn phí của chúng tôi đi theo hướng khác: đầu 3D của bạn trở thành một MetaHuman trong Unreal Engine, được điều khiển bằng Live Link Face hoặc webcam.
52 shape nằm ở đâu trong từng engine
| Engine | Các shape nằm ở đâu | Ghi chú |
|---|---|---|
| Unreal Engine | Morph target trên Skeletal Mesh; Live Link Face điều khiển chúng theo tên. | Nhập với morph target được bật, và đánh dấu Used with Morph Targets trên các material của đầu 3D (tài liệu EN). |
| Unity | Blend shape trên Skinned Mesh Renderer, từ FBX. | Import BlendShapes được bật mặc định trong thiết lập nhập của model. |
| Godot 4 | Blend shape trên MeshInstance3D, từ GLB. | find_blend_shape_by_name() trả về chỉ số cho set_blend_shape_value(). |
| three.js | mesh.morphTargetDictionary ánh xạ mỗi tên sang chỉ số của nó trong mesh.morphTargetInfluences. | Tải GLB bằng GLTFLoader. |
Câu hỏi về blendshape ARKit
- 01Blendshape ARKit là gì?
- Là 52 chuyển động khuôn mặt có tên mà Apple định nghĩa cho face tracking trên iPhone và iPad. Mỗi cái là một trọng số từ 0 đến 1, và mọi biểu cảm đều là sự pha trộn của chúng.
- 02Có bao nhiêu blendshape ARKit?
- 52: 14 cho mắt, 4 cho hàm, 23 cho miệng, 5 cho lông mày, 3 cho má, 2 cho mũi và 1 cho lưỡi.
- 03Tôi có cần iPhone không?
- Để ghi lại đủ 52 shape theo thời gian thực, bạn cần một thiết bị có face tracking của Apple, như iPhone có Face ID; Live Link Face dùng chính tính năng này. Để phát lại, mọi engine đọc được blendshape đều dùng được, không cần iPhone.
- 04Đầu 3D của FaceNinja có
tongueOutkhông? - Có. GLB và FBX mang đủ 52 shape, có cả
tongueOut, được làm riêng cho từng khuôn mặt. - 05Perfect Sync là gì?
- Một thuật ngữ trong giới VTuber chỉ avatar có đủ 52 shape ARKit, để face tracking điều khiển trực tiếp từng shape.
- 06Tôi có thể thử một đầu 3D có đủ 52 shape không?
- Có. Hãy đăng ký miễn phí và tải 20 đầu 3D mẫu: mọi tệp GLB và FBX đều có đủ 52 shape.
Tôi có thể thử một đầu 3D có đủ 52 shape không?
Có. Hãy đăng ký miễn phí và tải 20 đầu 3D mẫu: mọi tệp GLB và FBX đều có đủ 52 shape.