FaceNinja
日本語
アカウントを作成

リファレンス · ARKit · フェイストラッキング

ARKitブレンドシェイプ52種を、実際のヘッドで。

ARKitは顔を52のブレンドシェイプで表します。jawOpenやeyeBlinkLeftのような動きごとの、0から1までのウェイトです。iPhoneのフェイストラッキングがこのウェイトを送り、Live Link Face、VTuberアプリ、ゲームエンジンが、同じ52のシェイプを持つどのヘッドでもそれを再生します。ここでは、すべての名前と動かす部分、そして52種すべてを持つヘッドを紹介します。

無料 無料でアカウントを作成すると、高品質なMetaHumanサンプルヘッドを20個ダウンロードできます。4Kの肌、ARKitブレンドシェイプ52種、GLB/FBX/MetaHuman ZIP。

無料サンプルを入手サンプルを見る

52種すべてを顔の部位ごとに

名前はAppleの表記どおりです。LeftとRightは、見る人から見た左右ではなく、顔自身の左右です。

目14種

  1. eyeBlinkLeft
    eyeBlinkRight    まぶたを閉じる。
  2. eyeLookDownLeft
    eyeLookDownRight    下を見る視線に、まぶたが追従する。
  3. eyeLookInLeft
    eyeLookInRight    鼻の方を見る視線に、まぶたが追従する。
  4. eyeLookOutLeft
    eyeLookOutRight    鼻と反対の方を見る視線に、まぶたが追従する。
  5. eyeLookUpLeft
    eyeLookUpRight    上を見る視線に、まぶたが追従する。
  6. eyeSquintLeft
    eyeSquintRight    目を細める：下まぶたと頬が上がる。
  7. eyeWideLeft
    eyeWideRight    目を大きく開く：上まぶたが上がる。

顎4種

  1. jawForward顎を前に出す。
  2. jawLeft顎を顔の左側へ動かす。
  3. jawRight顎を顔の右側へ動かす。
  4. jawOpen顎を開く。

口23種

  1. mouthClose顎を開いたまま唇を閉じる。jawOpenと組み合わせて使う。
  2. mouthFunnel開いた唇を「う」のように丸め、漏斗の形にする。
  3. mouthPucker閉じた唇を、キスのように前に突き出す。
  4. mouthLeft両唇を顔の左側へ動かす。
  5. mouthRight両唇を顔の右側へ動かす。
  6. mouthSmileLeft
    mouthSmileRight    口角を上げる。
  7. mouthFrownLeft
    mouthFrownRight    口角を下げる。
  8. mouthDimpleLeft
    mouthDimpleRight    口角を、えくぼの方へ後ろに引く。
  9. mouthStretchLeft
    mouthStretchRight    口角を横と下に引き伸ばす。
  10. mouthRollLower下唇を、歯にかぶせるように内側へ巻き込む。
  11. mouthRollUpper上唇を、歯にかぶせるように内側へ巻き込む。
  12. mouthShrugLower下唇を上と外に押し出す。
  13. mouthShrugUpper上唇を上と外に押し出す。
  14. mouthPressLeft
    mouthPressRight    その側の下唇を上唇に押しつける。
  15. mouthLowerDownLeft
    mouthLowerDownRight    その側の下唇を下げる。
  16. mouthUpperUpLeft
    mouthUpperUpRight    その側の上唇を上げる。

眉5種

  1. browDownLeft
    browDownRight    眉の外側を下げる。
  2. browInnerUp両眉の内側の端を上げる。
  3. browOuterUpLeft
    browOuterUpRight    眉の外側を上げる。

頬3種

  1. cheekPuff両頬をふくらませる。
  2. cheekSquintLeft
    cheekSquintRight    下まぶたのまわりの頬を上げる。

鼻2種

  1. noseSneerLeft
    noseSneerRight    冷笑するときのように小鼻を上げる。

舌1種

  1. tongueOut舌を口の外に出す。

名前の出典：AppleのARKitドキュメント。

実際のヘッドでシェイプを動かす

これらはサンプルヘッドで、FaceNinjaがそれぞれ写真1枚から作ったものです。1つ読み込んでスライダーをドラッグしてください。スライダー1つがその顔のARKitシェイプ1つで、表情はいくつかのシェイプの組み合わせです。

検査台静止画

サンプルのヘッド

S-07の写真からFaceNinjaが作った、MetaHumanの3Dヘッド
表情
視点
照明

ARKitの値

値は表情に連動します。スライダーで1つのシェイプを調整できます。

生成された人物プレビューはWeb向けに圧縮されています。ダウンロードには4Kのマップがそのまま入っています。

6つの表情と、それを作るシェイプ

表情はシェイプの組み合わせです。下の各静止画は、サンプルS-16で、その下に書いたシェイプを強めたものです。無表情の顔には、シェイプはかかっていません。

  • サンプルS-16（生成された人物）、無表情無表情
    —
  • サンプルS-16（生成された人物）、mouthSmileLeft, mouthSmileRight笑顔
    mouthSmileLeft mouthSmileRight
  • サンプルS-16（生成された人物）、jawOpen, browInnerUp驚き
    jawOpen browInnerUp
  • サンプルS-16（生成された人物）、browDownLeft, mouthFrownLeftしかめ面
    browDownLeft mouthFrownLeft
  • サンプルS-16（生成された人物）、mouthPuckermouthPucker
  • サンプルS-16（生成された人物）、eyeBlinkLefteyeBlinkLeft

tongueOutに舌が必要な理由

tongueOutは、舌があり、口が十分に開くヘッドでしか見えません。FaceNinjaのヘッドはその両方を備えているので、GLBとFBXにtongueOutを含む52種すべてが入っています。

パーフェクトシンク：VTuberでの52のシェイプ

VTuberの世界では、ARKitシェイプ52種をすべて持つアバターをパーフェクトシンク（Perfect Sync）と呼びます。いくつかのプリセットではなく、iPhoneのトラッキングが各シェイプを直接動かします。VRMベースのアプリにはVRMファイルが必要ですが、FaceNinjaはVRMファイルを作りません。無料のCreator Kitは別のルートを取ります。あなたのヘッドがUnreal EngineのMetaHumanになり、Live Link FaceやWebカメラで動きます。

Creator Kit

各エンジンでの52のシェイプの場所

4つのエンジンでの同じ52の名前
エンジンシェイプの場所メモ
Unreal EngineSkeletal Meshのモーフターゲット。Live Link Faceが名前で動かします。モーフターゲットを有効にして読み込み、ヘッドのマテリアルでUsed with Morph Targetsにチェックを入れます（ドキュメント EN）。
UnityFBXから読み込まれる、Skinned Mesh Rendererのブレンドシェイプ。モデルのインポート設定で、Import BlendShapesはデフォルトでオンです。
Godot 4GLBから読み込まれる、MeshInstance3Dのブレンドシェイプ。find_blend_shape_by_name()で、set_blend_shape_value()に渡すインデックスが得られます。
three.jsmesh.morphTargetDictionaryが、各名前をmesh.morphTargetInfluencesのインデックスに対応づけます。GLTFLoaderでGLBを読み込みます。
Unity、Godot、three.js向けの手順ガイド

ARKitブレンドシェイプについての質問

01ARKitブレンドシェイプとは何ですか？
AppleがiPhoneとiPadのフェイストラッキング用に定義した、名前つきの52の顔の動きです。それぞれ0から1までのウェイトで、どんな表情もその組み合わせで表せます。
02ARKitブレンドシェイプはいくつありますか？
52種です。目14、顎4、口23、眉5、頬3、鼻2、舌1。
03iPhoneは必要ですか？
52種すべてをリアルタイムでキャプチャするには、Face ID搭載のiPhoneなど、Appleのフェイストラッキングに対応したデバイスが必要です。Live Link Faceもこれを使います。再生だけなら、ブレンドシェイプを読めるエンジンであれば、iPhoneなしで動きます。
04FaceNinjaのヘッドにtongueOutは含まれますか？
はい。GLBとFBXには、tongueOutを含む52種すべてが、顔ごとに作られて入っています。
05パーフェクトシンクとは何ですか？
ARKitシェイプ52種をすべて持ち、フェイストラッキングが各シェイプを直接動かすアバターを指す、VTuberの用語です。
0652種すべてを持つヘッドを試せますか？
はい。無料で登録して、サンプルヘッド20個をダウンロードしてください。どのGLBとFBXにも52種すべてが入っています。

52種すべてを持つヘッドを試せますか？

はい。無料で登録して、サンプルヘッド20個をダウンロードしてください。どのGLBとFBXにも52種すべてが入っています。

無料サンプルを入手ヘッドの中身を見る