FaceNinja

Creator Kit · cho VTuber · miễn phí

Khuôn mặt của bạn. Buổi stream của bạn.

Biến đầu 3D FaceNinja của bạn thành một MetaHuman biết nói và cử động theo bạn, trên một sân khấu nhỏ trong Unreal Engine 5.8. Agent lập trình của bạn dựng nó từ bảy prompt. Bạn gõ, nó nói; bạn cười, nó cười. Sau đó bạn thu hình nó bằng OBS.

Phiên bản 0.3.1 · 6,6 MB · Giấy phép MIT · Windows và Mac

Dung lượng và SHA-256 cho script và agent: version.json

Bộ kit
Phiên bản0.3.1
Tải về6,6 MB · zip
Giấy phépMIT, miễn phí cho cả kênh có kiếm tiền
Cần cóUnreal Engine 5.8 (miễn phí), một đầu 3D FaceNinja và một agent lập trình dùng được MCP
Chạy trênWindows 10 hoặc 11, macOS 14 trở lên

Một ảnh, rồi một đầu 3D biết nói.

Video demo Creator Kit
Một ảnh do AI tạo ra, rồi đầu 3D FaceNinja dựng từ ảnh đó, rồi chính đầu 3D ấy nói trong căn phòng của bộ kit, render trong Unreal 5.8. Câu đầu tiên: giọng Kokoro miễn phí cùng lip sync từ âm thanh miễn phí của Epic. Câu thứ hai: một giọng ElevenLabs cùng plugin Runtime MetaHuman Lip Sync trả phí. Đầu 3D đang nói là đầu ARKit của FaceNinja (52 blendshape) gắn trên thân và tóc của MetaHuman Creator, render offline.

Tất cả mọi người trong video này đều là người tổng hợp. Hãy dùng khuôn mặt và giọng nói của chính bạn, hoặc một nhân vật gốc.

Tải video (MP4, 7,3 MB)

Ba phần, một buổi tối.

  1. Đầu 3D của bạn

    Tạo một đầu 3D từ ảnh của bạn trong FaceNinja rồi tải MetaHuman ZIP về.

  2. Agent dựng sân khấu

    Giải nén bộ kit, mở agent lập trình của bạn trong thư mục đó và dán bảy prompt, từng cái một. Agent điều khiển Unreal thông qua máy chủ MCP của chính Unreal và các công cụ của bộ kit.

  3. Bạn lên sóng

    iPhone hoặc webcam của bạn điều khiển khuôn mặt. Gõ một câu và avatar của bạn nói câu đó. OBS thu lại cửa sổ.

Không phải viết code. Mỗi prompt kết thúc bằng một thứ bạn kiểm tra được.

Bản tải nhỏ, mọi thứ đã nối sẵn.

Một phòng stream

Một căn phòng nhỏ ấm cúng có sofa, giá sách, cây cảnh và đèn dịu, ba camera (cận mặt, nửa người, toàn cảnh) và một phông xanh bạn có thể bật.

MetaHuman của bạn

Một công cụ nhập MetaHuman ZIP của bạn, khớp khuôn mặt của MetaHuman Creator vào đó chính xác và chọn tóc, lông mày và lông mi gần nhất.

Face tracking

Live Link Face trên iPhone, hoặc face tracking bằng webcam của Epic.

Gõ để nói

Một bảng điều khiển nhỏ và một máy chủ giọng nói chạy trên máy tính của bạn. Giọng Kokoro miễn phí bắt đầu phát tiếng sau khoảng 0,1 s trên card đồ họa đời gần đây.

Sẵn sàng cho OBS

Chạy trong cửa sổ 1920×1080 để OBS thu cửa sổ, kèm phông xanh khi bạn muốn dùng nền riêng. NDI trên Mac và Spout trên Windows là các lựa chọn khác.

Cả đầu 3D GLB và FBX

Bộ kit cũng nhập được GLB hoặc FBX của đầu 3D bạn với 52 blendshape ARKit, đúng kích thước thật và với thiết lập material mà Unreal cần để hiển thị chúng.

Kèm ghi chú cho agent (AGENTS.md) và thiết lập MCP cho Claude Code, Codex, Cursor, VS Code và Gemini CLI.

Bạn cần gì.

Máy tính, phần mềm và tài khoản
Hạng mụcKhuyến nghịTối thiểu
Máy tínhWindows 11 với NVIDIA RTX 3070 trở lên, hoặc Mac M2 Max trở lên với 32 GB bộ nhớPC có card RTX và 16 GB RAM, hoặc Mac M1 trở lên với 16 GB (tốc độ khung hình thấp hơn)
Ổ đĩaTrống 150 GBTrống 100 GB
Phần mềmUnreal Engine 5.8, OBS, một cáp âm thanh ảo (VB-CABLE hoặc BlackHole) và một agent lập trình. Prompt 1 sẽ cùng bạn kiểm tra và cài chúng.
Tài khoảnFaceNinja, và một tài khoản Epic Games miễn phí cho rig của MetaHuman Creator
Tùy chọniPhone 12 trở lên với ứng dụng Live Link Face miễn phíMột webcam

Mặc định là miễn phí.

Miễn phí

  • Bộ kit (giấy phép MIT)
  • Unreal Engine 5.8, MetaHuman Creator và Live Link Face
  • Lip sync từ âm thanh của Epic
  • OBS, BlackHole và VB-CABLE (hoan nghênh quyên góp)
  • Giọng Kokoro và Chatterbox, chạy trên máy tính của bạn

Trả phí, chỉ khi bạn chọn

  • Đầu 3D FaceNinja của bạn, tính bằng credit (bảng giá)
  • Giọng ElevenLabs, dùng tài khoản ElevenLabs của chính bạn và do ElevenLabs tính phí theo ký tự
  • Plugin Runtime MetaHuman Lip Sync trên Fab: khoảng 280 US$ mỗi seat cho creator có thu nhập dưới 100.000 US$ một năm, 840 US$ nếu trên mức đó

Unreal không thu royalty trên video phát trực tiếp hoặc video đã ghi. Giá sản phẩm của các công ty khác tính đến tháng 10 năm 2026; hãy kiểm tra trang của họ.

Chép, dán, kiểm tra.

Dán theo thứ tự, từng cái một, và đợi đến khi agent của bạn xong. Mỗi prompt kết thúc bằng thứ bạn sẽ thấy.

Các prompt giữ nguyên bằng tiếng Anh ở mọi phiên bản ngôn ngữ, vì agent của bạn cần đúng tên công cụ và tên tệp. Bạn vẫn có thể nói chuyện với agent bằng ngôn ngữ của mình.

01 · Cài những thứ cần có

Thời gian: 20–90 phút, chủ yếu là tải về

Prompt · Tiếng Anh
I am setting up the FaceNinja Creator Kit in this folder. I do not write code, so explain each step in one short
sentence and ask me before anything that needs my password, installs a driver, or changes system settings.

1. Tell me my operating system, CPU, RAM, graphics card and free disk space, and compare them with the
   "What you need" table in GUIDE.md. Warn me if something is below the minimum.
2. Check what is installed and tell me what is missing:
   - Unreal Engine 5.8 (Windows: C:\Program Files\Epic Games\UE_5.8; Mac: /Users/Shared/Epic Games/UE_5.8).
     If it is missing, do not install it yourself: tell me to install Unreal Engine 5.8 from the Epic Games
     Launcher's Library tab (default options), and wait until I say it is done.
   - OBS Studio. Offer to install it (Windows: winget install OBSProject.OBSStudio; Mac: brew install --cask obs).
   - A virtual audio cable. Windows: VB-CABLE from https://vb-audio.com/Cable/ (I run its installer as
     administrator and restart). Mac: brew install --cask blackhole-2ch (it asks for my password).
     Only from these places.
   - uv (https://docs.astral.sh/uv/getting-started/installation/).
3. In tts/, make the voice environment: uv venv -p 3.11, then uv pip install -r requirements-kokoro.txt
   (on a PC with an NVIDIA card add --extra-index-url https://download.pytorch.org/whl/cu128).
4. Run uv run python server.py --list-devices in tts/ and show me the output devices.

End with a checklist: Unreal 5.8, OBS, virtual cable, voice environment, each with a tick or a cross.

Bạn sẽ thấy: bốn dấu tích: Unreal 5.8, OBS, cáp âm thanh và giọng nói.

02 · Kết nối agent với Unreal

Thời gian: 10–20 phút

Prompt · Tiếng Anh
Open the kit's Unreal project and connect to Unreal's own MCP server.

1. Open FaceNinjaCreatorKit/FaceNinjaCreatorKit.uproject with Unreal Engine 5.8 (Mac: open -a with
   "/Users/Shared/Epic Games/UE_5.8/Engine/Binaries/Mac/UnrealEditor.app" and the project path; Windows:
   "C:\Program Files\Epic Games\UE_5.8\Engine\Binaries\Win64\UnrealEditor.exe" with the project path).
   Tell me the first start takes several minutes while it compiles shaders.
2. The project starts Unreal's MCP server at http://127.0.0.1:8000/mcp. This folder already has the MCP
   settings for you (.mcp.json, .cursor, .vscode, .gemini, .codex). If you cannot see an "unreal-mcp" server,
   tell me how to reload your MCP settings, or add that URL yourself.
3. Wait until the server answers, then list the toolsets. You should find FaceNinjaKitTools. Describe it and
   tell me in one sentence per tool what you can now do for me.

Bạn sẽ thấy: agent của bạn liệt kê các công cụ FaceNinja.

03 · Dựng sân khấu của bạn

Thời gian: 2–5 phút

Prompt · Tiếng Anh
Using FaceNinjaKitTools in Unreal, build my streaming stage.

1. Call build_stage. It makes a small room with a sofa, a bookshelf, a plant, lights and three cameras.
2. Take a still from each camera with stage_screenshot (closeup, bust, wide) and show them to me.
3. Ask me which camera I want for streaming and call set_camera with it.

Bạn sẽ thấy: ba ảnh tĩnh của căn phòng.

04 · Nhập đầu 3D FaceNinja của bạn

Thời gian: 15–30 phút

Prompt · Tiếng Anh
Using FaceNinjaKitTools in Unreal, turn my FaceNinja head into a MetaHuman and put it on my stage.
My head ZIP is: <drag the ZIP file here>

1. Call import_head_zip with that path. Tell me which hair, brows and lashes it picked.
2. Tell me that the next step sends my head's shape (not my photos) to Epic's free MetaHuman service, and that
   a browser window may ask me to sign in to my Epic account. Wait for my OK.
3. Call preview_avatar so I can see my head in the room, and show me a stage_screenshot (bust camera).
4. Call rig_head, then download_head_textures. Tell me: "A browser opens Epic's sign-in page. Unreal stops
   answering until you sign in and approve it there; that is normal." Wait until I say I approved it, then
   check head_status every 30 seconds until rigged and high_res_textures are both true.
5. Once rigged: call build_metahuman, then place_avatar.
6. Take a stage_screenshot with the bust camera and show it to me.

Bạn sẽ thấy: MetaHuman của bạn trong căn phòng.

05 · Kết nối iPhone hoặc webcam

Thời gian: 10 phút

Prompt · Tiếng Anh
Using FaceNinjaKitTools in Unreal, connect my iPhone's Live Link Face app to my avatar.

1. Call my_ip_address. Tell me where to type it in the app (Settings > Live Link > Add Target, port 14785).
2. Ask me for the phone's IP address (Live Link Face shows it in its settings), then call connect_iphone.
3. Call connect_face with FN_iPhone, then play_in_window.
4. Ask me to smile, blink and turn my head, and whether the avatar follows. Ask before changing any firewall
   setting.

Bạn sẽ thấy: avatar bắt chước khuôn mặt của bạn.

06 · Gõ để nói

Thời gian: 10 phút

Prompt · Tiếng Anh
Start the kit's voice server and connect it to my avatar.

1. Ask me which voice I want:
   a. a free preset voice that runs on my computer (Kokoro, default),
   b. my own voice (Chatterbox): ask me to record 10-20 seconds of myself reading any text in a quiet room as
      tts/my_voice.wav, then set it up with requirements-chatterbox.txt,
   c. a studio voice from ElevenLabs: it needs my own ElevenLabs account, costs money per line and sends my text to ElevenLabs.
      Ask me to put my own ElevenLabs API key in the ELEVENLABS_API_KEY environment variable myself; never write it to a file.
2. In tts/ start the server in the background with my cable as --device ("BlackHole" on a Mac, "CABLE Input" on
   Windows):
   a. uv run python server.py --engine kokoro --preset af_heart --device "<cable>"
   b. uv run python server.py --engine chatterbox-turbo --voice my_voice.wav --device "<cable>"
   c. uv run python server.py --engine elevenlabs --voice Rachel --device "<cable>"
3. In Unreal, using FaceNinjaKitTools: voice_status, then connect_voice (it listens on the cable), then
   connect_face with FN_Voice, then play_in_window, then open_talk_panel.
4. Call say with "Hi everyone, welcome back to the stream!" and ask me if the lips moved with the voice.

Bạn sẽ thấy: nó nói câu của bạn, môi cử động theo.

07 · Lên sóng với OBS

Thời gian: 10 phút

Prompt · Tiếng Anh
Help me show my avatar in OBS Studio.

1. In Unreal, using FaceNinjaKitTools: play_in_window (1920x1080). If I want my own background instead of the
   room, call set_green_screen with true first.
2. In OBS add a "Window Capture" (Windows) or "macOS Screen Capture" set to that Unreal window. Tell me the
   clicks; you cannot click in OBS for me.
3. Only with the green screen: add a "Chroma Key" filter (key colour green) and show me where "Similarity" is.
4. Add an "Audio Input Capture" of "CABLE Output" (Windows) or "BlackHole 2ch" (Mac), and set its
   "Audio Monitoring" to "Monitor and Output" so I hear the voice too.

Bạn sẽ thấy: avatar của bạn trong OBS, kèm giọng nói.

Mọi bước, kèm cách xử lý khi có gì đó không chạy, nằm trong GUIDE.md trong tệp zip.

Ba loại giọng nói.

Giọng nói cho tính năng gõ để nói
GiọngChạy trênÂm đầu tiênChi phíGhi chú
Kokoro (mặc định)Máy tính của bạnKhoảng 0,08 s trên RTX 5080, 0,09 s trên Mac M5 MaxMiễn phí (Apache-2.0)54 giọng có sẵn trong 8 ngôn ngữ
Giọng của chính bạn (Chatterbox)Máy tính của bạnKhoảng 0,7–1,1 s trên RTX 5080 hoặc Mac M5 MaxMiễn phí (MIT)Từ 10–20 giây bản ghi âm của chính bạn. Mỗi đoạn âm thanh mang một watermark không nghe thấy được, đánh dấu nó là âm thanh tổng hợp.
Giọng đám mây (ElevenLabs)Đám mâyTùy vào kết nối của bạn; chúng tôi không đoElevenLabs tính phí, theo ký tự, trong gói của bạnCác câu bạn gõ được gửi tới ElevenLabs. Bạn dùng tài khoản và API key ElevenLabs của riêng mình.

Âm đầu tiên: thời gian từ lúc gửi một câu đến âm thanh đầu tiên, đo qua máy chủ giọng nói của bộ kit vào tháng 10 năm 2026.

Câu hỏi về bộ kit.

01Tôi có cần viết code không?
Không. Bạn dán prompt; agent chạy các công cụ và cho bạn xem ảnh kết quả.
02Có chạy được trên Mac không?
Có, trên Mac M1 trở lên với Unreal 5.8. Các công cụ khuôn mặt thời gian thực của Epic chạy trên Mac từ Unreal 5.8.
03Dữ liệu nào rời khỏi máy tính của tôi?
Hình dạng đầu 3D của bạn được gửi tới Epic khi MetaHuman Creator dựng rig. Nếu bạn chọn giọng đám mây, các câu bạn gõ được gửi tới ElevenLabs. Không còn gì khác: không ảnh, không bản ghi âm.
04Tôi có thể bán video làm bằng bộ kit không?
Được. Bộ kit theo giấy phép MIT, Unreal không thu royalty trên video, và Kokoro cùng Chatterbox cho phép dùng thương mại. Hãy xem điều khoản của ElevenLabs và Fab cho các phần của họ.
05Plugin lip sync trả phí có đi kèm không?
Không. Nó được bán theo seat trên Fab. Cách miễn phí dùng lip sync từ âm thanh của chính Epic.
06Tôi có thể chia sẻ avatar dưới dạng ứng dụng không?
Không với lip sync miễn phí: nguồn âm thanh của Epic chạy trong editor (Play), đây cũng là cách một buổi stream VTuber chạy. Một ứng dụng đã đóng gói cần plugin trả phí.
07Tôi chỉ có GLB hoặc FBX. Dùng được không?
Được, cho ảnh tĩnh và hoạt ảnh. Các tệp tính bằng mét nên đầu 3D vào đúng kích thước thật, và bộ kit bật Used with Morph Targets trên material của nó để blendshape không bị render thành màu đen. Khuôn mặt và giọng nói trực tiếp điều khiển MetaHuman, nên hãy dùng MetaHuman ZIP để stream. Xem thêm trong ghi chú về Unreal EN.

Giấy phép.

Bộ kit theo giấy phép MIT (LICENSE trong tệp zip). Hình ảnh của căn phòng là CC0 từ Poly Haven. Mọi thứ còn lại (Unreal, MetaHuman, OBS, cáp âm thanh, các giọng nói, plugin tùy chọn) bạn tự cài, theo giấy phép riêng của từng thứ; THIRD_PARTY.md trong tệp zip liệt kê từng cái kèm liên kết.

Sẵn sàng chưa? Tạo đầu 3D của bạn, rồi tải bộ kit.