Tee FaceNinja-päästäsi MetaHuman, joka puhuu ja liikkuu kanssasi pienellä lavalla Unreal Engine 5.8 -ohjelmassa. Koodausagenttisi rakentaa sen seitsemästä kehotteesta. Kirjoitat, se puhuu; hymyilet, se hymyilee. Sitten kaappaat sen OBS:llä.
Versio 0.3.1 · 6,6 MB · MIT-lisenssi · Windows ja Mac
Koko ja SHA-256 skripteille ja agenteille: version.json
Paketti
Versio
0.3.1
Lataus
6,6 MB · zip
Lisenssi
MIT, ilmainen monetisoiduille kanaville
Vaatii
Unreal Engine 5.8 (ilmainen), FaceNinja-pää ja koodausagentti, joka osaa käyttää MCP:tä
Alusta
Windows 10 tai 11, macOS 14 tai uudempi
Yksi valokuva, sitten puhuva 3D-pää.
Yksi tekoälyllä luotu valokuva, sitten siitä tehty FaceNinja-pää ja sitten tuo pää puhumassa paketin huoneessa, renderöitynä Unreal 5.8 -versiolla. Ensimmäinen repliikki: ilmainen Kokoro-ääni Epicin ilmaisella ääneen perustuvalla huulisynkronoinnilla. Toinen repliikki: ElevenLabs-ääni maksullisella Runtime MetaHuman Lip Sync -lisäosalla. Puhuva pää on FaceNinjan ARKit-pää (52 blendshapea) MetaHuman Creatorin vartalolla ja hiuksilla, renderöitynä offline-tilassa.
Kaikki tämän videon henkilöt ovat synteettisiä. Käytä omia kasvojasi ja ääntäsi tai omaa alkuperäistä hahmoa.
Tee 3D-pää valokuvistasi FaceNinjassa ja lataa MetaHuman ZIP.
Agenttisi rakentaa lavan
Pura paketti, avaa koodausagenttisi siinä kansiossa ja liitä seitsemän kehotetta yksi kerrallaan. Agentti ohjaa Unrealia Unrealin oman MCP-palvelimen ja paketin työkalujen kautta.
Striimaat
iPhonesi tai verkkokamerasi liikuttaa kasvoja. Kirjoita repliikki, ja avatarisi sanoo sen. OBS kaappaa ikkunan.
Koodia ei tarvitse kirjoittaa. Jokainen kehote päättyy johonkin, minkä voit tarkistaa.
Pieni lataus, kaikki kytketty.
Striimihuone
Lämminhenkinen pieni huone, jossa on sohva, kirjahylly, kasvi ja pehmeät valot, kolme kameraa (lähikuva, rintakuva, laaja) ja vihreä tausta, jonka voi kytkeä päälle.
MetaHumanisi
Yksi työkalu tuo MetaHuman ZIP -tiedostosi, sovittaa MetaHuman Creatorin kasvot siihen tarkasti ja valitsee lähimmät hiukset, kulmat ja ripset.
Kasvojenseuranta
Live Link Face iPhonella tai Epicin verkkokameran kasvojenseuranta.
Kirjoita ja puhu
Pieni paneeli ja äänipalvelin tietokoneellasi. Ilmainen Kokoro-ääni alkaa puhua noin 0,1 sekunnissa tuoreella näytönohjaimella.
Valmis OBS:lle
Toista 1920×1080-ikkunassa OBS:n ikkunakaappausta varten, vihreällä taustalla, kun haluat oman taustasi. NDI Macilla ja Spout Windowsilla ovat vaihtoehtoja.
Myös GLB- ja FBX-päät
Paketti tuo myös 3D-pääsi GLB- tai FBX-tiedoston 52 ARKit-blendshapeineen, elävän kokoisena ja sillä materiaaliasetuksella, jota Unreal tarvitsee niiden näyttämiseen.
Lisäksi agenttimuistiinpanot (AGENTS.md) ja MCP-asetukset: Claude Code, Codex, Cursor, VS Code ja Gemini CLI.
Mitä tarvitset.
Tietokone, ohjelmistot ja tilit
Mitä
Suositus
Vähintään
Tietokone
Windows 11 ja NVIDIA RTX 3070 tai parempi, tai Mac, jossa on M2 Max tai uudempi ja 32 GB muistia
PC, jossa on RTX-kortti ja 16 GB RAM-muistia, tai Mac, jossa on M1 tai uudempi ja 16 GB (matalampi kuvataajuus)
Levy
150 GB vapaata
100 GB vapaata
Ohjelmistot
Unreal Engine 5.8, OBS, virtuaalinen äänikaapeli (VB-CABLE tai BlackHole) ja koodausagentti. Kehote 1 tarkistaa ja asentaa ne kanssasi.
Tilit
FaceNinja sekä ilmainen Epic Games -tili MetaHuman Creatorin rigiä varten
Valinnainen
iPhone 12 tai uudempi ja ilmainen Live Link Face -sovellus
Verkkokamera
Oletuksena ilmainen.
Ilmainen
Paketti (MIT-lisenssi)
Unreal Engine 5.8, MetaHuman Creator ja Live Link Face
Epicin ääneen perustuva huulisynkronointi
OBS, BlackHole ja VB-CABLE (lahjoitukset tervetulleita)
Kokoro- ja Chatterbox-äänet omalla tietokoneellasi
ElevenLabs-äänet omalla ElevenLabs-tililläsi, ElevenLabsin laskuttamina merkkiä kohden
Runtime MetaHuman Lip Sync -lisäosa Fabissa: noin 280 $ per paikka alle 100 000 $ vuodessa ansaitseville tekijöille, 840 $ sen yli
Unreal ei peri rojalteja striimatusta tai tallennetusta videosta. Muiden yritysten tuotteiden hinnat ovat lokakuun 2026 tilanteen mukaan; tarkista ne niiden sivustoilta.
Kopioi, liitä, tarkista.
Liitä ne järjestyksessä yksi kerrallaan ja odota, kunnes agenttisi on valmis. Jokainen päättyy siihen, minkä pitäisi näkyä.
Kehotteet pysyvät englanniksi kaikissa kieliversioissa, koska agenttisi tarvitsee työkalujen ja tiedostojen nimet täsmälleen. Voit puhua agentillesi omalla kielelläsi.
01 · Asenna tarvittava
Aika: 20–90 minuuttia, enimmäkseen latauksia
Kehote · englanti
I am setting up the FaceNinja Creator Kit in this folder. I do not write code, so explain each step in one short
sentence and ask me before anything that needs my password, installs a driver, or changes system settings.
1. Tell me my operating system, CPU, RAM, graphics card and free disk space, and compare them with the
"What you need" table in GUIDE.md. Warn me if something is below the minimum.
2. Check what is installed and tell me what is missing:
- Unreal Engine 5.8 (Windows: C:\Program Files\Epic Games\UE_5.8; Mac: /Users/Shared/Epic Games/UE_5.8).
If it is missing, do not install it yourself: tell me to install Unreal Engine 5.8 from the Epic Games
Launcher's Library tab (default options), and wait until I say it is done.
- OBS Studio. Offer to install it (Windows: winget install OBSProject.OBSStudio; Mac: brew install --cask obs).
- A virtual audio cable. Windows: VB-CABLE from https://vb-audio.com/Cable/ (I run its installer as
administrator and restart). Mac: brew install --cask blackhole-2ch (it asks for my password).
Only from these places.
- uv (https://docs.astral.sh/uv/getting-started/installation/).
3. In tts/, make the voice environment: uv venv -p 3.11, then uv pip install -r requirements-kokoro.txt
(on a PC with an NVIDIA card add --extra-index-url https://download.pytorch.org/whl/cu128).
4. Run uv run python server.py --list-devices in tts/ and show me the output devices.
End with a checklist: Unreal 5.8, OBS, virtual cable, voice environment, each with a tick or a cross.
Pitäisi näkyä: neljä valintamerkkiä: Unreal 5.8, OBS, kaapeli ja ääni.
02 · Yhdistä agenttisi Unrealiin
Aika: 10–20 minuuttia
Kehote · englanti
Open the kit's Unreal project and connect to Unreal's own MCP server.
1. Open FaceNinjaCreatorKit/FaceNinjaCreatorKit.uproject with Unreal Engine 5.8 (Mac: open -a with
"/Users/Shared/Epic Games/UE_5.8/Engine/Binaries/Mac/UnrealEditor.app" and the project path; Windows:
"C:\Program Files\Epic Games\UE_5.8\Engine\Binaries\Win64\UnrealEditor.exe" with the project path).
Tell me the first start takes several minutes while it compiles shaders.
2. The project starts Unreal's MCP server at http://127.0.0.1:8000/mcp. This folder already has the MCP
settings for you (.mcp.json, .cursor, .vscode, .gemini, .codex). If you cannot see an "unreal-mcp" server,
tell me how to reload your MCP settings, or add that URL yourself.
3. Wait until the server answers, then list the toolsets. You should find FaceNinjaKitTools. Describe it and
tell me in one sentence per tool what you can now do for me.
Pitäisi näkyä: agenttisi luettelee FaceNinja-työkalut.
03 · Rakenna lavasi
Aika: 2–5 minuuttia
Kehote · englanti
Using FaceNinjaKitTools in Unreal, build my streaming stage.
1. Call build_stage. It makes a small room with a sofa, a bookshelf, a plant, lights and three cameras.
2. Take a still from each camera with stage_screenshot (closeup, bust, wide) and show them to me.
3. Ask me which camera I want for streaming and call set_camera with it.
Pitäisi näkyä: kolme still-kuvaa huoneesta.
04 · Tuo FaceNinja-pääsi
Aika: 15–30 minuuttia
Kehote · englanti
Using FaceNinjaKitTools in Unreal, turn my FaceNinja head into a MetaHuman and put it on my stage.
My head ZIP is: <drag the ZIP file here>
1. Call import_head_zip with that path. Tell me which hair, brows and lashes it picked.
2. Tell me that the next step sends my head's shape (not my photos) to Epic's free MetaHuman service, and that
a browser window may ask me to sign in to my Epic account. Wait for my OK.
3. Call preview_avatar so I can see my head in the room, and show me a stage_screenshot (bust camera).
4. Call rig_head, then download_head_textures. Tell me: "A browser opens Epic's sign-in page. Unreal stops
answering until you sign in and approve it there; that is normal." Wait until I say I approved it, then
check head_status every 30 seconds until rigged and high_res_textures are both true.
5. Once rigged: call build_metahuman, then place_avatar.
6. Take a stage_screenshot with the bust camera and show it to me.
Pitäisi näkyä: MetaHumanisi huoneessa.
05 · Yhdistä iPhone tai verkkokamera
Aika: 10 minuuttia
Kehote · englanti
Using FaceNinjaKitTools in Unreal, connect my iPhone's Live Link Face app to my avatar.
1. Call my_ip_address. Tell me where to type it in the app (Settings > Live Link > Add Target, port 14785).
2. Ask me for the phone's IP address (Live Link Face shows it in its settings), then call connect_iphone.
3. Call connect_face with FN_iPhone, then play_in_window.
4. Ask me to smile, blink and turn my head, and whether the avatar follows. Ask before changing any firewall
setting.
Pitäisi näkyä: avatar jäljittelee kasvojasi.
06 · Kirjoita ja puhu
Aika: 10 minuuttia
Kehote · englanti
Start the kit's voice server and connect it to my avatar.
1. Ask me which voice I want:
a. a free preset voice that runs on my computer (Kokoro, default),
b. my own voice (Chatterbox): ask me to record 10-20 seconds of myself reading any text in a quiet room as
tts/my_voice.wav, then set it up with requirements-chatterbox.txt,
c. a studio voice from ElevenLabs: it needs my own ElevenLabs account, costs money per line and sends my text to ElevenLabs.
Ask me to put my own ElevenLabs API key in the ELEVENLABS_API_KEY environment variable myself; never write it to a file.
2. In tts/ start the server in the background with my cable as --device ("BlackHole" on a Mac, "CABLE Input" on
Windows):
a. uv run python server.py --engine kokoro --preset af_heart --device "<cable>"
b. uv run python server.py --engine chatterbox-turbo --voice my_voice.wav --device "<cable>"
c. uv run python server.py --engine elevenlabs --voice Rachel --device "<cable>"
3. In Unreal, using FaceNinjaKitTools: voice_status, then connect_voice (it listens on the cable), then
connect_face with FN_Voice, then play_in_window, then open_talk_panel.
4. Call say with "Hi everyone, welcome back to the stream!" and ask me if the lips moved with the voice.
Pitäisi näkyä: se sanoo repliikkisi huulet liikkuen.
07 · Aloita live-lähetys OBS:llä
Aika: 10 minuuttia
Kehote · englanti
Help me show my avatar in OBS Studio.
1. In Unreal, using FaceNinjaKitTools: play_in_window (1920x1080). If I want my own background instead of the
room, call set_green_screen with true first.
2. In OBS add a "Window Capture" (Windows) or "macOS Screen Capture" set to that Unreal window. Tell me the
clicks; you cannot click in OBS for me.
3. Only with the green screen: add a "Chroma Key" filter (key colour green) and show me where "Similarity" is.
4. Add an "Audio Input Capture" of "CABLE Output" (Windows) or "BlackHole 2ch" (Mac), and set its
"Audio Monitoring" to "Monitor and Output" so I hear the voice too.
Pitäisi näkyä: avatarisi OBS:ssä äänineen.
Jokainen vaihe sekä ohjeet siihen, mitä tehdä, kun jokin ei toimi, ovat ZIP-paketin tiedostossa GUIDE.md.
Kolmenlaisia ääniä.
Äänet kirjoita ja puhu -toimintoon
Ääni
Toimii
Ensimmäinen ääni
Hinta
Huomiot
Kokoro (oletus)
Tietokoneesi
Noin 0,08 s (RTX 5080), 0,09 s (M5 Max Mac)
Ilmainen (Apache-2.0)
54 valmista ääntä 8 kielellä
Oma äänesi (Chatterbox)
Tietokoneesi
Noin 0,7–1,1 s (RTX 5080 tai M5 Max Mac)
Ilmainen (MIT)
10–20 sekunnin omasta äänityksestäsi. Jokaisessa klipissä on kuulumaton vesileima, joka merkitsee sen synteettiseksi.
Pilviääni (ElevenLabs)
Pilvi
Riippuu yhteydestäsi; emme ole mitanneet
ElevenLabs laskuttaa merkkiä kohden tilauksesi mukaan
Kirjoittamasi repliikit menevät ElevenLabsille. Tuot oman ElevenLabs-tilisi ja API-avaimesi.
Ensimmäinen ääni: aika repliikin lähettämisestä ensimmäiseen ääneen, mitattuna paketin äänipalvelimen kautta lokakuussa 2026.
Kasvosi, äänesi.
Käytä omia kasvojasi ja omaa ääntäsi, alkuperäistä hahmoa tai henkilöä, joka on suostunut kirjallisesti. Älä tee julkkiksen, striimaajan tai kenenkään muun kaltaista hahmoa äläkä kloonaa kenenkään muun ääntä. Se on toisena esiintymistä: se voi rikkoa lakia (persoonallisuus- ja julkisuusoikeudet), ja se rikkoo YouTuben, Twitchin ja Epicin sääntöjä.
Kysymyksiä paketista.
01Pitääkö minun koodata?
Ei. Liität kehotteita; agenttisi ajaa työkalut ja näyttää sinulle kuvia tuloksesta.
02Toimiiko se Macilla?
Kyllä, Macilla, jossa on M1 tai uudempi, ja Unreal 5.8. Epicin reaaliaikaiset kasvotyökalut toimivat Macilla Unreal 5.8 -versiosta alkaen.
03Mikä lähtee tietokoneeltani?
3D-pääsi muoto lähtee Epicille, kun MetaHuman Creator rakentaa rigin. Jos valitset pilviäänen, kirjoittamasi repliikit lähtevät ElevenLabsille. Mitään muuta ei lähde: ei valokuvia, ei äänityksiä.
04Voinko myydä sillä tehtyjä videoita?
Kyllä. Paketti on MIT-lisensoitu, Unreal ei peri rojalteja videosta, ja Kokoro ja Chatterbox sallivat kaupallisen käytön. Tarkista ElevenLabsin ja Fabin ehdot niiden osien osalta.
Ei. Sitä myydään paikkakohtaisesti Fabissa. Ilmainen reitti käyttää Epicin omaa ääneen perustuvaa huulisynkronointia.
06Voinko jakaa avatarini sovelluksena?
Et ilmaisella huulisynkronoinnilla: Epicin äänilähde toimii editorissa (Play), ja niin VTuber-striimi toimii. Paketoitu sovellus tarvitsee maksullisen lisäosan.
07Minulla on vain GLB tai FBX. Voinko käyttää sitä?
Kyllä, still-kuviin ja animaatioon. Tiedostot ovat metreinä, joten 3D-pää tulee elävän kokoisena, ja paketti kytkee materiaaleihinsa päälle asetuksen Used with Morph Targets, jotta blendshapet eivät renderöidy mustina. Live-kasvot ja ääni ohjaavat MetaHumania, joten käytä striimaukseen MetaHuman ZIP -tiedostoa. Lisää tietoa: Unreal-muistiinpanotEN
Lisenssit.
Paketti on MIT-lisensoitu (LICENSE ZIP-paketissa). Huoneen taide on CC0-lisensoitua Poly Havenista. Kaiken muun (Unreal, MetaHuman, OBS, kaapeli, äänet, valinnainen lisäosa) asennat itse sen oman lisenssin alaisena; THIRD_PARTY.md ZIP-paketissa luettelee jokaisen linkkeineen.