FaceNinja
Ελληνικά
Δημιουργία λογαριασμού

Αναφορά · ARKit · παρακολούθηση προσώπου

Τα 52 blendshape ARKit σε πραγματικό κεφάλι.

Το ARKit περιγράφει πρόσωπο με 52 blendshape: βάρη από 0 έως 1 για κινήσεις όπως jawOpen ή eyeBlinkLeft. Η παρακολούθηση προσώπου iPhone στέλνει τα βάρη και τα Live Link Face, εφαρμογές VTubing και μηχανές παιχνιδιών τα αναπαράγουν σε κάθε κεφάλι με τα ίδια 52 σχήματα. Εδώ είναι κάθε όνομα, η κίνησή του και κεφάλι που τα έχει όλα.

Δωρεάν Εγγραφείτε δωρεάν και κατεβάστε 20 δείγματα κεφαλιών MetaHuman υψηλής ποιότητας: δέρμα 4K, 52 ARKit blendshapes, GLB/FBX/MetaHuman ZIP.

Πάρτε τα δωρεάν δείγματαΔείτε τα δείγματα

Και τα 52, ανά περιοχή προσώπου

Τα ονόματα είναι ακριβώς της Apple. Left και Right σημαίνουν αριστερά και δεξιά του προσώπου, όχι του θεατή.

Μάτια14 σχήματα

  1. eyeBlinkLeft
    eyeBlinkRight    Κλείνει το βλέφαρο.
  2. eyeLookDownLeft
    eyeLookDownRight    Τα βλέφαρα ακολουθούν το βλέμμα προς τα κάτω.
  3. eyeLookInLeft
    eyeLookInRight    Τα βλέφαρα ακολουθούν το βλέμμα προς τη μύτη.
  4. eyeLookOutLeft
    eyeLookOutRight    Τα βλέφαρα ακολουθούν το βλέμμα μακριά από τη μύτη.
  5. eyeLookUpLeft
    eyeLookUpRight    Τα βλέφαρα ακολουθούν το βλέμμα προς τα πάνω.
  6. eyeSquintLeft
    eyeSquintRight    Στενεύει το μάτι: κάτω βλέφαρο και μάγουλο ανεβαίνουν.
  7. eyeWideLeft
    eyeWideRight    Ανοίγει διάπλατα το μάτι: ανεβαίνει το άνω βλέφαρο.

Γνάθος4 σχήματα

  1. jawForwardΣπρώχνει τη γνάθο μπροστά.
  2. jawLeftΜετακινεί τη γνάθο αριστερά του προσώπου.
  3. jawRightΜετακινεί τη γνάθο δεξιά του προσώπου.
  4. jawOpenΑνοίγει τη γνάθο.

Στόμα23 σχήματα

  1. mouthCloseΚλείνει τα χείλη ενώ η γνάθος παραμένει ανοιχτή· χρησιμοποιείται με jawOpen.
  2. mouthFunnelΣτρογγυλεύει τα ανοιχτά χείλη σαν χωνί, όπως στο «ου».
  3. mouthPuckerΣπρώχνει τα κλειστά χείλη μπροστά, σαν φιλί.
  4. mouthLeftΜετακινεί και τα δύο χείλη αριστερά του προσώπου.
  5. mouthRightΜετακινεί και τα δύο χείλη δεξιά του προσώπου.
  6. mouthSmileLeft
    mouthSmileRight    Ανεβάζει τη γωνία του στόματος.
  7. mouthFrownLeft
    mouthFrownRight    Κατεβάζει τη γωνία του στόματος.
  8. mouthDimpleLeft
    mouthDimpleRight    Τραβά τη γωνία του στόματος πίσω προς το λακκάκι.
  9. mouthStretchLeft
    mouthStretchRight    Τεντώνει τη γωνία του στόματος στο πλάι και κάτω.
  10. mouthRollLowerΓυρίζει το κάτω χείλος προς τα μέσα πάνω από τα δόντια.
  11. mouthRollUpperΓυρίζει το άνω χείλος προς τα μέσα πάνω από τα δόντια.
  12. mouthShrugLowerΣπρώχνει το κάτω χείλος πάνω και έξω.
  13. mouthShrugUpperΣπρώχνει το άνω χείλος πάνω και έξω.
  14. mouthPressLeft
    mouthPressRight    Πιέζει το κάτω χείλος στο άνω από εκείνη την πλευρά.
  15. mouthLowerDownLeft
    mouthLowerDownRight    Τραβά το κάτω χείλος προς τα κάτω από εκείνη την πλευρά.
  16. mouthUpperUpLeft
    mouthUpperUpRight    Ανεβάζει το άνω χείλος από εκείνη την πλευρά.

Φρύδια5 σχήματα

  1. browDownLeft
    browDownRight    Κατεβάζει το εξωτερικό μέρος του φρυδιού.
  2. browInnerUpΑνεβάζει τα εσωτερικά άκρα και των δύο φρυδιών.
  3. browOuterUpLeft
    browOuterUpRight    Ανεβάζει το εξωτερικό μέρος του φρυδιού.

Μάγουλα3 σχήματα

  1. cheekPuffΦουσκώνει και τα δύο μάγουλα.
  2. cheekSquintLeft
    cheekSquintRight    Ανεβάζει το μάγουλο γύρω από το κάτω βλέφαρο.

Μύτη2 σχήματα

  1. noseSneerLeft
    noseSneerRight    Ανεβάζει την πλευρά της μύτης, σαν μορφασμό περιφρόνησης.

Γλώσσα1 σχήματα

  1. tongueOutΒγάζει τη γλώσσα από το στόμα.

Πηγή ονομάτων: τεκμηρίωση ARKit της Apple.

Κινήστε τα σχήματα σε πραγματικό κεφάλι

Αυτά είναι τα δείγματα κεφαλιών όπως τα έφτιαξε το FaceNinja από μία φωτογραφία το καθένα. Φορτώστε ένα και σύρετε τα ρυθμιστικά: κάθε ρυθμιστικό είναι ένα σχήμα ARKit και οι εκφράσεις συνδυάζουν πολλά.

Πάγκος επιθεώρησηςΣτατική εικόνα

Δείγματα κεφαλιών

Το 3D κεφάλι MetaHuman που έφτιαξε το FaceNinja από τη φωτογραφία S-07
Έκφραση
Προβολή
Φωτισμός

Ενδείξεις ARKit

Οι τιμές ακολουθούν την έκφραση. Σύρετε ρυθμιστικό για ένα blendshape.

Συνθετικό πρόσωποΗ προεπισκόπηση είναι συμπιεσμένη για το web. Η λήψη περιέχει τους πλήρεις χάρτες 4K.

Έξι εκφράσεις και τα σχήματά τους

Η έκφραση συνδυάζει σχήματα. Κάθε εικόνα παρακάτω είναι το δείγμα S-16 με ενεργά τα σχήματα που αναφέρονται από κάτω· το ουδέτερο πρόσωπο δεν έχει κανένα.

  • Δείγμα S-16, συνθετικό άτομο, με ΟυδέτερηΟυδέτερη
    —
  • Δείγμα S-16, συνθετικό άτομο, με mouthSmileLeft, mouthSmileRightΧαμόγελο
    mouthSmileLeft mouthSmileRight
  • Δείγμα S-16, συνθετικό άτομο, με jawOpen, browInnerUpΈκπληξη
    jawOpen browInnerUp
  • Δείγμα S-16, συνθετικό άτομο, με browDownLeft, mouthFrownLeftΣυνοφρύωμα
    browDownLeft mouthFrownLeft
  • Δείγμα S-16, συνθετικό άτομο, με mouthPuckermouthPucker
  • Δείγμα S-16, συνθετικό άτομο, με eyeBlinkLefteyeBlinkLeft

Γιατί το tongueOut χρειάζεται γλώσσα

Το tongueOut φαίνεται μόνο σε κεφάλι με γλώσσα και στόμα που ανοίγει αρκετά. Τα κεφάλια FaceNinja έχουν και τα δύο, οπότε GLB και FBX περιέχουν και τα 52 σχήματα, μαζί με tongueOut.

Perfect Sync: τα 52 σχήματα στο VTubing

Στο VTubing, avatar με όλα τα 52 σχήματα ARKit λέγεται Perfect Sync (パーフェクトシンク): η παρακολούθηση iPhone οδηγεί κάθε σχήμα άμεσα αντί για λίγες προρυθμίσεις. Εφαρμογές VRM χρειάζονται αρχείο VRM, που το FaceNinja δεν φτιάχνει. Το δωρεάν Creator Kit μας ακολουθεί άλλη διαδρομή: το κεφάλι γίνεται MetaHuman στο Unreal Engine, με Live Link Face ή webcam.

Το Creator Kit

Πού βρίσκονται τα 52 σχήματα σε κάθε μηχανή

Τα ίδια 52 ονόματα σε τέσσερις μηχανές
ΜηχανήΠού είναι τα σχήματαΣημείωση
Unreal EngineMorph targets στο Skeletal Mesh· το Live Link Face τα οδηγεί με το όνομά τους.Εισαγωγή με morph targets και επιλογή Used with Morph Targets στα υλικά κεφαλιού (τεκμηρίωση EN).
UnityBlend shapes στο Skinned Mesh Renderer, από το FBX.Το Import BlendShapes είναι ενεργό από προεπιλογή στις ρυθμίσεις εισαγωγής μοντέλου.
Godot 4Blend shapes στο MeshInstance3D, από το GLB.Το find_blend_shape_by_name() δίνει τον δείκτη για το set_blend_shape_value().
three.jsΤο mesh.morphTargetDictionary αντιστοιχίζει κάθε όνομα στον δείκτη του στο mesh.morphTargetInfluences.Φορτώστε το GLB με GLTFLoader.
Οδηγός βήμα προς βήμα για Unity, Godot και three.js

Ερωτήσεις για τα blendshape ARKit

01Τι είναι τα blendshape ARKit;
Οι 52 ονομαστικές κινήσεις προσώπου που όρισε η Apple για παρακολούθηση σε iPhone και iPad. Καθεμία είναι βάρος από 0 έως 1 και κάθε έκφραση τις συνδυάζει.
02Πόσα blendshape ARKit υπάρχουν;
52: 14 για μάτια, 4 για γνάθο, 23 για στόμα, 5 για φρύδια, 3 για μάγουλα, 2 για μύτη και 1 για γλώσσα.
03Χρειάζομαι iPhone;
Για ζωντανή λήψη και των 52 χρειάζεστε συσκευή με παρακολούθηση προσώπου Apple, όπως iPhone με Face ID· το Live Link Face τη χρησιμοποιεί. Για αναπαραγωγή αρκεί μηχανή που διαβάζει blendshape, χωρίς iPhone.
04Τα κεφάλια FaceNinja έχουν tongueOut;
Ναι. GLB και FBX περιέχουν και τα 52 σχήματα, μαζί με tongueOut, φτιαγμένα για κάθε πρόσωπο.
05Τι είναι Perfect Sync;
Όρος VTubing για avatar με όλα τα 52 σχήματα ARKit, ώστε η παρακολούθηση προσώπου να οδηγεί καθένα άμεσα.
06Μπορώ να δοκιμάσω κεφάλι με όλα τα 52 σχήματα;
Ναι. Εγγραφείτε δωρεάν και κατεβάστε τα 20 δείγματα κεφαλιών: κάθε GLB και FBX έχει και τα 52.

Μπορώ να δοκιμάσω κεφάλι με όλα τα 52 σχήματα;

Ναι. Εγγραφείτε δωρεάν και κατεβάστε τα 20 δείγματα κεφαλιών: κάθε GLB και FBX έχει και τα 52.

Πάρτε τα δωρεάν δείγματαΤι έχει ένα κεφάλι