Verwende Live Link auf einem Mobilgerät, um eine Gesichtsanimation zu erfassen und sie auf deinen MetaHuman in Unreal Engine in Echtzeit anzuwenden. Zusätzlich zum Aufnehmen der Gesichtsbewegungen sendet Live Link auch die Drehung des Kopfes an die Unreal Engine, was einen natürlicheren Bewegungsumfang ermöglicht.
Erforderliche Einrichtung
Du kannst die Live Link Face-App nur auf einem iOS-Mobilgerät (iPhone oder iPad) verwenden, das ARKit unterstützt. Dein Gerät muss über eine TrueDepth-Kamera verfügen, die in diesen Modellen verfügbar ist:
- iPhone: iPhone X oder neuer.
- iPad: iPad Pro (3. Generation) oder neuer.
Bevor du die Schritte in dieser Anleitung ausführen kannst, musst du die folgende erforderliche Einrichtung durchführen:
- Lade die App Live Link Face für Unreal Engine aus dem Apple App Store auf dein Mobilgerät herunter und installiere sie.
- Erstelle ein neues Unreal Engine-Projekt. Du kannst jede beliebige Vorlage verwenden. Die besten Ergebnisse erzielst du jedoch, wenn du mit einem leeren Level in deinem Projekt beginnst.
- Erstelle einen MetaHuman im MetaHuman Creator.
- Lade deinen MetaHuman herunter und exportiere ihn nach Unreal Engine. Weitere Informationen zur Durchführung dieses Schritts findest du in der Sektion Downloading and Exporting MetaHumans.
- Gehe im Hauptmenü des Unreal Editors auf Bearbeiten > Plugins und stelle sicher, dass die folgenden Plugins für dein Projekt aktiviert sind:
- Live Link
- Live Link Control-Rig
- Apple ARKit
- Apple ARKit Face Support
Diese Plugins sollten standardmäßig aktiviert sein, nachdem du mindestens einen MetaHuman in dein Projekt importiert hast.
- (Optional) Füge dem Level deinen MetaHuman hinzu. Dies erleichtert die Aktivierung und Vorschau von LiveLink.
Verbinden von Live Link mit der Unreal Engine
Folge den nachstehenden Schritten:
1. Finde die IP-Adresse deines Computers
Du benötigst diese, um die Verbindung zwischen deinem iOS-Gerät und der Instanz der Unreal Engine, die auf deinem Computer ausgeführt wird, zu konfigurieren.
Folge diesen Schritten unter Windows:
- Klicke mit der rechten Maustaste auf das Verbindungssymbol in der Taskleiste. Wähle dann aus dem Kontextmenü Netzwerk- und Interneteinstellungen öffnen aus.
-
Scrolle nach unten zur Sektion Eigenschaften (oder klicke je nach Betriebssystemversion auf die Schaltfläche Eigenschaften) und notiere oder kopiere dann den Wert der IPv4-Adresse.
Folge diesen Schritten unter macOS:
- Öffne die Systemeinstellungen.
- Klicke doppelt auf das Netzwerk-Symbol.
- Wähle das Netzwerk aus, mit dem du derzeit verbunden bist.
- Klicke auf die Schaltfläche Erweitert.
-
Klicke in dem sich öffnenden Fenster auf das Tab TCP/IP und notiere oder kopiere den Wert IPv4-Adresse.
2. Konfigurieren der LiveLink-App
Konfiguriere Live Link auf deinem iPhone oder iPad, um es mit Unreal Editor zu verwenden.
Obwohl für Live Link ein iOS-Gerät erforderlich ist, kannst du an deinem Unreal-Projekt entweder unter Windows oder macOS arbeiten.
- Öffne auf deinem iOS-Gerät die App Live Link Face.
- Tippe in der linken oberen Ecke auf Einstellungen (Zahnradsymbol).
-
Wähle Live Link aus, dann Ziel hinzufügen.
- Gib im Bildschirm Ziel hinzufügen die IPv4-Adresse ein, die du zuvor notiert hast.
- Tippe in der rechten oberen Ecke auf Hinzufügen.
- (Optional) Gib im Feld Motivname deiner Live Link-Verbindung einen Namen, der leicht wiederzuerkennen ist.
Um zu bestätigen, dass Live Link ordnungsgemäß verbunden ist, gehst du in der Unreal Engine im Hauptmenü zu Fenster > Virtuelle Produktion > Live Link. Dadurch wird das Fenster Live Link für die Konfigurationseinstellungen geöffnet. Dein iPhone oder iPad sollte als Quelle aufgeführt sein.

In diesem Beispiel wird das Telefon "iPhoneChris" als LiveLink-Quelle erkannt.
Konfigurieren des MetaHuman-Blueprints
Als Nächstes musst du den Blueprint des MetaHumans so konfigurieren, dass er Daten von Live Link akzeptiert. Das kannst du auf zwei Arten:
- Vom Level-Viewport
- Vom Blueprint des MetaHumans
Vom Level-Viewport
Folge diesen Schritten, wenn du deinen MetaHuman dem Level-Viewport hinzugefügt hast.
-
Klicke im Level-Viewport auf deinen MetaHuman, um ihn auszuwählen.
-
Konfiguriere bei ausgewähltem MetaHuman-Blueprint im Details-Panel die folgenden Einstellungen in der Sektion Live Link:
- ARKit Face-Subj: Wähle dein Gerät aus der Dropdown-Liste aus.
- ARKit Face verwenden: Aktiviere diese Option.
Wenn du auch Körperbewegungen mit der fortschrittlicheren MoCap-Technologie aufnimmst, wiederholst du diese Schritte für die Einstellungen Live Link Body Subj und Live Link Body verwenden.
Vom Blueprint des MetaHumans
-
Suche im Inhaltsbrowser nach dem Blueprint
BP_(MetaHumanName)
und öffne ihn. Für dieses Tutorial verwenden wir die Voreinstellung Taro, deren Blueprint den NamenBP_Taro
trägt. -
Wähle im Panel Komponenten die Stammkomponente aus. Dies trägt den Namen
BP_(MetaHumanName)(Self)
. -
Konfiguriere im Details-Panel der Komponente „BP(MetaHumanName)(Self)“ die folgenden Eigenschaften:
- ARKit Face-Subj: Wähle dein Gerät aus der Dropdown-Liste aus.
- ARKit Face verwenden: Aktiviere diese Option.
-
Kompiliere und speichere den Blueprint.
Testen der Live Link-Verbindung
Du kannst jetzt deine Live Link-Einrichtung testen, um zu sehen, ob dein MetaHuman richtig auf eingehende Daten reagiert. Folge diesen Schritten:
-
Wenn du dies noch nicht getan hast, ziehe den MetaHuman Blueprint aus dem Inhaltsbrowser in das Level.
-
Bewege dich im Viewport, bis du das Gesicht des MetaHumans deutlich sehen kannst.
Wenn du weitere Informationen zum Bewegen im Viewport benötigst, lies die Seite Viewport-Steuerelemente der Unreal Engine in der Unreal Engine-Dokumentation.
-
Öffne auf deinem iOS-Gerät die App „LiveLink Face“ und richte die Frontkamera auf dein Gesicht. Du solltest ein Verfolgungs-Mesh sehen, das dein Gesicht überlappt und auf deine Gesichtsausdrücke und Kopfbewegungen reagiert.
Dieser Screenshot zeigt das Verfolgungs-Mesh in Aktion. Du kannst dies in den Einstellungen der Live Link-App deaktivieren.
Um ein optimales Ergebnis zu erzielen, solltest du darauf achten, dass deine Gesichtszüge nicht durch Haare oder Accessoires wie Brillen verdeckt werden und dass dein Gesicht gut beleuchtet ist.
Du solltest sehen, wie der MetaHuman in deinem Viewport beginnt, auf deine Gesichtsausdrücke und Kopfbewegungen zu reagieren.
Das Video unten zeigt einen MetaHuman im Viewport, dessen Kopfbewegungen und Gesichtsausdrücke in Echtzeit durch die Performance eines Menschen über Live Link gesteuert werden.
Nächste Schritte
Nachdem die Live Link-Verbindung nun hergestellt ist, kannst du mit der Aufnahme von Gesichtsanimationen für deinen MetaHuman mit Sequencer und Aufnahme-Recorder beginnen. Weitere Informationen zu den ersten Schritten findest du auf den folgenden Seiten der Unreal Engine-Dokumentation: