Utilisez Live Link sur un terminal mobile pour capturer des animations faciales et les appliquer en temps réel à vos MetaHumans dans l'Unreal Engine. Outre la capture des performances faciales, Live Link envoie la rotation de la tête à l'Unreal Engine, ce qui permet d'obtenir une gamme de mouvements plus naturels.
Configuration requise
Vous ne pouvez utiliser l'application Live Link Face que sur un terminal mobile iOS (iPhone ou iPad) qui prend en charge ARKit. Votre terminal doit être équipé d'une caméra TrueDepth, disponible sur les modèles suivants :
- iPhone : iPhone X ou modèles plus récents.
- iPad : iPad Pro (3e génération) ou modèles plus récents.
Avant de pouvoir suivre les étapes de ce guide, vous devez procéder à la configuration requise suivante :
- Téléchargez et installez Live Link Face pour Unreal Engine sur votre appareil mobile via l'App Store d'Apple.
- Créez un nouveau projet Unreal Engine. Vous pouvez utiliser n'importe quel modèle, mais pour obtenir les meilleurs résultats nous vous recommandons de commencer avec un niveau vide dans votre projet.
- Créez un MetaHuman dans MetaHuman Creator.
- Téléchargez votre MetaHuman et exportez-le dans l'Unreal Engine. Consultez la section Downloading and Exporting MetaHumans si vous avez besoin d'informations supplémentaires sur la manière de réaliser cette étape.
- Dans le menu principal de l'Unreal Editor, accédez à Modifier > Plug-ins et assurez-vous que les plug-ins suivants sont activés pour votre projet :
- Live Link
- Live Link Control Rig
- Apple ARKit
- Apple ARKit Face Support
Ces plug-ins doivent être activés par défaut après l'importation d'au moins un MetaHuman dans votre projet. 1) (Facultatif) Ajoutez votre MetaHuman au niveau. Cela facilitera l'activation et la prévisualisation de Live Link.
Connecter Live Link à l'Unreal Engine
Procédez comme suit :
1. Recherchez l'adresse IP de votre ordinateur
Vous en avez besoin pour configurer le lien entre votre appareil iOS et l'instance de l'Unreal Engine qui s'exécute sur votre ordinateur.
Sous Windows, procédez comme suit :
- Faites un clic droit sur l'icône de connexion dans la barre des tâches. Ensuite, dans le menu contextuel, sélectionnez Ouvrir les paramètres réseau et Internet.
-
Faites défiler la fenêtre jusqu'à la section Propriétés (ou cliquez sur le bouton Propriétés, selon la version de votre système d'exploitation), puis notez ou copiez la valeur Adresse IPv4.
Sous macOS, procédez comme suit :
- Ouvrez Préférences système.
- Double-cliquez sur l'icône Réseau.
- Sélectionnez le réseau auquel vous êtes actuellement connecté.
- Cliquez sur le bouton Avancé.
-
Dans la fenêtre qui s'ouvre, cliquez sur l'onglet TC/ICP, puis notez ou copiez la valeur Adresse IPv4.
2. Configurez l'application Live Link
Configurez Live Link sur votre iPhone ou iPad pour commencer à l'utiliser avec l'Unreal Editor.
Bien que Live Link nécessite un terminal iOS, vous pouvez travailler sur votre projet Unreal sous Windows ou macOS.
- Sur votre terminal iOS, ouvrez l'application Live Link Face.
- Appuyez sur Réglages (icône d'engrenage) dans le coin supérieur gauche.
-
Sélectionnez Live Link, puis Ajouter une cible.
- Dans l'écran Ajouter une cible, saisissez l'adresse IPv4 que vous avez notée précédemment.
- Appuyez sur Ajouter dans le coin supérieur droit. 1) (Facultatif) Dans le champ Nom de sujet, donnez à votre connexion Live Link un nom facile à reconnaître.
Pour confirmer que l'application Live Link est correctement connectée, accédez à l'Unreal Engine puis, dans le menu principal, accédez à Fenêtre > Production virtuelle > Live Link. La fenêtre de configuration de Live Link s'ouvre. Votre iPhone ou iPad doit s'afficher en tant que Source.

Dans cet exemple, le téléphone "iPhoneChris" est reconnu comme source Live Link.
Configurer le blueprint MetaHuman
Vous devez ensuite configurer le blueprint MetaHuman pour qu'il accepte les données de Live Link. Pour cela, deux méthodes s'offrent à vous :
- à partir du hublot de niveau
- à partir du blueprint MetaHuman
À partir du hublot de niveau
Si vous avez ajouté votre MetaHuman au hublot de niveau, procédez comme suit :
-
Dans le hublot de niveau, cliquez sur votre MetaHuman pour le sélectionner.
-
Configurez alors les paramètres suivants dans la section Live Link du panneau Détails :
- Suj. facial ARKit : sélectionnez votre appareil dans le menu déroulant.
- Utiliser le visage ARKit : activez cette option.
Si vous capturez également le mouvement du corps à l'aide d'une technologie MoCap plus avancée, répétez ces étapes pour les paramètres Suj. corps Live Link et Utiliser le corps Live Link.
À partir du blueprint MetaHuman
-
Dans le navigateur de contenu, recherchez le blueprint
BP_(MetaHumanName)
et ouvrez-le. Dans le cadre de ce tutoriel, nous utilisons le Metahuman prédéfini Taro, dont le blueprint est nomméBP_Taro
. -
Dans le panneau Composants, sélectionnez le composant racine. Il est nommé
BP_(MetaHumanName)(Self)
. -
Dans le panneau Détails du composant BP(MetaHumanName)(Self), configurez les propriétés suivantes :
- Suj. facial ARKit : sélectionnez votre appareil dans le menu déroulant.
- Utiliser le visage ARKit : activez cette option.
-
Compilez et enregistrez le blueprint.
Tester la connexion Live Link
Vous pouvez maintenant tester votre configuration Live Link pour savoir si votre MetaHuman réagit correctement aux données entrantes. Procédez comme suit :
-
Si ce n'est pas déjà fait, faites glisser le blueprint MetaHuman dans le niveau à partir du *navigateur de contenu**.
-
Déplacez-vous dans le hublot jusqu'à ce que vous puissiez voir clairement le visage du MetaHuman.
Pour en savoir plus sur la manière de se déplacer dans le hublot, consultez la page Commandes du hublot dans la documentation de l'Unreal Engine.
-
Sur votre terminal iOS, ouvrez l'application Live Link Face et dirigez la caméra frontale vers votre visage. Vous devriez alors voir un maillage de suivi se superposer à votre visage et réagir à vos expressions et mouvements de tête.
Cette capture d'écran montre le maillage de suivi en action. Vous pouvez désactiver cette fonction dans les paramètres de l'application Live Link.
Pour obtenir les meilleurs résultats, assurez-vous qu'aucun élément ne cache votre visage, notamment vos cheveux ou vos lunettes, et que votre visage est bien éclairé.
Vous devriez voir le MetaHuman dans votre hublot commencer à réagir à vos expressions faciales et à vos mouvements de tête.
La vidéo ci-dessous montre un MetaHuman recevant les mouvements de tête et expressions d'une personne en temps réel dans le hublot grâce à Live Link.
Étapes suivantes
Une fois la connexion Live Link établie, vous pouvez commencer à enregistrer des animations faciales pour votre MetaHuman à l'aide de Sequencer et de l'enregistreur de prises. Pour obtenir des conseils de démarrage, consultez les rubriques de la documentation de l'Unreal Engine énumérées ci-dessous :