Mocap Manager

Dieses Tutorial bietet eine vollständige Erläuterung von Mocap-Manager, Teil des Plugins Performance Capture Workflow in Unreal Engine.

Es behandelt die Aktivierung des Plugins, die Einrichtung Ihrer Mocap-Bühnendarstellung, die Verwaltung von Darstellern, Charakteren und Props, die Aufzeichnung und die Überprüfung von Aufnahmen, alles zur Unterstützung einer vollständigen Performance-Capture-Pipeline.

Einrichten von Mocap-Manager

Aktivieren des Plugins Performance Capture Workflow

1. Navigieren Sie zu Bearbeiten > Plugins.

2. Suchen und aktivieren Sie das Plugin Performance Capture Workflow.

3. Starten Sie den Editor neu, wenn Sie dazu aufgefordert werden.

Öffnen von Mocap-Manager

1. Navigieren Sie zu Fenster > Virtuelle Produktion > Mocap-Manager.

Erstellen der erforderlichen Assets

1. Klicken Sie auf Create Missing Assets, wenn Sie dazu aufgefordert werden.

   

2. Bestätigen Sie, dass Sie sie im Standardordner Content/Pcap speichern möchten.

Anstatt auf die Schaltfläche „Create Missing Assets“ zu klicken, können Sie die Sitzungs- und Produktionstabellen auch manuell erstellen. Navigieren Sie im Inhaltsbrowser zu Hinzufügen > Performance Capture > PCap-Datentabelle und erstellen Sie eine Tabelle mit der Sitzungsstruktur und eine weitere mit der Produktionsstruktur. Legen Sie unter Projekt-Einstellungen > Performance Capture eine Referenz zu diesen beiden neuen Tabellen fest.

Sie müssen diese Assets nur einmal in jedem Projekt hinzufügen, in dem Sie das Plugin Performance Capture Workflow aktivieren.

Möglicherweise möchten Sie auch Ihre eigene Sitzung erstellen, um zu definieren, wie Sitzungsordner erstellt werden. Navigieren Sie dazu zu Hinzufügen > Performance Capture > PCap-Datenasset und wählen Sie den Sitzungsvorlagentyp aus. Alternativ können Sie das Standard-Sitzungsvorlagenasset duplizieren und an Ihre Bedürfnisse anpassen (/Plugins/PerformanceCaptureWorkflow/Core/DefaultSessionTemplate).

Verwenden von Mocap-Manager

Mocap-Manager ist ein zentraler Ort zur Kontrolle darüber, was bei einer Mocap-Aufnahme benötigt wird. Er ist so konzipiert, dass er Sie linear durch den Prozess führt, von Anfang bis Ende.

Erstellen einer Sitzung

1. Geben Sie im Abschnitt Create New Session einen Sitzungsnamen und optionale Notizen ein.

2. Klicken Sie auf + Session.

Eine Ordnerstruktur wird erstellt und wird aktiv.

Sie können jederzeit zu Ihrem Sitzungsordner navigieren, indem Sie in Mocap-Manager auf das Ordner-Symbol klicken.

Größere Aufgaben, wie separate Spiele- oder kinematografische Lieferungen, können durch Produktionen in einem Unreal-Projekt organisiert werden. Sie sind optional und falls Sie diese nicht verwenden möchten, können Sie auf die Standardproduktion zurückgreifen.

Sitzungen stellen einzelne Aufnahmesitzungen dar (z. B. eine Morgen- oder Nachmittagsaufnahme). Wenn Sie eine Sitzung erstellen, werden Ordner und einige Assets erstellt, die während der Sitzung verwendet werden.

Sitzungsvorlagen erlauben die Anpassung der Ordnerstruktur und der Benennung mithilfe von dynamischen Benennungs-Token.

Alle von Mocap-Manager erstellte Actors werden einer Datenebene oder einer Unterebene für Ihre Sitzung zugewiesen. Jede Sitzung erhält eine neue Datenebene oder eine neue Unterebene. 

Mocap-Manager prüft, ob Ihr aktuell geöffnetes Level World Partition oder Level-Streaming verwendet, wenn Sie eine Sitzung erstellen. Im Ordner [Sitzungsname]/Scenes wird je nach Kontext der Erstellung eine Datenebene oder eine Unterebene erstellt. Diese Datenebene oder Unterebene ist der Bearbeitungskontext für Ihr Level. Das bedeutet, dass alle Actors in diesem Kontext platziert werden.

Einrichten der Mocap-Bühne in Unreal Engine

Das Plugin Performance Capture Workflow verfügt über einen vorgefertigten Standard namens BP_DemoStage. Sie können diesen BP duplizieren und nach Ihren Bedürfnissen bearbeiten.

Die Bühne spawnt auf einem gültigen Boden vor der Kamera. Verschieben Sie sie und richten Sie sie an Ihrem echten Aufnahmeraum aus.

Auf dem Tab Stage von Mocap-Manager können Sie die Rasteransicht und die Bühnen-Ghost-Meshs zur leichteren Positionierung umschalten, um Ihr Unreal-Level an Ihrer realen Bühne auszurichten.

Wenn Sie die Bühne spawnen, wird sie zum gegenwärtigen Kontext Ihres Levels hinzugefügt.

Einrichten eines Bewegungs-Actor

Auf dem Tab „Motion“ von Mocap-Manage können Sie LiveLink-Motive konfigurieren und Performer, Props und Charaktere erstellen.

LiveLink-Vorschau

Auf dem Tab LiveLink können Sie umschalten, welche Ihrer eingehenden LiveLink-Motivdaten in der Vorschau angezeigt werden. Die Symbole in der Liste zeigen den Datentyp an: Skelett-Mesh, Kamera oder Markierungen.

Sie können festlegen, ob einzelne Motive oder alle angezeigt werden, indem Sie auf das Symbol Anzeigen/Verbergen klicken. 

Erstellen der Performer

Klicken Sie im Tab Motion von Mocap-Manager auf Performers, um Performer zu erstellen und zu spawnen. Performer sind in einem Datenasset mit der Bezeichnung PCapPerformer enthalten. 

Befolgen Sie diese Schritte, um einen Performer zu erstellen:

1. Wählen Sie im Abschnitt Create Proportioned Mesh des Tabs Performers ein Live Link Subject aus der Dropdown-Liste aus. In der Dropdown-Liste werden nur Motive mit dem Rollentyp „Animation“ (Skelettdaten) aufgeführt. 

2. Klicken Sie auf Launch Workflow, um den Viewport Create Proportioned Mesh zu starten.

   

3. Richten Sie im Viewport das Skelett über dem Ursprung (Becken bei (0,0)) aus, indem Sie die Position des Performers ändern, bis sie aneinander ausgerichtet sind.

4. Optional können Sie auch auf Pause drücken, um die Animation einzufrieren, damit Ihr Performer nicht in seiner Pose über dem Ursprung stillhalten muss.

5. Klicken Sie auf Create Mesh & IKRig. Damit schließt Sie den Viewport Proportioned Mesh und kehren zum Mocap-Manager-Panel zurück.

6. Klicken Sie auf Create Performer, um das PCapPerformer-Datenasset zu erstellen.

Der Performer kann nun im Abschnitt Spawn Performer ausgewählt werden. Klicken Sie auf Spawn. Daraufhin spawnt das neu erstellte Skelett-Mesh mit den angewandten LiveLink-Daten als Parent-Element Ihres Stage-Root-Actor. 

Erstellen von Props

Klicken Sie im Tab Motion von Mocap-Manager auf den Tab Props , um Props für Ihre Performer zu erstellen.

Befolgen Sie diese Schritte, um ein Prop zu erstellen:

1. Klicken Sie auf dem Tab Props auf Launch Workflow, um den Viewport Create Prop zu öffnen.

   

2. Wählen Sie in den Dropdown-Liste Static Mesh oder Skeletal Mesh ein Mesh für das Prop aus.

3. Wählen Sie in der Dropdown-Liste Subject ein LiveLink-Motiv aus.

4. Nehmen Sie im Abschnitt „Prop Offset“ Anpassungen vor, um das Mesh und das Motiv auszurichten.

5. Geben Sie in das Feld Name Override einen Namen für das Prop ein.

6. Klicken Sie auf Finalize. Damit schließen Sie den Viewport Create Props und kehren zum Mocap-Manager-Panel zurück.

7. Klicken Sie auf Create Prop Asset, um das PCapProp-Datenasset zu erstellen.

Sie können dieses Prop wie das Performer-Datenasset im Level spawnen lassen, indem Sie es in der Auswahlliste auswählen und auf Spawn Prop klicken.

Optional: Vorbereiten eines Metahuman

Befolgen Sie diese Schritte, um einen Metahuman für Mocap-Manager vorzubereiten:

1. Erstellen Sie einen von CaptureCharacter abgeleiteten Blueprint.

2. Kopieren Sie die notwendigen Skelett-Mesh-Komponenten und Grooms aus Ihrem Metahuman-Blueprint in den neuen Blueprint.

3. Deaktivieren Sie Aufkleber auf allen Komponenten.

4. Fügen Sie auf allen Skelett-Mesh-Komponenten, die an den Stamm angehängt sind, außer beim Kopf, einen Knoten Follow Leader Pose im Konstruktions-Script hinzu, um diese Komponenten zu zwingen, ihre Pose von der Stamm-Komponente zu erhalten.

5. Deaktivieren Sie im Abschnitt Performance Capture Ihres Blueprints die Option Force All Components to Follow Leader.

Erstellen eines Charakters

Im Characters-Tab von Mocap-Manager können Sie Charaktere erstellen, die Ihre Performer steuern können.

1. Geben Sie im Abschnitt Create New Character Asset folgende Informationen ein:

   1. Source Performer Asset: Wählen Sie den Performer aus, der diesen Charakter steuert.

   2. Character Class: Wählen Sie die CaptureCharacter-Standardklasse aus, es sei denn, Sie verwenden einen benutzerdefiniert Blueprint, wie den aus dem Metahuman-Beispiel oben.

   3. Character Mesh: Weisen Sie das Körper-Skelett-Mesh für den Charakter zu. Dies ist für das Retargeting erforderlich.

   4. Character Name: Geben Sie einen Namen für den Charakter ein.

2. Klicken Sie auf Create Character Asset. Ein Charakter-Datenasset wird generiert und speichert Referenzen zum Performer, Retargeting-Asset, IKRig, Mesh und der CaptureCharacter-Klasse.

3. Klicken Sie auf Spawn Character, um Ihren Charakter in der Szene spawnen zu lassen. 

Wenn Sie Ihren Charakter spawnen lassen, wird er an den Stage-Root-Actor angehängt.

Optimieren des Retargeting

Klicken Sie in Mocap-Manager auf die Schaltfläche Retarget Tuner eines Charakters, um das Fenster Retarget Settings zu öffnen. In diesem Fenster können Sie die Retargeting-Eigenschaften für jede Bone-Kette anpassen. Der Retarget-Tuner ist darauf ausgelegt, nur mit humanoiden Zweibeinern zu arbeiten, da seine Ketten so benannt sind, dass sie zu denen passen, die von automatischen IKRig-Scripts erstellt werden.

Mocap Recorder

Erstellen von Slates

Definieren Sie mithilfe von Slates mit Name und Metadaten Ihre Aufnahmenamen vor. Dies bietet auch die Möglichkeit, eine Checkliste zu erstellen, die während einer Sitzung bearbeitet werden kann.

Um den Slates-Tab in Mocap-Manager zu öffnen, klicken Sie auf den Tab Record und dann auf Slates.

Slates werden in einer Datentabelle gespeichert. Sie können Aktualisierungen mit .csv- Dateien importieren. 

Klicken Sie auf dem ausgewählten Slate auf Prep, um diesen Namen für Ihre Textaufzeichnung zu verwenden. 

Aufzeichnung

Befolgen Sie diese Schritte, um Mocap in Mocap-Manager aufzunehmen:

1. Klicken Sie auf den Tab „Record“ und dann auf „Mocap Recorder“.  

   

2. Wählen Sie aus, welche Actors und Daten erfasst werden sollen (Performers, Props, LiveLink, Audio). 

3. Klicken Sie auf Record, um die Aufnahme zu starten. Der Rest des Interface ist während der Aufnahme gesperrt.

4. Klicken Sie auf Stop, um die Aufnahme zu stoppen.

Review-Panel

Aufnahmen werden automatisch in einer Takes Data-Tabelle gespeichert.

Befolgen Sie diese Schritte, um Ihre Takes anzuzeigen:

1. Klicken Sie in Mocap-Manager auf den Tab Review und dann auf Take View.

2. Doppelklicken Sie unter Takes Data auf einen Take, um ihn zu öffnen.

Nach dem Öffnen eines Takes können Sie spulen, eine Vorschau anzeigen und die Aufzeichnung prüfen. Weisen Sie eine Bewertung von 1 bis 5 Sternen für das Sortieren und Filtern zu.

Die Takes-Tabelle kann zur weiteren Verfolgung der Produktion in eine .csv-Datei exportiert werden.