In-Kamera-VFX Schnellstart in Unreal Engine | Unreal Engine 5.7 Dokumentation

Diese Schnellstart-Seite zeigt den Prozess der Einrichtung eines Projekts in Unreal Engine für die Arbeit mit In-Kamera-VFX. Am Ende dieser Anleitung werden Sie:

Über ein synchronisiertes Cluster von nDisplay-Knoten verfügen.
Ein inneres und äußeres Frustum für In-Kamera-VFX haben.
Ein Echtzeit-Kamera-Tracking-System über Live Link XR integrieren.
Ein Greenscreen-Frustum mit Chroma-Key-Markierungen haben, die ein-/ausgeschaltet werden können.
Alle Cluster-Knoten starten und am Set testen können.

Schritt 1 – Einrichten Ihres Projekts für In-Kamera-VFX

Am einfachsten richten Sie ein In-Kamera-VFX-Projekt mit dem In-Kamera-Grafikeffekt-Beispielprojekt ein.

Öffnen Sie den Epic Games Launcher.
Suchen Sie im Tab Samples das Projekt In-Camera VFX Example.
Klicken Sie auf der Projektseite auf Free.
Klicken Sie auf Create Project.
Geben Sie den Speicherort auf Ihrem Computer an, um das Projekt zu speichern, und wählen Sie Create aus.
Starten Sie Unreal Engine und öffnen Sie das Projekt In-Camera-VFX Example.

Im Beispielprojekt sehen Sie unter Content > Maps das Level Main. Öffnen Sie das Level Main, um mehr über In-Kamera-VFX mit Unreal Engine zu lernen. Das Beispielprojekt und die Level aktivieren automatisch die notwendigen Plugins, bieten hilfreiche Blueprints, konfigurieren zusätzliche Einstellungen und enthalten Sample-Konfigurationsdateien.

Plugins

Aja oder Blackmagic Media Player: Bietet Support für SDI-Aufzeichnungskarten.
Camera Calibration Ein Werkzeug zur Erstellung von Objektiv-Verzerrungsprofilen und Knotenversätzen.
Color Correct Regions: Farbe und Schattierung auf ein Volumen beschränkt.
ICVFX: Ein Plugin, das eine Basis-Suite von In-Kamera-VFX Plugins aktiviert.
Level Snapshots: Speichert alternative Layouts für praktische, nicht-destruktive Varianten des aktuellen Levels mit Filterfähigkeiten.
Live Link: Die API von Unreal Engine für die Aufnahme von Live-Daten wie Motion-Capture und Kamera-Verfolgung.
Live Link Over nDisplay: Der primäre Knoten empfängt Live Link-Daten und verteilt die Tracking-Daten auf effiziente und synchronisierte Weise neu.
Live Link XR: Die API von Unreal Engine zur Aufnahme von Live-Daten von XR-Geräten wie Vive-Trackern.
Multi-User Editing: Mehrere Editoren können in einer gemeinsamen Sitzung sein.
Media Framework Utilities: Hilfsmittel-Plugins für Live-Video, Zeitcode und Genlock auf SDI-Karten.
nDisplay: Technologie von Unreal Engine für das Rendering auf mehreren Bildschirmen.
nDisplay Support for Level Snapshots: Aktiviert den Support für das Speichern und Wiederherstellen von nDisplay-Stamm-Actor-Eigenschaften mit Level-Schnappschüssen.
OpenColorIO (OCIO): Bietet Support für OpenColorIO.
OSC: Bietet Funktionen zum Senden und Empfangen von OSC-Nachrichten zwischen Remote-Clients oder -Anwendungen.
Remote Control API: Eine Suite von Werkzeugen zur Fernsteuerung der Engine über eine REST-API, WebSockets und C++.
Remote Control Web Interface: Bietet eine Remote-Weboberfläche und einen UI-Builder zur Fernsteuerung des Editors.
Switchboard: Anwendung zum Starten von Unreal-Instanzen, nDisplay-Knoten und anderen Geräten für die virtuelle Produktion in einer Multinutzer-Sitzung.
Timed Data Monitor: Hilfsmittel zur Überwachung von Inputs, die zeitlich synchronisiert werden können.
Virtual Production Utilities: Nützliche Hilfsmittel-Plugins für die virtuelle Produktion.

nDisplay-Stamm-Actor

Das nDisplay Config Asset definiert die Beziehung zwischen den Computern im nDisplay-Cluster und der Topologie des LED-Volumen. Der nDisplay-Stamm-Actor ist eine Instanzierung des nDisplay-Config-Assets im Level und wird erstellt, indem Sie das nDisplay-Config-Asset in das Level ziehen.

Beispiel für nDisplay-Config-Assets, die im Beispielprojekt enthalten sind. Diese finden Sie im Inhaltsbrowser unter nDisplayConfigs. Weitere Informationen zu den Einstellungen, die im nDisplay-Stamm-Actor offengelegt werden, finden Sie unter nDisplay Stamm Actor Referenzen.

Schritt 2 – Erstellen der LED-Panel-Geometrie

Dieser Abschnitt zeigt ein Beispiel für die Erstellung einer gekrümmten LED-Wand. Jedes LED-Volumen kann unterschiedlich sein. Passen Sie diese Schritte daher an die Abmessungen und das Layout Ihres Displays an.

Diese Schritte zeigen, wie Sie eine Geometrie erstellen können, die realen LED-Panels entspricht.

In diesem Beispiel wird eine gekrümmte Wand mit zwei Meshs erstellt. Jedes Mesh ist zu einem nDisplay-Viewport gemappt. Es gibt einige Faktoren, die definieren, wie eine LED-Bühne in Meshs unterteilt werden sollte:

Angle: Die maximale ideale Rundung sollte 90 Grad pro Mesh betragen. Eine Kurve Größer als 90 Grad pro Mesh kann zu visueller Reduktion führen. Außerdem kann kein einzelner Viewport (und damit auch Mesh) mehr als 179 Grad abdecken.
Resolution: UHD (3840 x 2160) ist eine sinnvolle Grenze für das Rendern auf einem einzelnen GPU-nDisplay-Viewport. Bei Rechnern mit mehreren GPUs können Sie mehrere Viewports nutzen, die sich über eine größere Auflösung erstrecken. Trennen Sie in jedem Fall Ihr Bühnen-Mesh basierend auf der Auflösung der LED-Panels in Schritten der maximalen Auflösung, mit der jeder Rechner und jeder Viewport rendern soll. Wenden Sie sich an Ihren LED-Hersteller, um Details zu Ihrer Auflösung pro Panel zu erhalten.
Controls: Möglicherweise möchten Sie die Steuerung zwischen Decke und Seitenwänden trennen, wenn Sie Deckenplatten nur zur Beleuchtung und für Reflexionen verwenden und diese nie in der Kamera erscheinen. Das gilt insbesondere dann, wenn es sich bei den LED-Panels um verschiedene Modelle handelt, die unterschiedliches Farbmanagement erfordern. Die Farbverwaltung wird pro Viewport gesteuert, daher müssen Sie diese verschiedenen Panels in eigene Meshs aufteilen.

Dies sind Überlegungen, wie man die Topologie in Meshs (und damit Viewports) unterteilen kann. Es ist üblich, dass ein einzelner Rechner mehrere Viewports rendert, etwa eine Decke und eine Wand. Wichtig ist dabei, dass es sich um separate Viewports auf einem einzelnen Knoten handelt.

Jedes Mesh sollte zwei UV-Sätze in einer bestimmten Reihenfolge haben. Der erste UV-Satz wird zur Berechnung der Projektion für die PICP_Mesh-Projektionsrichtlinie für nDisplay verwendet. Der zweite UV-Satz wird verwendet, um sicherzustellen, dass sich die Chroma-Key-Tracking-Marker ordnungsgemäß über Nähte zwischen zwei Viewports bewegen.

Jedes Quadrat in diesem Beispiel Mesh steht für ein LED-Panel von 500 x 500 mm mit einem Pixelabstand von 2,6 mm.

Mesh-Darstellung einer gebogenen LED-Wand. Klicken Sie auf das Bild, um es zu vergrößern.

Die Meshs sollten in einer Position und Ausrichtung modelliert werden, die zu den LED-Panels in der echten Welt passt. In diesem Beispiel werden sie aufrecht modelliert. Die Geometrie sollte im Maßstab in cm modelliert werden.

Erstellen Sie die UV-Sätze mit den folgenden Vorgaben:

Der erste UV-Satz sollte so skaliert sein, dass er den gesamten UV-Raum im Bereich von 0 bis 1 abdeckt. Dieser UV-Satz sollte so gleichmäßig wie möglich entfaltet werden, um Dehnungen zu vermeiden. Die Skalierung kann uneinheitlich sein. Stellen Sie sicher, dass sich an den Rändern der UVs keine Umrandung befindet und dass die UVs den Bereich 0 bis 1 nicht überschreiten.
Beim zweiten UV-Satz sollten die UVs so ausgerichtet sein, dass sie an den gleichen Nähten mit der tatsächlichen Hardware-Konfiguration übereinstimmen. Sie sollten das gleiche Seitenverhältnis wie die Meshs haben.

Wenn die Meshs erstellt sind, exportieren Sie die Geometrie aus der 3D Modeling-Software und importieren Sie sie in das Unreal-Projekt. Laden Sie dieses Beispiel-Mesh herunter und ziehen Sie die Datei in den Inhaltsbrowser in den Ordner Content/nDisplayConfigs/Meshes, um den Schritten im nächsten Abschnitt zu folgen.

Sobald die Meshs in Ihr Unreal-Projekt importiert wurden, aktivieren Sie bei jedem Mesh die Option Use Full Precision UVs, um das Erscheinen von UV-Artefakten zu verhindern. Führen Sie für jedes importierte Mesh diese Schritte durch:

Doppelklicken Sie auf das importierte Mesh, um es im Statisches-Mesh-Editor Editor zu öffnen.
Erweitern Sie im Details-Panel unter LOD 0 die Build Settings und aktivieren Sie Use Full Precision UVs.

(w:500)
Klicken Sie auf die Schaltfläche Apply Changes.
Klicken Sie auf Speichern.
Schließen Sie den Statisches-Mesh-Editor.

Schritt 3 – Definieren der LED-Bildschirme in Ihrem Projekt

Sie müssen das Layout und die Geometrie der Bildschirme im Projekt anpassen, damit diese widerspiegeln, was Sie am Set haben. Diese Meshs sollten in Relation zu Ihrem Tracking-System dieselbe physische Position und die gleichen Dimensionen haben wie Ihre LED-Wand in der echten Welt. Das am Set verwendete Trackingsystem hat einen Nullpunkt. Diese Meshs sollten in den gleichen Welt-Koordinaten platziert werden, wie sie sich auf das Verfolgungssystem beziehen. Arbeiten Sie mit Ihrem Tracking-Anbieter zusammen, um den Nullpunkt zu ermitteln, und messen Sie relativ zu diesem Nullpunkt, um die Abweichungen zu ermitteln.

Diese Beispiele verwenden nicht die Loopback-Adresse 127.0.0.1, da diese nicht mit anderen Nicht-Loopback-Adressen (z. B. denen anderer Rechner) in derselben Switchboard-Konfiguration kombiniert werden kann. Loopback kann verwendet werden, jedoch nur in einer einfachen Konfiguration, in der es die einzige verwendete Adresse ist und sich jedes Gerät lokal auf der Maschine befindet, auf der Switchboard ausgeführt wird. Die Mischung von Loopback- und Nicht-Loopback-Adressen in einem Setup mit mehreren Rechnern führt zu Verbindungsfehlern.

Befolgen Sie diese Schritte, um das Layout und die Geometrie der Bildschirme in der Engine zu modifizieren und zu personalisieren:

Navigieren Sie im Inhaltsbrowser zum Ordner nDisplayConfigs.
Klicken Sie mit der rechten Maustaste im Ordner, um das Menü „Create Asset“ zu öffnen, und wählen Sie nDisplay > nDisplay Config aus.
Wählen Sie im erscheinenden Fenster Pick a starting point for your nDisplay Config den Eintrag Create New Config aus und klicken Sie auf Finish.
Geben Sie dem neuen nDisplay-Config-Asset den Namen NDC_ICVFXQuickStart.
Doppelklicken Sie auf das Asset NDC_ICVFXQuickStart, um es im nDisplay 3D Config Editor zu öffnen.
Klicken Sie im Panel Components mit der rechten Maustaste auf die Komponente nDisplayScreen und wählen Sie Delete, um die Komponente aus der Liste zu entfernen.

(w:500)
Klicken Sie auf Add Component und fügen Sie dem Komponenten-Panel zwei Statisches-Mesh-Komponenten hinzu.
Benennen Sie eines der Statisches Meshs CurvedWall_Left und weisen Sie im Details-Panel dem Parameter Static Mesh den Wert ExampleCurvedWallMesh_nDisplay_WallLeft zu. Benennen Sie das andere CurvedWall_Right und weisen Sie seinem Parameter Static Mesh ExampleCurvedWallMesh_nDisplay_WallRight zu.
Wählen Sie beide Statisches-Mesh-Komponenten aus und drehen Sie sie, sodass sie sich in Richtung des Ursprungs drehen. Sie sehen keine Vorschau der Projektionen auf den Meshs, bis in einem späteren Schritt Projektionsrichtlinien festgelegt werden.
Klicken Sie im Cluster-Panel auf die Schaltfläche Add New und wählen Sie Add New Cluster Node aus.

Wenn Sie NVIDIA Quadro Sync II mit NVIDIA Quadro-GPUs verwenden, wählen Sie das Cluster-Element im Panel Clusteraus und legen Sie den Typ auf Nvidia (2) fest.
Ein Cluster-Knoten repräsentiert einen Host-Computer. Führen Sie im erscheinenden Fenster Add New Cluster Node Folgendes aus:
1. Legen Sie Host IP Adresse auf die externe IP Adresse Ihres Computers fest. Sie müssen die externe IP-Adresse Ihres Computers anstelle der standardmäßigen lokalen IP-Adresse 127.0.0.1 verwenden, wenn Sie Ihrem nDisplay-Cluster später weitere Computer hinzufügen möchten, da Sie in einer Konfiguration mit mehreren Computern nicht sowohl Loopback- als auch Nicht-Loopback-Adressen verwenden können. In diesen Schritten wird die IP-Adresse 192.0.2.0 als Beispiel verwendet.
2. Aktivieren Sie Vollbild, um Synchronisation und Genlock zu erreichen.
3. Klicken Sie auf Hinzufügen.
Ein Cluster-Knoten wird erstellt und dem Knoten wird ein neuer Viewport zugewiesen. Wählen Sie den Viewport im Cluster-Panel aus, um dessen Details-Panel zu öffnen.
Setzen Sie im Details-Panel Ansichtsursprung auf DefaultViewPoint. Dies ermöglicht es der zugehörigen Komponente, den Projektionspunkt für das äußere Frustum zu steuern.
Setzen Sie im Abschnitt Projektionsrichtlinie des Details-Panels für den Viewport den Typ auf Mesh und wählen Sie Ihr CurvedWall_Left-Mesh aus der Liste. Nur Statisches-Mesh-Komponenten, die zum Komponenten-Panel hinzugefügt wurden, werden in der Mesh-Liste angezeigt.
Sehen Sie, wie die Testszene auf dem Mesh im Viewport und im Output Mapping-Panel erscheint.
Erstellen Sie einen Viewport für das andere Wand-Mesh. Klicken Sie mit der rechten Maustaste auf den Cluster-Knoten und wählen Sie Neuen Viewport hinzufügen.
Im Fenster Neuen Viewport hinzufügen, das erscheint:
1. Setzen Sie Ansichtsursprung auf DefaultViewPoint.
2. Setzen Sie unter Projektionsrichtlinie den Typ auf Mesh.
3. Setzen Sie unter Projektionsrichtlinie das Mesh auf CurvedWall_Right.
4. Klicken Sie auf Hinzufügen.
Ein zweiter Viewport wird erstellt und die Testszene erscheint auf dem Wand-Mesh im Viewport und im Output Mapping Panel.
Fügen Sie im Komponenten-Panel eine ICVFXCamera-Komponente hinzu. Diese Komponente gibt Ihnen Steuerungsmöglichkeiten und Funktionen für den inneren Frustum.
Wählen Sie die erstellte ICVFXCamera-Komponente aus und bearbeiten Sie sie im Vorschau-Viewport. Sie sehen eine Vorschau der inneren Frustum-Projektion auf Ihren Projektions-Meshs.
Kompilieren und Speichern Sie das Asset.
Ziehen Sie das NDC_ICVFXQuickStart-Asset in das Level, um einen nDisplay-Stamm-Actor zu erstellen und das Level im Cluster voranzusehen.
Speichern Sie das Projekt.

Dieser Abschnitt zeigte, wie Sie Ihr eigenes nDisplay Config Asset erstellen und mit den zuvor erstellten Meshs einrichten. Ein beispielhaftes nDisplay Config Asset mit einem Quad-Mesh-Layout ist bereits im Projekt enthalten. Sie finden dieses Asset im Inhaltsbrowser unter nDisplayConfigs/nDisplayBasicExample.

Schritt 4 – Starten Sie Ihr Projekt mit Switchboard

Das Diagramm zeigt, wie nDisplay mit einem Netzwerk und Display-Geräten für In-Camera VFX arbeitet. Klicken Sie auf das Bild, um es zu vergrößern.

In einer nDisplay-Konfiguration gibt es einen primären Computer und einen Cluster von zusätzlichen Computern. Der primäre Computer ist der zentrale Ort für die Verwaltung und Verteilung von Input-Informationen. Der primäre Computer stellt sicher, dass alle PCs im Cluster synchronisiert sind und gleichzeitig Inputs und Daten empfangen. Weitere Informationen zu einer nDisplay-Konfiguration finden Sie unter nDisplay-Übersicht.

Switchboard ist eine externe Anwendung, die es einem einzelnen Operator ermöglicht, nDisplay-Cluster zu steuern. Switchboard verfügt über zusätzliche Funktionen wie erweitertes Logging, Systemüberwachung und Integration mit externer Software, um gleichzeitig die Aufnahme von Drittprogrammen für Motion Capture mit dem Take Recorder auszulösen.

Befolgen Sie die nachstehenden Schritte, um den nDisplay-Cluster mit Switchboard zu starten:

Klicken Sie in der Symbolleiste auf die Switchboard-Schaltfläche. Wenn Sie Switchboard zum ersten Mal starten, erscheint eine Eingabeaufforderung und installiert die erforderlichen Abhängigkeiten.
Klicken Sie in der Symbolleiste auf die drei Punkte neben der Switchboard-Schaltfläche und wählen Sie im Dropdown-Menü SwitchboardListener starten. Diese Begleitanwendung muss auf jedem Computer im Cluster ausgeführt werden, um eine Verbindung zu Switchboard herstellen zu können.
Erstellen Sie eine neue Switchboard-Konfiguration für das Projekt.
1. Wenn Sie Switchboard zum ersten Mal ausführen, erscheint das Fenster Neue Switchboard-Konfiguration hinzufügen, sobald Switchboard startet.
2. Wenn Sie Switchboard bereits zuvor ausgeführt haben, klicken Sie auf Konfigurationen > Neue Konfiguration in der oberen linken Ecke des Fensters, um das Fenster Neue Switchboard-Konfiguration hinzufügen zu öffnen.
Im Fenster Neue Switchboard-Konfiguration hinzufügen:
1. Setzen Sie Konfigurationspfad auf ICVFXQuickStart.
2. Setzen Sie uProject auf den Speicherort des In-Camera VFX Example Project auf Ihrem Computer.
3. Setzen Sie Engine-Verzeichnis auf den Speicherort der Unreal Engine 5.
4. Klicken Sie auf OK.
Setzen Sie in Switchboard Level auf Main.
Klicken Sie auf Gerät hinzufügen > nDisplay, um das Fenster nDisplay-Gerät hinzufügen zu öffnen.
Klicken Sie im Fenster nDisplay-Gerät hinzufügen auf die Schaltfläche Bevölkern, um eine Liste der verfügbaren nDisplay Config Assets aus dem Projekt anzuzeigen. Wählen Sie das im vorherigen Abschnitt erstellte nDisplay Asset NDC_InCameraVFXQuickStart aus und klicken Sie auf OK.
Der Cluster-Knoten erscheint unter nDisplay-Geräte.
1. Klicken Sie auf die Schaltfläche Mit Listener verbinden, um eine Verbindung zum Switchboard Listener herzustellen.
2. Klicken Sie auf die Schaltfläche Unreal Starten, um Unreal mit dem nDisplay-Renderer zu starten.
Wenn nDisplay startet, werden alle Fenster auf dem Computer minimiert und die nDisplay-Ansicht erscheint.

Schritt 5 – Multi-User-Sitzung beitreten

Das Multi-User-Editing-System ermöglicht eine robuste Zusammenarbeit, um jede Art von Änderung zu unterstützen. Mehrere Bedienrechner in derselben Multi-User-Sitzung können verschiedene Aufgaben ausführen und die Szene in Echtzeit modifizieren. In einer nDisplay-Konfiguration ist Multi-User für die Synchronisierung von Änderungen über die verschiedenen Instanzen der Unreal Engine auf den Cluster-Knotens verantwortlich, um sicherzustellen, dass kreative Aktualisierungen der Szene sofort und gleichzeitig auf der LED-Wand während eines Drehs erscheinen.

Befolgen Sie die nachstehenden Schritte, um Ihren Unreal Editor über Multi-User mit dem nDisplay-Renderer zu verbinden.

Klicken Sie in Switchboard auf die Schaltfläche Unreal Stoppen im nDisplay-Knoten.
Klicken Sie auf die Schaltfläche Einstellungen, um das Fenster Switchboard-Einstellungen zu öffnen.
Im Abschnitt Multi-User-Server:
1. Setzen Sie Server-Name auf ICVFXQuickStart_MU_Server.
2. Aktivieren Sie Automatisch beitreten, damit alle Unreal-Instanzen oder nDisplay-Knotens automatisch versuchen, sich zu verbinden.
3. Aktivieren Sie Automatisch starten. Das Multi-User-Server-Executable startet nicht ohne diese Aktivierung.
Schließen Sie das Fenster Einstellungen.
Setzen Sie Multiuser-Sitzung auf ICFVXQuickStart_Session_001.
Klicken Sie auf die Schaltfläche Unreal Starten neben dem nDisplay-Knoten, um ihn neu zu starten.
Warten Sie, bis der nDisplay-Knoten vollständig gestartet ist, bevor Sie zum nächsten Schritt übergehen.
Klicken Sie in der Werkzeugleiste des Editors auf die Schaltfläche Durchsuchen, um den Multi-User-Browser zu öffnen.
Doppelklicken Sie im Multi-User-Browser auf ICVFXQuickStart_Session_001, um Ihren Unreal Editor mit der über nDisplay gestarteten Multi-User-Sitzung zu verbinden.

Wenn der Unreal Editor eine Meldung über Änderungen im Speicher anzeigt und Sie daran hindert, Ihrer Multi-User-Sitzung beizutreten, bedeutet dies, dass möglicherweise etwas in Ihrem Editor eine nicht gespeicherte Änderung aufweist und Ihr Projekt nicht mit dem aktuellen Zustand des mit nDisplay laufenden Projekts übereinstimmt. Alle Projekte, die einer Multi-User-Sitzung beitreten, sollten sich exakt im gleichen Zustand befinden. Um dies zu beheben, stellen Sie sicher, dass Sie das Projekt vor dem Start von nDisplay speichern.
Der Multi-User-Browser zeigt Ihnen nun die Sitzung an, mit der Sie aktuell verbunden sind, sowie das Level, das bei jedem Benutzer aktiv ist. Die Clients-Kategorie zeigt Ihnen, welche Knotens und Editor-Instanzen verbunden sind. Der Verlauf listet Transaktionen auf, die während einer Multi-User-Sitzung durchgeführt wurden. Details zeigt weitere Informationen zur aktuell ausgewählten Transaktion in der Verlauf-Kategorie.
Änderungen, die Sie im Editor vornehmen, werden nun an den nDisplay-Knoten übertragen. Verschieben Sie die Standard-Ansichtspunkt-Komponente für NDC_ICVFXQuickStart, um zu sehen, wie sich die nDisplay-Ansicht mit den Änderungen im Editor aktualisiert.

Schritt 6 – Live Link für Camera-Tracking verwenden

Live Link ist ein Framework in der Unreal Engine zum Einlesen von Live-Daten, einschließlich Kameras, Lichter, Transformationen und grundlegender Eigenschaften. Für In-Camera-VFX spielt Live Link eine entscheidende Rolle bei der Verteilung der verfolgten Kamera-Informationen und kann für die Kompatibilität mit nDisplay aktiviert werden, um die Tracking-Informationen an jeden Cluster-Knoten zu übertragen. Die Unreal Engine unterstützt über Live Link viele Kamera-Tracking-Partner wie Vicon, Stype, Mo-Sys und Ncam sowie verschiedene andere professionelle Tracking-Lösungen. Live Link unterstützt auch XR-Geräte wie Vive Tracker und Controller als Live Link-Quelle.

Für diesen Schritt ist es wichtig, dass Sie eine Live Link-Quelle zur Verfügung haben. Diese Anleitung zeigt Ihnen, wie Sie Live Link XR in Ihrem Projekt einrichten, damit Sie ein VR-Headset und Controller für das Tracking verwenden können. Sie können ähnliche Schritte verwenden, um andere Live Link-Quellen zu aktivieren. Weitere Details finden Sie unter Live Link XR.

So tracken Sie den inneren Kamera-Frustum über Live Link XR mit nDisplay:

Wählen Sie im Hauptmenü des Unreal Editors Fenster > Virtuelle Produktion > Live Link, um das Live Link-Panel zu öffnen.
Klicken Sie im Live Link-Panel auf die Schaltfläche Quelle hinzufügen. Wählen Sie im Dropdown-Menü Live Link XR Source.
Aktivieren Sie im erscheinenden Verbindungseinstellungen-Panel die Optionen Controller verfolgen und HMDs verfolgen und klicken Sie auf Hinzufügen.
Wenn die Live Link XR Source hinzugefügt wurde, erscheinen die verbundenen XR-Geräte unter dem XR-Bereich des Motiv-Panels.
Wählen Sie im Motiv-Panel das XR-Gerät aus, das Sie für das Tracking verwenden, um dessen Details-Panel zu öffnen. Aktivieren Sie im Details-Panel Motiov erneut senden, um die Tracking-Daten mit anderen Computern in der Multi-User-Sitzung zu teilen.
Klicken Sie auf Presets und wählen Sie Als Preset speichern.
Wählen Sie im Hauptmenü Bearbeiten > Projekteinstellungen.
Wählen Sie in den Projekteinstellungen unter Plugins die Option Live Link.
Fügen Sie das Live Link Preset zu Standard Live Link Preset hinzu, damit das Preset beim Projektstart automatisch angewendet wird.
Wählen Sie im Outliner DemoDisplay3_innerFrustum aus, um dessen Details-Panel zu öffnen.
Klicken Sie auf Komponente hinzufügen und wählen Sie Live Link Controller, um einen Live Link Component Controller zum Cine Camera Actor hinzuzufügen.
Wählen Sie im Komponente-Bereich von DemoDisplay3_innerFrustum den LiveLinkComponentController aus, um dessen Einstellungen anzuzeigen.
Setzen Sie unter Live Link den Parameter Motivrepräsentation auf Ihr Live Link-Motiv. In diesem Beispiel ist das Live Link-Motiv ein SteamVR-Controller.
Wählen Sie die ICVFX Camera-Komponente des NDC_ICVFXQuickStart-Actors aus, um dessen Details-Panel zu öffnen. Setzen Sie den Cine Camera Actor auf DemoDisplay3_innerFrustum.
Wenn Sie das XR-Gerät bewegen, ahmt die Kamera im Editor die Bewegung nach. Der innere Frustum erscheint auch in der nDisplay-Vorschau, wenn die Kamera auf die Meshs gerichtet ist.
Speichern Sie das Projekt.
Starten Sie den nDisplay-Cluster neu, um die Änderungen im nDisplay-Renderer zu sehen.

Schritt 7 – Aktivieren Sie Green Screen und Chroma Key

Sie können die Anzeige im inneren Frustum auf den LED-Panels von der virtuellen Welt zu einem Green Screen mit Chroma-Key-Markierungen ändern.

Befolgen Sie diese Schritte, um den Green Screen sichtbar zu machen und die Chroma-Key-Markierungen zu modifizieren:

Wählen Sie im Outliner NDC_ICVFXQuickStart aus.
Wählen Sie im Details-Panel die ICVFXCamera-Komponente aus, um deren Einstellungen anzuzeigen.
Aktivieren Sie im Details-Panel unter Chromakey die Option Inneren Frustum Chromakey aktivieren.
Der innere Frustum wird grün und Tracking-Markierungen werden darüber gerendert.

Bild für Großansicht anklicken.
Ändern Sie die Parameter im Bereich Chromakey, um die Farbe, die Marker-Platzierung und benutzerdefinierte Marker-Alpha-Texturen zu modifizieren. Weitere Details zu den Einstellungen finden Sie in der nDisplay-Stamm-Actor-Referenz.

Dieser Abschnitt zeigte, wie Sie Chroma Key für den inneren Frustum aktivieren. Ein Beispiel-nDisplay Config Asset mit aktiviertem Chroma Key ist bereits im Projekt mit einem Quad-Mesh-Layout enthalten. Sie finden dieses Asset im Inhaltsbrowser unter nDisplayConfigs/nDisplayExample_Chromakey.

Schritt 8 – Lightcards hinzufügen

Lightcards finden Sie in den Inhalten des nDisplay-Plugins. Lightcard-Actors sollten in einer separaten Ebene erstellt und mit dem Äußeren Frustum-Ansichtspunkt des Config-Actors verbunden werden, um die Lightcard-Steuerungsfunktionen von nDisplay optimal zu nutzen.

Befolgen Sie die nachstehenden Schritte, um Lightcards zu Ihrem Projekt hinzuzufügen.

Klicken Sie im Inhaltsbrowser auf Einstellungen und aktivieren Sie sowohl Engine-Inhalte anzeigen als auch Plugin-Inhalte anzeigen.
Öffnen Sie im Quellen-Panel den Ordner nDisplay Inhalt/LightCard.
Ziehen Sie den Blueprint LightCard in Ihr Level. Setzen Sie im Outliner den LightCard-Actor als Child des NDC_ICVFXQuickStart.

Die Splines visualisieren die Position des Längen- und Breitengrades der Lightcard. Für eine bessere Projektion auf das äußere Frustum platzieren Sie den Lightcard-Actor an derselben Position wie die Ansichtsursprung-Komponente im nDisplay-Stamm-Actor.
Wählen Sie im Hauptmenü Fenster > Ebenen, um das Ebenen-Panel zu öffnen.
Klicken Sie im Ebenen-Panel mit der rechten Maustaste und wählen Sie Leere Ebene erstellen aus dem Dropdown-Menü. Benennen Sie die Ebene ICVFXQuickStart_LightCards.
Wählen Sie im Outliner die Lightcard aus. Klicken Sie mit der rechten Maustaste auf die Ebene ICVFXQuickStart_LightCards und wählen Sie Ausgewählte Actors zu ausgewählten Ebenen hinzufügen.
Wählen Sie im Outliner NDC_ICVFXQuickStart aus, um dessen Details-Panel zu öffnen.
Fügen Sie im Details-Panel unter Lightcards ein Array-Element zum Parameter Ebenen hinzu.
Setzen Sie das Ebenen-Array-Element auf ICVFXQuickStart_LightCards.

Weitere Details zu den Lightcard-Einstellungen finden Sie in der nDisplay-Stamm-Actor-Referenz.

Schritt 9 –Mit Multi-Frustum aufnehmen

Mehrere innere Frustums können im nDisplay Config Asset erscheinen. In diesem Schritt fügen wir eine zweite ICVFXCamera-Komponente zum NDC_ICVFXQuickStart nDisplay Config Asset hinzu und richten sie für Multi-Frustum-Aufnahmen ein.

Folgen Sie den nachstehenden Schritten, um eine weitere ICVFX Camera-Komponente zum nDisplay Config Asset hinzuzufügen.

Stoppen Sie alle nDisplay Knoten vor dem nächsten Schritt.
Doppelklicken Sie im Inhaltsbrowser auf das NDC_ICVFXQuickStart-Asset. Aktuell wird bereits eine ICVFXCamera-Komponente im Komponenten-Panel vorhanden sein.
Klicken Sie auf Komponente hinzufügen und fügen Sie eine weitere ICVFXCamera-Komponente hinzu. Stellen Sie sicher, dass beide als Parent die Stamm-Komponente in der Komponentenhierarchie haben. Benennen Sie die beiden ICVFXCamera-Komponenten wie folgt:
1. ICVFXCamera_ACam
2. ICVFXCamera_BCam
Wählen Sie die neue ICVFXCamera-Komponente aus und manipulieren Sie sie im Viewport, um die mehrfachen Frustum-Projektionen zu sehen.
Kompilieren und Speichern Sie das nDisplay Config Asset.
Der aus diesem Asset automatisch erstellte nDisplay-Stamm-Actor wird mit der zweiten Kamera in der Level aktualisiert.
Wählen Sie im Outliner NDC_ICVFXQuickStart aus, um dessen Details-Panel zu öffnen. Erweitern Sie im Details-Panel unter In-Camera VFX den Bereich Inneres Frustum Priorität und ändern Sie die Reihenfolge der Kameras. Die zuerst aufgelistete Kamera wird bei Überlappung über der anderen gerendert.
Fügen Sie einen neuen CineCamera-Actor zu Ihrem Level hinzu, um ihn von der ICVFXCamera-Komponente aus zu referenzieren. Fügen Sie dem neuen CineCamera-Actor einen LiveLinkComponentController hinzu und verbinden Sie ein Live Link Subject mit der Komponente.

Dieser Abschnitt zeigte, wie Sie dem nDisplay Config Asset eine weitere Kamera mit eigenem inneren Frustum hinzufügen. Ein Beispiel-nDisplay Config Asset mit zwei Kameras und einem Quad-Mesh-Layout ist bereits im Projekt enthalten. Sie finden dieses Asset im Inhaltsbrowser unter nDisplayConfigs/nDisplayExample_multiFrustum.

Schritt 10 – OpenColorIO-Konfiguration anwenden

Dieser Abschnitt zeigt, wie Sie aus einer Plugin-Content-OCIO-Konfigurationsdatei ein OCIO Configuration Asset erstellen und es den Viewports des nDisplay-Stamm-Actors zuweisen.

Befolgen Sie diese Schritte, um eine OCIO-Konfiguration im Projekt zu verwenden:

Wählen Sie im Outliner NDC_ICVFXQuickStart aus, um dessen Details-Panel zu öffnen.
Aktivieren Sie im Details-Panel unter OCIO die Option Viewport OCIO aktivieren.
Erweitern Sie Alle Viewports Farbkonfiguration.
1. Setzen Sie Konfigurationsquelle auf ExampleOCIO.
2. Setzen Sie Quellfarbraum auf Utility – Raw.
3. Setzen Sie Zielfarbraum auf Output -sRGB Monitor.

Stellen Sie die Ziel-Farbraum-Einstellungen ein

Diese Schritte zeigten, wie Sie eine OCIO-Konfiguration zum Projekt hinzufügen. Sie können OCIO-Konfigurationen auch pro Viewport und separat am inneren Frustum einstellen. Weitere Informationen dazu finden Sie unter Farbmanagement in nDisplay.

Schritt 11 – Szene aus der Ferne steuern

Das Remote Control Web Interface ist eine anpassbare Webanwendung, die die Remote Control API nutzt. Dieser Abschnitt zeigt, wie Sie ein Remote Control Preset erstellen und Änderungen an Ihrem Level über eine Webbrowser-Oberfläche vornehmen können.

Folgen Sie den nachstehenden Schritten, um Ihr eigenes Remote Control Preset und Ihre Remote Control Webanwendung zu erstellen.

Klicken Sie im Inhaltsbrowser mit der rechten Maustaste und wählen Sie Remote Control > Remote Control Preset, um ein neues Remote Control Preset-Asset zu erstellen.
Doppelklicken Sie auf das Remote Control Preset-Asset, um das Remote Control Panel zu öffnen.
Wählen Sie im Outliner den Actor CR_Mannequin_Body aus, um dessen Details-Panel zu öffnen.
Klicken Sie im Details-Panel unter dem Abschnitt Transform auf die Schaltfläche Expose, um die Eigenschaften Position und Rotation für die Remote Control API verfügbar zu machen.
Klicken Sie im Remote Control Panel auf die Schaltfläche Web-App starten, um einen Webbrowser zu öffnen, der sich mit der Remote Control Webanwendung verbindet. Auf Ihrem lokalen Computer ist die Web-App unter 127.0.0.1:7000 erreichbar.
Schalten Sie in der Remote Control Webanwendung den Control-Schalter in den Design-Modus um.
Wählen Sie den Eigenschaften-Tab aus.
Klicken und ziehen Sie Relative Position auf die leere Arbeitsfläche. Ein blauer Kreis erscheint im Eigenschaften-Tab neben der Eigenschaft, wenn diese zur Oberfläche hinzugefügt wurde.
Klicken und ziehen Sie Relative Rotation auf dieselbe Arbeitsfläche.
Wählen Sie das Relative Position Widget in der Arbeitsfläche aus, um dessen Einstellungen zu öffnen.
Setzen Sie in den Widget-Einstellungen für Relative Position die Option Widget auf Joystick, um das Aussehen des Widgets zu ändern.
Wählen Sie das Relative Rotation Widget aus, um dessen Einstellungen zu öffnen.
Setzen Sie in den Widget-Einstellungen für Relative Rotation die Option Widget auf Schieberegler.
Wechseln Sie vom Design-Modus in den Control-Modus, um die Oberfläche zu sperren.
Interagieren Sie bei sichtbarem Editor-Viewport mit den UI-Steuerelementen, um zu sehen, wie sich dies auf Ihr Level auswirkt.

Schritt 12 – Aufgabe

Dieser Leitfaden behandelt die Einrichtung von Anzeigen auf LED-Bildschirmen, das Starten Ihres Projekts auf mehreren Computern und die Integration von Kamera-Tracking in das Projekt. Zusätzliche Beispiele für nDisplay Config Assets sind im Projekt im nDisplayConfigs-Ordner enthalten, die zeigen, wie Sie Ihren Cluster in anderen Konfigurationen einrichten können, einschließlich Multi-Knoten und mGPU.

Multi-Display-Setups erfordern Synchronisationsfähigkeiten sowohl auf Software- als auch auf Hardware-Ebene. Nicht nur sollte der generierte Inhalt auf allen PCs zur gleichen Zeit bereit stehen und dieselben Timing-Informationen für die Simulation verwenden, sondern auch der Display-Swap (das Austauschen des aktuellen Bildes gegen das nächste Bild im Grafikkartenpuffer) muss zum richtigen Zeitpunkt erfolgen, um Tearing-Artefakte in der Anzeige zu verhindern. Siehe Synchronisation in nDisplay für Informationen zur Einrichtung der Display-Synchronisation und Genlock auf den Rechnern, um eine nahtlose Ansicht über mehrere Displays zu erstellen.

Zusätzlich zur Synchronisation der Displays müssen der Timecode und die Frame-Generierung der Engine mit dem Input der Kamera übereinstimmen. Siehe Timecode und Genlock für Schritte zur Synchronisation des Timecodes und zum Genlocken der Engine zwischen allen Geräten.

Um die Szene und Displays während eines Filmdreh steuern zu können, können Sie verschiedene How-Tos für In-Camera VFX ausprobieren:

Szenenmodifikation auf der Bühne in Echtzeit mit Multi-User Editing.
Live-Compositing mit Composure.
Passen Sie die Beleuchtung und Schatten zwischen dem realen Set und der auf den LED-Wänden angezeigten Umgebung mit Color Correct Regions an.
Speichern und stellen Sie Actor-Zustände für jede Aufnahme mit Level Snapshots wieder her.
Kalibrieren Sie die Anzeige von Inhalten auf Ihrer LED-Wand für Ihre Kamera mit der Anleitung In-Camera VFX Camera Calibration.
Empfangen und überwachen Sie Ereignisse von jedem Gerät in Ihrem Netzwerk mit Stage Monitor.
Überwachen, kalibrieren und betrachten Sie eingehende Zeitdaten mit dem Timed Data Monitor.
Nutzen Sie Bewegungsunschärfe effektiv in Ihren Prozessaufnahmen mit Camera Motion Blur in nDisplay.
Führen Sie Farbkorrekturen nur für die Displays und das innere Frustum mit Color Management in nDisplay durch.

Diese Anleitung behandelte die Grundlagen von In-Camera-VFX-Projekten. Ein Beispiel für ein reales Produktionsprojekt finden Sie im In-Camera VFX Production Test.