Audio Insights | Unreal Engine 5.6 Dokumentation

Übersicht

AudioInsights ist ein Engine-Plugin, das eine Suite von Werkzeugen zum Profiling, Debuggen und Überwachen der Laufzeit von Audio in Unreal Engine bietet. AudioInsights kann mithilfe mehrerer Tabs sowohl Visualisierungen als auch numerische Werte für die aktuelle Tonhöhe, Lautstärke und andere Parameter für Quellen, Audio-Busse, Submixes und mehr während des Live-Gameplays bereitstellen. Es kann neben eigenständigen Spielen auch Informationen für PIE-Sitzungen bereitstellen.

Quick Start

AudioInsights ist nicht standardmäßig aktiviert. Um es einzuschalten, geh im Unreal Editor zu Edit > Plugins und aktiviere das AudioInsights Plugin. Du musst auf Restart Now klicken, damit das Plugin geladen wird.

Sobald diese Funktion für das Projekt aktiviert ist, kannst du im Editorfenster über das Menü Tools ein AudioInsights-Fenster öffnen und Audio Insights auswählen:

Select-audio-insights-from-the-tools-menu.

Mit Beginn einer PIE Sitzung wird das AudioInsights-Fenster mit Daten aus der Audio-Engine gefüllt. AudioInsights erfordert eine Trace-Aufnahme mit UnrealInsights. Das Öffnen des AudioInsights-Fensters beginnt automatisch mit der Aufnahme eines Trace, sobald du eine PIE Sitzung startest. AudioInsights ist ein Fenster im Tab-Stil und kann an einer beliebigen Stelle in deinem Editor angedockt werden.

Die Verwendung von AudioInsights in einem eigenständigen Spiel erfordert den Einsatz von UnrealInsights. Wähle im Trace-Menü unten rechts im Editorfenster Unreal Insights (Session Browser) aus und beende den Editor, sobald Unreal Insights gestartet hat.

Alternativ kannst du UnrealInsights über die Befehlszeile ausführen mit:

/Engine/Binaries/Win64/UnrealInsights.exe -DisableFramerateThrottle

Das zusätzliche Flag ermöglicht es UnrealInsights, mit 60fps zu laufen, auch wenn es nicht im Fokus ist. Beginne dein eigenständiges Spiel mit dem Flag -Messaging und verbinde dich über den Tab Connection von UnrealInsights damit. Stelle sicher, dass cpu, audio, und audiomixer (ohne Leerzeichen nach den Kommas) im Feld Initial channels angegeben sind, und klicke dann auf Connect.

Dadurch wird eine Verbindung zum aktuell laufenden Spiel hergestellt. Suche auf dem Tab Trace Store das mit LIVE gekennzeichnete Trace und doppelklicke darauf, um das Fenster für die Trace-Sitzung zu öffnen. Wähle im Menü die Option Audio Insights aus.

Daraufhin wird ein AudioInsights-Fenster angezeigt, das ähnlich funktioniert wie das Fenster, das mit PIE verbunden ist (siehe oben). Eine eigenständige Instanz von AudioInsights hat nicht die gleichen Funktionen wie die Arbeit mit PIE, nur die Tabs Sounds, Sources und Virtual Loops sind verfügbar.

Detail-Tabs für Audiodaten

Sichtbare Tabs werden über das Menü View im Tab Audio Insights konfiguriert:

Detaillierte Tabs können an jeder beliebigen Stelle im Audio Insights-Tab positioniert oder als frei schwebendes Fenster bewegt werden. Durch Auswahl von Reset Layout wird das daraus eventuell resultierende Tab-Chaos behoben.

Steuerelemente der obersten Ebene:

Only trace audio signals during PIE: AudioInsights verwendet die Trace-Funktionen von UnrealInsights, wodurch viele Daten erzeugt werden können. Wenn du Trace nur für AudioInsights aktivierst, wird durch Aktivieren dieses Kontrollkästchens die Menge der gespeicherten Daten reduziert, während du deine Sitzung mit AudioInsights überwachst und debugst.
World Filter: Dieses Dropdown-Menü gibt dir die Option, Audiodaten aus den aktuell ausgeführten Welten, einschließlich des Editors, auszuwählen

Log-Tab

Der Log-Tab ist ein weiterer bequemer Weg, um Unreal Editor-Logs neben relevanten Audioinformationen, die du möglicherweise betrachtest, zu filtern und einzusehen. Diese Daten zeigen standardmäßig alle audio-spezifischen Log-Kategorien an, aber du kannst die Filter ändern, um andere Log-Kategorien und Ausführlichkeiten einzuschließen oder auszuschließen.

Sounds-Tab

Der Sounds-Tab zeigt alle aktuell abgespielten Sound-Assets an, die nach Kategorie geordnet sind, mit Text-Anzeigen der Laufzeitdaten für jedes. Es ermöglicht dir, mit den abgespielten Sounds zu interagieren, um Elemente des Mixes stummzuschalten oder auf Solo zu setzen. Bei den zur Identifizierung von Klängen verwendeten Namen handelt es sich um den Uasset-Namen und nicht um den Namen der Laufzeitinstanz.

Sound-Kategorien

MetaSound: Metasound Source-Assets
Sound Cue: Sound Cues und alle Child Sound Waves
Procedural Source: Jedes Mixer-Input-Objekt, das Daten von USoundWaveProcedural im Code übernimmt
Sound Wave: Einfaches Wave-Asset
Sound Cue Template: Sound Cues, die zur Laufzeit aus einer Vorlage erstellt werden
Other: Audio Source Buses

Daten

Muted: Wird angezeigt, wenn die Sound-Instanz stummgeschaltet ist
Soloed: Wird angezeigt, wenn die Sound-Instanz solo gespielt wird
Name: UAsset-Name des Sounds, nicht der Name der Laufzeitinstanz
Priorität: für die Gleichzeitigkeit festgelegt, ein positiver Float (Fließkomma)-Wert, wobei höhere Zahlen eine höhere Priorität anzeigen
Distance: positive Entfernung vom Sound-Renderer in Map-Einheiten
Amp (Peak): Wert eines Hüllkurvenfolgers, der die Amplitude verfolgt, Floatwert von 0.0 bis 1.0 für maximale Output-Amplitude
Volume: die Summe aller Werte und Modulatoren für diese Sound-Instanz, ohne Entfernungsabschwächung, ein positiver Float (Fließkomma)-Wert als linearer Amplituden-Multiplikator
Pitch: Die Summe aller Tonhöhenwerte und Modulatoren für diese Sound-Instanz, ein positiver Float (Fließkomma)-Wert als linearer Multiplikator der Wiedergaberate
Aggregation: in einem hierarchischen Objekt wie einem Sound Cue, das mehrere Child Sound Waves enthält, zeigen Sound Cue Volume und Pitch die Werte der obersten Ebene an, aber die Sound Wave zeigt den aggregierten Wert der obersten Ebene des Sound Cue und alle anderen Modulationen, die mit dieser Sound Wave innerhalb des Sound Cue geschehen

Anzeigeoptionen

Show Stopped: Wenn diese Option aktiviert ist, werden kürzlich gestoppte Klänge in der Liste einige Sekunden lang grau angezeigt, was die Beobachtung kurzer Klänge erleichtert.
Filter Categories: Zeig die Kategorie-Schaltflächen im Tab-Header, mit denen die aufgeführten Sounds schnell gefiltert werden können
Data Display: Ein Rechtsklick auf den Header bringt Optionen zur Auswahl der angezeigten Audiodaten

Steuerelemente

Sound Context Menu: Durch einen Rechtsklick auf einen ausgewählten Sound kannst du einen Sound mit Pin oben im Display anheften, im Inhaltsbrowser mit Browse to Asset zum Asset navigieren oder auf Edit klicken, um zum Bearbeiten den Asset-Editor aus diesem Fenster zu öffnen.
Mute Selected: ein in der Liste gewählter Sound kann durch Drücken der Schaltfläche "Mute Selected" stummgeschaltet werden
Solo Selected: ein in der Liste gewählter Sound kann durch Drücken der Schaltfläche "Solo Selected" solo gestellt werden
Clear All Mutes/Solos: Setzt die Abspielmischung auf den Standard zurück

Sources-Tab

Der Sources-Tab zeigt alle aktuellen Inputs des Audio-Mixers in einer flachen Liste an. Die präsentierten Assets stimmen mit den im Tab Sounds aufgeführten Assets überein und zeigen unterschiedliche Audiodaten an.

Angezeigte Daten

Play Order: Monoton ansteigende Sound-Instanz-ID, zeigt die Reihenfolge an, in der die Sounds im Mixer gestartet wurden
Name: UAsset-Name, nicht Laufzeitinstanz-Name
Amp (Peak): Wert eines Hüllkurvenfolgers, der die Amplitude der Mixer-Quelle verfolgt
Volume: Summe aller Volume-Steuerungen und Modulatoren für diese Mixer-Quelle ohne Distanzdämpfung, positiver Float (Fließkomma)-Wert als linearer Amplitudenmultiplikator
Distance Attenuation: Gain-Multiplikator basierend auf der Distanz dieser Quelle zum Sound Renderer, Float (Fließkomma)-Wert von 0.0 bis 1.0
Pitch: Summe aller Pitch-Steuerungen und Modulatoren für diese Mixer-Quelle, positiver Float (Fließkomma)-Wert als linearer Multiplikator der Wiedergaberate
LPF: Summe aller Tiefpassfilter-Steuerelemente und Modulatoren für diese Mixer-Quelle, die die Grenzfrequenz in Hertz angibt
HPF: Summe aller Hochpassfilter-Steuerelemente und Modulatoren für diese Mixer-Quelle, die die Grenzfrequenz in Hertz angibt

Steuerelemente

Data Filter: Ein Rechtsklick auf die Listenkopfzeile öffnet ein Kontextmenü, in dem du auswählen kannst, welche Audiodatenwerte pro Mixer-Quelle angezeigt werden
Global Mute/Solo: Diese Steuerung hängt davon ab, was durch den Text gefiltert wird. Die Schaltflächen M und S schalten die gefilterte Liste der Quellen stumm oder solo. Wird nichts gefiltert, so kehrst du mit den Tasten M und S zur Standardmischung zurück. Dies verhindert Mute- und Solo-Actions im Sounds-Tab
Show/Hide Plot: Durch Klicken auf die Plots-Schaltfläche oben rechts im Tab wird ein Zeitplot der ausgewählten Daten aus der Tabelle angezeigt
Edit Asset: Ein Doppelklick auf eine Mixer-Quelle in der Listenanzeige öffnet den Asset-Editor mit diesem Asset

Plot Trace

Wenn Plot Trace gewählt wurde, zeigt der untere Teil des Sources-Tabs ein Diagramm der Mixer-Quelle der ausgewählten Daten für die letzten 5 Sekunden an. Zeitleistenwerte sind vom Beginn des Trace, normalerweise vom Beginn der Gameplay-Sitzung. Der Plot-Datenwert wird über das Dropdown-Menü oben rechts im Diagramm ausgewählt und wird in den gleichen Einheiten wie die oben beschriebene numerische Anzeige angezeigt. Plot Trace zeigt die ersten 16 Quellen in der Liste an.

"Virtual Loops"-Tab

Dieser Tab zeigt eine Liste aller Active Sounds an, die aktuell vom Renderer verfolgt werden, aber aufgrund von Gleichzeitigkeit oder Entfernung-Abschwächungsfaktoren keine Samples für den Mixer erzeugen.

Angezeigte Daten

Play Order: monoton ansteigende Sound-Instanz-ID, zeigt die Reihenfolge an, in der die Sounds im Mixer gestartet wurden
Name: UAsset-Name für die virtualisierte Mixer-Quelle
Time (Virtualized): die Zeit in Sekunden, seit dieser Sound zuletzt Samples für den Mixer geliefert hat
Time (Total): die Gesamtzeit in Sekunden, die dieser Ton gespielt wurde, sowohl virtuell als auch nicht
Update Interval: die Zeit in Sekunden zwischen Position oder Gleichzeitigkeit, die bestimmt, ob dieser Sound virtuell bleibt. Dieser Wert hängt von der Distanz zum Renderer ab

Steuerelemente

Browse: Diese Schaltfläche zeigt das ausgewählte Asset im Inhaltsbrowser an.
Open: Diese Schaltfläche öffnet den Asset-Editor für das ausgewählte Asset
Data Filter: Durch einen Rechtsklick auf die Kopfzeile der Liste wird ein Kontextmenü angezeigt, in dem du auswählen kannst, welche Audiodatenwerte pro Mixerquelle angezeigt werden sollen.
Edit Asset: Ein Doppelklick auf eine Mixer-Quelle in der Listenanzeige öffnet den Asset-Editor mit diesem Asset

Submixes-Tab

Dieser Tab listet alle Sound Submixes im aktuellen Projekt auf und zeigt an, welche gerade ein aktives Signal haben. Du kannst eine Reihe von Submixes auswählen, um die Signalpegel im Audio Meters-Tab anzuzeigen.

Angezeigte Daten

Active: ein Punkt in dieser Spalte zeigt ein aktives Signal in diesem Submix an
Select: ein Kontrollkästchen in dieser Spalte zeigt an, dass die Submix-Pegel auf Messanzeigen im "Audio Meters"-Tab visuell angezeigt werden. Beachte, dass du den "Audio Meter"-Tab manuell öffnen musst, wenn er in deiner aktuellen Konfiguration nicht angezeigt wird.
Name: Der Name des "Sound Submix"-Assets

Steuerelemente

Edit Submix: Ein Doppelklick auf einen Submix in der Liste öffnet den Asset-Editor für dieses Asset

"Audio Buses"-Tab

Audio-Busse sind Buffer einer bestimmten Kanal-Konfiguration, an die jede Audio-Quelle Audio "senden" kann. An einen Bus gesendetes Audio wird in ein einziges Signal gemischt. Audio-Busse sind selbst nicht durch ein Diagramm oder Beziehungen miteinander verbunden. Ihr Nutzen besteht darin, dass sie als Ort für die Durchführung von Audioanalysen (z. B. Hüllkurvenverfolgung) dienen, die andere Systeme ansteuern können, oder sie können zu "Quellbussen" geleitet werden (die ihren Ausgang mit einer Klangquelle beschallen) oder von einem MetaSound gelesen werden (und in einem MetaSound-DSP-Graphen weiter beschallt oder analysiert werden).

Angezeigte Daten

Active: ein Punkt in dieser Spalte zeigt ein aktives Signal in diesem Audio-Bus an
Select: ein Kontrollkästchen in dieser Spalte zeigt an, dass die Audio-Bus-Pegel auf Messanzeigen im Audio Meters-Tab visuell angezeigt werden. Beachte, dass du den "Audio Meter"-Tab manuell öffnen musst, wenn er in deiner aktuellen Konfiguration nicht angezeigt wird.
Name: Der Name des Audio-Bus-Asset

Steuerelemente

Type Filter: ermöglicht es dir, Audio-Bus-Assets, im Code generierte Busse oder beides anzuzeigen
Edit Audio Bus: Ein Doppelklick auf einen Audio-Bus in der Liste öffnet den Asset-Editor für dieses Asset

"Audio Meters"-Tab

Dieser Tab zeigt gemessene Visualisierungen von beiden Submixes (grüner Text) und Audio Buses (blauer Text), die in diesem Tab ausgewählt wurden. Die gemessene Amplitude wird auf einer logarithmischen dB-Skala angezeigt. Jeder Kanal in einer Buskonfiguration wird mit einem separaten Messgerät in kanonischer Lautsprecherreihenfolge dargestellt. Das Fenster scrollt, um alle ausgewählten Submixes und Busse anzuzeigen. In diesem Tab gibt es keine Steuerelemente.

Analyzers-Tab

Der Analyzers-Tab besteht aus einer Reihe von 5 Echtzeit-Visualisierungen der Hauptaudioausgabe der Engine. Wähle die Visualisierungen aus dem Ellipsenmenü oben rechts auf dem Tab aus.

Meter: Zeigt die RMS-Amplitude des Hauptausgangs in einer logarithmischen dB-Skala an. Die Anzahl der Kanäle entspricht der Kanalkonfiguration des Audiogeräts. Für diesen Analyzer gibt es keine zusätzlichen Steuerelemente.

Oscilloscope: Zeigt ein Zeitbereich-Amplituden-Diagramm der letzten 0,5 Sekunden des vom Hauptaudioausgang kommenden Tons an. Der Maßstab ist ein Linear Float (lineare Fließkommazahl) von 0.0 bis maximal 1.0. Für diesen Analyzer gibt es keine zusätzlichen Steuerelemente.

Vectorscope: Zeigt eine lineare Zeitbereichs-Amplitude des linken Kanals auf der horizontalen Achse im Vergleich zum rechten Kanal auf der vertikalen Achse an. Dies ist gut für die Beobachtung von Phasenbeziehungen und Kanalkohärenz. Für diesen Analyzer gibt es keine zusätzlichen Steuerelemente.

Spectrogram: Zeigt ein Frequenzbereichsdiagramm der letzten Audioausgabe an, die in einen Monokanal gemischt wurde. Die Zeit befindet sich auf der horizontalen Achse und die Tonfrequenz auf der vertikalen. Jede vertikale Linie im Diagramm stellt ein einzelnes Zeitfenster des Tons dar, und die Farbe des Pixels entspricht der Leistung des Tonsignals bei dieser Frequenz. Es gibt mehrere Steuerelemente für die Darstellung, die durch Rechtsklick auf eine beliebige Stelle des Analyzers ausgewählt werden können:

Analyzer Type: Auswahl zwischen einer Fast Fourier Transform (FFT) und einer Constant Q Transform (CQT) zur Darstellung des Audiosignals im Frequenzbereich
FFT Size: Die Anzahl der Audio-Samples, die in jeder Fenster-Transformation verwendet werden. Eine größere Größe führt zu einer höheren Frequenzauflösung, was jedoch mit einer geringeren Zeitauflösung einhergeht.
Pixel Plot Mode: Auswahl zwischen Sample, Peak oder Average bei der Gewichtung der Samples zur Anzeige der Signalstärke. Dies kann dazu verwendet werden, transiente Frequenzen zu betonen oder nicht.
Frequency Scale: Wahl zwischen linearer und logarithmischer Skala, um verschiedene Details im Spektrum zu erkennen
Color Map: Auswahl aus Weiß oder Schwarz für eine größere Signalstärke
Orientation: Auswahl zwischen horizontal (siehe Bild oben) und vertikal, wodurch die Achsen getauscht werden, sodass die Zeit vertikal und die Frequenz horizontal ist

Spectrum Analyzer: Zeigt eine momentane Frequenzbereichsdarstellung des in einen Monokanal gemischten Hauptausgangs mit der Audiofrequenz auf der horizontalen Achse und der Signalstärke auf der vertikalen Achse an. Wenn du die Maus zu einer bestimmten Frequenz bewegst, wird die Signalstärke in diesem Band des Spektrums angezeigt. Für diesen Analyzer gibt es verschiedene Anzeigenoptionen.

Ballistics: Auswahl von Analog oder Digital, was die Signalbeständigkeit zwischen Audiofenstern simuliert, um das Aussehen von analogen oder digitalen professionellen Audiometern zu erhalten. Legt fest, wie glatt (analog) oder präzise (digital) der Übergang zwischen Frames sein kann
Analyzer Type: Auswahl zwischen einer Fast Fourier Transform (FFT) und einer Constant Q Transform (CQT) zur Darstellung des Audiosignals im Frequenzbereich
FFT Size: Die Anzahl der Audio-Samples, die in jeder Fenster-Transformation verwendet werden. Eine größere Größe führt zu einer höheren Frequenzauflösung, was jedoch mit einer geringeren Zeitauflösung einhergeht.
Tilt Spectrum: eine Abschwächung pro Frequenz, um die Kurve eines Spektrums zu glätten, das stärker auf die unteren Frequenzen ausgerichtet ist
Pixel Plot Mode: Auswahl zwischen Sample, Peak oder Average bei der Gewichtung der Samples zur Anzeige der Signalstärke. Dies kann dazu verwendet werden, transiente Frequenzen zu betonen oder nicht.
Frequency Scale: Wahl zwischen linearer und logarithmischer Skala, um verschiedene Details im Spektrum zu erkennen
Display Frequency Axis Labels: Beschriftet die horizontalen Gitterlinien des Diagramms mit numerischen Werten in Hertz
Display Sound Level Axis Labels: Beschriftet die vertikalen Gitterlinien des Diagramms mit numerischen Werten in Dezibel

"Control Buses"-Tab

Das Audio Modulation-Plugin ermöglicht es dem Nutzer, Control Buses zu erstellen, die Tonhöhe, Lautstärke, Filter und andere Werte für Audioquellen und Submixes modifizieren können. Auf diesem Tab wird der aktuelle Wert für jeden aktiven Bus in numerischer Form angezeigt, formatiert als Float-Wert zwischen 0,0 und 1,0. Die Tonhöhe, Lautstärke und Filterwerte, die du auf den Seiten Sources und Sounds siehst, spiegeln den Einfluss der hier angezeigten Steuerelement-Busse wider.

Es gibt in diesem Tab keine weiteren Anzeigen oder Steuerelemente.

Modulation Matrix

Control Buses im Audio Modulation-Plugin können hinzugefügt werden, um kumulative Effekte zu erstellen. Der Tab Modulation Matrix bietet Einblicke in die verschiedenen aktuell aktiven Busse und wie sie zusammenspielen, um Audioquellen zu beeinflussen.

Es gibt in diesem Tab keine weiteren Anzeigen oder Steuerelemente.