Unreal Engine で Live Link を使用してバーチャルカメラアクタを制御する | Unreal Engine 5.7 ドキュメンテーション

バーチャルカメラ アクタは、Unreal Engine のシーンに配置されたカメラで、Live Link で接続されたデバイスからデータをストリーミングするために使用できます。 Live Link で接続されたデバイスは、シーンの表示や移動、ショットの設定やレコーディングに使用できます。このユーザーガイドでは、プロジェクトでバーチャルカメラを使用する方法と、Unreal VCam アプリのさまざまな部分について説明します。

必要な設定

バーチャルカメラを使用するには、Live Link 対応のデバイスを設定して接続する前に、Unreal Engine プロジェクトをセットアップして構成する必要があります。

Unreal Engine をセットアップする

[Edit (編集)] メニューにある [Plugins (プラグイン)] ブラウザで、次のプラグインを有効にします:

VirtualCamera
- このプラグインを使用すると、物理デバイスでカメラを制御および表示できます。
Live Link
- このプラグインを使用すると、Unreal Engine にアニメーションデータをストリーミングできます。詳細は、「Live Link」を参照してください。
Take Recorder
- これは、バーチャルプロダクション環境でテイクをレコーディング、レビュー、再生するために設計された一連のツールとインターフェースです。詳細は、「Take Recorder」および「Take Recorder の使用」を参照してください。

Live Link や、Take Recorder と Sequencer のような機能は、このページで扱う範囲を超える大きなトピックです。これらの機能とその使用例について、時間をとって十分に理解することをお勧めします。上記のリンク先のドキュメントを参照してください。

デバイスのセットアップ

開始するには、互換性のある iOS または Android デバイスを用意し、App Store または Google Play Store から Unreal VCam アプリをダウンロードする必要があります。

iOS デバイスのシステム要件：

iOS 15.0 以降
iPadOS 15.0 以降
ARKit のサポート

Android デバイスのシステム要件：

Android 24 (Nougat) 以降
ARCore のサポート

アプリを初めて開くときは、アプリの使用に関する使用許諾契約に同意する必要があります。現時点では、これ以上の設定は必要ありません。

このガイドのオプションの前提条件

Meerkat Demo サンプルプロジェクトは、Weta Digital が制作したリアルタイムの短編映像で、全て Unreal Engine でレンダリングされています。これは、プロジェクトでバーチャルカメラを使用する機能の一部をテストするのに適したプロジェクトです。このガイドでは、このサンプルプロジェクトを使用して、バーチャルプロダクション環境でのセットアップと使用方法について説明します。

[Fab] からプロジェクトをダウンロードするか、Epic Games Launcher の [Samples (サンプル)] タブから直接ダウンロードできます。

サンプルプロジェクトの詳細は、「Meerkat Demo」のドキュメントを参照してください。

バーチャルカメラのシーンを準備する

バーチャルカメラセットアップを使用できるようプロジェクトを準備するには、まず Unreal Engine でシーンを準備し、次に iOS または Android モバイルデバイスを設定してそれと連携できるようにします。

Unreal Engine シーンのセットアップ：

Unreal Engine シーンを設定するには、次の手順を実行します。

[Place Actors (アクタを配置)] パネルに移動し、検索フィールドに「VCAM」と入力するか、バーチャルプロダクション アイコンを選択します。
新規に作成されたプロジェクトの場合、Unreal Engine ではデフォルトで、[Place Actors (アクタを配置)] パネルは表示されません。このパネルが表示されない場合は、[Windows (ウィンドウ)] メニューに移動して、[Place Actors (アクタを配置)] をクリックして開きます。
[VCam Actor (VCam アクタ)] をクリックしてシーン内にドラッグします。

VCam アクタをシーンにドラッグするとすぐに、ビューポートがバーチャルカメラを自動操作するように変わります。ビューポートは次の画像のようになります。

次に、モバイルデバイスを Unreal Editor に接続して、シーンに配置されたバーチャルカメラを操作できるようにします。

モバイルデバイスのセットアップ：

デバイスをセットアップするには、次の手順を実行します。

モバイルデバイスを、プロジェクトを実行しているマシンと同じネットワークに接続します。
Unreal Editor で、ツールバーの [Pixel Streaming (ピクセルストリーミング)] ドロップダウンメニューをクリックします。メニューの [Signaling Server URLs (シグナリングサーバーの URL)] セクションに、2 つ以上の IP アドレスが表示されます。デバイスと同じネットワーク (192.x.x.x など) を共有している方の IP アドレスを、Unreal VCam アプリに入力します。
デバイスで、Unreal VCam アプリを開きます。共有ネットワークに一致する IP アドレスを使用して、アプリのテキストフィールドに IP アドレスを入力します。
[Connect (接続)] をクリックします。

現在の設定によっては、2 つの [Pixel Streaming (ピクセルストリーミング)] ドロップダウンが表示される場合があります。バーチャルカメラは現在 Pixel Streaming 2 (ピクセルストリーミング 2) をサポートしていません。バーチャルカメラで作業する場合は、[Pixel Streaming 2 (ピクセルストリーミング 2)] ドロップダウンではなく、[Pixel Streaming (ピクセルストリーミング)] ドロップダウンのみを参照してください。

シーンにバーチャルカメラが 1 つしかない場合、モバイルデバイスは自動的にその VCam アクタに接続します。シーンに複数のバーチャルカメラがある場合は、接続するカメラを 1 つ選択する必要があります。プロジェクトで複数のカメラをセットアップして使用する方法については、「複数のバーチャルカメラを使用する」を参照してください。

これでモバイルデバイスが、Unreal Editor シーンに配置されたバーチャルカメラに接続されます。また、モバイルデバイスからバーチャルカメラを制御したり、バーチャルカメラを動かして視点を変更したりが可能になります。モバイルデバイスで、また Unreal Editor ビューポートから、Unreal VCam インターフェースを使用することもできます。 VCam インターフェースには、シーン内でのバーチャルカメラの外観と動作を管理するための多数のコントロールが備わっています。

バーチャルカメラコントロールへの入力を制御する

Unreal Engine の拡張入力機能は、多数のアクションを管理し、動的に変えることができます。入力の動作は、現在の状態に応じて変化させることができます。つまり、ユーザーインターフェース (UI) に存在するボタンよりも多くのマッピング可能なキーを割り当てることができます。その場合は、ハードウェアデバイスの入力を、VCam アプリを通じて Unreal Engine のバーチャルカメラコントロールにマッピングするのが理想的です。

マッピングされた入力の追加と構成は、次の 2 つの方法で行うことができます。

プロジェクト設定の VCam 入力設定
[Input Profile (入力プロファイル)] セクションの VCam コンポーネントの [Details (詳細)] パネルから。

拡張入力の設定および使用方法の詳細は、「バーチャルカメラコントロールへの入力を制御する」を参照してください。

バーチャルカメラのインターフェース

バーチャルカメラのコントローラーインターフェースには、さまざまな制御と設定があります。これらの設定を使用して、外部デバイスを介して Unreal Engine のバーチャルカメラの外観と動作を変更することができます。たとえば、ARKit 対応の iOS デバイスを使用して。変更を加えることができます。 ARKit の機能を使用すると、デバイスの物理的な位置と回転で、プロジェクト内のバーチャルカメラの位置と回転をリアルタイムに動かしたり、制御したりすることができます。

Virtual Camera アクタには、以下が含まれています。

カメラおよびデバイスの情報
バーチャルカメラの設定
Unreal VCam アプリの設定
シーケンサーおよびブックマークの設定

設定ダイヤルを調整する

Unreal VCam アプリ内の構成可能な設定のほとんどは、放射状のダイヤルを使用しています。これらのダイヤルは、インターフェースのどちら側にもあります。内側と外側のダイヤルが混在していることもあります。オプションを選択するには、ダイヤルに沿って指を左右どちらかの方向にドラッグし、希望の値にダイヤルを合わせます。ダイヤルで行った変更は、Unreal Engine でリアルタイムに反映されます。

Unreal VCam アプリでバーチャルシーンを操作する

Unreal VCam アプリは、ARKit を使用して、物理空間における幅広いモーショントラッキング機能を提供します。 ARKit はこの機能を実現するために、ネットワークに接続された Live Link を使用して、位置データおよび回転データをライブで Unreal Engine のインスタンスにストリーミングします。このアプリを使用すると、リアルタイム環境内で 3D カメラを操作し、サポートされているモバイルデバイスで撮影した映像を視覚化できます。

さらに、タッチスクリーンジョイスティックを使用して、Unreal VCam アプリを使用してシーンを手動で操作することもできます。ジョイスティックを使用した動きは、ARKit を介してモーショントラッキングされたモーションの上に重ねて配置されます。

ARKit 対応デバイスでの移動

ARKit 対応デバイスを使用すると、空間内を自由に移動でき、その動きはプロジェクトを実行している Unreal Engine インスタンスに反映されます。トラッキングされた動きには、デバイスを完全に傾けたり、パンしたり、ロールしたり、空間内をあらゆる方向に動き回ることが含まれます。

Live Link を介してトラッキングされるモーションは自動的に実行され、Unreal Engine の 3D カメラと同期されます。つまり、撮影前のプレビズショット、主要撮影時の実際のテイクのキャプチャ、ポストプロダクションでの新しいショットの作成など、アプリを使用してショットを設定することができます。

Unreal VCam アプリには、モーショントラッキングを使用して動きを 3D シーンに反映する方法を調整する設定が含まれています。これらの設定を調整する方法については、「Unreal VCam バーチャルカメラの設定」を参照してください。

タッチスクリーンジョイスティックでの移動

Live Link で接続されたデバイスでタッチスクリーンジョイスティックを使用すると、シーン内のバーチャルカメラアクタを手動で移動することができます。ジョイスティックは、カメラの方向移動、垂直のみの移動、パニングに使用できます。

Unreal VCam アプリには、Live Link で接続されたデバイスの動きの感度とスケールを調整する設定が含まれています。これらの設定を調整する方法については、「Unreal VCam バーチャルカメラの設定」を参照してください。

カメラ情報

バーチャルカメラアクタの最上部のセクションには、設定済みのカメラ設定に関するクイックリファレンス情報があります。

上の図では、数字が以下に対応しています。

設定されたカメラ設定のクイックリファレンスとアクション。
タイムスタンプとフィルムのフレーム/秒。
カメラ動作を切り替えるためのクイックアクションボタン
- 手動フォーカスとトラッキングフォーカス
- フォーカスピーキング
- 露出ゼブラストライピング
- 位置を固定
- ローカル空間飛行モード
- キルロール