Live Link を使用してバーチャル カメラ アクタを制御する

バーチャル カメラ アクタは、Unreal Engine のシーンに配置されたカメラで、Live Link で接続されたデバイスからデータをストリーミングするために使用されます。Live Link で接続されたデバイスは、シーンの表示や移動、ショットの設定やレコーディングに使用できます。このユーザー ガイドでは、プロジェクトでバーチャル カメラを使用する方法と、Live Link VCAM アプリのさまざまな部分について説明します。

必要な設定

プロジェクトでバーチャル カメラを使用するには、Live Link 対応のデバイスを設定して接続する前に、まず Unreal Engine プロジェクトでいくつか設定を行う必要があります。

Unreal Engine をセットアップする

[Edit (編集)] メニューの [Plugins (プラグイン)] ブラウザで次のプラグインを有効にします。

• VirtualCamera
  • このプラグインを使用すると、物理デバイスでカメラを制御および表示できます。
• Live Link
  • このプラグインを使用すると、Unreal Engine にアニメーション データをストリーミングできます。詳細については、「Live Link」を参照してください。
• Take Recorder
  • このプラグインは、バーチャル プロダクション環境でテイクをレコーディング、レビュー、再生するために設計された一連のツールとインターフェースです。詳細については、「Take Recorder」および「Take Recorder を使用する」を参照してください。

Live Link、シーケンサーと Take Recorder などの機能については、より広範なトピックであるため、このページでは取り上げません。これらの機能とその使用例について、時間をとって十分に理解することをお勧めします。上記のリンク先のドキュメントを参照してください。

iOS 用の設定

開始するには、互換性のある iOS デバイスを所有しており、Live Link VCAM アプリを App Store からダウンロードする必要があります。

推奨 iOS ハードウェア：

• ARKit 対応である必要がある
• iPad Mini 4 以降
• iPad Mini (第 5 世代以降)
• iPad Air (第 3 世代以降)
• iPad Air 2 以降
• iPad (第 5 世代以降)
• iPad Pro

デバイスのシステム要件：

• iOS 15.0 以降
• iPadOS 15.0 以降
• ARKit のサポート

Live Link VCam アプリ を App Store から ARKit 対応の iOS デバイスにダウンロードします。

アプリを初めて開くときは、アプリの使用に関する使用許諾契約に同意する必要があります。現時点では、これ以上の設定は必要ありません。

このガイドのオプションの前提条件

Meerkat Demo サンプル プロジェクトは、Weta Digital が制作したリアルタイムの短編映像で、すべて Unreal Engine でレンダリングされています。これは、プロジェクトでバーチャル カメラを使用する機能の一部をテストするのに適したプロジェクトです。このガイドでは、このサンプル プロジェクトを使用して、バーチャル プロダクション環境でのセットアップと使用方法について説明します。

このプロジェクトは、Unreal Engine マーケットプレイス からダウンロードできます。または、Epic Games Launcher の [Samples (サンプル)] タブから直接ダウンロードすることもできます。

サンプル プロジェクトの詳細については、「Meerkat Demo」に関するドキュメントを参照してください。

バーチャル カメラのシーンを準備する

バーチャル カメラのセットアップを使用するようにプロジェクトを準備するには、まず Unreal Engine でシーンを作成し、次にそのシーンと相互作用するように iOS デバイスをセットアップする必要があります。

次のように、Unreal Engine のシーンをセットアップします。

Unreal Engine シーンを設定するには、次の手順を実行します。

1. [Place Actors (アクタの配置)] パネルに移動し、検索フィールドに「VCAM」と入力するか、バーチャル プロダクション アイコンを選択します。

   新規に作成されたプロジェクトの場合、Unreal Engine ではデフォルトで、[Place Actors] パネルは表示されません。このパネルが表示されない場合は、[Windows] メニューに移動して、[Place Actors] をクリックして開きます。

2. VCam アクタ をクリックしてシーン内にドラッグします。

VCam アクタをシーンにドラッグするとすぐに、ビューポートがバーチャル カメラを自動操作するように変わります。ビューポートは次の画像のようになります。

次に、iOS デバイスを Unreal Editor に接続して、シーンに配置されたバーチャル カメラを動かします。

iOS デバイスの設定：

iOS デバイスを設定するには、次の手順を実行します。

1. プロジェクトを実行しているマシンが使用しているのと同じネットワークに接続します。
2. Unreal Editor で、ツールバーの [Pixel Streaming] ドロップダウン メニューをクリックします。メニューの [Signalling Server URLs (シグナリング サーバーの URL)] セクションに、2 つ以上の IP アドレスが表示されます。iOS デバイスと同じネットワーク (192.x.x.x など) を共有している方の IP アドレスを Live Link VCAM アプリに入力します。
3. iOS デバイス で、Live Link VCAM アプリを開きます。共有ネットワークに一致する IP アドレスを使用して、アプリのテキスト フィールドに IP アドレスを入力します。

4. [Connect (接続)] をクリックします。

   シーンに含まれているバーチャル カメラが 1 つの場合、iOS デバイスは自動的にその VCam アクタに接続します。ただし、シーンに複数のバーチャル カメラがある場合は、接続するカメラを選択する必要があります。プロジェクトで複数のカメラをセットアップして使用する方法については、「複数のバーチャル カメラを使用する」を参照してください。

これで iOS デバイスが、Unreal Editor シーンに配置されたバーチャル カメラに接続されます。また、デバイスからバーチャル カメラを制御したり、バーチャル カメラを動かしてビューを変更できるようになっています。さらに、iOS デバイス上および Unreal Editor ビューポートで Live Link VCam インターフェースを使用できるようになります。VCam インターフェースには、シーン内でのバーチャル カメラの外観と動作を管理するための多数のコントロールが備わっています。このガイドの以降の部分では、これらのコントロール、設定、およびユーザーが実行可能なアクションについて説明して、示します。

バーチャル カメラ コントロールへの入力を制御する

Unreal Engine の 拡張入力 機能により、多数のアクションを管理し、動的に変更することができます。特定の入力がどのように動作するかを、現在の状態に応じて変化させることができます。これにより、ユーザー インターフェースのボタン数よりも多くのマッピング可能なキーを使用できるため、ハードウェア デバイスの入力を Unreal Engine のバーチャル カメラ コントロールにマッピングするのに適しています。

マッピングされた入力は、[Project Settings (プロジェクト設定)] の [VCam Input Settings (VCam 入力設定)] で追加および設定することができます。

拡張入力の設定および使用方法の詳細については、「バーチャル カメラ コントロールへの入力を制御する」を参照してください。

バーチャル カメラのインターフェース

バーチャル カメラの コントローラー インターフェース には、ARKit 対応の iOS デバイスなどの外部のデバイスを使って、Unreal Engine でのバーチャル カメラの外観と動作の制御に使用できるさまざまなコントロールと設定が備わっています。ARKit の機能を使用すると、デバイスの物理的な位置と回転で、プロジェクト内のバーチャル カメラの位置と回転をリアルタイムに動かしたり、制御したりすることができます。

Virtual Camera アクタには、以下が含まれています。

1. カメラおよびデバイスの情報
2. バーチャル カメラの設定
3. Live Link VCAM アプリの設定
4. シーケンサーおよびブックマークの設定

設定ダイヤルを調整する

Live Link VCam アプリ内のほとんどの構成可能な設定は、放射状のダイヤルを使用しています。これらのダイヤルは、インターフェースの両側にあり、内側と外側のダイヤルがある場合もあります。オプションを選択するには、ダイヤルに沿って指をどちらかの方向にドラッグし、希望の値にダイヤルを合わせます。ダイヤルで行った変更は、Unreal Engine でリアルタイムに反映されます。

Live Link VCam アプリでバーチャル シーンを操作する

Live Link VCAM アプリは、ARKit を使用した物理空間でのあらゆるモーション トラッキングを提供します。ARKit はこの機能を実現するために、ネットワークに接続された Live Link を使用して、位置データおよび回転データをライブで Unreal Engine のインスタンスにストリーミングします。これにより、リアルタイム環境内で 3D カメラを制御し、サポートされている iOS デバイス上でショットを視覚化することができます。

さらに、タッチ スクリーン ジョイスティックでは、Live Link VCAM アプリを使用してシーンを操作するための手動のコントロールを提供します。ジョイスティックを使用した動きは、ARKit を介してモーション トラッキングされたモーションの上に重ねて配置されます。

ARKit 対応デバイスで移動する

ARKit 対応デバイスを使用すると、空間内を自由に移動することができ、その動きはプロジェクトを実行している Unreal Engine インスタンスに反映されます。トラッキングされた動きには、デバイスを完全に傾けたり、パンしたり、ロールしたり、空間内をあらゆる方向に動き回ることが含まれます。

Live Link を介してトラッキングされたモーションは、Unreal Engine の 3D カメラと自動的に同期されるため、撮影前のプレビズ ショット、主要な撮影時の実際のテイクのキャプチャ、ポスト プロダクションでの新しいショットの作成など、アプリを使用してショットを設定することができます。

Live Link VCAM アプリには、モーション トラッキングで動きが 3D シーンにどのように変換されるかをスケーリングする設定が含まれています。これらの設定の調整方法については、このページの「バーチャル カメラの動きを調整する」を参照してください。

タッチ スクリーン ジョイスティックで移動する

Live Link で接続されたデバイスのタッチ スクリーン ジョイスティックを使用して、シーン内のバーチャル カメラ アクタを手動で移動し、カメラの移動方向、垂直のみの移動、およびパニングを行うことができます。

Live Link VCAM アプリには、Live Link で接続されたデバイスの動きの感度とスケールを調整する設定が含まれています。これらの設定を調整する方法の詳細については、このページの「バーチャル カメラの動きを調整する」セクションを参照してください。

カメラおよびデバイスの情報

バーチャル カメラ アクタの最上部のセクションには、設定済みのカメラ設定に関するクイック リファレンス情報があります。Live Link VCam アプリでは、使用中のデバイスに関する追加情報を表示したり、アウトプット ログにアクセスすることができます。

上の図では、数字が以下に対応しています。

1. Live Link VCam アプリの情報およびアクション。
2. 設定されたカメラ設定のクイック リファレンスとアクション。
3. タイムスタンプとフィルムのフレーム/秒。

バーチャル カメラの設定およびリファレンスへのクイック アクセス

バーチャル カメラ アクタの両側には、カメラの設定済みの項目が表示されます。これらの設定のいずれかを直接タップすると、Live Link VCam アプリ内で調整可能なダイヤルが開きます。

調整可能な設定には、以下が含まれます。

1. レンズ サイズ
2. フィルムバック サイズ
3. マスク サイズ
4. カメラ UI の切り替え
5. ISO
6. 撮影距離
7. 絞りの F 値

アウトプット ログへのアクセスおよび共有

アウトプット ログにアクセスするには、次の手順を実行します。

• Live Link VCam アプリの左上にある ログ アイコンをクリックすると、アウトプット ログが開きます。

  

アウトプット ログを共有するには、次の手順を実行します。

• ログ内の 共有 アイコンをクリックして、ログを保存して送信します。

  

バーチャル カメラの設定

[Virtual Camera (バーチャル カメラ)] 設定は、Live Link VCAM アプリの左側にあります。このメニューには、シーン内のバーチャル カメラのさまざまなカメラ、レンズ、露出設定をコントロールするオプションが含まれています。

このメニューは、次の設定で構成されています。

レンズの設定

[Lens (レンズ)] 設定には、レンズ、焦点、絞りの設定のためのバーチャル カメラ プリセットが含まれます。

レンズ プリセットおよび焦点距離

レンズ アイコンを選択すると、一般的な焦点距離と絞りに関して複数の設定可能なプリセットの間で調整できます。また、絞りを設定し、手動で焦点距離を調整することもできます。

フォーカスの設定

[Focus (フォーカス)] 設定アイコンをクリックすると別メニューが開き、バーチャル カメラが被写体に焦点を合わせる方法を設定できます。

追跡フォーカスを使用する

Live Link VCAM アプリの [Pick Actor to Track] オプションを使用することで、シーン内のアクタをトラッキングし、バーチャル カメラの焦点がそのアクタに合った状態を維持することができます。

追跡フォーカスを使用するには、次の手順を実行します。

1. [Lens (レンズ)] 設定メニューで、[Focus (フォーカス)] 設定に移動します。ここでは、デフォルトで [Focus Method] が選択されており、調整可能なダイヤルが画面に表示されています。

2. 左のダイヤル を [Tracking] までドラッグします。

   

デバイスを持って、確認しながら、焦点を合わせたい被写体にバーチャル カメラの レチクル を合わせます。左側のメニューの [Pick Actor to Track] アイコンをタップします。これが完了したら、右 のダイヤルを確認します。[Tracking Offset (トラッキング オフセット)] が、下の焦点を合わせているアセット/スケルタルメッシュ ボーンの 名前 とともに表示されます。

トラッキング フォーカス メソッドを使用する場合、右ダイヤルの [Tracking Focus Offset (トラッキング フォーカス オフセット)] を使用して、被写体に焦点を合わせます。スケルタルメッシュ アクタを追跡する場合、ターゲット ポイントは焦点を合わせるために最も近いソケットに移動しますが、それが必ずしも焦点を合わせたい正確なスポットであるとは限りません。

フォーカス プレーンを使用する

[Focus Plane (フォーカス プレーン)] トグルを使用すると、シーン内のフォーカス距離を正確に確認できます。濃い色プレーンは焦点距離を表します。これは、シーンのどこにピントが合っているかをすばやく確認するうえで役立ちます。フォーカスを合わせるには、アプリの右側にある [Focus Distance (フォーカス距離)] ダイヤルを使用します。

フィルムバックの設定

フィルムバック は、デジタル イメージング センサーのフレームの寸法を指定します。このサイズによって、カメラがファインダーを通して映し出す対象が決まります。フィルムバックはフレーム サイズ、被写界深度、解像度などを決定します。

多くの標準プリセットから選択することができます。

• 16:9 Film (16:9 フィルム)
• 16:9 Digital Film (16:9 デジタル フィルム)
• 16:9 DSLR
• Super 8mm (スーパー 8mm)
• Super 16mm (スーパー 16mm)
• Super 35mm (スーパー 35mm)
• 35mm Academy (35mm アカデミー)
• 35mm Full Aperture (35mm フル アパーチャー)
• 35mm Vista Vision (35mm ビスタ ビジョン)
• IMAX 70mm
• APS-C (Canon)
• Full Frame DSLR (フル フレーム DSLR)
• Micro Four Thirds (マイクロ フォー サーズ)

これらは、選択可能なフィルムバック プリセットの一部です。これらの例は、[30mm Prime f/1.4] レンズ プリセットを使用しています。

フィルムバック プリセットは、[Project Settings (プロジェクト設定)] の [Cinematic Camera (シネマティック カメラ)] > [Filmback Presets (フィルムバック プリセット)] で設定できます。ここでは、既存のプリセットを追加、変更、削除することができます。

ISO、絞り、露出補正の設定

[Exposure (露出)] 設定は、画像の明るさや暗さをコントロールします。

Near Clip Plane (近距離のクリップ平面)

[Near Clip Plane] は、ポリゴンがレンダリングされなくなるカメラからの距離 (cm 単位) を設定します。このオプションは、視界を遮っているオブジェクトはレンダリングしないで、そのシャドウやシーンとの相互作用もレンダリングし続けたい場合に役立ちます。

下の例では、バーチャル カメラは被写体をキャプチャするために長いレンズを使用していますが、植物によって視界が部分的に遮られています。[Near Clip Plane] を使用すると、カメラから設定された距離内にあるジオメトリはレンダリングされません。

マスク、オーバーレイ、およびレチクルの設定

[Mask / Overlay / Reticle (マスク / オーバーレイ / レチクル)] 設定には、バーチャル カメラのビューファインダー用のオプションのビジュアル ガイドが含まれています。これには、グリッド、セーフ ゾーン、各種レチクル、異なるアスペクト比をマスクするマットなどが含まれます。

オーバーレイ、レチクル、マスクの各グループには、それぞれ [Opacity (オパシティ)] ダイヤルがあります。このダイヤルを使用して、それぞれの不透明度や透明度を設定できます。「0」に設定すると見えなくなり、「0.5」では部分的に透明になり、「1.0」では完全に不透明になります。

オーバーレイの選択

[Overlay (オーバーレイ)] ダイヤルを使用して、バーチャル カメラのビューファインダーにオーバーレイするグリッドの種類を選択します。

次のオプションから選択できます。

レチクルの選択

[Reticle (レチクル)] ダイヤルを使用して、バーチャル カメラが映し出すものに照準を合わせるために使用するフレームの中心のデザインを選択できます。

次のオプションから選択できます。

マスクの選択

[Mask (マスク)] ダイヤルを使用すると、バーチャル カメラのビューファインダーで異なるサイズのアスペクト比マットのためのプリセットから選ぶことができます。マスクのプリセットには、一般的な業界標準が含まれています。

次から選択できます。

• 9:16 (0.562)
• 1:1
• 4:3 (1.333)
• 3:2 (1.5)
• 16:9 (1.778)
• 1.85:1 (1.85)
• 2:1
• 2.39:1 (2.39)
• 2.4:1 (2.4)
• 2.76:1 (2.76)
• Custom (カスタム)

以下は、バーチャル カメラビューファインダーにオーバーレイするマスク プリセットの例です。

付属のプリセットがどれもニーズに合わない場合は、[Custom] オプションを使用して独自のマスク領域を定義することができます。選択すると、新しいダイヤルが画面の右側に表示されます。ダイヤルを左右にドラッグすると、マスクを拡大したり、縮小したりできます。マスクは、フレームの上部と下部、またはフレームの側面を埋めることができます。

アプリの設定とコンフィギュレーション

[Settings (設定)] メニューには、Live Link 対応デバイスおよび Unreal Engine シーン内のバーチャル カメラとのインタラクション方法に関する設定やトグルが含まれています。

このメニューは、レンチ アイコンをクリックすると、画面の 右 側に表示されます。これには、次の設定が含まれます。

このメニューは、次の設定で構成されています。

スケールおよびゲイン設定を使用したバーチャル カメラの動き

Live Link 対応デバイスの動きは、デバイスからの位置データのトラッキングと、チルト、パン、ロールの動きを含む、タッチスクリーン ジョイスティックの使用によって登録されます。タッチスクリーン ジョイスティックは、ARKit のモーションの上に方向と回転の動きを重ねます。

Live Link 対応デバイスからのバーチャル カメラの動きは、以下の方法で制御されます。

• ARKit でトラッキングされた軸方向の動きと運動量のある動き。
• タッチスクリーン ジョイスティック
  • 左 ジョイスティックは、前方、後方、斜め方向、左右方向の動きを制御します。
  • 右 ジョイスティックには、2 つの独立した移動コントロールがあります。
  • 画面上を左右にドラッグすることによる 回転 移動。
  • 画面上を上下にドラッグすることによる 上下 移動。

各移動タイプは感度を調整することができ、小さな動きで大きな効果を生み出したり、逆に大きな動きで小さなインパクトを及ぼしたりすることができます。これらのコントロールは、画面右側の [Scale and Gain (スケールとゲイン)] 設定メニューにあります。

このメニューは、次の設定で構成されています。

どのダイヤルも [Locked (ロック済み)] または「0」に設定すると、Live Link またはジョイスティックの操作によるトラッキングが制限されます。たとえば、[Scale (スケール)] を [Locked] に設定した状態で [Axis (軸)] を [Vertical (垂直)] に設定すると、垂直方向に移動できなくなります。また、ジョイスティックの回転ゲインを「0」に設定すると、ジョイスティックによる回転が制限されます。

シーケンサーおよびブックマークの設定

バーチャル カメラ アクタの一番下のセクションには、カメラ設定、カメラ ブックマーク、シーケンサーの再生とレコーディングのクイック リファレンスがあります。

バーチャル カメラの安定化

[Stabilization (安定化) テキストをタップすると、バーチャル カメラの安定化補正ダイヤルが開きます。これらのダイヤルは、カメラの不要な動きを防止または補正する度合いに影響します。安定化の値が高いほど、カメラの動きは滑らかになり、応答性が低下します。値が小さいほど応答性が向上するため、手ブレが大きくなり、カメラの動きが不安定になる傾向があります。

左 ダイヤルで [Rotation Stabilization (回転安定化)] を、右 ダイヤルで [Location Stabilization (位置安定化)] をコントロールします。以下の動画では、0x、50x (デフォルト)、100x をそれぞれ使用した場合の違いを確認することができます。

バーチャル カメラ ブックマーク

Live Link 対応デバイスで画面左下の緑色の ブックマーク アイコンを押すと、シーンに新しい VPBookmark アクタが作成されます。このアクタは、位置や回転など、バーチャル カメラに関する情報を格納します。ブックマークには、露出やレンズ設定など、カメラ用に調整された設定も格納されます。

配置したブックマークは、画面左下のブックマーク ナビゲーション コントロールを使用して、進む矢印と戻る矢印で再ロードできます。カメラ アイコンを切り替えると、アパーチャー、フィルムバック、フォーカス設定など、このブックマークに格納されているカメラ パラメータを読み込むことができます。

マイナス (-) アイコンを使用して、現在参照しているブックマークを Live Link 対応デバイスから削除できます。ブックマークはデバイスからのみ削除され、シーンからは削除されません。ブックマークは Unreal Engine シーンにアクタとして存在するため、エディタから [Outliner (アウトライナー)] パネルを使用して手動で追加および削除することもできます。

シーケンスを制御する

Unreal Editor で シーケンス を開いている場合は、Live Link で接続されたデバイスで [Transport (トランスポート)] ボタンを使ってシーケンスのタイムラインと再生を制御できます。再生、一時停止、タイムライン上の スクラブ再生 マーカーなどの再生コントロールを使用して、現在のシーケンス データを確認することができます。

Live Link VCAM アプリで Take Recorder を使用する

Take Recorder を使用すると、Unreal Engine プロジェクト内のシーンやキャラクターのシーケンス (またはショット) をレコーディングできます。これらは、Unreal Editor で Take Recorder やシーケンサーを使用して再生して、確認することができます。

ショットのレコーディングを開始するには、Live Link VCAM アプリの右下にある レコーディング ボタンをタップします。

Live Link VCAM アプリで Take Recorder を使用する際は、以下の点に注意してください。

• レコーディングが開始されると、[Take Recorder] ウィンドウが自動的に Unreal Engine で開きます (まだ開いていない場合)。
• レコーディングを開始すると、現在のレベル シーケンスが自動的に再生されます。
• テイクをレコーディングした後、[Take Recorder] ウィンドウの [Review the last recording (前回のレコーディングを確認)] ボタンをクリックすると、そのショットを確認することができます。ショットをレビューすると、ショットが再生され、バーチャル カメラ HUD が非表示になります。レビュー モードを終了すると、バーチャル カメラ HUD は非表示になります。
• レコーディングされたテイクはすべて シーケンサー クリップ として保存されます。クリップを保存すると、バーチャル カメラ アクタが Cine カメラ アクタ に置き換わります。これは、バーチャル カメラはカメラをアニメートし、その設定と動きをレコーディングするために使用されるからです。

バーチャル カメラがアクティブな場合は、HUD に現在の タイムコード、スレート、シーケンス フレーム が表示されます。このデータは [Take Recorder] ウィンドウから派生するもので、Unreal Editor および Live Link に接続しているデバイスで同じ情報が表示されます。

プロジェクトで Take Recorder を使用する方法の詳細については、以下を参照してください。

• Take Recorder
• Take Recorder を使用する
• マルチユーザーで Take Recorder を有効にする