ソニーは、AIを活用したバーチャルプロダクションシステムを開発し、映像制作の効率化を実現しました。このバーチャルプロダクションシステムは、CGで作成された背景映像を巨大なLEDディスプレイにリアルタイムで表示することで、その場で撮影しているかのような臨場感のある映像制作を可能にします。
2024年8月に横浜で開催されたCEDEC2024で、システムのデモ展示が行われました。今回は、バーチャルプロダクションの仕組みや種類、メリット、導入事例を詳しく解説します。
バーチャルプロダクションとは
バーチャルプロダクションは、撮影現場に設置されたスクリーンに、バーチャルな背景映像をリアルタイムで投影し、実写の被写体と合成することで、被写体がその仮想空間の中に存在しているかのような映像を作り出す技術です。従来の合成技術とは異なり、撮影中に仮想空間と実写を同時に確認できるため、より直感的な映像制作が可能になります。
バーチャルプロダクションには様々な種類が存在し、大規模なセットを構築することなく、様々な仮想空間を再現できるため、コスト削減や撮影期間の短縮に繋がることが期待されています。現在、映画やドラマ、CM、ミュージックビデオなど、幅広い分野で活用されており、今後もその応用範囲はますます広がっていくと考えられています。
インターネット上に作られた仮想空間「メタバース」については以下の記事で詳しくご紹介しています。ぜひ参考にしてください。
バーチャルプロダクションの種類
バーチャルプロダクションは、技術や規模、目的により以下のような様々な種類に分類でき、映像制作の現場では多様な選択肢が生まれています。
| 種類 | 代表的な作品 |
| LEDディスプレイベース | Disney+で配信されたスターウォーズのドラマシリーズ「マンダロリアン」 |
| グリーンスクリーンベース | ディズニー映画「ジャングル・ブック」 |
| バーチャルカメラベース | ディズニー映画「ライオン・キング」 |
| パフォーマンスキャプチャベース | 20世紀フォックス映画「猿の惑星：新世紀」 |
AIが映画産業にもたらす変革については、以下の記事でも詳しくご紹介しています。ぜひ参考にしてください。
LEDディスプレイベース
LEDディスプレイベースは、現実世界と仮想空間を自然に融合させるための技術です。この技術では、LEDディスプレイで構成された大画面を使用し、被写体を照らすことで、映画のようなリアリティあふれる映像を作り出します。
この技術の最大の特徴は、LEDディスプレイによる高度なライティングです。被写体を照らすだけでなく、様々な光の効果を再現することで、よりリアルな雰囲気を演出し、撮影中のワークフローを大幅に効率化します。従来の撮影では、撮影後にコンピュータ上で映像編集を行うのが一般的でしたが、LEDディスプレイベースでは、撮影中にカメラ内でほぼすべての編集作業を行うことができるため、撮影後の作業時間を大幅に削減し、より迅速な制作が可能です。
グリーンスクリーンベース
グリーンスクリーンベースは、従来のCG制作で広く用いられてきたグリーンバックなどの合成手法をさらに発展させた技術です。撮影時に背景を緑色に統一することで、後からCG映像と合成し、被写体が別の場所に存在しているかのような映像を作成します。
グリーンスクリーンベースでは、従来の合成技術に加えて、カメラトラッキングシステムなどを活用することで、より高度な3DCGを実現します。具体的には、カメラの動きや被写体の動きをリアルタイムで3DCG空間に反映させることで、より自然な立体感や奥行き感のある映像を作成することが可能です。
バーチャルカメラベース
バーチャルカメラベースとは、実写映画の撮影と同様に、カメラを操作しながら映像を撮影する手法です。しかし、実際の物理的なセットではなく、バーチャル空間上に構築されたセットを背景に撮影を行います。バーチャル空間内のカメラと現実世界のカメラをリアルタイムでリンクさせるため、カメラマンはバーチャル空間内のカメラを操作することで、実際のセットの中を動き回りながら撮影しているかのような感覚で撮影を行うことができます。
また、グリーンスクリーン撮影と同様、カメラトラッキングシステムが活用され、カメラの動きを正確に追跡し、バーチャル空間内の映像と同期させる役割を担います。
パフォーマンスキャプチャベース
パフォーマンスキャプチャベースとは、人間の演者の動きや表情を、専用のセンサーを用いて高精度に捉え、リアルタイムでバーチャル空間上に生成されたキャラクターに反映させる技術です。この手法により、まるで現実世界の人物が仮想空間で生きているかのような自然でリアルな動きを表現することが可能です。
従来のモーションキャプチャ技術が主に体の動きに焦点を当てていたのに対し、パフォーマンスキャプチャは、顔の表情や細やかな指の動きなどの繊細な表現も捉えることができます。これを実現するため、演者の全身に多数のセンサーやマーカーを装着し、専用のカメラでその動きを3次元データとして記録し、ソフトウェアによって処理され、バーチャルキャラクターに反映される仕組みです。
バーチャルプロダクションのメリット
バーチャルプロダクションの市場が急速に拡大し、今後もその成長が期待されているのは、従来の撮影技術に比べて以下のようなメリットを備えているからです。
- 撮影コストの削減ができる
- リアルタイムで必要な変更ができる
- 制作時間を大幅に短縮できる
- 創造性が広がる
- CO2排出が削減できる
- 天候や時刻・場所の制約を受けない
それぞれを具体的に見ていきましょう。
撮影コストの削減ができる
従来のロケ撮影では、理想の撮影場所を探すことから始まり、撮影許可の取得や場所の使用料の支払いなど、多岐にわたる準備と費用が必要でした。特に、イメージ通りの場所が見つからない場合は、建物や植林などの環境整備も必要となり、コストは膨大になり、撮影期間が長引くほど、出演者やスタッフの宿泊費や食事代などの費用も加算され、収益化を難しくする要因となっていました。
一方、バーチャルプロダクションでは、スタジオ内に仮想の撮影環境を構築し、実際のロケに出かけることなく撮影を行うことができます。そのため、ロケ地の選定や許可取得、環境整備などの手間と費用を大幅に削減できます。また、出演者やスタッフの移動費や滞在費も不要となり、コスト効率が大幅に向上します。
さらに、バーチャルプロダクションは、従来のCG合成によるスタジオ撮影と比較しても、コスト削減効果が期待できます。従来の方法では、実写とCGを自然に合成するために、撮影後の編集作業が必要でしたが、バーチャルプロダクションでは、事前にCG背景を作成し、その上に被写体を配置するため、撮影後の編集作業がほとんど不要です。この編集工程の省略により、大幅なコスト削減が可能になります。
リアルタイムで必要な変更ができる
バーチャルプロダクションでは、撮影中にリアルタイムで映像を確認し、必要に応じてCGの調整を加えることができるため、撮影後の編集作業が最小限に抑えられます。従来のように、撮影後に個々の素材を合成し、色調や明るさを調整する作業が不要なため、制作期間の短縮に繋がります。例えば、撮影中に監督やクライアントから新たなアイデアが出た場合でも、すぐに反映させることができるでしょう。
制作時間を大幅に短縮できる
バーチャルプロダクションは、仮想空間上でリアルタイムに映像合成を行うため、後工程での調整が最小限で済みます。また、CGの修正が必要になった場合でも、撮影と同時に修正作業を進めることができるため、制作期間の長期化を防ぎます。
創造性が広がる
バーチャルプロダクションのソフトウェアを使えば、撮影現場を自由にカスタマイズできます。小道具や衣装、ヘアスタイル、背景の色などのデザイン要素を数回のクリックで思い通りに変化させることが可能です。
そのため、高価なセットやロケーションをわざわざ用意する必要がなく、仮想空間上で自由に作り出すことができます。これにより、映画制作者は予算や場所の制約にとらわれず、より自由で創造的な作品作りに取り組むことができるのです。
CO2排出が削減できる
バーチャルプロダクションでは一つのスタジオで多様な撮影が可能となるため、複数のロケ地を転々とする必要がなくなります。そのため、撮影スタッフの移動に伴うCO2排出量を削減できるだけでなく、撮影現場までの機材輸送による環境負荷も軽減されます。
さらに、海外の監督やクリエイターとのコラボレーションも、物理的な移動を伴うことなく実現できるため、航空機による燃料消費を抑制することができるのです。バーチャルプロダクションは、撮影プロセス全体における環境負荷を低減し、より持続可能な映像制作を実現するための革新的な技術と言えるでしょう。
天候や時刻・場所の制約を受けない
従来の撮影では、天候や時刻に左右され、思うような映像を撮影できないことが多くありました。夕焼けを背景にしたシーンを撮影したい場合、天候や時間帯が限られるため、何度もロケ地を訪れる必要があったり、天候に左右されて撮影が延期になったりするといったことが発生していました。
しかし、バーチャルプロダクションでは、場所や天候、時刻の制約がないことで、撮影の効率化が図られ、低予算で高品質な映像制作を実現することができます。
バーチャルプロダクションの導入事例
バーチャルプロダクションは、映画やドラマ、CMなど、様々な分野で活用されています。以下では、バーチャルプロダクションを導入した様々な事例をご紹介します。
清澄白河BASE
ソニーグループのソニーPCLは、バーチャルプロダクションスタジオ「清澄白河BASE」を設立しました。このスタジオでは、LEDウォールと最新技術を駆使し、CGの世界に入り込んだような映像制作が可能です。場所や時間に縛られず、自由な表現が実現できるため、CMやドラマなどの制作現場で注目を集めています。
EC販促のCM制作
アイレップは、バーチャルプロダクション技術を駆使し、国内初の商業映像制作を実現しました。ベイクルーズのEC販促CMでは、LEDウォールとインカメラVFXを組み合わせることで、世界中を旅したかのような映像を、わずか1日でスタジオ内で撮影することができます。従来のロケ撮影に比べて、大幅な時間とコストの削減に成功し、小規模な企業でも大規模な映像制作が可能になることを実証しました。
バーチャルプロダクションの課題
近年、注目を集めているバーチャルプロダクションですが、その導入には様々な課題が伴います。以下で、バーチャルプロダクションの課題を解説します。
スタジオの整備が必要である
バーチャルプロダクションでは、テナントビルにスタジオを設ける場合、天井高が低いとカメラアングルが制限され、表現の幅が狭まってしまう可能性があり、音響環境や振動問題も無視できません。撮影中に外部からの音が混入したり、振動によって機材が不安定になったりすると、高品質な映像制作が困難になります。
さらに、大規模なLEDウォールを使用する場合、十分な電気容量が確保されているかも大きな課題です。スタジオの選定や設計には、これらの問題点を十分に考慮した上で、最適な環境を構築することが求められます。
専門的な知識を必要とする
バーチャルプロダクションは、映像制作の新たな可能性を広げる一方で、その導入には高い専門性が求められるという課題を抱えています。具体的には、LEDディスプレイの繊細な調整や運用など、高度な技術を必要とする作業が数多く存在するため、これらを担える人材の育成が急務となっています。
また、撮影中にCGを生成するため、エンジニアは常にシステムの状態を監視し、トラブルに対応する必要があります。これらの専門的な知識を備えた人材が不足している現状は、バーチャルプロダクションの普及を阻む大きな要因となっています。
バーチャルプロダクションは様々な分野で活用が期待される
今回は、バーチャルプロダクションの仕組みや種類、メリット、導入事例を詳しく解説しました。バーチャルプロダクションは、映像制作の現場に革新的な変化をもたらしておりCMやドラマの撮影にとどまらず、その活躍の場はますます広がっています。
LEDウォールに映し出された仮想空間を背景に、リアルタイムで撮影を行う技術は、従来の制作手法では実現が難しかった表現を可能にし、様々な業界において新たな可能性を切り開いています。バーチャルプロダクションの導入によって、企業はより創造的で効果的な映像コンテンツを制作できるようになり、ビジネスの成長に大きく貢献することが期待されるでしょう。
