TBSグループの社員有志による研究プロジェクト「TBS Tech Design Lab」は、ソニーグループ株式会社との共同実験により、最新技術「ボリュメトリックキャプチャ」を用いた3Dキャプチャ映像のリアルタイム伝送を実現。先日、社内の番組制作関係者向けにデモンストレーションが行われた。

ボリュメトリックキャプチャとは、数十台以上のカメラを使用し、人物の立体的な動きを映像としてキャプチャする技術。生成されたデータは、対象物の奥行きや画角、光や影などのマテリアル情報が重畳された「3Dビデオ」となっており、再生しながら自由に視点や質感などを変えることができる。

デモンストレーションでは、東京・品川のソニーグループ株式会社内の「Volumetric Capture Studio Tokyo」にいる出演者をリアルタイムでボリュメトリックキャプチャし、赤坂・TBS放送センター内のスタジオ映像と合成。離れた場所にいる出演者同士が、あたかも全員同じスタジオに立っているかのように自然なかけ合いを行った。

新たな映像演出の方法として興味深いボリュメトリックキャプチャ。具体的にどのような展開が可能となっていくのか。株式会社 TBSアクト 未来技術推進部 / TBS Tech Design Lab  河村光彦氏、ソニーグループ株式会社 事業開発プラットフォーム 新規事業探索部門 コーポレートプロジェクト推進部 RL準備室 池田康氏にインタビューした。

■離れた場所の人物同士を、同じスタジオで“生出演”させることが可能

――ボリュメトリックキャプチャとは、どのような技術なのでしょうか。

河村氏：スタジオ規模にもよりますが、数十台のカメラを並べて同時に撮影を行い、人物や場所の空間情報をキャプチャする技術です。ひとつひとつのカメラから得られる2D映像を集約することで3D映像を再構成し、3Dモデルデータを作り出します。

これにより、カメラの視点を後から自由に変えたり、任意のアングルを作り出せるほか、3DCGとの合成によって、被写体の色やライティングをリアルタイムに変化させる演出効果も可能です。

――テレビの現場では、具体的にどのような活用が可能ですか？

河村氏：一番の魅力は、離れたところに人物を“転送”できるということです。ボリュメトリックキャプチャを駆使すれば、同じ人物が東京のスタジオに生出演した数分後、大阪のスタジオにそのままワープして生出演するといった演出も可能となります。

キャプチャした映像はデジタルデータとして自由に加工できるので、人物をあらかじめたくさんキャプチャしておいて、ドラマ映像で通行人役などのエキストラがわりに配置することもできます。パフォーマンスの模様を収録し、あとからスマートフォンなどで自由にアングルを変えて楽しめるパッケージとして提供するといった楽しみ方もあるでしょう。

池田氏：ミュージックビデオや映画、テレビCMといった映像コンテンツはもちろん、博物館のVR展示など、ロケーションに紐付いたエンターテインメントの技術としてもボリュメトリックキャプチャは有効です。

ゆくゆくは、撮影した空間をまるごと3Dデータの形式でリアルタイムに転送したり、離れた場所にいる人物を、あたかもその場にいるかのように再現させるといった「空間転送」の領域にも活用できると思います。

■TBSのスタジオから送られる画角リクエストを、ソニー側でリアルタイムに処理・伝送

――今回の共同実験の経緯を教えてください。

河村氏：TBSテレビをはじめ、TBSグループを横断した有志の開発者チーム「Tech Design Lab」は、CGを駆使した最先端の技術を使った表現のかたちについても研究してきました。ボリュメトリックキャプチャは、その延長上として行き着いたものです。

池田氏：かねてよりソニーグループでは、品川の社内に専用スタジオを構え、ボリュメトリックキャプチャ技術の開発に取り組んできました。2020年8月に音楽グループ・いきものがかりと世界初のボリュメトリックライブを実施した際、河村氏より「リアルタイム技術を使い、テレビ局としての新しい表現作りに取り組みたい」とのご提案をいただき、TBSとの共同実験をスタートしました。

――今回の共同実験において、両社のあいだではどのような役割分担が行われていますか。

河村氏：基本的な技術まわりは、ソニーさんのものを使わせていただいています。TBSからは、スタジオに設置したバーチャルカメラのクレーンから画角や位置の操作データをソニーさんに送り、それに対応したアングルからの映像データを受け取って、サブ（副調整室）側でひとつの映像に重畳しています。

池田氏：ソニー側では、TBSさん側から送られてきた映像やカメラの操作情報をもとに、ボリュメトリックキャプチャ映像をリアルタイムで生成し、都度伝送しています。制作や操作はTBSさん、処理周り全般はソニーといった分担がなされています。

――「TBS Tech Design」では、これまでもVRを用いた映像表現の研究が行われてきましたが、今回のボリュメトリックキャプチャについて、従来のものと特に異なる点を教えてください。

河村氏：これまではスマートフォンのカメラ映像を用いた映像表現となっていましたが、今回のボリュメトリックキャプチャでは、ソニーさんの技術により、放送も含めてよりリッチな表現が可能となりました。ボリュメトリックキャプチャ技術を研究する企業は他にも存在しますが、放送に耐えうる高いクオリティが実現できたというケースは非常に希少ではないかと思います。

■相方を“ツッコんで消す”漫才表現も。「デジタルエフェクト芸」の可能性

――今回のデモンストレーションでは、品川と赤坂のスタジオにお笑いコンビの片方ずつが分かれて出演し、映像上では同じスタジオにいるかのようなかけ合いが披露されました。出演者サイドはどのような感想が聞かれましたか。

河村氏：自分たちに映像エフェクトをかけることができるという点を非常に面白がられていました。たとえば、片方がツッコミを入れてもう片方を“消す”、といったギャグ表現が可能になるのです。「これは“デジタルエフェクト芸”という新しいジャンルが生まれるのではないか」と、非常に盛り上がられていました。

――ボリュメトリックキャプチャによって、「テレビへの出方」そのものが大きく変わりそうですね。

河村氏：先にも述べたとおり、離れた地点のスタジオへ一瞬で移動することが可能となるため、全国ネットのドラマや映画ロードショーの宣伝で全国各地の放送局を“瞬時に”回ることも、技術的には難しくありません。移動やスタンバイの時間が減り、純粋な出演に時間を割くことができるため、これまで拘束の難しさから断念されていたような地域や番組への出演の幅も広がっていくことと思います。

■人物そのもの、空間そのもの…… メタバース空間で「リアル」を伝送できる可能性

河村氏：テレビ局発のコンテンツをテレビ以外の場所でも楽しんでいただける仕組み作りには、ぜひ取り組みたいと思っています。放送やイベントで展開したボリュメトリックキャプチャのコンテンツデータを持ち帰って、あとから自宅でも楽しめるようにするなど、可能性はいろいろ広がっていると思います。

現在はスマートフォンなどがデジタルコンテンツの主な視聴先となっていますが、将来的には裸眼で直接コンテンツを楽しめるデバイスも増えてくるのではないでしょうか。

池田氏：世の中には「リアルでなければいけない」ものが多く存在します。アーティストやアイドル、スポーツや伝統芸能といったものはもちろん、自分の子供の姿など、バーチャルなキャラクターで代替することができません。こうしたものを3Dデータ化する技術として、ボリュメトリックキャプチャは非常に有効であると思います。

河村氏：メタバース分野への応用については、とくに注目しているところです。メタバースが世の中に受け入れられるほど、アバターには細かなディティールやリアルさが求められるようになるでしょう。それを表現する技術として、ボリュメトリックキャプチャは大いに威力を発揮すると思います。

池田氏：3Dのデータに時間軸を足した、いわば「4D」を実現できる技術としては、ボリュメトリックキャプチャが最先端ではないかと考えています。素材ごとに異なる光の反射度を再現する研究が進んでいけば、本当の意味で見たままを再現できるようになり、空間そのものを伝送できる世界も遠くないでしょう。

――放送関係者をはじめ、この記事をご覧のみなさんにメッセージをお願いいたします。

河村氏：今回のボリュメトリックキャプチャをはじめ、人物をデジタル的に取り扱って伝送できる技術をもっと盛り上げたいと考えています。今回のデモンストレーションでは漫才のかけ合いという題材を用いましたが、討論や演説などの分野にも、現状の技術レベルで十分に対応することが可能です。

需要をたくさん作ることでさらに研究も進み、進化のスピードがさらに上がっていきますので、ぜひ活用していただけたらと思います。

池田氏：現在は、ボリュメトリックキャプチャの技術をどのようなシーンで活用できるかをいろいろと模索している段階です。「こんな形でも使える」ということを次々と発見し、開発していきたいと思います。2021年には数十回と、デモンストレーションも盛んに実施しています。

弊社のスタジオで実際に体験していただくことも可能ですので、ご興味をお持ちいただけましたら、お気軽にお声がけをいただければ幸いです。