[tech] kinectでMRはやはり微妙

kinectでキャプチャした人物をマージして(逆)AR？いやMRか、まあ誰かやるだろうとは思ってましたけど、早くも出てきたので見てみました。アメリカ人らしくスターウォーズ的なライトセーバー対戦です。

Two Kinects join forces to make 3D telepresence, enable virtual light saber battles (video)

解像度とか、ライトセーバーのオーバーレイの精度とかは、この手のものにしては頑張ってる感じですが、やっぱしスピードの面で厳しい感じ。数百msec以上の遅延があるみたいに見えますね。データ量とかを考えても、これは仕方ない程度だと思いますけど、無理があるですね。何とかしようと思うなら、100msec以下位に押さえないといけませんが、果たして可能か。ある程度のサイズ以上の映像を送らなきゃならない時点で無理かも。

スピード以外にも、3Dのテレプレゼンスを完備するには、体の前後上下左右を表現する必要もあって、それにはもっとたくさんのカメラで全方向から撮る必要もあるわけで。本件は主に前面、２台のkinectで補完して、一面のクオリティを上げる、という限定的な構成をやったわけですけども、台数が増えるとそれだけ処理もデータ量も増えるわけで。3Dはかように大変なのであります。

と技術的には厳しいものの、しかしアバターではなく今の自分自身の姿がそのまま表現される本物のテレプレゼンス、というのはロマンはありますね。まさにサイバースペース。これは各プレイヤーには、自分が見えない版のFPSっぽい映像が見えてるのかな？これを広げて、全方面にカメラとディスプレイを張り巡らせた部屋を作れば、完全に没入出来る、と。すごい金もかかるけど、そろそろ何処かの展示会に出てこないかな。VR展とか。したら見に行くですよ。