両眼視差可変ステレオカメラ：原理と検討

前回、「目と目の幅がもっと広いと、周りの風景は小さく見えるのか」という疑問について考えた。
この疑問だけ考えると、単純に、２台のスチルカメラの設置幅を変えて平行法で撮影した２組の写真を見比べるだけでいい。用意するものは同じ画質、レンズ設定のカメラ２台と、ダブルレリーズを使えばよい（２台シャッター同期撮影）。最初にすべきはこのテストだ。

では、その結果、確かに視点の幅が変わることで立体感が変化することがわかったら次にすることは何か。ここからが本題だ。

小型のビデオカメラを２台、ゴーグルに半固定して、その画像をゴーグルに固定した超小型ディスプレイ、いわゆるHMDに表示する。そのビデオカメラの幅を一定量の範囲で幅を変えられるようにする。とりあえず５０センチくらいまで幅が変えられれば十分だろうか。
しかし一つ問題が生じる。

人間の目は（不正確には）対象を見るとき、視野の中心に対象を据えて見ている。遠くのものと近くのものでは、見るときの眼球の向きが違うのだ。ビデオカメラを平行なまま固定していたら、近くのものが見られない。そこで、視線の方向に同期してカメラの向きを変える必要がある。

これには、ナックイメージテクノロジー社のアイマークレコーダを用いて、視線の方向を計測し、それに合わせてビデオカメラの向きを同期する。このアイマークレコーダは視線の方向しかわからないので、ビデオカメラ自体の向きは計測結果に合わせて変更する機構が必要だろう。Arduinoかなにかでレンズの向きを変えるモータを動かすプログラムを書く必要がある。

こうやって、

• 設置幅が変えられる２台のビデオカメラ
• ビデオカメラが撮影している動画を表示するHMD
• HMDに表示している動画を見る視線方向を検知するセンサ
• センサが検知した視線方向に合わせてレンズの向きを変える機構

を組み合わせた、頭で支えるにはちょっとつらいシステムが出来上がる。これを自前で揃えると、設備投資だけで恐らく５０万円は下らないだろう。しかもそんな機械を作って実現できるのは、単に見た目の大きさが違って見える風景で、自分が巨大化か微小化した感覚を味わえる仮想現実感でしかない。

先々の展開として、例えば重機の遠隔操作に２台のビデオカメラを使って、仮想現実感の中で操作するような研究はある程度されているだろうし、極小領域で動作するロボットの遠隔操作にしても、２台のビデオカメラを収められるような小ささの筐体に組み込める実用的なマニピュレータがまだ存在しない。ので、メディアアート以外で応用できる実用的な分野が今のところない。

エンターテイメント分野での応用があるかもしれないが、没入感が前提となるようなエンターテイメントはあまり人気がない。しかもエンターテイメントには実感できるほどの立体感は意外と不要で、見た目の形から脳が勝手に立体感を補完してくれる。

その補完が強力なため、交差法や平行法で撮った写真を間違えて逆の方法で見ても、それほど違和感がない。それくらい強力に補完してくれる。現実と見紛うほどの画質と視線の同期が実現できればまた違うかもしれないが、余計な立体感は脳の補完にはむしろ邪魔なのだ。

それが証拠に、立体視用の動画を立体視で見ると妙な違和感がある。これはビデオカメラとしての目と撮影に使ったビデオカメラの間に、視野の範囲や解像度やピントの合わせ方などの差があるからだといわれている。普段にない立体感を補完しなければならないので違和感が残るのだ。だからカメラがもっと目に近づかなければその違和感は解消できない。しかも個々人の目の性能がみんな違うので、その違いも吸収してくれるビデオカメラでなければならないだろう。

そんなわけで、未だに実行に移れないでいるのだ。

やってみたよという人がいたら連絡下さい。とりあえず俺はスチルカメラで立体視の実験を続けます。ティルトシフトフェイクを立体視に応用したら面白い写真が撮れると思うよ。