深度推定Depth Estimation

写真には距離が抜けています

カメラは世界を平らに押しつぶして写し取ります。ひとつの方向に伸びた光の線の上にあるものは、近くても遠くてもすべて同じ場所に写ります。写真一枚だけを見ると、手のひらほどのおもちゃの車が目の前にあるのか、本物の車が遠くにあるのかを見分ける根拠は絵の中にはありません。

だから本来の距離を知るには目が二つ必要です。二か所から撮った写真を見比べると、近いものほど左右に大きくずれて見え、そのずれの度合いがそのまま距離になります。距離を測る機材も、光を発してから戻ってくるまでの時間を数える形で直接測ります。

深度推定はこうした機材なしに、すでに撮られた写真一枚から失われた距離をさかのぼって読み取る作業です。正解を測り直すというより、もっともらしい値を言い当てるほうに近いです。

絵の中の手がかりを集めます

たどる材料は、人が霧のかかった道で使うものと変わりません。手前のものが後ろのものを隠していれば、隠しているほうが近いです。同じ種類の物が小さく写っていれば遠くにあるということです。平行な二本の線が画面の奥で一点に集まれば、そちらが遠い方向です。床の模様が細かくなるほど遠ざかり、影がどこにどう寝ているかも前後を分けてくれます。

学習は距離を一緒に測っておいた写真の山で行います。いろいろな角度から撮った写真と機材で測った距離の値を対にしておき、写真だけを見てその値を言い当てさせます。数多くの場面を通るうちに「こんな見た目ならこれくらい遠い」という感覚が積み重なります。

だから結果は測り取った値ではなく経験から出た見当です。初めて見る場面でも見慣れた手がかりがあればよく当たり、手がかりが食い違っていると人と同じように騙されます。

結果は一枚の深度マップです

出す答えは数字ひとつではなく、写真と同じ大きさの絵です。場所ごとに値がひとつずつ入っていて、普通は近いほど明るく塗って示します。人物が白く浮き上がり奥の壁が暗く沈む白黒の絵が、まさにそれです。

このマップがあれば写真を前後に切り分けられます。人物だけを残して背後をぼかす写真効果、画面を少しずつ動かして立体のように揺らめかせる効果、仮想の物を置いたとき手前の柱に自然に隠れるようにする処理が、すべてこの一枚の上で行われます。

ロボットや自動車の運転支援装置もこのマップを参考にします。ただし安全に関わる場面では写真一枚の見当だけを信じず、距離を直接測る装置と一緒に使います。

順序は分かっても歩数は分かりません

いちばんよく引っかかる限界です。ほとんどの深度推定はどちらがより近いか、その違いがどれくらい大きいかしか教えてくれません。同じ場面でも全体を二倍に伸ばしたり半分に縮めたりすると、前後の関係はそのままなので区別できません。

メートルで表した距離が必要なら基準がひとつ必要です。カメラのレンズ情報を伝えたり、大きさの分かった物をひとつ写しておいたり、機材で測った値をいくつか差し込んで目盛りを合わせます。目盛りを合わせる前の値は、地図の等高線のように高低だけがある絵です。

騙されやすい場面があります

鏡とガラスが代表例です。鏡に映った部屋は写真の中で遠くまで続く本物の部屋のように見え、壁の向こうに空間が続いているかのように描かれることがあります。ガラス窓の向こうの景色とガラスに映った反射が重なると、どちらの距離を書けばよいのか揺らぎます。

模様のない白い壁、深い霧、逆光で真っ黒に沈んだ場所も難しいです。手がかり自体が消えている場所なので周りからつなぎ合わせて埋めるのですが、そのせいで広い面がまるごとずれたり、薄い物の境目がぼやけたりします。柵や髪の毛、木の枝のように細く密なものが背景にくっついてしまうこともよくあります。