コンピュータビジョンComputer Vision

コンピュータにとって写真は数字の表です

画面の写真を大きく拡大すると、小さな四角が格子状に並んでいます。四角ひとつごとに赤・緑・青がどれだけ混ざっているかが数値で書かれていて、写真一枚はこの数値が数百万マス並んだ表です。コンピュータが受け取るのはここまでです。

人間はこの表を一度も見たことがありません。目が勝手に塊をまとめ、背景と物体を分けてくれるからです。コンピュータはその過程を一から作り込む必要があります。隣のマスと数値がどれだけ違うか、その違いがどんな形につながっているかを計算して、塊を見つけ出します。

点から輪郭へ、輪郭から物体へ

処理は一段で飛び上がらず、層を重ねて積み上がります。いちばん下では、隣り合うマスの明るさの差だけを見ます。差が大きく出る場所が並んでいれば輪郭です。次の層は輪郭がどう集まっているかを見ます。並んで繰り返せば縞模様、丸く閉じれば丸いものです。

さらに上に行くと、こうした断片がどんな配置で置かれているかを見ます。丸いものの上に横線が二本あり、下に縦の柱があるという配置が積み重なると、ようやく「何か」に近づきます。下の層ほどどんな写真にも通じる一般的な模様を、上の層ほどその物体だけにある特徴をつかみます。

この層を人が一つひとつ設計していた時代もありました。今は例の写真を大量に見せて、各層が何を見るかを自分でつかませる方式が定着し、性能が大きく上がったのもこの転換以降です。

尋ねる問いによって答えの形が変わります

同じ写真でも、何を尋ねるかによって行う作業がまったく変わります。「この写真は何か」と尋ねれば、写真一枚に名札がひとつ出ます。「何がどこにあるか」と尋ねれば、物体ごとに枠を描いて名前を付けます。

「どこまでがそれか」と尋ねれば、点ひとつひとつを物体と背景に分けます。背景を消したり、特定の対象だけ色を変えたりする機能はここに当たります。このほかにも、文字を読み取る作業、どれだけ遠くにあるかを測る作業、映像の中で同じ物体を追い続ける作業が、それぞれ別の分野に分かれています。

すでに至るところに入り込んでいます

スマートフォンのカメラがピントを合わせて写真を明るく整える過程、写真アプリが自動でアルバムをまとめる機能、ビデオ通話で背景だけをぼかす機能はすべてこの技術です。駐車場の遮断機がナンバープレートを読み取ることも、工場で傷のある製品を選り分けることも同じ仲間です。

目に付きにくい場所にも多く入っています。書類を写真に撮って文字に変える作業、農場で葉の状態を確かめる作業のように、人が目で行っていた繰り返しの確認が特に多く移っています。

よく間違え、よく騙される場所

性能が良くなっても、間違える場所は人間とはまったく違います。見たことのない角度、初めて見る照明、半分隠れた物体の前では成績ががくんと落ちます。人の目ではほとんど分からない細かな模様を写真に重ねただけで、まったく違う答えを出す実験もよく知られています。

さらに困るのは、間違えるときもためらわないことです。解説板は分からないと言う代わりに、もっともらしい説明を付けます。だから人の目が必ずもう一度確かめるべき場所をあらかじめ決めておくことが大切です。