物体追跡Object Tracking

見つけることとつなげることは別の作業です

一場面の中で物を見つける作業は、その場面の中で完結します。四角を三つ描いたからといって、そのうちどれが前の場面のどの四角だったかはどこにも記されていません。場面ごとにばらばらに新しく見つけるだけです。

だから見つける作業だけを並べた画面は不自然に見えます。四角が瞬間ごとに新しく点滅し、少しの間見つからなかった瞬間には丸ごと消えてまた現れます。通り過ぎた人が何人かを数えようとしても、同じ人を三十回数えてしまいます。

追跡はここにもう一枚を重ねます。見つけたものを前の場面のリストと照らし合わせて対にし、対が見つかったものには使っていた番号を、見つからなかったものには新しい番号を与えます。画面の外に出た番号はしばらく待ってから消します。

何を見て対にしますか

対にする手がかりは大きく二つです。ひとつは位置です。ごく短い時間の間には物は遠くまで行けないので、前の場面の位置と重なる、もしくは近いものが同じ対象である可能性が高いです。

もうひとつは見た目です。色や模様のような特徴を短い数字の束として取り出しておき、新しく見つけたものと照らし合わせます。位置だけでは分からない状況で、この手がかりが決め手になります。

二つの手がかりで点数を付けたあとは対にする問題になります。前のリストと新しいリストを並べて、全体の点数がいちばんよくなるよう一気に対を決めます。ひとつずつ近いものから付けていくと、あとに残ったものどうしが絡まってしまうからです。

見えない間も位置を見当づけます

隠れることはいつでも起こります。前の人の後ろを通ったり柱に隠れたりすると、その瞬間見つける作業が失敗します。ここで番号をすぐに消してしまうと、また現れたときに新しい番号が付いて一人が二人と数えられてしまいます。

そこで一瞬消えた番号はしばらく生かしておきます。消える直前の方向と速さを見て「今頃ここにいるはずだ」という位置を動かしながら見当づけます。その近くで似たものが現れたら、もとの番号をまた付けます。

生かしておく時間を長く取れば、長く隠れた対象もつながりますが、すでに消えた番号が見当違いのものに付いてしまうことが起きます。短く取ればその逆です。人が多く行き交う場所かどうかによって、この時間を調節します。

番号が入れ替わる事故

追跡でいちばんよくある失敗は見つけられないことではなく、番号が入れ替わることです。似た二つがすれ違う瞬間、重なっている間は位置でも見た目でも分かれません。抜けたあとに二つの番号が互いに入れ替わって付くと、そこからずっと間違ったまま続きます。

一度入れ替わった番号は自分から戻りません。だからこの失敗は通った道を描いた図や留まった時間の統計をまるごと壊してしまいます。追跡性能を測るとき、どれだけよく見つけたかとは別に番号が何回入れ替わったかを別に数える理由です。

番号が付くと数えられます

番号が保たれた瞬間、できることがぐっと増えます。店に入った人数を数える作業は、番号が一度ずつだけ新しく生まれるよう管理する作業です。どの陳列棚の前にどれくらい長く留まったかは、ひとつの番号がその区域の中にいた時間を足した値です。

通った道を描く作業も番号のおかげです。同じ番号の位置を時間順につなぐと一本の線が出ます。この線を見れば、どちら向きに歩く人が多いか、どこで止まるかが分かります。動作を見分ける作業にも、同じ対象の流れをまとめてくれる役割があります。