リアルタイム推論Real-Time Inference

まず時間の予算が決まります

「リアルタイム」という言葉に決まった数字はありません。用途がその数字を決めます。ウェブカメラの画面に表示を重ねる作業なら一秒間に三十枚ほど入ってくるので、一枚に与えられる時間はその間隔ひとつです。この中に読み取り、判断し、描くところまで全部収めなければなりません。

言葉に応える音声アシスタントなら基準はずっと緩やかです。人が答えを待ってくれる時間があるからです。逆に速く流れる物を検査する現場なら、はるかに厳しくなります。同じモデルでもどこで使うかによってリアルタイムになったりならなかったりします。

予算には計算時間だけが入るわけではありません。カメラから絵が渡ってくる時間、大きさを合わせる時間、結果を画面に描く時間もすべて同じ財布から出ていきます。モデルだけが速くても全体は遅れることがあります。

一度遅れると雪だるま式に膨らみます

一枚に与えられた時間を少し超えるだけで問題が大きくなります。処理している間に次の場面が入ってきて列に並び、さらにその次の場面も並びます。処理する速さが入ってくる速さに追いつかないと、列はどんどん長くなり、画面に見える結果はだんだん昔の場面の結果になっていきます。

数秒経つと、手を振ったあとしばらくしてから表示が付いてくる妙な状態になります。だからリアルタイムで動くプログラムは列を積み上げません。遅れる瞬間、**途中の場面をそのまま捨てます。**三十枚のうち十枚しか処理できなくても、今の場面を見るほうがずっとましだからです。

飛ばした場面のせいで表示が少しカクカクして見えても、遅れた結果よりはましです。リアルタイム処理で捨てることは失敗ではなく、正常な動作です。

時間を稼ぐ方法

まず手を付けるのは入力の大きさです。絵を半分の大きさに縮めれば、見るべき点の数が大きく減ります。顔が画面いっぱいに映る用途なら小さな絵でも十分です。

次はモデルそのものを軽いものに変えることです。同じ仕事をするいろいろな大きさのモデルが出ているので、少し精度は落ちても速いほうを選べます。数字を扱う桁数を減らして計算を軽くする方法も一緒に使われます。

作業を分ける方法もあります。重い判断は数枚に一回だけ行い、その間の場面は前の結果を引き継いでついてこさせるやり方です。毎場面ゼロから探し直さなくてよいので予算が大きく余ります。

平均ではなく最悪を見ます

「平均処理時間」という数字はリアルタイムでは当てになりません。二十枚は速く処理していても一枚で急に時間がかかると、その瞬間に画面が飛び、人はその一回を覚えています。平均は問題なくても使い心地が悪い状態がよくあります。

そこでいちばん遅かったほうの数パーセントを別に見ます。他のプログラムがふと割り込んだり、メモリを新しく確保したり、機器が熱くなって速度を落としたりするとこの飛びが起きます。あらかじめ場所を確保しておき毎回同じ大きさで処理させると、この飛びが減ります。

どこで計算するかが大きく分かれます

計算を遠くのサーバーに任せると強力な機材を使えますが、絵を送って結果を受け取るまでの往復時間が予算にまるごと足されます。接続が一瞬揺らぐと、その瞬間だけ大きく遅れることもあります。

だから画面にすぐ反応しなければならない作業は、端末の中で処理するほうを選ぶことが多いです。ブラウザやスマートフォンの中で動く代わりに、軽いモデルを使う必要があります。重い判断だけたまにサーバーに任せて、残りは端末で処理するように混ぜることもあります。