推論Inference
学習を終えたモデルが新しい入力に答えを出すこと
- 推論は学習を終えたモデルが新しい入力を受け取って答えを出す瞬間です。学ぶことと使うことは別の時間に起こります。
- 推論している間、モデルは**何も学びません。**中の数値はそのままで、入ってきた入力だけを計算して送り出します。
- 学習は普通一度きりですが、推論は使うたびに毎回起こります。だから長く運用するほど推論にかかる分が大きくなります。
- 推論は**速いほど使い道が広がります。**写真一枚の判断に10秒かかればカメラアプリには入れられません。
- 同じ入力でも答えがいつも同じとは限りません。出てきた候補のうちどれを選ぶかの方式によって少しずつ変わります。
目次
1たとえで理解する
フリマアプリを何か月も眺めている人がいます。ある品物がいくらで出品されて実際いくらで売れたかを何百件も追っていると、相場が体にしみつきます。そこに新しい出品写真が一枚上がると、これまで見た取引をもう一度調べ直すことなく、その場で「これは大体このくらい」と値を付けます。値を付けるこの短い瞬間が推論です。
相場を身につけることと値を付けることはまったく別の作業です。身につけるのに何か月もかかりましたが、出品一件に値を付けるのは数秒で終わります。その代わり値を付ける作業は、新しい出品が上がるたびに毎回最初からやり直す必要があります。
そして値を付けている間、頭の中の基準は変わりません。この出品一件を見たからといって相場感が更新されるわけではないからです。
2くわしく
学習と推論は別の時間に起こります
モデルを使う流れは二つに分かれています。前半が学習です。資料をたくさん見せながらモデルの中の数値を少しずつ直していきます。後半が推論です。直し終えた数値はそのままに、新しく入ってきた入力一つをその数値に通して結果を取り出します。
二つは普通、別の日、別のコンピュータで起こります。学習はモデルを作る側が何週間もかけて先に終えておき、推論は使う人がボタンを押すたびにその都度起こります。私たちがAIサービスを使いながら出会うほぼすべての瞬間は、実は推論のほうです。
推論中は何も学びません
チャットボットとしばらく話していると、この会話でAIが自分のことを学んでいくような感覚になります。ですが推論が動いている間、モデルの中の数値は**一か所も変わりません。**会話がつながっているように見えるのは、これまでのやり取りを毎回もう一度入力に貼り付け直しているからです。
だから会話画面を新しく開くと、前に伝えた内容は消えます。学んだことがないので忘れることもないわけです。利用者と交わした話を実際にモデルへ反映させるには、その内容を別途集めて改めて学習をやり直す作業が必要です。
使うたびに費用がかかり直します
学習は一度大きく払って終わりますが、推論はそうではありません。利用者一人が質問を一回投げるたびに計算が最初から回ります。利用者が百万人なら百万回、その人たちが一日に十回ずつ使えば一千万回です。
一回の計算は学習に比べればとても軽いです。ですが回数がとても多いので、サービスを長く動かすほど**全体費用の中で推論が占める割合が学習を上回ります。**AIサービスに利用制限や料金プランが付く理由でもあります。
どれだけ速く答えるかが使い道を決めます
推論は正確なだけでは足りません。カメラアプリが画面の中の物を見分けるには一枚あたり数十分の一秒以内に判断が出る必要があり、自動車の補助装置ならそれよりさらに速くなければなりません。答えを待つ時間が長くなると、どれだけよく当たってもその場では使えません。
だから作る側では、正確さを少し譲ってでも推論を軽くする手入れをします。数字の桁数を減らしたり、あまり使われない部分を削ったり、大きなモデルの判断を真似る小さなモデルを別に作っておいたりする方法です。
どこで計算するかも選ぶ必要があります
推論は遠くのサーバーで起こることもあれば、手元の機器の中で起こることもあります。サーバーで行えば大きなモデルを使える代わりにインターネットが必要で、資料が外に出ていきます。機器の中で行えばインターネットなしで即座に答え、資料も外に出ませんが、入れられるモデルの大きさはずっと小さくなります。
最近の携帯電話の写真整理や字幕機能が飛行機の中でも動くのは、推論が機器の中で起こっているからです。反対に、長い文章を書いてくれるサービスはまだサーバー側の推論に頼っています。
3もう少し正確に
推論は学習を終えて固定されたパラメータに入力を一度通して出力を得る計算です。この一方向の計算を順伝播と呼びます。学習には結果がどれだけ間違っていたかを逆向きにたどって数値を直す段階が付きますが、推論にはその段階がないため、ずっと軽く速くなります。だから学習には高価な装置が何台も必要でも、推論は小さな装置一台や携帯電話の中だけで動くことも多いです。複数の人のリクエストを一度にまとめて計算することで、処理量を増やすこともあります。
たとえとずれる点もあります。人は新しい出品を見るたびに相場感が少しずつでも更新されますが、モデルは推論一回では絶対に変わりません。また「推論」という言葉は、じっくり考える思考を思い浮かべさせますが、ここでいう推論は決まった計算を一度通す作業に近いです。最近出てきた一部のモデルが答える前に考えを長く伸ばすのも、考えているのではなく、途中の文章をより長く作りながら推論を何度も繰り返す方式です。
4やってみる
5よくある誤解
AIが会話しながら自分のことを学んでいくと思われがちですが、実際には推論中モデルの中の数値はそのままです。話がつながって見えるのは、これまでの会話を毎回もう一度入力に入れているからです。
学習だけが高くて使うのはほぼ無料だと考えられがちですが、実際には推論は利用者の数だけ繰り返され、長く運用するほど推論側の割合のほうが大きくなります。
推論は人のようにじっくり考える作業だと思われがちですが、実際には固定された数値に入力を一度通すだけの計算です。
7ひとこと要約
つまり推論は学習を終えたモデルが新しい入力一つを受け取り、その場で答えを出す瞬間で、私たちがAIを使うほぼすべての時間がここに当たります。
誤りや、もっと良いたとえがありますか？ 修正を提案する · 最終更新2026-09-02