アハAI
  1. ホーム
  2. AIの活用・ツール
  3. レイテンシー
AIの活用・ツール 構造 入門

レイテンシーLatency

要求を送ってから答えを受け取るまでの時間

ポイント
  • レイテンシーは要求を送った瞬間から答えを受け取るまで待たされる時間です。
  • この時間は二つに分かれます。最初の文字が出るまでと答えが出そろうまでは別々に測ります。
  • 前半は主に入れた文の長さと順番待ちから生まれます。質問の前に付けた長い文書がそのまま待ち時間になります。
  • 後半は答えの長さにほぼそのまま比例します。かけらを一つずつ作って送り出すためです。
  • 画面に文字を流すように出すと、合計時間は同じでも体感の待ち時間は大きく減ります。
目次

1たとえで理解する

エレベーターのボタンを押すと、二回待つことになります。一回目は扉が開くまでです。エレベーターが今何階にいるか、先に呼んだ人がいるかによってこの時間は長くなります。もう一回は乗ってから目的の階に着くまでです。こちらは何階分上がるかがほぼすべてです。

二つの待ち時間は性質が違います。扉が早く開いたからといって目的の階に早く着くわけではなく、逆にしばらく待って乗っても一階分しか上がらなければすぐに降ります。AIに何かを尋ねたときに流れる時間もこうして二つに分かれます。この待ち時間全体がレイテンシーです。

2くわしく

待ち時間は二つに分けて見るべきです

前半は要求を送った瞬間から最初の文字が画面に出るまでです。この区間ではまだ答えが一文字も作られていません。要求がサーバーまで届き、順番を待ち、入れた文を頭から終わりまで読む作業が行われています。

後半は最初の文字が出た後から答えが終わるまでです。この区間はかけらを一つ作り、また一つ作るを繰り返す時間なので、答えが長いほどそのまま長くなります。

同じ3秒でも中身を開けてみると違うことがあります。最初の文字が2.5秒で出て残りは一瞬で流れる場合と、0.5秒で出始めてゆっくり流れる場合では、直すべき箇所がそれぞれ違います。

前半が長くなる理由

一番大きな理由は入れた文が長いからです。答えを作る前に入れた文をまるごと読む過程が必要で、文書を何枚も貼り付けて送るとこの読み込みだけでかなり時間がかかります。

二つ目の理由は順番待ちです。同じ時間に要求が集中すると、自分の番が来るまで待たなければなりません。人が集まる時間帯に答え始めが特に遅いのはこのためです。

三つ目の理由はやり取りする距離です。要求が地球の反対側の機械まで行って戻ってくると、その往復分が加わります。計算時間に比べれば小さいですが、短い質問をとても多くやり取りするプログラムではこの割合がかなり大きくなります。近い場所の機械につなぐだけで縮まる時間もあるということです。

後半は長さが決めます

答えが作られる方式は一度に一かけらずつです。一かけらを作るのにかかる時間がほぼ一定なので、答えのかけらが二倍に増えればこの区間も二倍になります。「短く答えてください」という一言が待ち時間を目に見えて減らす理由です。

日本語は同じ意味でもかけらを多く使う場合があり、答えがそれだけゆっくり流れます。表を作ってほしい、長い一覧を出してほしいという要求はかけらの数が大きく増えるので、体感でも確実に遅くなります。

考えを長く広げてから答える方式も同じです。画面に見えない部分までかけらを作っているので、それだけ待ち時間が付きます。答えが正確になる代わりに時間を差し出す取り引きなので、簡単な用件には短く答えるよう決めておくほうがよいです。難しい用件にだけこの方式を使うよう切り替えられる道具もあります。

待ち時間を減らす取っ手

入れる文から要らない部分を削ると前半が短くなります。毎回付ける長い案内文を減らし、文書は関係する箇所だけ選んで入れるのが一番確実な方法です。

よく来る同じ質問は答えを保存しておいてそのまま返すと、待ち時間がほぼ消えます。小さく軽いモデルで済む用件に大きいモデルを使わないのも一つの方法です。

最後に文字を流し出す方式があります。答え全体を作ってから一気に見せる代わりに作られる端から出すと、合計時間は同じでも人はずっと速くなったと感じます。待っている間に読むものがあるからです。

3もう少し正確に

レイテンシーは一度の要求が終わるまでの時間で、これと対になる言葉として同じ時間にいくつ処理したかを測るスループットがあります。二つはよく逆に動きます。複数の要求を一つにまとめてまとめて計算すると時間あたりの処理件数は大きく増えますが、まとまるまで待たされた要求一つ一つはより時間がかかります。

たとえがずれる点もあります。エレベーターは何階まで行くか乗る瞬間に分かりますが、AIは答えがどれだけ長くなるか始める時点では分かりません。だから終わる時刻をあらかじめ教えられません。また階数はいつも同じですが、こちらは同じ質問を二度入れても時間が変わります。その瞬間サーバーがどれだけ混んでいるか、それまでの会話がどれだけ積み重なっているかによって毎回変わるためです。だからレイテンシーを測るときは一度測って終わりにせず、何度も測って真ん中あたりの値と特に遅かった値を一緒に見ます。平均だけを見ると十回に一回大きく遅くなる問題を見逃しやすいです。

4やってみる

5よくある誤解

  • インターネットが速ければ答えも速いと思われがちですが、実際には待ち時間の大半が計算と順番待ちから生まれるので回線速度ではあまり変わりません。

  • 最初の文字が早く出れば全体も速いと思われがちですが、実際には二つの区間が別々に動くので、始まりだけ速くて最後まではより時間がかかることがよくあります。

  • 同じ質問なら毎回同じ時間がかかると思われがちですが、実際にはその時刻にどれだけ混んでいるかによって何倍にも開きます。

7ひとこと要約

つまりレイテンシーは最初の文字が出るまでと答えが終わるまでの二つに分かれ、どちらが長いかを知って初めて減らす場所が見えてきます。

誤りや、もっと良いたとえがありますか？ 修正を提案する · 最終更新2026-09-02