利用制限Rate Limit

枠は一種類ではありません

いちばん多い枠は分あたりのリクエスト数です。一人が一分間に何回呼べるか決めておいた枠です。短い質問を絶え間なく投げるプログラムが、ここに真っ先に引っかかります。

二つ目の枠は分あたりの断片数です。呼んだ回数が少なくても、一度にとても長い文書を丸ごと入れると、この枠が先に埋まります。長い文章一つを入れるほうが、短い質問数十回より重く数えられることもあります。

三つ目の枠は同時に処理中のリクエスト数です。前のリクエストの答えを待つ間に新しいリクエストを次々に押し込むと、この枠が埋まります。一日単位で掛かる枠まで加わって、複数の枠が同時に掛かっており、そのうちの一つでも埋まれば止まります。

枠を使い切ると起きること

枠が埋まった状態でリクエストを送ると、答えの代わりに拒否の表示が返ってきます。作り方が間違っているからではなく、今は席がないという意味なので、同じリクエストを少し後にそのまま送れば処理されます。

拒否とともにどれくらい後にまた来てという案内が付くことが多いです。よくできたプログラムはこの案内を読んで、その分休んでからまた送ります。案内を無視してすぐにまた投げると拒否ばかり増え、その拒否も枠を占めてしまい、止まっている時間がかえって長くなります。

だから失敗したとき待つ時間を少しずつ延ばしながらやり直す方式がよく使われます。最初は短く、また止まれば二倍ほど長く休む具合です。

なぜ枠を引いておくのでしょうか

AIが答えを作るには、計算装置がその時間ずっと張り付いている必要があります。乗り物一台が一度に乗せられる人数が決まっているのと同じです。枠がなければリクエストをたくさん送る側が席を全部占めてしまい、他の人はいつまでも待たされます。

事故を防ぐ意味もあります。プログラムが間違って作られ、同じリクエストを際限なく繰り返すことはよくあります。枠がなければ、その失敗が何日分もの料金としてそのまま返ってきます。制限はサービスを守る垣根であると同時に、使う人の財布を守る垣根でもあります。垣根が窮屈に感じられる日でも、それが自分の失敗を早めに止めてくれることも忘れないほうがよいです。

枠の中でゆとりを持って使う方法

まず、まとめて送ります。似たようなリクエスト十個を別々に呼ぶ代わりに一度にまとめて送れれば、回数の枠を大きく節約できます。

次に、同じ答えを二度尋ねません。一度受け取った答えをしばらく保存しておき、同じ質問がまた来たら保存しておいた答えを使えば、枠も節約でき待つ時間も減ります。

さらに、入れる文章を減らします。毎回付ける長い案内文や要らない文書を削れば、断片の枠がずっと余裕を持ちます。

最後に、急がない仕事は後回しにします。人が待つ画面と、夜の間に回してもよい整理作業が同じ枠を分け合っているなら、後回しにできる仕事を空いている時間帯へ移すだけで昼間の詰まりが消えることもあります。制限はなくすものではなく、その中でやりくりして使うのが基本です。