キャッシングCaching

速くなるのは二回目からです

キャッシングは計算を速くする技術ではありません。計算を飛ばす技術です。だから誰も尋ねたことのない質問には何の役にも立ちません。最初の依頼はいつも通り計算して答えを作り、その答えを一部コピーして取っておく作業だけが増えます。

二回目の依頼から差が開きます。数秒かかっていた答えが瞬く間に出て、サービスへ依頼を送らなかったので使用量も増えません。同じ質問がよく来るサービスほど、この差は大きく積み上がります。

だからキャッシングの成績は「どれだけよく当たったか」で測ります。十回のうち九回がラックから出たなら良い選び方で、十回のうち一回だけなら、ラックを管理する手間が増えただけです。

何を差しておけるのか

同じ依頼でなければ同じ答えは出せません。ここでの「同じ」の基準はかなり厳しいです。文字ひとつ違っても、会話の前の部分が少し違っても、別の依頼とみなされます。だからよくある質問への案内、よく使う書類の要約、一覧に必ず一緒に出る紹介文のように、誰にでも同じように出る答えがラックによく合います。

反対に人によって変わる答えは取っておいても使い道がありません。自分の注文履歴をめぐる会話、たった今アップロードしたファイルについての質問のようなものです。個人情報が混ざった答えを取っておいて別の人に渡ってしまう事故にも気をつけるべきです。誰にでも同じ答えかをまず見極める習慣が必要です。

例外がひとつあります。答え全体ではなく依頼の前半だけを取っておくやり方です。長い規則や文書を毎回前に付けて送るサービスなら、その前半を読み込んだ状態を取っておいて次の依頼で引き継げます。後ろに付く質問は人によって違っても前半はいつも同じなので、その分時間と使用量が減ります。

いつ捨てるかが半分です

取っておいた答えは時間が経つと古びます。案内文が変わったのにラックに古い答えが残っていると、サービスはあっという間に間違った答えを出すようになります。キャッシングで一番よくある事故がまさにこれです。

だから有効期限を決めておきます。あまり変わらない内容は長く、頻繁に変わる内容は短く設定します。元を直した瞬間に関係する答えをすぐ消すようつなげておくこともあります。何が変われば何を捨てるべきかをあらかじめ描いておかないと、あとでどこに古い答えが残っているか探すのがとても難しくなります。

ラックの枠は限られています

取っておく場所もただではありません。枠がいっぱいになると新しい答えを入れるために何かを外さなければならず、たいていは長く出ていないものから外します。だからたまにしか来ない質問は取っておいても、次のときにはもう外れていることが多いです。

取っておく場所が複数重なっていることもあります。利用者の機器の中、サービスの手前、モデルを呼び出す場所それぞれに取っておくと速くはなりますが、その分古い答えが隠れている場所も増えます。おかしな答えが続くとき、どの層のラックを空にすべきか分かりにくくなる理由です。