オーケストレーションOrchestration

監督は自分では壁を塗りません

流れを管理する部分は、たいてい至って普通のプログラムです。賢い判断をするわけではなく、「これが終わったらあれ」「この値が空ならここへ」のように前もって書いておいた規則をそのままたどるだけです。

判断が要る場所だけAIを呼びます。長い文章を要約したり、問い合わせがどの種類かを分けたり、下書きを書いたりする場所です。残りの場所には、検索や計算や保存のように正確にきっちり決まる道具を置きます。こう分けることで、AIが得意な仕事と苦手な仕事を分けて任せられます。

一度に全部やらせず分ける理由がここにあります。長い指示をひとかたまりで投げると、どこでずれたか分かりませんが、段階に分ければどの枠で止まったかがすぐ見えます。その枠だけ呼び直せばよいのです。

工程表には順序と条件が一緒に書かれます

流れは常に一本道とは限りません。互いに関係のない二つの段階は並べて動かして時間を節約し、結果によって分かれる場所には分岐を描いておきます。問い合わせが単純ならすぐ答え、複雑なら資料を探す段階に送る、という具合です。

同じ段階を何度も回る流れもあります。下書きを書き、検討し、指摘された箇所を直し、また検討する、というようにです。このときは何回まで回すか上限を決めておく必要があります。上限がないと、互いに直してほしいと言い合うだけで終わらない工事になってしまいます。

前工程の結果が次工程の資材です

段階と段階の間で事故がいちばんよく起きます。前の段階が一覧を出すはずなのに、文章のかたまりを一つ出すと、次の段階は受け取った資材を使えず止まります。人の言葉で答えるAIを途中に置くと、このずれが特に多くなります。

だから段階の間に検査を挟みます。出てきた結果が約束の形かを確かめ、違えばやり直すか直して渡します。渡す内容を必要な分だけ絞ることも大事です。前で出たものをそのまま丸ごと次の段階に押し込むと、時間と費用が雪だるま式に膨らみます。

ずれたときを前もって書いておきます

流れはいつでも途切れます。呼ぼうとした道具がしばらく反応しなかったり、使用量の上限にかかったり、答えが予想外に出たりします。よく組んだ流れには、こういうとき何回までやり直すか、それでもだめなときどんな別の道へ行くか、どこで止めて人を呼ぶかが書かれています。

取り戻せない段階は別に印を付けておく必要があります。メールを送ったり決済をしたりする場所のように、一度通ると取り消せない場所です。こういう場所の手前には人が確認する枠を置くか、同じ依頼が二度来ても一度しか処理されないようにしておきます。

何がどこまで進んだか記録を残すことも欠かせません。記録がなければ、結果がおかしいときにどの工程でずれたか探す方法がありません。

決まった順序と自分で決める順序

ここまでが工程表を前もって描いておく方式です。監督が順序を握っているので結果を予想しやすく、問題が起きたときどこを見ればよいかもはっきりします。代わりに、前もって描いていなかった状況が来ると流れがそのまま止まります。

反対に、それぞれの判断で順序を決めさせる方式もあります。どの道具をいつ使うかをAIがその都度選ぶ側です。見慣れない状況にうまく対処できる代わりに、同じ依頼でも毎回違う道を選ぶので、結果を予想しにくく費用もばらつきます。実際のサービスでは、大まかな筋を工程表で決めておき、判断が要る枠の中だけ自由を与える折衷をよく使います。