ガードレールGuardrails

モデルの中ではなく外側に付けます

AIが危険な要求を拒否するとき、二つが一緒に働いています。一つは学習で身についた性向です。これはモデルの中にあって、開けて見たりオンオフしたりできません。もう一つはサービスがモデルの外側に付けた装置です。こちらは規則を目で見ることができ、オンオフしたり変えたりできます。

ガードレールは後者を指します。外側にあるのでどんなモデルに入れ替えても残り、問題が起きたときにどこを直せばよいか指せます。柵とマットが誰が遊びに来ても同じ場所にあるのと同じです。

性向と装置は互いの代わりになれません。性向は状況によって揺れ、装置は言葉の細かなニュアンスを読み取れません。二つを重ねて置く理由です。

入るときに一回、出るときに一回

入ってくる要求を調べる検査は、要求自体がサービスが扱わないと決めた領域かどうかを見ます。ここで引っかかればモデルまで行かず案内文が出ます。速くて費用も少ないですが、危険が要求の文面に表れていないと見逃します。

出ていく答えを調べる検査は、作られた答えに問題がないかを見ます。要求は普通だったのに答えがおかしな方向に流れた場合、参考にした資料が変だった場合がここで引っかかります。代わりに答えを作り終えたあとなので時間が余計にかかり、すでに画面に流れていた答えを途中で回収する不自然さも生まれます。

二つの検査は見逃す場所が互いに違います。前者は意図を、後者は結果を見ます。だから二つのうち片方だけを置くサービスは少ないです。

手を減らすことが最も丈夫な柵

言葉による検査には常に漏れる隙があります。表現を変えれば引っかからず、あまりに細かく作ると普通の言葉まで引っかかります。一方、AIがそもそもできないことは、どんな文章を使ってもさせられません。

だから実務で最も確実に働く柵は権限のほうです。この仕事に必要な道具だけを持たせ、読むだけでよい場面には書き込み権限を与えず、取り消せない動作の前には人の確認を置きます。文章をどれだけうまく作っても、ない手は動かせません。

壊れた遊具にロープを回して止めておくことも同じ場所にあります。おかしな気配をつかんだらその機能だけすぐに閉じるスイッチを前もって作っておけば、直している間の被害が止まります。

狭く張ると遊べなくなります

柵を細かく張ることには代償が伴います。安全に関する質問、医学や法律に関する一般的な説明、暴力が登場する創作物のような正常な要求まで一緒に引っかかります。これを過剰拒否と呼びます。

過剰拒否は表面上は安全に見えますが、二つの問題を作ります。一つはサービスが役に立たなくなること、もう一つは人々が検査のない別の通路へ移ることです。移った先には柵がそもそもありません。

だからガードレールの点検には常に二つの数字が一緒に入ります。防ぐべきものをどれだけ防いだか、防いではいけないものをどれだけ防いでしまったかです。片方だけを見れば、必ず反対側が崩れます。

柵が立っているか確かめる作業

柵を立てておくことと、その柵が実際に持ちこたえることは別の話です。文書に書かれた規則がコードから抜け落ちていたり、新しい機能を付けながら検査を一つ飛ばしたりすることが起きます。だから作った人とは別の人が越えてみる手順を別に設けます。

この点検がレッドチーミングです。ガードレールが前もって張るほうなら、レッドチーミングは越えてみるほうで、二つの作業は対で回ります。越えてみて破られた場所が見つかれば、その事例が新しい柵の材料になります。