公正性Fairness

偏りは事実、公正性は判断

偏りは「このモデルの結果がこちらに傾いている」という観察です。測れば数字が出ます。公正性はその数字を見て「この程度の傾きは受け入れられるか」「受け入れられないならどちらへ直すべきか」を問う場です。測ることと決めることはつながっていますが、同じ作業ではありません。

この違いをぼかすと妙な要求が生まれます。傾きを測ってくれる道具に「公正にしてください」と任せることはできません。道具はどの軸でどれだけ開いているかまでは教えてくれますが、その開きを縮めるのが正しいかは人が決めなければなりません。

扇風機の前に温度計を置けば、席ごとに何度か分かります。温度計はどの席に風を送るべきかまでは教えてくれません。

公正の定義は一つではありません

一つ目の答えは結果の比率をそろえることです。どの集団でも通過する比率が同じくらいであるべきという見方です。二つ目の答えは同じ判定を受けた人どうしで実際の結果が似ているべきという見方です。通過判定を受けた人のうち実際にうまくいった比率が集団ごとに同じであるべきというものです。

三つ目の答えは間違う方向を見ます。資格があるのに落とす間違いがどの集団でより多く起きているかをそろえようという見方です。四つ目の答えは個人を見ます。似た人は似た扱いを受けるべきというものです。

四つともそれらしく、四つとも支持する人がいます。問題はこれらの答えが同じデータの上で違う決定を出すという点です。

同時には満たせない場合があります

集団ごとの実際の比率が最初から違うと、通過比率をそろえた瞬間に判定別の実際の比率はずれます。判定別の実際の比率をそろえると、今度は間違う方向の比率が開きます。一つを正確にそろえると別の一つが押しのけられる関係なので、三つを同時に満たす方法はごく特別な場合を除いてないことが分かっています。

だから実際の作業は「公正にすること」ではなく「何を先に守るか選ぶこと」になります。人を落とす間違いの代償が大きい場面では取りこぼしを減らすほうを、資源を分ける場面では比率をそろえるほうを先に置くといった具合です。

回転と固定を同時にはできない扇風機と同じです。方法がないからではなく、何をより重要と見るか決めてはじめて次の一歩が踏み出せるからです。

目を隠しても公正にはなりません

まず思い浮かぶ方法は、機微な項目をそもそも抜くことです。ですが残った項目がその情報を代わりに教えてしまうことがとても多いです。住んでいる地域、通った場所、話し方、接続時間帯といったものが少しずつ手がかりを漏らします。項目を消してもモデルは似た結論にたどり着きます。

しかも項目を消すと傾きを測る方法まで一緒に消えます。どの集団で成績が悪いか確かめるには、その集団を区別できなければならないからです。点検のためには情報を安全に保管し、使い道を狭く縛っておくほうがよいという見方もここから出てきます。

決めた基準を明らかにしておくことまでが仕事です

公正性の作業は三段階です。どの軸で分けて見るか決め、その軸でどれだけ開いているか測り、どの基準を優先するか選んでその選択と理由を書き留めることです。最後の段階を抜くと、前の二つは引き出しの中の数字のまま残ります。

明らかにしておけば二つのことが可能になります。違う判断をする人が何をめぐって違うのか指せますし、時間が経って状況が変わったときにその選択をもう一度開いて見直せます。公正性は一度合わせて終わる設定ではなく、繰り返し開き直す決定です。