AIのバイアスとは？データ・評価・利用場面に生じる偏りを確かめる

AIのバイアスとは、データの集まり方や評価方法などに由来して、AIの判断に偏りが生じることです。AIを使えば人の判断より自動的に公平になる、とはいえません。業務で使う際は、誰に、どのような不利益が生じ得るかを、全体の精度とは別に確かめます。

偏りはどこで生まれるのか

Googleの機械学習教材は、実際の出来事の頻度と記録される頻度が違う「報告の偏り」や、過去の不平等をデータが引き継ぐ「歴史的な偏り」を説明しています。大量に集めても、集め方に由来する偏りが消えるとは限りません。Google: Types of bias

例えば、問い合わせフォームの履歴だけで利用者の困り事を把握する場合、フォームを使えず電話した人の情報が入っていないかを確認します。これは架空の点検例ですが、モデルを変える前に「そもそも誰の記録がないか」を問う意味があります。

この表は特定の認証基準ではなく、導入時の点検案です。

全体の正解率を分解する

全体の指標が良好でも、人数の少ない集団ではうまく働いていない場合があります。Googleも集約指標だけで判断する問題を説明しています。Google: Evaluating for bias

業務上の違いが出そうな条件を先に挙げ、それぞれの評価件数と誤りを確認します。例えば文書分類なら、言語、画像の有無、文書形式などです。必要性のない個人属性まで新たに収集することを、この点検の前提にはしません。扱えるデータと利用目的の範囲で設計してください。

件数が少ない条件で1件だけ誤った場合と、十分な件数で継続して誤る場合も分けて記録します。差が観測されたというだけで、原因を特定したことにはなりません。

「同じ扱い」をどの指標で見るか

公平性には複数の尺度があります。群ごとの選択率を見るDemographic parityと、一定の条件を満たす人の通過率を見るEquality of opportunityでは、分母が違います。Google: Demographic parity、Google: Equality of opportunity

違いを理解するための仮例として、ある選考で次の結果になったとします。条件を満たさない人は、両群とも通過していない設定です。

条件を満たす人の通過率は同じですが、全体に対する通過率は異なります。この計算だけで制度が公平・適法だと判定できるわけではありません。条件自体が妥当か、条件を満たす機会に差がないかも、別の問いです。

差が見つかった後の進め方

まず、対象件数、分母、欠損、条件の定義を見直します。次に、収集の不足なのか、ラベルなのか、モデルの誤りなのか、利用方法なのかを切り分けます。その上で、データの追加、評価基準の変更、人による確認など、原因に対応する修正を試します。

修正後は問題が出た条件に加え、他の条件の結果も比較してください。一つの指標だけを改善目標にすると、別の重要な誤りが見えなくなる可能性があるためです。採用する尺度と許容できない不利益は、業務の責任者が判断できる形で記録します。

AI全体の管理体制まで整理したい場合は、AIガバナンスの考え方も参考になります。まずは対象業務を一つ選び、誰の結果をどの分母で比較するかを明確にするところから始められます。