AIの説明可能性とは？予測の理由を読み解く方法と限界

AIの説明可能性は、出力に関する理由や根拠を、人が理解できる形で示すための考え方です。AIが出した数値や分類を業務で使うとき、何を材料にしたのか、どこまで信用してよいのかを考える助けになります。

ただし、分かりやすい説明があることと、出力が正しいことは別です。説明の内容そのものも確かめる必要があります。

説明は誰の判断を助けるものか

NISTは、説明を提供すること、受け手にとって意味があること、システムの過程を正しく反映すること、知識の限界を認識することの四原則を示しています。NISTIR 8312

同じモデルでも、利用者と開発者では必要な説明が異なります。利用者は結果の確認先を知りたいかもしれません。開発者は、想定外の入力へ依存していないかを調べたいかもしれません。

まず使う場面を決め、その人が次の判断をできる説明を考えます。

SHAPは、モデルの出力に対する入力特徴の寄与を説明する方法です。公式教材では、基準となる値に各特徴の寄与を加え、対象の出力へ至る様子を示しています。SHAP: Introduction

以下は足し合わせの考え方だけを示す仮の数値です。実際にSHAPで計算した結果ではありません。

この図式で示せるのは、モデルの出力をどう分解して説明するかです。基準に用いるデータや、何の出力値を説明するかも併せて記録しなければ、寄与の大きさだけでは比較できません。

「休日に対応する寄与が大きい」ことから、「営業日を休日へ変えれば需要が必ず増える」とは言えません。予測に使われる関係と、人が条件を変えた場合の効果は異なります。

SHAPの公式解説も、予測モデルを説明するだけでは、交絡などのある状況で因果関係を明らかにできないと注意しています。SHAP: Causal insights

業務改善の施策を決めたいなら、説明から得た仮説を、その目的に合う検証方法で確かめます。「予測がこうなった理由を調べたい」のか、「施策を変えた効果を知りたい」のかを分けてください。

AIが理由らしい文章を出しただけで、実際の処理過程を正しく表していると扱わないことが大切です。NISTの説明の正確さという原則に照らし、参照した入力、実際の処理、提示された説明の関係を確認します。

例えば、説明に登場する項目が実際には入力されていないなら、その説明は根拠として使えません。業務担当者へ渡す際は、説明の生成方法と確認できない範囲を明示します。

最初に、代表的なケースと判断が難しいケースを用意します。そして「受け手が説明を理解できるか」「出力との関係を確認できるか」「適用外の条件を伝えられるか」を確かめます。

分かりやすさだけを採点すると、もっともらしい誤説明を見逃す可能性があります。必要な場合に人が再確認し、利用を見送れる運用まで含めて設計してください。組織としての責任や管理は、AIガバナンスも参照できます。