AIのドリフトとは、運用中にデータや予測対象との関係が変わり、学習時の前提からずれていくことです。予測モデルを導入した後も、入力や実際の結果を観測する必要があります。
ただし、データの分布が変わっただけで、精度が落ちたとは断定できません。何が変わり、業務の判断にどんな影響があるかを分けて確かめます。
データと予測関係の変化を区別する
IBMは、入力の分布が変わるデータドリフト、入力と予測対象の関係が変わるコンセプトドリフト、上流のデータ処理が変わる問題を説明しています。IBM: Model drift
| 観点 | 確認するもの | 仮例 |
|---|---|---|
| データドリフト | 入力の分布 | 利用される店舗や商品の構成が変わった |
| 予測ドリフト | モデルの出力分布 | 高い需要を予測する件数が増えた |
| コンセプトドリフト | 入力と正解の関係 | 同じ条件でも実際の購買行動が変わった |
| データ品質の問題 | 欠損、型、単位など | 個数の列が箱数へ変わっていた |
予測の分布やデータ品質は、Microsoftのモデル監視でも別の信号として扱われています。Microsoft: Model monitoring
表の現象は同時に起こる場合もあります。分類名を付けることより、確認に必要なデータを選ぶために使ってください。
入力の変化と精度を別々に見る
架空の需要予測で、冬に暖房器具への関心が増えたとします。入力分布が夏とは異なっていても、季節性を含むモデルなら予測が妥当な場合があります。逆に、入力の見た目が似ていても、購買行動が変われば予測が外れる場合があります。
そのため、入力分布の監視を「異変を調べる入口」として使い、実際の販売数量などが得られたら予測誤差を確認します。Microsoftも、実績値が利用できる場合にモデル出力と比較して性能を見る方法を示しています。Microsoft: Performance monitoring
正解データがまだない段階では、精度を確認済みと記録しません。入力や出力の変化を観測したことと、性能低下を実証したことを区別します。
比較する期間と対象をそろえる
比較対象が違いすぎると、想定した季節変化まで異常として扱うおそれがあります。一方、直近のデータだけを基準にすると、徐々に進む変化を見つけにくい場合があります。基準は目的に応じて選び、固定した基準と直近の基準をどう使うかを検討します。
次の項目を監視の記録に残す方法が考えられます。
| 項目 | 決めること |
|---|---|
| 基準データ | 学習時、検証時、過去の同条件など、何と比べるか |
| 観測期間 | どの期間の本番データを見るか |
| 対象の分割 | 店舗、商品群、利用条件など、どの差を見るか |
| 件数 | 少数の観測で結論を出していないか |
| 正解の確定時期 | いつ実績と結び付けて評価できるか |
例えば翌月に確定する実績を使うなら、今週の予測と未確定の途中集計を同じ条件で比較しないようにします。
アラート後は原因を調べてから対応する
最初に、入力の列、単位、欠損、取り込み処理が変わっていないかを調べます。単位の変更が原因なら、誤った入力で再学習を始めるより、データ処理の修正が先です。
次に、変化が業務上想定したものかを確認します。実績がそろった範囲で性能を調べ、必要なら学習データやモデルの見直しを試します。更新版は既存版と同条件で比較し、公開範囲と戻し方を決めてから切り替えます。
ドリフト監視は、自動再学習の合図を増やすためだけのものではありません。運用全体とのつなぎ方は、MLOpsの解説も参照してください。監視の担当者と、モデルを更新する判断者を決めておくと、アラートを具体的な調査へつなげられます。