AI外観検査の導入を判断するときは、対象の不良が画像に写る条件と、不良をどれだけ見逃したかを確かめる試験を先に決めましょう。「正解率が高い」という説明だけでは、不良品を良品として通していないか判断できません。
この記事では、製品の画像から良否を判定する検査を対象に、適用条件と見逃しの評価方法を整理します。以下の判断表や進め方は編集上の提案です。特定製品の性能や、当社の導入実績を示すものではありません。
AI外観検査を試す前に、画像と判定基準をそろえる
最初に「どの製品の、どの不良を、どの撮影条件で判定するか」を一枚にまとめます。対象は、たとえば特定部品の表面傷のように絞り、内部欠陥など画像で確認できない項目は同じ合格判定に含めない設計を提案します。
MVTecの産業向け異常検知ベンチマーク「MVTec AD 2」は、学習時に含まれない照明条件を含めてテストデータを用意しています。照明が異なる条件での評価を考える参考になります。出典：MVTec AD 2
| 確認項目 | 試行前に用意するもの | 整っていない場合の扱い |
|---|---|---|
| 検出対象 | 傷・欠けなどの種類、位置、許容境界の画像例 | 対象不良を絞り、未定義の不良は評価対象外として明記 |
| 撮影条件 | 照明、距離、角度、露光、搬送速度を記した画像 | 撮影方法を調整し、同条件で画像を集め直す |
| 正解の基準 | 品質担当者が承認した良品・不良品の判定 | 意見が分かれる画像を保留し、基準を合意する |
| 評価用の不良 | 不良の種類・程度ごとの実画像 | 不足する種類は「未評価」と記録する |
| 判定後の処理 | 再確認、排出、停止の担当と手順 | 自動通過の前に、人の確認を残した試行を設計する |
画像はきれいに写ったものだけでなく、試す工程で想定する向きや照明の違いを含めて集めます。その範囲を条件表に残し、試していない条件へ結果を広げない運用にしましょう。
学習方式より先に、必要な判定結果を決める
「製品を良品・不良品に分ける」ことと「傷の位置を示す」ことは、必要な出力が異なります。分類、検出、領域分割の整理は、AI画像認識の種類と業務への使い方で確認できます。本稿では、製品単位で良否を判定する場合を中心に考えます。
方式の比較では、不良例を使って学習する構成に加え、良品画像を学習に用いる異常検知の構成も候補になります。MVTec AD 2では、学習・検証用には欠陥のない画像を、テスト用には正常画像と異常画像を用意しています。出典：MVTec AD 2
この区別を踏まえ、良品画像で学習する方式を選んでも、不良の見逃しを評価する試験は別に設けることを提案します。不良画像が足りない種類について、見逃しがないと結論付けないためです。
「正解率」だけでなく、不良品を分母にして見る
以下は実測値ではなく、指標の読み方を説明するための仮例です。評価対象が1,000個で、そのうち良品990個、不良品10個だったとします。すべてを良品と判定すると正解率は99％ですが、不良品10個をすべて見逃します。
そのため、評価結果を次の四つに分けます。不良を「陽性」とする定義です。
| 実際の状態 | AIが不良と判定 | AIが良品と判定 |
|---|---|---|
| 不良品 | 検出できた不良（TP） | 見逃した不良（FN） |
| 良品 | 過検出した良品（FP） | 正しく通した良品（TN） |
再現率はTP÷（TP＋FN）、見逃し率はFN÷（TP＋FN）です。本稿の過検出率はFP÷（FP＋TN）と定義します。scikit-learnの評価資料に、これらの計算方法が示されています。出典：評価指標の定義
仮に不良品100個のうち92個を検出し、8個を見逃したなら、再現率92％、見逃し率8％です。良品900個のうち45個を不良と判定した場合、過検出率は5％になります。「不良と判定した中に良品がどれだけあるか」とは分母が違うので、報告書には式も添えてください。
評価の単位と不良の内訳を残す
一つの製品を複数方向から撮るなら、画像単位の結果と製品単位の結果を分けて記録することを提案します。製品単位で集計する際は、「いずれかの画像で不良判定が出れば製品を止める」など、集約ルールも試験前に固定します。
また、全体の件数に加えて、傷・欠けなど不良の種類、程度、撮影条件ごとの見逃し件数を残します。各行には「評価した不良の数／見逃した数」を記入し、試験に入っていない種類は空欄ではなく「未評価」としてください。
判定の閾値と、評価データを分けて管理する
不良らしさのスコアに境界値を置く方式では、その閾値が判定に影響します。scikit-learnの資料は、再現率を優先する判断に伴い、偽陽性が増える場合があることを説明しています。出典：判定閾値の調整
そこで閾値の候補ごとに、見逃し件数だけでなく、良品を止める件数と人の確認時間を並べて比較しましょう。「止めた品を全部人が見る」運用なら、確認担当者が処理できる件数も受入条件に含めます。合格の数値は、品質責任者が不良の影響と現行検査を踏まえて決める項目です。
同資料では、モデルの学習と閾値の調整に同じデータを使うことを、過学習のリスクから避けるよう説明しています。出典：閾値調整時の注意点
本稿では、画像を「学習用」「閾値調整用」「最終評価用」に分ける運用を提案します。同じ製品の別角度画像や連写画像が複数の区分に混ざらないよう、製品やロットの識別情報を残してください。最終評価の結果を見て設定を変更した場合は、変更後の設定を別の未使用データで評価する計画を立てます。
試行の終了時に、自動化できる範囲を判断する
次の表は、実証試験の結果を品質担当者と共有するための記入例です。数値の一律基準を示すものではありません。
| 判断項目 | 試行で記録すること | 未達・未確認の場合の対応案 |
|---|---|---|
| 見逃し | 不良の種類別の母数、見逃し数、事前に決めた基準 | 対象を狭める、人の検査を残す、再評価する |
| 過検出 | 良品の母数、過検出数、再確認に要した時間 | 閾値と確認体制を見直す |
| 処理の成立 | 撮影から判定・排出までの時間、取りこぼした件数 | 対象速度を下げて再試験する |
| 判定不能 | 画像欠落・撮影失敗・通信断の件数と処理結果 | 良品扱いで通さず、保留や停止へ回す |
| 条件変更 | 照明・品種・カメラ・モデル変更時の再評価範囲 | 新しい条件の自動判定を保留する |
試行中はAIの判定と既存検査の結果を照合し、不一致の画像と理由を残すことを提案します。見逃しが0件だった場合も「不良何個を、どの条件で試した結果か」を併記し、未評価の不良まで合格に含めないでください。
AI外観検査の導入判断に用意したいのは、撮影条件表、不良の判定基準、分母付きの評価結果、判定不能時の手順です。この四つをそろえてから、自動で通せる範囲と人が確認する範囲を決めましょう。