データ品質管理は、データが用途に適しているかを測定し、問題の発生原因を改善する活動です。空欄を埋める、重複を消すといった加工だけで終わらず、何を正しい状態とするか、どこで不備が生まれるかを扱います。
先に利用目的を決め、その目的を妨げる不備を測れる規則へ変えることが出発点です。すべての項目を一律に完全にする必要はありません。
六つの観点を、業務の問いに置き換える
英国政府のデータ品質フレームワークは、完全性、一意性、一貫性、適時性、妥当性、正確性を説明しています。値がすべて埋まっていても、現実と違えば正確とはいえません。英国政府のデータ品質フレームワーク
| 観点 | 注文データでの確認例 |
|---|---|
| 完全性 | 発送対象の注文に配送先が入っているか |
| 一意性 | 同じ注文IDが意図せず二重登録されていないか |
| 一貫性 | 明細合計と注文合計が同じ計算条件で一致するか |
| 適時性 | 出荷判断に必要な取消情報が間に合っているか |
| 妥当性 | 日付やコードが定めた形式・範囲に収まるか |
| 正確性 | 配送先が実際に顧客が指定した住所と一致するか |
この表は本稿の仮例です。形式が正しい住所でも、古い住所であれば用途に合いません。一つの検査で品質全体を保証しないことが大切です。
分母・時点・除外条件を固定して測る
「欠損率が低い」だけでは、比較できる指標になりません。たとえば「毎日9時時点の未発送注文について、配送先未入力の件数を全未発送注文数で割る」と定義します。店頭受取を除くなら、除外の条件も固定します。
仮に対象が1,000件、配送先未入力が12件なら欠損率は12÷1,000×100=1.2%です。翌日0.5%になっても、除外条件や対象期間が変わっていれば改善とは断定できません。件数と分母を同時に記録しましょう。
重複では「重複グループ数」「余分な行数」「重複に関係する全行数」が違います。注文ID Aが3行、Bが2行存在するなら、グループは2、余分な行は3、関係する全行は5です。どれを指標に使うかを決め、名称に反映します。
しきい値は業務影響から決める
すべてのデータに同じ合格率を置くと、重要な不備を見逃す場合があります。請求先の誤りと任意のアンケート欄の空欄では、対応の優先度が異なります。
まず、不備があった場合に止める処理、担当者へ通知する処理、次回更新でよい処理を分けます。たとえば配送先未入力の注文だけを発送対象から保留し、他の注文は処理する方法があります。その際、保留を解除する条件と担当者を決めておきます。
品質指標の数を増やすより、判断に使う数項目について、検査結果から行動へ移れるようにする方が初期運用を始めやすくなります。
データの修正と、発生原因の修正を分ける
誤った値を手で直しても、翌日同じ連携から不備が入り続けるなら、品質管理としての改善は残っています。入力画面、連携仕様、項目定義、更新担当のどこで問題が起きたかを追います。
| 見つかった不備 | 当面の対応 | 原因への対応例 |
|---|---|---|
| 必須の配送先が空欄 | 該当注文を確認待ちへ | 受付時に配送方法に応じた入力条件を設ける |
| 注文が二重登録 | 正しい注文を確認して整理 | 再送時の注文IDの扱いを連携仕様で確認する |
| 取消状態が古い | 対象注文を照合する | 更新頻度と失敗時通知を見直す |
原因が確定していなければ仮説として記録し、修正後に同じ条件で再測定します。数値の改善だけでなく、例外の増加や別工程への負担も確認してください。
品質の履歴を利用者へ渡す
データを渡す際は、対象期間、最終更新、検査した規則、残る制約も一緒に伝えます。「品質確認済み」とだけ記載するより、利用者が分析やシステム連携に使える範囲を判断しやすくなります。
データ連携やAI活用を検討するときも、最初に用途と不備の実態を整理すると相談の前提がそろいます。テクノヴァースの支援内容は技術・AI活用の案内をご確認ください。