データリネージとは、データがどこから来て、どの処理を通り、どこで使われているかをたどるための情報です。集計値が変わったときの原因調査や、項目を変更するときの影響確認に使います。
データの名前や所在だけでなく、入力・変換・出力のつながりを記録する点が中心です。ここでは業務データの集計を例に、追跡の粒度と確認方法を説明します。
データカタログとの違い
データカタログは、必要なデータの所在、意味、担当者などを探す入口です。リネージは、見つけたデータの前後関係をたどる情報です。カタログ製品にリネージ機能が含まれる場合もあり、両者は排他的なものではありません。
Microsoft Purviewの説明でも、データセットと、それらを変換する処理の関係を扱っています。ただし、接続するシステムや取得方法によって追跡範囲は異なります。Microsoft Purview: Data lineage
| 知りたいこと | 主に確認する情報 |
|---|---|
| 「月次売上」の定義と担当者は誰か | カタログの説明・所有者 |
| 月次売上はどの注文表から作られたか | データセット間のリネージ |
| 売上金額の列は何を足し引きしたか | 列と変換式の対応 |
| 今日の集計はどの入力・実行を使ったか | 実行単位の識別情報とログ |
所在や利用条件の整理は、データカタログの解説でも扱っています。
売上集計でたどる仮例
架空の集計を「注文表 → 有効注文の抽出 → 月次集計 → ダッシュボード」とします。月次の金額が想定より少ない場合、完成した表だけでは原因を判断できません。
まず、抽出条件が「取消を除く」なのか、「返品も除く」なのかを確認します。次に、月の区切りが注文日なのか出荷日なのかを見ます。最後に、金額が税込か税抜か、値引きを引いた後かを確かめます。前後の関係と変換内容が残っていれば、どの段階で差が生まれたかを調べやすくなります。
この仮例を記録するなら、次のように粒度を分けます。
| 粒度 | 記録の例 | 答えられる問い |
|---|---|---|
| データセット | 注文表 → 月次売上表 | 参照元はどの表か |
| 列 | 注文の税抜額と値引額 → 集計金額 | この数値はどう計算したか |
| 実行 | 11月分処理、入力の版、実行時刻 | 今回は何を使って計算したか |
列のつながりを記録しても、業務上の定義が正しいことまで保証されるわけではありません。「何を売上と呼ぶか」は、担当部門との定義の確認が必要です。
自動収集だけで埋まらない部分を残す
OpenLineageは、データセット、ジョブ、その実行を識別するモデルでメタデータを扱います。処理の定義と個別の実行を分けて考えると、同じ処理でも入力や結果が異なることを表現しやすくなります。OpenLineage documentation
一方、すべての経路が自動で取得されるとは限りません。手元の表計算による修正、外部から受け取るファイル、ツールが解析できない処理などは、実際の対応状況を確認してください。追跡できない箇所を、つながっているように推測で補うべきではありません。
実務では、確認済みの経路、手動登録の経路、未確認の区間を分けて表示する方法が考えられます。最終確認日と担当者を添えれば、図が古くなったときにも見直す先が分かります。
項目変更の前に確認する順序
例えば注文表の金額列を変更するなら、次の順で確認します。
- 対象列を入力にする処理をたどり、直接の出力先を挙げる。
- 出力先を使う集計・帳票・他システムを追う。
- 税込・通貨・欠損値など、値の意味が変わる箇所を確認する。
- 未確認の経路を担当者へ照会し、変更対象から漏れていないか確かめる。
- 代表的な入力で変更前後を比較し、記録を更新する。
最初から全社のデータを網羅する必要はありません。問い合わせの多い帳票を一つ選び、入力元まで往復できる状態を作ると、必要な粒度を判断できます。データ基盤の構成や運用整理を検討している場合は、インフラ支援の案内もご確認ください。