データリネージとは?データの出どころ・変換・利用先をたどる

データリネージとは、データがどこから来て、どの処理を通り、どこで使われているかをたどるための情報です。集計値が変わったときの原因調査や、項目を変更するときの影響確認に使います。

データの名前や所在だけでなく、入力・変換・出力のつながりを記録する点が中心です。ここでは業務データの集計を例に、追跡の粒度と確認方法を説明します。

データカタログとの違い

データカタログは、必要なデータの所在、意味、担当者などを探す入口です。リネージは、見つけたデータの前後関係をたどる情報です。カタログ製品にリネージ機能が含まれる場合もあり、両者は排他的なものではありません。

Microsoft Purviewの説明でも、データセットと、それらを変換する処理の関係を扱っています。ただし、接続するシステムや取得方法によって追跡範囲は異なります。Microsoft Purview: Data lineage

知りたいこと 主に確認する情報
「月次売上」の定義と担当者は誰か カタログの説明・所有者
月次売上はどの注文表から作られたか データセット間のリネージ
売上金額の列は何を足し引きしたか 列と変換式の対応
今日の集計はどの入力・実行を使ったか 実行単位の識別情報とログ

所在や利用条件の整理は、データカタログの解説でも扱っています。

売上集計でたどる仮例

架空の集計を「注文表 → 有効注文の抽出 → 月次集計 → ダッシュボード」とします。月次の金額が想定より少ない場合、完成した表だけでは原因を判断できません。

まず、抽出条件が「取消を除く」なのか、「返品も除く」なのかを確認します。次に、月の区切りが注文日なのか出荷日なのかを見ます。最後に、金額が税込か税抜か、値引きを引いた後かを確かめます。前後の関係と変換内容が残っていれば、どの段階で差が生まれたかを調べやすくなります。

この仮例を記録するなら、次のように粒度を分けます。

粒度 記録の例 答えられる問い
データセット 注文表 → 月次売上表 参照元はどの表か
列 注文の税抜額と値引額 → 集計金額 この数値はどう計算したか
実行 11月分処理、入力の版、実行時刻 今回は何を使って計算したか

列のつながりを記録しても、業務上の定義が正しいことまで保証されるわけではありません。「何を売上と呼ぶか」は、担当部門との定義の確認が必要です。

自動収集だけで埋まらない部分を残す

OpenLineageは、データセット、ジョブ、その実行を識別するモデルでメタデータを扱います。処理の定義と個別の実行を分けて考えると、同じ処理でも入力や結果が異なることを表現しやすくなります。OpenLineage documentation

一方、すべての経路が自動で取得されるとは限りません。手元の表計算による修正、外部から受け取るファイル、ツールが解析できない処理などは、実際の対応状況を確認してください。追跡できない箇所を、つながっているように推測で補うべきではありません。

実務では、確認済みの経路、手動登録の経路、未確認の区間を分けて表示する方法が考えられます。最終確認日と担当者を添えれば、図が古くなったときにも見直す先が分かります。

項目変更の前に確認する順序

例えば注文表の金額列を変更するなら、次の順で確認します。

  1. 対象列を入力にする処理をたどり、直接の出力先を挙げる。
  2. 出力先を使う集計・帳票・他システムを追う。
  3. 税込・通貨・欠損値など、値の意味が変わる箇所を確認する。
  4. 未確認の経路を担当者へ照会し、変更対象から漏れていないか確かめる。
  5. 代表的な入力で変更前後を比較し、記録を更新する。

最初から全社のデータを網羅する必要はありません。問い合わせの多い帳票を一つ選び、入力元まで往復できる状態を作ると、必要な粒度を判断できます。データ基盤の構成や運用整理を検討している場合は、インフラ支援の案内もご確認ください。

記事一覧へ戻る

ITの困りごとを、
まずはご相談ください。

何から手をつけるか決まっていない段階でも構いません。ご相談内容に応じて、担当者からご連絡します。

まずは相談する

採用へのご応募は採用エントリーからお願いします。