ETLとELTの違い|変換する場所と処理順序で選ぶ

ETLとELTの違いは、データを分析用の保存先へ入れる前に変換するか、入れた後で変換するかです。ETLはExtract(抽出)、Transform(変換)、Load(格納)、ELTは抽出、格納、変換の順に進みます。方式名だけで速さや費用を決めず、未加工データをどこへ置けるか、何度加工し直すか、どこで計算するかを比べます。

同じ受注明細を二つの流れで追う

AWSの比較資料では、ETLは別の処理基盤で変換してから目的のデータベースへ入れ、ELTは目的の基盤に読み込んだ後で変換すると説明されています。以下は両方式を理解するための架空の受注明細です。

元のデータに『受注番号、日時、金額、通貨、顧客メール』があり、分析では『受注日、通貨別売上合計』を使うとします。日時を日付へそろえる、重複を除く、メールを分析対象から外す、という加工が必要です。

ETLでは、元システムから抽出し、処理用の場所で加工した後、日次集計を分析基盤へ入れます。ELTでは、まず明細を分析基盤内の取込領域へ入れ、その基盤の計算機能で加工し、利用者向けの集計表を作ります。ELTで読み込みが終わっても、分析可能な表が完成したとは限りません。

順序の違いが設計へ与える影響

比較軸 ETLの設計で考えること ELTの設計で考えること
加工場所 取込先の外側に処理基盤を用意する 取込先の計算資源で加工する
未加工データ 抽出・中間領域での保存方法を決める 取込領域の権限と保存期間を決める
変換ルール変更 元データの再取得や保存した原本からの再処理 残っている取込データからの再変換
分析への公開 加工済みデータの格納完了を待つ 取込完了と加工完了を区別する

ETLでも元データを保持する設計はできますし、ELTでも不要な情報を抽出前に除くことはできます。実際の構成は純粋な二択とは限りません。比較表は基本的な流れの違いを示したもので、製品ごとの機能を保証するものではありません。

変換ルールを変えたら何をやり直すか

先ほどの例で、受注日をUTCの日付ではなく日本時間の日付で集計することにしたとします。日別合計しか残していなければ、個々の受注時刻へ戻れず、日付境界を正しく分け直せない可能性があります。元の日時を残していれば、新しいルールで再計算できます。

この問題はETLかELTかだけでは決まりません。どの粒度の原本を、どれだけの期間、どの権限で残すかが重要です。再処理では、古い集計へ新しい結果を足して二重計上しないよう、対象日を置き換える、処理版を分けるなどの方法を決めます。

未加工データの権限を利用者向けと分ける

分析に顧客メールが不要なら、そもそも取得しない選択を先に検討します。取得が必要な場合でも、集計を読む利用者が原本の全項目を見られる必要はありません。ELTの取込領域を、そのまま全員が使う分析領域にしないことが大切です。

ETLでも、変換途中のファイルや失敗ログにメールが残れば取扱対象になります。『格納前に加工するから安全』とは決めつけず、抽出から削除までの流れで保存先とアクセスを確認します。

費用と遅延は全工程で比べる

読み込み時間だけを測ると、後段の変換を省いた比較になります。抽出開始から利用者向け集計が使えるまでの時間、定期実行と再処理の計算量、中間データの保存量を同じ条件で比べます。

既存の変換処理を維持したい、格納前にデータを限定したいならETLが候補になります。分析基盤の計算機能を使い、元の明細から用途別に加工したいならELTが候補です。どちらの場合も、一つの受注明細について入力、変換規則、出力を追える小さな処理から試すと判断しやすくなります。基盤の設計・運用に関する当社の対応領域はインフラ・クラウド技術支援をご覧ください。

記事一覧へ戻る

ITの困りごとを、
まずはご相談ください。

何から手をつけるか決まっていない段階でも構いません。ご相談内容に応じて、担当者からご連絡します。

まずは相談する

採用へのご応募は採用エントリーからお願いします。