ETLとELTの違いは、データを分析用の保存先へ入れる前に変換するか、入れた後で変換するかです。ETLはExtract(抽出)、Transform(変換)、Load(格納)、ELTは抽出、格納、変換の順に進みます。方式名だけで速さや費用を決めず、未加工データをどこへ置けるか、何度加工し直すか、どこで計算するかを比べます。
同じ受注明細を二つの流れで追う
AWSの比較資料では、ETLは別の処理基盤で変換してから目的のデータベースへ入れ、ELTは目的の基盤に読み込んだ後で変換すると説明されています。以下は両方式を理解するための架空の受注明細です。
元のデータに『受注番号、日時、金額、通貨、顧客メール』があり、分析では『受注日、通貨別売上合計』を使うとします。日時を日付へそろえる、重複を除く、メールを分析対象から外す、という加工が必要です。
ETLでは、元システムから抽出し、処理用の場所で加工した後、日次集計を分析基盤へ入れます。ELTでは、まず明細を分析基盤内の取込領域へ入れ、その基盤の計算機能で加工し、利用者向けの集計表を作ります。ELTで読み込みが終わっても、分析可能な表が完成したとは限りません。
順序の違いが設計へ与える影響
| 比較軸 | ETLの設計で考えること | ELTの設計で考えること |
|---|---|---|
| 加工場所 | 取込先の外側に処理基盤を用意する | 取込先の計算資源で加工する |
| 未加工データ | 抽出・中間領域での保存方法を決める | 取込領域の権限と保存期間を決める |
| 変換ルール変更 | 元データの再取得や保存した原本からの再処理 | 残っている取込データからの再変換 |
| 分析への公開 | 加工済みデータの格納完了を待つ | 取込完了と加工完了を区別する |
ETLでも元データを保持する設計はできますし、ELTでも不要な情報を抽出前に除くことはできます。実際の構成は純粋な二択とは限りません。比較表は基本的な流れの違いを示したもので、製品ごとの機能を保証するものではありません。
変換ルールを変えたら何をやり直すか
先ほどの例で、受注日をUTCの日付ではなく日本時間の日付で集計することにしたとします。日別合計しか残していなければ、個々の受注時刻へ戻れず、日付境界を正しく分け直せない可能性があります。元の日時を残していれば、新しいルールで再計算できます。
この問題はETLかELTかだけでは決まりません。どの粒度の原本を、どれだけの期間、どの権限で残すかが重要です。再処理では、古い集計へ新しい結果を足して二重計上しないよう、対象日を置き換える、処理版を分けるなどの方法を決めます。
未加工データの権限を利用者向けと分ける
分析に顧客メールが不要なら、そもそも取得しない選択を先に検討します。取得が必要な場合でも、集計を読む利用者が原本の全項目を見られる必要はありません。ELTの取込領域を、そのまま全員が使う分析領域にしないことが大切です。
ETLでも、変換途中のファイルや失敗ログにメールが残れば取扱対象になります。『格納前に加工するから安全』とは決めつけず、抽出から削除までの流れで保存先とアクセスを確認します。
費用と遅延は全工程で比べる
読み込み時間だけを測ると、後段の変換を省いた比較になります。抽出開始から利用者向け集計が使えるまでの時間、定期実行と再処理の計算量、中間データの保存量を同じ条件で比べます。
既存の変換処理を維持したい、格納前にデータを限定したいならETLが候補になります。分析基盤の計算機能を使い、元の明細から用途別に加工したいならELTが候補です。どちらの場合も、一つの受注明細について入力、変換規則、出力を追える小さな処理から試すと判断しやすくなります。基盤の設計・運用に関する当社の対応領域はインフラ・クラウド技術支援をご覧ください。