概要
Medallionアーキテクチャは、データを3つの段階的なレイヤーに分離するデータ設計パターンです。すなわち、生の入力用にブロンズ、クリーンアップおよび準着済みモデル用に銀色、ビジネス対応の納品用にゴールドです。各ホップごとに品質と構造が向上し、下流クエリが生ソースを直接読み込むことはありません。分析やAIは信頼された読み取り最適化されたテーブルを消費し、監査やパイプラインのリプレイのために生の履歴はそのまま残ります。
以下の Medallionアーキテクチャとレイヤードデータウェアハウス のセクションは、レイヤーを古典的なウェアハウス階層にマッピングしています。メダリオン設計はデータがどのように精錬されるかを定義するものであり、どこに保存されるかではありません。レイヤーは物理的なストレージアレイではなく論理的なチェックポイントなので、レイクハウス、クラシックなウェアハウス、あるいはその両方のハイブリッドに適用されます。
主なポイント
- すべての層には明確な目的、所有者、そして品質保証が必要です
- このパターンはベンダー中立であり、従来のエンタープライズデータウェアハウスのステージング、統合、プレゼンテーションの概念を取り入れています
- トレードオフとしては、ストレージの重複負荷、パイプラインの遅延、スコープドリフトがあり、これによりアーキテクトは固定された3ホップモデルを現実に適応させる必要が出ています
メダリオンアーキテクチャのマルチホップパターン
メダリオンアーキテクチャは「マルチホップ」とも呼ばれ、データが一層から次の層へと移動するためです。通常は レイクハウス上で動作します。各ホップは定義された変換とチェックのセットを適用します。
ブロンズ、シルバー、ゴールドのレイヤー
ブロンズレイヤー:到着した生のデータ
ブロンズレイヤーは、ソースシステムからデータをそのまま吸収します。これには、データベース抽出、変更データキャプチャ(CDC)フィード、アプリケーションログ、フラットJSON/CSVファイル、または生のイベントストリームが含まれます。レコードは元のスキーマを保持し、タイムスタンプ、ソースオリジン、プロセスIDなどのロードメタデータのみが補強されます。ブロンズは通常アペンディングのみなので、到着したものの監査履歴を保持し、チームはソースシステムを再度読み込むことなく破損した下流テーブルを放棄・再構築できます。
シルバー層:洗浄済み、コンフォーム済み、検証済み
メダリオンアーキテクチャのシルバーレイヤーは、生のレコードを信頼性が高く適合したデータに強制します。この境界のパイプラインは、ハードスキーマを強制し、重複を削除し、nullを処理し、コードや単位を標準化し、異なるソースレコードを顧客、製品、アカウントなどの共有エンタープライズエンティティにマッピングします。シルバーテーブルは集約データにまとめられず細かな詳細レベルにとどまるため、柔軟で検証済みの詳細を必要とするデータエンジニア、データサイエンティスト、アナリストの主なワークスペースとなります。
ゴールドレイヤー:ビジネス対応のデータ
ゴールドレイヤーは、BI向けの次元スタースキーマ、経営ダッシュボード向けの事前集約済み指標、機械学習モデル向けの高密度フィーチャーテーブル、AIアプリケーション向けの厳選データセットなど、異なる消費パターンに対応するシルバーデータをキュレーションします。ゴールドテーブルは、認識された収益の正確な計算方法など、エンタープライズのビジネスルールを修正します。また、読み取りパフォーマンスを最適化し、ストレージをトレードして実行時結合数を減らし、同時実行を予測できます。
| 寸法 | ブロンズ | シルバー | ゴールド |
|---|---|---|---|
| 目的 | ソースデータを土地に置き、保存する | クリーン、同調、統合 | 特定のビジネス用途に対応 |
| データ状態 | 生のもの、通常は付録のみ | 検証済み、重複排除済み、詳細化 | 集約、モデリング、厳選 |
| 典型的なモデル | ソース構造とロードメタデータ | 正規化スタイルまたはデータボールトスタイル | 次元(スタースキーマ)、特徴テーブル |
| 主な利用者 | データエンジニア | データエンジニア、データサイエンティスト、アナリスト | ビジネスアナリスト、BIツール、MLおよびAIアプリケーション |
| 許容差の変更 | ソースの変更を吸収します | ソースおよびエンティティの変化に応じて進化 | バージョン変更を伴う安定した定義 |
こちらがメダリオンアーキテクチャの例です。小売業者は、各システムが送信したタイミングで、POS取引やウェブ注文をブロンズで正確に表示します。シルバーでは、2つのフィードが重複を削除され、製品コードが標準化され、各注文が1つの顧客レコードに紐づけられます。ゴールドでは、データは店舗や製品ごとの日次売上テーブル、そして需要予測モデル用の顧客特徴テーブルとなります。
メダリオンアーキテクチャ内でデータがどのように移動するか
レイヤー間のパイプラインは2つの役割を果たします。それらはデータを変換し、データが次に進むのに適しているかどうかを判断します。チェックは 「レイヤー間の品質ゲート」で説明されています。
ETLかELT?
メダリオンアーキテクチャは通常、従来の 抽出・変換・ロード (ETL)ではなく、抽出・ロード・変換(ELT)方式を採用します。システムはまず生ストリームをブロンズにダンプし、プラットフォーム内でネイティブに変換を実行してレコードを銀や金に押し込む。しかし、複数の銀テーブルから複雑な金の集約を組み立てるような特定のホップは、依然として高度なETLスタイルの処理に頼ることが可能です。
バッチおよびストリーミングパイプライン
このアーキテクチャは毎晩のバッチを必要としません。 ストリーミングデータを使うと、イベントは継続的にブロンズに表示され、インクリメンタルパイプラインは新しいレコードをシルバーやゴールドに運びます。最新のオープンテーブル形式は、正確なコミット履歴を追跡することでこれを実現し、下流ジョブがテーブル全体を再スキャンする代わりにデルタだけを取得することを可能にします。本番環境では、チームは両方の実行モードを日常的に混在させ、運用BIに送る経路をストリーミングしながら、重い過去ジョブをバッチ処理します。
メダリオン構造と階層データウェアハウス
メダリオンという名前が一般的になるずっと前から、エンタープライズデータウェアハウスのアーキテクトは、環境をステージングエリア、インテグレーテクションコア、プレゼンテーション層に分けてデータ マートを行っていました。ステージングはソース抽出を吸収し、統合によってそれらを固定されたエンタープライズモデルに組み込み、マートは特定の部署にサービスを提供するものでした。メダリオンアーキテクチャは、その古典的な分野に当てはまることができます:
| メダリオン層 | 伝統的な倉庫レイヤー | 典型的なデータモデリング手法 |
|---|---|---|
| ブロンズ | 集結地/着陸地点 | ソース型テーブルで、古い設計では短期間しか使われないことが多かった |
| シルバー | 統合層、運用データストア、エンタープライズデータウェアハウスコア | 履歴と監査性のための第三標準フォームまたはデータ・ヴォルト |
| ゴールド | プレゼンテーションレイヤー、データマート、セマンティックレイヤー | 次元モデル(スタースキーマ)および集体 |
その変化はストレージの経済性とオープンテーブルアーキテクチャにあります。従来のウェアハウスは、ディスクコストを避けるためにロード後にステージングゾーンを消去することが多かった。しかし、安価なオブジェクトストレージにより、完全な生履歴を保持することが手頃な価格で可能になりました。Apache IcebergやDelta Lakeのような オープンテーブル形式 は、 データレイクにあれデータウェアハウスにあれ、そのストレージに信頼性の高いデータベース型トランザクションサポートを追加します。ベテランのエンタープライズデータウェアハウスチームにとって、主な違いは生レイヤーが長寿命であることであり、基本的な データモデ リングパラダイムは変わらないことです。
レイヤーをまたぐデータ品質とガバナンス
このパターンはパイプラインモデルであると同時にガバナンスモデルでもあります。各レイヤー境界は、データの健全性を測定し、実行系譜を記録し、アクセス制御を適用するためのチェックポイントを提供します。このパターンはベンダー中立であり、共有語彙として広く利用されているため、そのレイヤー境界はチームがこれらのコントロールを適用するための標準的な場所を提供します。
レイヤー間の品質ゲート
本番環境では データ品質チェックを 移行境界に直接位置付け、データが下流に移るにつれてルールセットを厳格化します。
- ブロンズとシルバーの間: ゲートには、スキーマと型の検証、必須フィールド、重複検出、参照データとの参照チェック、失敗したレコードの隔離が含まれます。
- 銀と金の間: ゲートには、ビジネスルールチェック、合計とソースシステムとの照合、鮮度目標、メトリック定義のテストが含まれます。
- ゴールドについて: モニタリングは、ボリュームの低下、異常な値、ダッシュボードやモデル、AIアプリケーションを壊すスキーマの変更などをカバーします。
系譜、アクセス、所有権
すべてのデータセットが明確に定義されたレイヤーを占めているため、 データ系譜 は疑わしいゴールド指標を銀ロジックを通じて問題のブロンズソースレコードに遡り、根本原因分析を圧縮します。アクセス制御は自然に上流で厳格化されます。ブロンズはしばしばPIIや生データを保持し、コアエンジニアに限定されるのに対し、マスクされたゴールドテーブルはビジネスに広く露出します。明確なレイヤー所有権を割り当てることで運用 データガバナンスが強化され、よく文書化されたゴールドテーブルを定義されたセマンティクスとサービスレベルを備えた再利用可能なデータ製品へと変え、 オープンで接続されたデータ基盤にまたがります。
メダリオン建築のトレードオフと代替案
建築家は以下のコストとトレードオフを考慮して計画を立てなければなりません:
- 各レイヤーは別のバージョンのデータを保存するため、より多くのコピーとストレージが生まれます。大量のソースでは完全なブロンズ履歴を保持すると、蓄積が増えます。
- 各ホップごとに処理時間と遅延が加わるため、バッチのみの設計は運用上のユースケースには遅すぎる場合があります
- チームがブロンズをクリーンなもののようにクエリしたり、ビジネスロジックをシルバーに積み重ねて、ドキュメントされていない太字レイヤーに変わったりするとレイヤーがずれてしまうことがあります
- 複数の層から同時に読み取るパイプラインは層同士を絡め合わせ、系譜を追うのが難しく、変化のリスクも伴います
レイヤーを追加または削除するタイミング
3層は慣例であり、ルールではありません。小規模なプラットフォームでは、銀と金を統合したり、安価に再抽出可能なソースのために永続的なブロンズ層を飛ばしたりすることもあります。大きなプラットフォームでは、まだ登録されていないファイル用のブロンズの前にランディングゾーンを設けたり、低遅延のオペレーショナルアナリティクスやプレミアムデータ製品向けに一部の実務者が提案する第四の「プラチナ」レイヤーなど、レイヤーを追加します。テストはどちらにせよ同じです。各レイヤーには明確な目的、所有者、品質保証が必要です。
データメッシュ内のメダリオンレイヤー
データメッシュでは、各ビジネスドメインが独自のメダリオンレイヤーを実行し、ゴールドテーブルをデータプロダクトとして公開できます。消費ドメインは、別のドメインのゴールド出力を、生ソースを再度コピーする代わりに、自らのブロンズ入力として扱うことができます。このフェデレーテッドアプローチはチーム間でスケールしますが、ドメインドリフトを防ぐためにフォーマット、品質指標、命名に関する共通の標準が必要です。
メダリオンはオープンでつながりのあるデータ基盤の上にレイヤーを重ねる
メダリオンアーキテクチャは、すべてのデータセットに明確な場所と明確な目的を与えます。ブロンズは生の歴史を保存します。シルバーはそれを清潔で整ったディテールへと変換します。そしてゴールドは分析やAI向けのビジネス対応データを提供します。各レイヤーには所有者があり、品質保証があり、各ホップごとにチェックされます。このパターンは、レイクハウス、クラシックな倉庫、ハイブリッドにも同様に当てはまります。チームは3層を原則として扱うのではなく、自分たちのニーズに合わせてレイヤー数を調整しるべきです。
このパターンを実践に移すには、レイヤーを管理し、開かれた状態、そしてつながった状態に保つプラットフォームが必要です。それは、Apache IcebergやDelta Lakeのようなオープンテーブル形式を扱い、lakehouseとエンタープライズのデータウェアハウスワークロードを並行してサポートし、ドメイン同士が信頼されたデータ製品を共有できるようにする、データを別のストアにコピーする必要がないことを意味します。
レイヤーが信頼を築くのは、その下にあるプラットフォームがそれらを管理し、オープンで、つながりを保つときだけです。 Teradata 自律型ナレッジプラットフォーム が、信頼されたエンタープライズデータ上でデータ、分析、AI をどのように結集するかをご覧ください。
よくある質問
メダリオン建築とレイクハウス建築の違いは何ですか?
メダリオン建築とレイクハウス建築の違いは何ですか?
レイクハウスは、データレイクストレージに倉庫型の管理やトランザクションを追加するストレージおよび処理アーキテクチャです。メダリオンアーキテクチャはデータを精細度レベルごとに整理します。両者はしばしば併用されますが、どちらも他方なしで動作します。
メダリオン建築はまだ重要でしょうか?
メダリオン建築はまだ重要でしょうか?
はい、共有語彙として、またデータパイプラインのデフォルト構造として。
メダリオン建築には何層が必要ですか?
メダリオン建築には何層が必要ですか?
3つ目は慣習です:ブロンズ、シルバー、ゴールド。デザインによってはそれらに融合したり付け加えたりするものもあり、例えば一部の実務者がプレミアムデータ製品に用いる第四の「プラチナ」レイヤーがあります。
メダリオン・アーキテクチャとデータ・ヴォールトの違いは何ですか?
メダリオン・アーキテクチャとデータ・ヴォールトの違いは何ですか?
メダリオンアーキテクチャは、データをどれだけ洗練されているかに応じて、ブロンズ、シルバー、ゴールドのレイヤーに分類します。データ・ヴォールトは、履歴と監査性を保持するためのモデリング手法です。この二つはしばしば組み合わせられます。正規化されたモデルやデータヴォルトモデルは一般的に銀色に、次元スター・スキーマは金色に配置されることが多いです。
メダリオンアーキテクチャとデータウェアハウスの違いは何ですか?
メダリオンアーキテクチャとデータウェアハウスの違いは何ですか?
データウェアハウスとは、統合されたデータが保存・モデリングされる場所です。メダリオンアーキテクチャは、レイクハウス、クラシックな倉庫、またはハイブリッドで動作するように、データを段階的に精錬するための設計パターンです。ウェアハウスでは、ブロンズはステージングエリア、シルバーはインテグレートレイヤー、ゴールドはプレゼンテーション層やデータマートにマッピングされます。