クラウドのエンタープライズデータオペレーティングシステム：必要だが十分ではない
クラウドは、「他人のサーバーを借りる」ようなものです。しかし、21世紀のエンタープライズコンピューティングソリューションを設計および提供する方法を定義する一連のアーキテクチャと設計パターンを表すようになることがますます増えています。 データおよび分析プラットフォームソリューションの場合、これは、サービス、API、およびデータ製品の観点からソリューションを再考することを意味します。
クラウドではどのような変化がありますか？すべてが変化します。コンピューティング、ストレージ、およびネットワークサービスはコードとして構成され、オンデマンドで利用できます。サービスは、必要に応じて開始、停止、およびスケールアップおよびスケールアウトできます。操作は自動化されています。価格設定モデルは、リスクを制限し、迅速な実験を可能にし、参入障壁を下げ、価値実現までの時間を改善します。おそらく最も重要なのは、明確に定義されたインターフェイス（「API」）を備えた構成可能なサービスの豊富なエコシステムにより、サービスを呼び出して接続し、重要なビジネスプロセスをカプセル化する再利用可能なプロセスを作成できるようにすることで、すぐに起動できるシステム開発が可能になることです。経済が非常に不確実な時期に、価値実現までの時間と敏捷性がますます重要になっています。 「DataOps」メソッドと組み合わせたクラウドアーキテクチャにより、データと分析製品のアジャイルで段階的な開発が可能になります。これがなければ、デジタルトランスフォーメーションプロジェクトは、せいぜい無関係に、最悪の場合は完全に失敗する運命にあります。
概念的には、それほど新しいものではないと主張することができます。2000年代からのサービス指向アーキテクチャの動き、それに先行するオブジェクト指向プログラミングの革命、そして50年代と60年代にまでさかのぼる構造化プログラミングの動きでさえ、すべて同じ目的の多くを共有していました。しかし、英国の首相がかつて「重要なのは何が機能するのか」を有名に観察したように、クラウドのデザインパターンは、非常に多くのユースケースでうまく機能するだけでなく、迅速かつ経済的に拡張できることが示されています。
耐久性と柔軟性に優れたクラウドオブジェクトストレージは、すでに企業に「あらゆるデータ、あらゆるフォーマット」の柔軟性を提供しています。そして、それは経済的に行われているため、企業は「コールド」データを無期限に、または少なくともビジネスが必要とし、規制当局が許可する限り保持することができます。しかし、信頼性と耐久性に優れたオブジェクトストレージは、たとえば、高可用性、バックアップとリカバリのソリューション、運用を劇的に簡素化し、「エンタープライズデータオペレーティングシステム」の展開をサポートすることで、ペタバイト規模でアーキテクチャを大幅に簡素化することもできます。
もちろん、データを保存すること自体は、価値ではなくコストを追加します。オペレーティングシステムは、成功するコンピューティングプラットフォームの1つのコンポーネントにすぎません。したがって、Cloud Analytic Architecturesには、エンタープライズデータOSに直接読み書きできるプラグ可能な処理エンジンが含まれているため、データは処理して価値を創造することができます。多くの場合、これらの処理エンジンは、統合およびモデル化されたデータのローカルコピーを、耐久性と経済性ではなく、スケーラビリティとパフォーマンスに最適化された形式で維持します。ただし、プラガブル処理エンジンはオブジェクトストレージレイヤーに対して直接読み取りと書き込みも行うため、データをオブジェクトストレージレイヤーからロードしてアーカイブし、動的に実行時にクエリを実行して結合し、たとえば探索をサポートすることができます。データがこれらのデータバックボーンにますますストリーミングされるようになると、データオペレーティングシステムにプラグインできるすべてのアプリケーションまたはプラットフォームが、エンタープライズ全体からのデータにほぼリアルタイムで接続されることを意味します。これにより、企業は数十年前のデータ取得プロセスを最新化する機会が得られ、分析は主にバッチ指向からイベント駆動型に移行できます。これは、ますます多くのビジネスプロセスとビジネスプロセスがデジタル化されてオンラインに移行するため、重大な懸念事項です。
とはいえ、「しかし」があります。
大規模なエンタープライズデータ管理のバックグラウンドがある場合は、大規模なクラウドサービスプロバイダー（CSP）によって宣伝されているリファレンスアーキテクチャとデザインパターンを見て、「この図の何が問題になっているのか」を自問してください。豊富なサービス、APIが豊富にありますが、データ製品はS3準拠のバケットにすぎないと表現されることがよくあります。それは、アーキテクチャ設計者が悪い決定を下すことにつながり、技術的負債の急速な蓄積につながり、最終的にはビジネスをスピードアップするのではなくスローダウンさせます。各パイプラインがサポートする分析ビジネスプロセスだけにサイロ化およびハードワイヤードされたデータは、必然的に、より多くのストーブパイプとより多くのサイロを作成します。その時点で、クラウドデザインパターンは「好循環」ではなくなり、「悪循環」になります。
データと分析は、コストを削減し、顧客満足度を高め、新たな成長を促進することにより、パフォーマンスを向上させるために企業が使用する場合にのみ真の価値をもたらします。経済が非常に不確実な時代において、重要なのは価値と敏捷性です。私が知っている最善の方法は、不要な作業を排除し、残りの作業を可能な限り自動化することです。データ製品の再利用は、究極の「不要な作業の排除」です。成功した企業が、実験とテストから、本番環境および大規模な予測分析の展開に迅速に移行できる方法です。
エンタープライズデータオペレーティングシステム自体は、十分ではなく必要です。生データを広く活用して業績を向上させるには、生データを洗練してデータ製品に処理する必要があります。エンドツーエンドのビジネスプロセスの最適化を可能にするには、統合され接続されたデータが依然として必要です。俊敏性と価値実現までの時間を短縮するには、再利用するデータ製品を設計および設計する必要があります。再利用には、ビジネスを可能にする分析的なユースケースをサポートするために必要なデータ製品とその使用方法について批判的に考える必要があります。
企業がデータ管理を重視しなくなったため、Hadoopベースのデータレイクの多くは失敗しました。データと分析がクラウドに移行するにつれて、データ管理に自由奔放なアプローチを取り続ける企業は、クラウドオブジェクトストアベースのデータレイクで再び失敗する可能性があります。
つまり、クラウドデータアーキテクチャを正しく理解するには、分析プロセスをサポートするために必要なデータ製品、それらが実行する役割、およびそれらの役割が要求する機能的および非機能的特性を理解することから始めます。また、どのデータが頻繁に結合および再利用され、それらを一元化および統合するコストが発生するのか、どのデータを接続するだけでよいのかを理解することで、摩擦のないETL処理と「何でも、いつでも、どこでも」クエリを実現できます。これにより、データがエコシステム内のどこにあっても、より多くのユーザーがより多くのデータに、より迅速にアクセスできるようになります。
そのアーキテクチャパターンを「コネクテッドクラウドデータウェアハウス」と呼びます。次回はさらに詳しく説明します。
クラウドではどのような変化がありますか？すべてが変化します。コンピューティング、ストレージ、およびネットワークサービスはコードとして構成され、オンデマンドで利用できます。サービスは、必要に応じて開始、停止、およびスケールアップおよびスケールアウトできます。操作は自動化されています。価格設定モデルは、リスクを制限し、迅速な実験を可能にし、参入障壁を下げ、価値実現までの時間を改善します。おそらく最も重要なのは、明確に定義されたインターフェイス（「API」）を備えた構成可能なサービスの豊富なエコシステムにより、サービスを呼び出して接続し、重要なビジネスプロセスをカプセル化する再利用可能なプロセスを作成できるようにすることで、すぐに起動できるシステム開発が可能になることです。経済が非常に不確実な時期に、価値実現までの時間と敏捷性がますます重要になっています。 「DataOps」メソッドと組み合わせたクラウドアーキテクチャにより、データと分析製品のアジャイルで段階的な開発が可能になります。これがなければ、デジタルトランスフォーメーションプロジェクトは、せいぜい無関係に、最悪の場合は完全に失敗する運命にあります。
概念的には、それほど新しいものではないと主張することができます。2000年代からのサービス指向アーキテクチャの動き、それに先行するオブジェクト指向プログラミングの革命、そして50年代と60年代にまでさかのぼる構造化プログラミングの動きでさえ、すべて同じ目的の多くを共有していました。しかし、英国の首相がかつて「重要なのは何が機能するのか」を有名に観察したように、クラウドのデザインパターンは、非常に多くのユースケースでうまく機能するだけでなく、迅速かつ経済的に拡張できることが示されています。
耐久性と柔軟性に優れたクラウドオブジェクトストレージは、すでに企業に「あらゆるデータ、あらゆるフォーマット」の柔軟性を提供しています。そして、それは経済的に行われているため、企業は「コールド」データを無期限に、または少なくともビジネスが必要とし、規制当局が許可する限り保持することができます。しかし、信頼性と耐久性に優れたオブジェクトストレージは、たとえば、高可用性、バックアップとリカバリのソリューション、運用を劇的に簡素化し、「エンタープライズデータオペレーティングシステム」の展開をサポートすることで、ペタバイト規模でアーキテクチャを大幅に簡素化することもできます。
もちろん、データを保存すること自体は、価値ではなくコストを追加します。オペレーティングシステムは、成功するコンピューティングプラットフォームの1つのコンポーネントにすぎません。したがって、Cloud Analytic Architecturesには、エンタープライズデータOSに直接読み書きできるプラグ可能な処理エンジンが含まれているため、データは処理して価値を創造することができます。多くの場合、これらの処理エンジンは、統合およびモデル化されたデータのローカルコピーを、耐久性と経済性ではなく、スケーラビリティとパフォーマンスに最適化された形式で維持します。ただし、プラガブル処理エンジンはオブジェクトストレージレイヤーに対して直接読み取りと書き込みも行うため、データをオブジェクトストレージレイヤーからロードしてアーカイブし、動的に実行時にクエリを実行して結合し、たとえば探索をサポートすることができます。データがこれらのデータバックボーンにますますストリーミングされるようになると、データオペレーティングシステムにプラグインできるすべてのアプリケーションまたはプラットフォームが、エンタープライズ全体からのデータにほぼリアルタイムで接続されることを意味します。これにより、企業は数十年前のデータ取得プロセスを最新化する機会が得られ、分析は主にバッチ指向からイベント駆動型に移行できます。これは、ますます多くのビジネスプロセスとビジネスプロセスがデジタル化されてオンラインに移行するため、重大な懸念事項です。
とはいえ、「しかし」があります。
大規模なエンタープライズデータ管理のバックグラウンドがある場合は、大規模なクラウドサービスプロバイダー（CSP）によって宣伝されているリファレンスアーキテクチャとデザインパターンを見て、「この図の何が問題になっているのか」を自問してください。豊富なサービス、APIが豊富にありますが、データ製品はS3準拠のバケットにすぎないと表現されることがよくあります。それは、アーキテクチャ設計者が悪い決定を下すことにつながり、技術的負債の急速な蓄積につながり、最終的にはビジネスをスピードアップするのではなくスローダウンさせます。各パイプラインがサポートする分析ビジネスプロセスだけにサイロ化およびハードワイヤードされたデータは、必然的に、より多くのストーブパイプとより多くのサイロを作成します。その時点で、クラウドデザインパターンは「好循環」ではなくなり、「悪循環」になります。
データと分析は、コストを削減し、顧客満足度を高め、新たな成長を促進することにより、パフォーマンスを向上させるために企業が使用する場合にのみ真の価値をもたらします。経済が非常に不確実な時代において、重要なのは価値と敏捷性です。私が知っている最善の方法は、不要な作業を排除し、残りの作業を可能な限り自動化することです。データ製品の再利用は、究極の「不要な作業の排除」です。成功した企業が、実験とテストから、本番環境および大規模な予測分析の展開に迅速に移行できる方法です。
エンタープライズデータオペレーティングシステム自体は、十分ではなく必要です。生データを広く活用して業績を向上させるには、生データを洗練してデータ製品に処理する必要があります。エンドツーエンドのビジネスプロセスの最適化を可能にするには、統合され接続されたデータが依然として必要です。俊敏性と価値実現までの時間を短縮するには、再利用するデータ製品を設計および設計する必要があります。再利用には、ビジネスを可能にする分析的なユースケースをサポートするために必要なデータ製品とその使用方法について批判的に考える必要があります。
企業がデータ管理を重視しなくなったため、Hadoopベースのデータレイクの多くは失敗しました。データと分析がクラウドに移行するにつれて、データ管理に自由奔放なアプローチを取り続ける企業は、クラウドオブジェクトストアベースのデータレイクで再び失敗する可能性があります。
つまり、クラウドデータアーキテクチャを正しく理解するには、分析プロセスをサポートするために必要なデータ製品、それらが実行する役割、およびそれらの役割が要求する機能的および非機能的特性を理解することから始めます。また、どのデータが頻繁に結合および再利用され、それらを一元化および統合するコストが発生するのか、どのデータを接続するだけでよいのかを理解することで、摩擦のないETL処理と「何でも、いつでも、どこでも」クエリを実現できます。これにより、データがエコシステム内のどこにあっても、より多くのユーザーがより多くのデータに、より迅速にアクセスできるようになります。
そのアーキテクチャパターンを「コネクテッドクラウドデータウェアハウス」と呼びます。次回はさらに詳しく説明します。
20年連続でデータアナリティクスのリーダーに選出
知っている人に滞在
Teradataのブログを購読して、毎週あなたに配信されるインサイトを入手する