Subscribe to the Teradata Blog

Get the latest industry news, technology trends, and data science insights each week.



テラデータはソリューションやセミナーに関する最新情報をメールにてご案内する場合があります。 なお、お送りするメールにあるリンクからいつでも配信停止できます。 以上をご理解・ご同意いただける場合には「はい」を選択ください。

テラデータはお客様の個人情報を、Teradata Global Privacy Policyに従って適切に管理します。

同じ失敗を繰り返さないためには

同じ失敗を繰り返さないためには
後知恵とは素晴らしいものですね。 振り返ってみると、Hadoopベースのデータレイクの期待に応えることは、常に難しいものでした。海のような生データを吸い上げ、必要に応じてスキーマオンリードを適用してデータを分析することは、より速く移動したい、より幅広い分析をサポートしたいと考えていた私たちにとって魅力的なことでした。今でもそうです。しかし、私たちが思い描いていたインサイトを得るための原始的なデータレイクは、多くの場合、蜃気楼に過ぎないことが分りました。すべてのデータレイクがデータの沼地というわけではありません。他のテクノロジーと同様、Hadoopスタックには最高の結果をもたらすスイートスポットがあります。しかし、多くの企業は、データレイクの濁った深さを掘り下げて価値のあるものを見つけることがますます難しくなっていると報告しています。また、熱心な一握りのデータサイエンティスト以外には、データレイクに飛び込むためのスキル、時間、気持ちを持つ人はほとんどいません。

私は、データレイクが流行していた頃、ある業界のイベントでスキーマレスなデータ管理の楽しさを説明したことを鮮明に覚えています。会場の後ろにいた30代の男性が咳払いをして手を挙げ、彼が働いていた数十億ドル規模の多国籍オンライン旅行会社では、ボットトラフィックのフィルタリングされておらずセッション化されていない生のウェブログデータについて理解できるスタッフが何人いるかどうか、私が知っているかを丁重に聞いてきました。私の記憶では、彼の推測は5人程度で、全員がウェブサイトエンジニアリンググループに所属していました。

いずれにしても、レイクに携わっていた人々が解決しようとしていた問題が現実のものではなかったと言うことではありません。データの量、速度、種類は急速に増加しており、企業は、1)様々なユースケースの要求に応じて、2)コスト効率良く、3)太陽が水素燃料を使い果たす前に、データを取り込み、精査し、利用し、活用することができなければなりません。構造化データの管理と統合に対する従来のウォーターフォール型アプローチは、大きな価値をもたらしますが、同時に多大な労力、コスト、時間を要します。その結果、ビジネスとITの間の緊張関係だけでなく、少なくともビジネスと「アプリケーションIT」、「データIT」またはCDO(最高開発責任者)と呼ばれるものとの間の三者間の緊張関係が生じています。

同じころ、別の業界のカンファレンスに出席していたとき、「チーム・ビッグデータ」の正会員が、自分が作ったごく基本的なオンライン・レポート・アプリケーションについて説明していました。6人の開発者のチームで、たった12ヶ月で出来上がったそうです。必要なデータはすべて社内のデータウェアハウスに入っていましたが、彼の最初に行ったのは、そのデータをすべてデータレイクにコピーすることでした。そして、Hadoopエコシステムのパフォーマンスと並行性の制限を克服するために、様々な手段を講じました。もし私が手がけていたとしたら、データをそのままにしておけば、優秀なデータベース管理者と優秀なアプリケーション開発者が2人いれば、数週間で同じアプリケーションを作ることができたと思います。

一部のデータレイクでは、少なくともデータ・サイエンティストに究極の研究開発環境を提供し、堅牢で一貫性があり再利用可能な処理ルールやデータ構造を作成する必要性に制約されずに、多様なデータを収集して実験を行うことができました。しかし、多くの企業では、ユーザーの小さなニーズを満たすために、数千万ドルもの費用が費やされており、これらのインサイトがどのようにビジネスを変えるために使われるのか、明確な戦略や計画はありませんでした。製品化への明確な道筋がないため、これらの研究開発の多くは静かに無用の長物と化していきました。

データとアナリティクスは、コスト削減、顧客満足度の向上、新たな成長の促進など、企業のパフォーマンス向上に利用されて初めて真価を発揮します。経済の先行きが非常に不透明な今、重要なのは価値を生み出すための時間と敏捷性です。私が知っている限りでは、スピードを上げるためには、不要な作業を排除し、残りの作業を可能な限り自動化することです。データ製品の再利用は、究極の「不要な作業の排除」であり、成功している 企業 は、実験やテストから、予測的分析を本番環境で大規模に展開するまでを迅速に行うことができるのです。

データとアナリティクスがクラウドに移行する中で、データ管理に自由放任主義的なアプローチを取り続ける企業は、Cloud Object Store をベースにしたデータレイクで、二度目の失敗をする可能性があります。Cloud Object Storage を適切に利用することで、大規模なアーキテクチャの簡素化が可能になり、かつてHadoopが目指した「エンタープライズ・データ・オペレーティング・システム」となる可能性を秘めています。

今後数週間にわたり、複雑なエンドツーエンドのビジネスプロセスの最適化と迅速な対応を可能にするクラウド・エコシステムのメリットを活用した、テラデータのクラウド分析アーキテクチャ構築のアプローチについてご紹介していきます。クラウドを場所としてではなく、より広くアクセスして活用できる優れたデータ製品の展開を可能にする新しいコンピューティング・パラダイムとして、テラデータがクラウドをどのように捉えているかをご説明します。どうぞご期待ください。
Portrait of Martin Willcox

(Author):
Martin Willcox

Martin leads Teradata’s EMEA technology pre-sales function and organisation and is jointly responsible for driving sales and consumption of Teradata solutions and services throughout Europe, the Middle East and Africa. Prior to taking up his current appointment, Martin ran Teradata’s Global Data Foundation practice and led efforts to modernise Teradata’s delivery methodology and associated tool-sets. In this position, Martin also led Teradata’s International Practices organisation and was charged with supporting the delivery of the full suite of consulting engagements delivered by Teradata Consulting – from Data Integration and Management to Data Science, via Business Intelligence, Cognitive Design and Software Development.

Martin was formerly responsible for leading Teradata’s Big Data Centre of Excellence – a team of data scientists, technologists and architecture consultants charged with supporting Field teams in enabling Teradata customers to realise value from their Analytic data assets. In this role Martin was also responsible for articulating to prospective customers, analysts and media organisations outside of the Americas Teradata’s Big Data strategy. During his tenure in this position, Martin was listed in dataIQ’s “Big Data 100” as one of the most influential people in UK data- driven business in 2016. His Strata (UK) 2016 keynote can be found at: www.oreilly.com/ideas/the-internet-of-things-its-the-sensor-data-stupid; a selection of his Teradata Voice Forbes blogs can be found online here; and more recently, Martin co-authored a series of blogs on Data Science and Machine Learning – see, for example, Discovery, Truth and Utility: Defining ‘Data Science’.

Martin holds a BSc (Hons) in Physics & Astronomy from the University of Sheffield and a Postgraduate Certificate in Computing for Commerce and Industry from the Open University. He is married with three children and is a solo glider pilot, supporter of Sheffield Wednesday Football Club, very amateur photographer – and an even more amateur guitarist.

View all posts by Martin Willcox

Teradata Vantageを使用して、複雑なデータと分析を回答に変えましょう。

お問い合わせ