概要
企業のリーダーがビジネスモデル、プロセス、文化のデジタル変革に注力する中、IT部門は、任務を維持するだけでなく、これらの目標を推進するサービスを提供することが求められています。進化し続けるビジネスのニーズに応えるためには、インフラを最適化してコストを削減するだけでなく、ビジネスチームに力を与えるアプリケーションを構築して直接的な価値を提供することが必要です。 Gartner社のヴァイスプレジデントであるDennis Smith(デニス・スミス)氏は、「アプリケーション開発は、変化の急行列車に飛び乗る機会を提供するものである」と述べています。
近年、このような新しいビジネスニーズに対応するために、データエンジニアリングという新しい分野が登場しました。データエンジニアは、データサイエンティストと同様、コーティングをし、高度な分析を行い、データの可視化を行います。しかし、データサイエンティストとは異なり、アプリケーションの構築や、インフラ、フレームワーク、サービスの構築も担当します。この役割は、大量かつ多様なデータの収集や分析を必要とするビジネスユーザーのニーズにより直接応えるものです。Preset社のCEO兼創業者であるMaxime Beauchemin（マキシム・ボーシュミン）氏は、「データエンジニアリングの分野は、ビジネスインテリジェンスとデータウェアハウスを合わせたものであり、ソフトウェアエンジニアリングの要素をより多く取り入れたものであると考えることができます」と 述べています。
データエンジニアリングチームは、企業内でさまざまな役割を担っています。以下に、データエンジニアリングチームがビジネスをサポートし、推進するもっとも一般的な方法をご紹介します。
1. 基盤アーキテクト
AI、深層学習、実験などのデータサイエンス戦略を実行する前に、データエンジニアは、データの収集、移動、ストレージ、検索、変換などの基盤を作ります。データサイエンスとAIアドバイザーであるMonica Rogati(モニカ・ロガティ)氏が「ニーズのAI階層」の中で、これらの機能を最下層の3層に配置し、最初に完成させなければならないことを示しています。
2. ビルダー
ボーシュミン氏は、Facebookで、「新しいスキル、新しいやり方、新しいツールを開発する」というデータエンジニアリングの「ビルダー」としての側面について述べました。正式なデータ インフラストラクチャ チームを持たない小規模な企業では、データエンジニアの役割には、企業のデータインフラの構築や運用が含まれる場合があります。大企業では、データインフラチームとエンジニアリングチームがこの責任を共有し、より高度な戦略的プロジェクトに共同で取り組むために、これらのプロセスを自動化することもあります。
3. ソフトウェア開発者
大規模な企業でモデルを活用するためには、アナリストが大量のデータに対応したり、ほぼリアルタイムにイベントに応じてモデルを実行したりできるようにする必要があります。また、モデルの出力（売上予測など）は、企業内のトランザクションシステムにフィードバックする必要があります。これらの作業は、テラデータのEMEA技術担当ヴァイスプレジデントが述べているように、「茶色の紙と文字列から研究室で作られた」モデルが必要であり、膨大な量のデータを頻繁に処理するために使用されます。
このようなレベルのパフォーマンスとスケーラビリティを実現するには、ETLソフトウェアに要求される複雑さを抽象化するために、コーディングできるデータエンジニアが必要です。ボーシュミン氏によると、「従来のETLツールで提供されている抽象化は、的外れなものです。このソリューションでは、ETLプリミティブ (ソース/ターゲット、集計、フィルター処理など) をドラッグアンドドロップ方法で公開することではありません。必要とされる抽象化は、より高いレベルのものです。」
4. ガバナンス検証
近年、データウェアハウスは、データサイエンティスト、アナリスト、ソフトウェアエンジニアが開発、日々の運用、進化に貢献することで、より公共性の高い共同作業の場となっています。企業データへのアクセスを開放することでイノベーションが加速する一方で、データセットの所有者や使用基準が明確でなければ、より混乱を招くことになります。
そこで役立つのが、データエンジニアです。データエンジニアは、データウェアハウス内のクラスターを「所有する」ことができます。クラスターは、明確に定義され、測定されたSLA、厳密に守られた名前のルール、高品質のメタデータやドキュメント、ベストプラクティスを備えたコアスキーマに従います。
5. 「卓越した研究拠点」のエキスパート
データエンジニアは、他のチームがデータ ウェアハウスを最適に活用し、会社のデータやツールを使いこなせるよう、教育プログラムを指揮することができます。
6. ライブラリアン
データエンジニアは、メタデータをカタログ化して整理し、ウェアハウスからデータを正しくファイルまたは抽出する方法を定義します。
7. ビジネスアナリスト
データ エンジニアリングの役割は拡大していますが、ポートフォリオやダッシュボードの作成や実行などのビジネスインテリジェンスのタスクを担当することもあります。また、ビジネスアナリストは、ビジネス部門とデータサイエンス部門の架け橋となり、両チームの言語を話し、効果的なコミュニケーション図ることができます。
8. パフォーマンスチューナー
企業はデータインフラへの投資をこれまでに以上に強化しており、データエンジニアはパフォーマンスの最適化に注力するモチベーションとリソースを得ています。こうした取り組みは、より少ないリソースでより多くのことを行い、リソースの使用量とコストをビジネスにとって長期的に持続可能なものにすることに焦点を当てるべきです。
9. データインテグレーター
企業のSaaSプラットフォームへの依存度はますます高まっていますが、プロバイダーは企業のデータウェアハウスにスムーズに統合するためのサービスや専門知識を提供していない場合があります。データエンジニアは、このプロセスを成功させ、企業がすべてのデータの統合的な全体像を把握できるようにするスキルを持っています。
10. サービスプロバイダー
データエンジニアは、通常は手動で行うタスクを自動化するサービスやツールを提供します。たとえば、データの取り込み、メトリック計算、メタデータ管理、A/B テストなどを自動化し、企業の他の機能の作業を容易にすることができます。
企業がデジタルビジネスの要件を満たすため変化を遂げる中で、データ主導型があることは不可欠です。データとツールの準備、構築、統合をエンジニアに任せることで、デジタルトランスフォーメーションの究極の目的である機敏性と統合性を兼ね備えたデータ主導型の文化を生み出すことができます。