ガートナー は、企業のデータとアプリケーションの監視と管理を支援するデータファブリックを命名しました。 企業がさまざまなアプリを活用し、データがよりダイナミックになるにつれ、データを収集し、データドリブンな組織になることは、これまで以上に困難なものとなっています。
企業は、このような問題を解決するために、データおよびアナリティクス技術の開発トップ10のうち、包括的な戦略を必要としています。 複数のソースや種類のデータを統合し、統一された仮想ソースを形成する。 このように、アプリケーション、プラットフォーム、ストレージの場所を問わず、分散したインフラストラクチャへのシームレスなアクセスやデータ交換を可能にするのが、この統合アーキテクチャです。
このブログでは、データファブリックとは何か、その重要性、ヒント、ベストプラクティスについて説明します。
データファブリックとは何ですか？
データファブリックとは、ハイブリッドなマルチクラウド環境において、データを利用してエンドポイントに一貫した機能を提供する統合アーキテクチャのことです。 この統合アーキテクチャは、データ管理のための一貫した方法を確立することで、可視性、アクセス、および制御を向上させます。 最も重要なことは、環境全体に一貫性を持たせ、どこでもデータを使用・共有できるようにすることです。
この統合アーキテクチャは、多くの企業にとって生データを実用的なビジネスインテリジェンスに変換するための主要なツールとなっています。 特にAIや機械学習の利用において、分析をより身近なものにします。 データ管理の手間を最大70％削減できることから、ガートナー社は2022年の戦略的技術トレンドのトップとして選出しました。
企業は、データを1カ所に集約するために頻繁にデータをコピーしますが、これにはコストがかかり、データのライフサイクルを通じてコンプライアンスやデータセキュリティの問題を引き起こす可能性があります。 しかし、そのデータを組み合わせるには、まだ正当な理由があります。 多くの企業は、データファブリックをアーキテクチャ上のソリューションとして採用することで、以下を実現することができます。
- 既存データへのアクセス
- データのライフサイクルをコントロールする。
- データ移動のプロセスを自動化する。
データファブリックの重要性
データアクセスの制限（必要な人がデータにアクセスできない）やデータ統合の複雑さなどの問題により、組織はデータを完全に活用し、その価値を最大化することができません。
従来のデータ統合は、普遍的な変換、リアルタイムの接続性などのビジネスニーズにはもはや適切ではありません。 多くの企業は、様々なソースからの組織データを組み合わせ、統合し、変換するための支援を必要としています。
データファブリックは、ユーザーがどこにいても、さまざまなデータにすぐにアクセスし、可視化することを可能にします。 マルチクラウドデータランドスケープにおけるデータガバナンスと管理は、データファブリックを利用することでユーザーにとってよりシンプルになります。
ヒントとベストプラクティス
データファブリックが適切に管理されていれば、ビジネス、運用、技術の各メタデータは積極的に管理されるべきです。 そのためには、データカタログとビジネスレキシコンが全社員に行き渡る必要があります。
組織内の誰もが、データを利用しながら、その知識を共有することができます。 すべてのオリジンソースのメタデータを、適度なデータドリフトを許容する速度で取り込むためのスケジュールを立てておく必要がある。
ここでは、そのコツとベストプラクティスを紹介します。
-
DataOpsのプロセスモデルを活用する。
DataOpsとデータファブリックのコンセプトは異なりますが、DataOpsは重要な実現手段となり得ます。 データプロセス、ツール、そしてインサイトを利用する人々は、DataOpsプロセスのモデルによれば、すべて密接に関連しています。
ユーザーは、継続的にデータに依存し、自由に使えるツールを有意義に活用し、洞察を業務改善に生かすことができるような立場にあります。 このモデルとデータファブリックのアーキテクチャデザインは、調和して機能します。 ユーザーは、DataOpsのプロセスモデルとDataOpsの態度が必要です。
-
また新たなデータレイクを作らないようにしましょう。
データファブリックを構築する際、一般的に問題となるのは、単なるデータレイクになってしまうことです。 データレイク. データソース、分析、BI技術、データトランジット、データ消費といったアーキテクチャの構成要素が揃っていても、APIやSDKが不足していれば、それは本物のデータファブリックとは言えません。
データファブリック」という言葉は、特定の技術ではなく、アーキテクチャーの設計を意味する。 この設計の特徴は、部品の相互運用性と統合の準備にあります。 その結果、企業は接続層、シームレスなデータ伝送、そして新たに接続されたフロントエンドインターフェースへの自動的なインサイト配信を優先させる必要があります。
-
規制とコンプライアンスの義務を認識する。
データは幅広く運用されているため、データファブリックの設計は、セキュリティ、リアルタイムガバナンス、規制遵守に役立ちます。 データが複数のシステムに分散していない。 そのため、機密情報が流出する可能性は低くなります。
それを導入する前に、データに適用されるコンプライアンスと規制の規制を理解することが非常に重要です。 様々な種類のデータは、規制の枠組みや法律の対象となる可能性があります。 このような場合、法的要件に準拠するために必要なデータ変換を強制する自動コンプライアンス手続きを導入することで対処することができます。
-
グラフ解析で相互関係を調べる。
グラフ解析は、メタデータとデータの関係を示すナレッジグラフを採用することで、リレーショナルデータベースに代わる、よりインテリジェントな手法を提供する。 文字列だけを使うのではなく、その情報が何を示しているかを理解するための意味的な文脈をデータに埋め込んでいく。
ナレッジグラフは、データソース間のつながりを調べることで、業務やビジネスに関する洞察を提供することができます。 リレーショナルデータベース方式と比較して、多様なデータを統合することに優れており、発見された洞察もビジネスユーザーに役立つものである。 この統合アーキテクチャーの主な目的は、様々なデータソースを重複なく幅広く利用できるようにすることなので、グラフ分析によるナレッジグラフはデータテキスタイルに最適なのです。
-
市民開発者のためのデータマーケットプレイスを作る。
通常、この統合アーキテクチャは、洞察を生成してビジネスアプリケーションに直接送信するか、ITまたはデータチームによる調査のために断片的なデータリポジトリを生成します。 市民開発者のアクセスを民主化するデータマーケットプレイスも、その可能性を生かす方法の一つです。
この市場からのデータは、データ分析の基本的な理解とビジネス分析の長年の経験を持つビジネスユーザーが、新たなユースケースに対応する新しいモデルを構築するために利用することができます。 企業は、ユースケースに応じたBIを開発するだけでなく、市民開発者が斬新で柔軟な使い方ができるようにすることができます。
-
オープンソースの技術を活用する。
データファブリケーションを作る場合、オープンソースは画期的なものになります。 拡張性、統合性を重視するため、そのアーキテクチャにはオープンソースの技術が最も適しています。
また、オープンソースのコンポーネントを利用することで、単一ベンダーへの依存度を低くすることができます。 最近公開された、ビッグデータとブロックチェーンを用いて分散型のストリーミングデータ処理パイプラインを実現するプロジェクト「Open Data Fabric」にもぜひ注目してみてください。
-
ネイティブコードの制作を可能にする。
データファブリックソリューションに不可欠な機能は、統合に利用できるコードを自動的に生成するネイティブコード生成です。 入力されたデータを解析しながらでも、Spark、SQL、Javaなど複数の言語で最適なコードをネイティブに生成できる可能性があります。
IT担当者はこのコードを使って、APIやSDKがまだ必要な新システムを統合することができます。 この方法であれば、高額な統合コストや投資を心配することなく、新しいデータシステムを迅速かつ容易に取り入れることができます。 また、デジタルトランスフォーメーションを加速させることができるようになります。 ネイティブコード生成は、既成のコネクターと一緒に機能させないと使い勝手が悪いことを忘れないでください。
-
エッジコンピューティングのためのデータファブリックを強化
企業は、データファブリケーションをエッジコンピューティングに適応させることで、IoTデバイスを最大限に活用することができます。 エッジデータファブリックは、エッジツークラウドデータファブリックと呼ばれ、特にIoTの展開を支援するために作られたものです。 データに関連する重要なタスクを中央のアプリケーションから、分散しているが密接にリンクしている別のエッジレイヤーに移行するのだ。
例えば、インテリジェント工場では、エッジデータファブリックを使用して、貨物コンテナの重量を（中央のクラウドに問い合わせることなく）自動的に判断し、手順の選択を開始することができます。 従来の中央集権型では実現できなかった自動的なアクションを容易にし、意思決定を迅速化することができます。 データレイクパラダイムを
結論
コンポーネント間で必要に応じてデータを転送することができます。 データファブリックは、さまざまな物理・仮想リソースにまたがるリソースや設定を一元的に管理するために用いられ、必要なデータ管理量を削減することができます。
データファブリックは、リアルタイムのデータを含む包括的な視点でデータを提供し、検索、クエリ、およびクリエイティブな戦術の使用に必要な時間を削減することができます。 また、より深いデータ分析が可能となり、企業のインテリジェンスを向上させることができます。
あらゆるテーマと業界に対応するソリューションを提供するQuestionProは、単なる調査ソフトウェアにとどまりません。 また、リサーチライブラリー「InsightsHub」をはじめとするデータマネジメントサービスも提供しています。 データ作成でお困りの方は、QuestionProチームまでご連絡ください。
