多くの企業においてデータ活用が重要視されるなか、データマネジメントの必要性を感じている企業も多いのではないでしょうか。一方で、国内におけるデータマネジメントの取り組みは発展段階にあり、海外に学ぶべき部分が多くあります。
本稿では、データ活用やデジタル化が進む北米におけるデータマネジメントの最新状況を紹介します。
盛り上がるデータマネジメント市場
データマネジメントとは、データをビジネスに活用できる状態を実現し、かつ維持・進化させていく組織的な取り組みのことです。
データ活用の重要性が高まる一方で、「社内にデータが存在しても活用できない」「どこに必要なデータがあるかわからない」という課題を抱えている企業も少なくありません。データは活用できる状態にしてはじめて、本来の価値を発揮します。そのためには、データマネジメントの取り組みが不可欠です。
データマネジメント市場動向
近年では、データマネジメント分野に対する投資金額・成長性が急速に拡大しています。大型ベンダへの投資も増加しており、たとえばデータレイクハウスを提供するDatabricks社は、2021年に16億ドル（約2080億円）の資金調達を実施しました。同社の企業価値評価額は380億ドル（約4兆8400億円）に到達しています。
また、データ統合プラットフォームのFivetran社は、2021年に5億6500万ドル（約735億円）を調達するなど、盛り上がりを見せています。データインテリジェンスソリューションを提供するAlations社も、2022年に1億2300万ドル（約166億円）の資金を調達し、注目を浴びています。
データネジメントが必要とされる背景
なぜデータマネジメントが必要とされているのでしょうか。ここでは、大きく3つの観点から紹介します。
〇「データのサイロ化」への対応
デジタル化の進展により、あらゆるビジネス領域・ビジネスプロセスにITが利用されるようになりました。データがさまざまな場所で生成されるようになった一方、自社の全データを把握して管理することは容易ではありません。
〇データ保護の必要性
GDPR（一般データ保護規則）をはじめとして、世界的にプライバシー保護は重要な問題です。データを適切に取り扱わなければ、規則違反や情報漏洩などのリスクが高まってしまいます。
〇競争力の源泉となったデータ
現代のビジネスにおいて、データは競争力の源泉といえます。データマネジメントにより自社のデータ価値を高め、活用していくことが求められています。
このような観点から、とくに北米企業において、データマネジメントの重要性が認識されている状況です。
ポイント1：データ活用の高度化
以下では、データマネジメントの3つのポイントを紹介します。
データ活用により意思決定や処理の自動化も実現
データマネジメントに取り組むうえで押さえておきたいポイントの一つが、データ活用の高度化です。従来、データはおもに過去の状態を把握するために用いられていました。たとえば、データで過去の販売実績を確認したり、販売実績が落ち込んだ原因を分析したりすることが挙げられます。
しかし今後は、データを活用して何が起こるかを予測し、具体的に何をすべきかを検討する取り組みが進んでいきます。これまで、人の意思決定を支援するものと認識されていたAIが、意思決定や意思決定後の処理の自動化なども含め、データ活用の文脈で利用されるケースが増えていくでしょう。
このような状況を踏まえ、データ活用の高度化は以下のような段階に整理できます。
- Descriptive Analytics（記述的分析）：何が起こったかを把握する
- Diagnostic Analytics（診断的分析)：何故起こったかを分析する
- Predictive Analytics（予測的分析)：何が起こるかを予測する
- Prescriptive Analytics（処方的分析)：何をすべきかを決定する
- Cognitive&Artificial Analytics（認知的分析)：上記4つのAI/MLを利用した分析・自動化
データ活用の具体例
ここでは、データ活用の高度化をよりイメージしやすいように、営業・マーケティング領域を例として紹介します。
〇Descriptive Analytics（記述的分析）の例
過去に何が起こったかという記述的分析の代表例が「マーケティング結果の検証」です。キャンペーンやイベントの実施時に、反応があった顧客数や成約に結び付いた数などを計測・分析することで、その効果を検証できます。
〇Diagnostic Analytics（診断的分析)の例
なぜ起こったのかを分析する例としては、商品販売数量の分析が挙げられます。時期や気温、天候、イベントの有無など、さまざまな要素により商品販売数量は変化します。データを活用し、なぜそのような販売実績となったのかを分析することで、今後の取り組みにつなげられるでしょう。
〇Predictive Analytics（予測的分析)の例
予測的分析の例としては、需要予測が挙げられます。上述した商品販売数量の分析結果をもとに、需要に影響する変数を把握します。天気予報やイベントの参加予想人数などのデータをパラメータとして需要予測が可能です。
〇Prescriptive Analytics（処方的分析)の例
さらに発展させた処方的分析の例が、AIによるレコメンデーションです。顧客の属性や購買実績などをもとに、サービス上で顧客におすすめの商品を紹介します。これにより、客単価の向上が見込めるでしょう。
ポイント2：データ活用における課題
従来の組織とその課題
従来型のデータ活用組織においては、データサイエンティストやデータエンジニア、ビジネスサイドのチームなど、領域ごとの組織体制が中心でした。結果として、それぞれのチームで以下のような課題が発生する原因となりました。
〇データサイエンティストチームの役割と課題
役割：主にDX部門において、ビジネスチームのデータ活用を支援する役割を担う
課題：
- 業界知識・慣習・社内業務ルールなどビジネスサイドの知識が不足しており、効果的な分析や提言ができない
- 社内調整や実施結果の確認に時間がかかり、分析に十分な時間が割けない
〇データエンジニアチームの役割と課題
役割：主に情報システム部門にて、データ活用に必要なシステムを提供する
課題：
- システムの管理負荷が高く、多くの部署からデータ提供を依頼されるため対応に時間がかかり、タイムリーな分析ができない
- ガバナンスを重視するため、ビジネスチーム側が必要とするデータが開示されないケースもある
〇ビジネスチームの役割と課題
役割：ビジネスサイドとしてデータ活用による業務改善や事業企画などを推進する
課題：
- 自分の担当領域内にどのようなデータが存在するかは理解しているものの、活用方法が分からない
- 他部署にどのようなデータが存在しているかは分からない
注目される「シティズンデータサイエンティスト」の役割
このような課題を解決するために「シティズンデータサイエンティスト」の必要性が増しています。「市民」のデータサイエンティストという名称からも分かるとおり、シティズンデータサイエンティストとは、統計や機械学習などの専門家ではないものの、高度なデータ分析能力を持つ人材のことです。
一般的にビジネスチームのメンバーとして在籍し、ビジネスニーズを加味したデータ活用を行います。
ポイント3：データ活用を加速させるシステム
データ活用に使われるシステムについても、変化が生じています。ここでは、「システム構成」「DWH・データレイク」「データ連携方法」「データカタログ」の要素ごとに解説していきます。
システム構成の変化
従来、業務別に作られていたデータマートなどは、全社でのデータ活用推進の観点から、統合されたデータレイク・DWHへと移行していく動きがみられます。また、ビジネスチームに在籍するシティズンデータサイエンティストが自社内に存在するデータを探せるように「データカタログ」の整備も進んでいます。
これまではデータサイエンティストが構築していたBIのレポートやダッシュボードも、ビジネスチームで自由に作成できるようにセルフサービスBIの基盤を用意することで、タイムリーかつ自由度の高い分析を実現しつつ、BI構築にかかるデータサイエンティストの負荷を軽減できます。
このようなシステム構成を実現するうえでは、全社的なデータの取り扱いルールの整備が重要です。情報漏洩などを防ぐためのセキュリティ対策ルールや、各システムからデータを一元的に参照するための統一ルールなどを整備するデータガバナンスの実行も必要となるでしょう。
DWH・データレイクの変化
企業において、SaaSの利用は一般化している状況といえます。ERPや営業管理システムのように、従来はオンプレミスで自社のデータセンターに構築していたシステムも、現代ではクラウドサービスとして利用可能です。
このような状況のなか、クラウドサービスのデータ収集にも対応しやすいクラウド型のDWH・データレイクが普及しつつあります。現在、AWS、GCP、Azure の 3 大プラットフォームに、snowflake、databricks、Starburst を加えた 6 大クラウドデータプラットフォームが注目されています。
Snowflake
Databrick
Starburst
AWS
Azure
GCP
データ連携方法の変化
システム間のデータ連携方法にも変化が生じています。
これまで、データ活用においては「Extract（抽出）」「Transform（変換）」「Load（格納）」という「ETL」のフローにて、必要なデータを限定してDWHなどに連携していました。しかし、DWH・データレイクのクラウド化によって柔軟にストレージ容量を確保できるようになったほか、非構造化データを含めた分析を実現したいというニーズが増えていることから、すべてのデータをDWH・データレイクへ連携する「ELT」の考え方が生まれています。
ELTの語順が示すとおり、すべてのデータを「Extract（抽出）」し、DWH・データレイクへ「Load（格納）」します。そして、活用時点で必要に応じて「Transform（変換）」していきます。
ELTは、データ転送量やストレージ必要量は増えるものの、すべてのデータを連携できるため、連携元システムが変化した際にもスピーディな対応が可能です。また、上述のとおり、非構造化データをいったんデータレイクに連携するという使い方にも適しています。
データカタログの変化
データカタログを用意していた企業においても、そのユーザーはエンジニアが中心だったのではないでしょうか。
しかし、シティズンデータサイエンティストの登場とともに、ビジネスチームのユーザーはデータカタログの参照だけではなく、入力・更新も実施するようになります。セルフサービスでBI活用やデータ分析を行うためには、自社データに関するメタデータ情報は必須です。
このような状況においては、データカタログツールにより、自社データを自動で検出してカタログ化したり、データの検索機能を提供したりする機能を提供する必要があります。上述したデータガバナンスの観点でも、自社のデータ状況を一元的に把握することは重要といえるでしょう。
まとめ
本稿では、北米におけるデータマネジメントのキーポイントを3つ紹介しました。日本企業においてデータ活用の取り組みが進んでいくなか、規模が大きい企業ほど、データマネジメントの必要性を認識し始めているのではないでしょうか。
データマネジメントに課題を感じている方にとって、この記事が参考になれば幸いです。
