Alation、はじめました。
第6回:Alation(アレーション)の機能《データリネージ》

 2024.03.14  2024.04.18

前回はAlationの機能の「記事」についてご紹介しました。Webページのような記事を管理者が用意することで、目的のデータに対する付加情報(使用上のルールなど)をデータと一緒に確認してもらう動線にもなります。あると便利なオブジェクトであることを感じていただけたのであれば幸いです。
今回は「データリネージ」についてご紹介します。

Alation、はじめました。第6回:Alation(アレーション)の機能《データリネージ》

マンガでわかるSnowflake

データリネージとは

データソースとそのデータを利用している最終利用までのつながりを可視化したものです。例えば、Snowflakeのデータを使ってTableauのダッシュボードを作成している場合には、SnowflakeのテーブルとTableauのダッシュボードのつながりを表したものになります。データリネージのメリットは、データとデータの最終利用までの間で信頼できない状況が発生した場合に、影響を受ける範囲を確認できる点です。また、データのつながりが可視化される点を重宝している組織もあります。
Alationでは「リネージ」とよんでいるので、この後はデータリネージではなくリネージと記述することにします。

Alation Cloud Service
Alation Data Intelligence Platform

リネージを持つ製品も個々に存在

最近のデータカタログ製品の多くが、リネージを採用しています。また、データカタログ製品だけではなく、BI(Business Intelligence)やDB(Database)などのデータ活用に関連する製品でもリネージを持つものがあります。
例えば、BI製品のTableauの場合には、Tableau Cloud や Tableau Server に Data Management Add-On というオプションを導入していると、Tableau Catalog というTableauに特化したデータカタログを利用することができ、リネージも確認できます。
以下の図の赤枠部分がTableauのリネージです。

リネージを持つ製品も個々に存在

Alationのリネージ

Alationでは、Alationが接続しているデータソースのリネージ※を確認できます。また、異なる種類のデータソース間につながりがあれば、それも表現可能です。
※一部のデータソースはリネージをサポートしていません。

リネージを表示するには、データを表すオブジェクトの画面で「 Lineage」メニューを選択します。

Alationのリネージ 01

以下の図は、Tableauのデータソースを選択してリネージを表示したものです。ここでは青色のボックス部分がTableauのデータソースになります。青色のボックスの左側がTableauのデータソースの接続元となり、Snowflakeのデータが元となっていることがわかります。また、青色のボックスの右側はTableauのビューとダッシュボードとつながっています。

Alationのリネージ 02

Alationのデータソースごとにグループわけしてみることができるので、どこまでがSnowflakeでどこからがTableauなのかも把握しやすいです。

以下の図はSnowflakeの「注文」テーブルを選択してリネージを表示したものです。

Alationのリネージ 03

表レベルのリネージは多くのデータソースで対応していますが、列レベルについては非対応のものもあります。目的のデータソースが列レベルに対応しているのかどうかについては、サポートマトリックス※をご参照ください。
https://docs2.alationdata.com/en/latest/releases/supportmatrices/index.html

以下の図は、列レベルのリネージです。列を1つクリックすると、その特定の列に対するリンクが強調されます。

Alationのリネージ 04

Alationのリネージの作成

リネージの作成は、主にデータソースのメタデータを抽出※した情報や、データソースのログをAlationが分析した結果を参考にして、自動で作成されます。自動で作成されないものについては管理者が手動で作成することも可能です。
リネージが自動作成なのか手動作成なのかは、ソースオブジェクトとターゲットオブジェクト間のアイコンで確認できます。
※メタデータをAlation側に読み込むことをメタデータの抽出と呼んでいます。

以下の図はリネージが自動作成されたことを表します。

Alationのリネージの作成 01

以下の図はリネージを手動作成したことを表します。

Alationのリネージの作成 02

データの信頼状況に問題が発生したら

状態を示すフラグが赤(非推奨)になると、リネージでは該当のオブジェクトと影響を受けるオブジェクトが赤色で示されます。

データの信頼状況に問題が発生したら 01

しかし、オブジェクト数が多くなると画面の図で確認することがストレスに感じることもあります。その場合には、「View Impact Analysis」や「View Upstream Audit」を使用すると便利です。

データの信頼状況に問題が発生したら 02

「View Impact Analysis」は、選択しているオブジェクトから下流のオブジェクトを一覧表示します。上の図では、Tableauのデータソースの「注文」が選択されているので、図の右側にあたるオブジェクトの一覧を表示し、CSVに出力することもできます。

データの信頼状況に問題が発生したら 03

「View Upstream Audit」は、選択しているオブジェクトより上流(選択しているものより左側)の一覧を表示し、CSVに出力することもできます。

ER図は非対応

DB(Database)の管理者から「ER図に対応していますか?」と、質問を受けることがあります。残念ながらAlationはER図には対応していません。
ER図をAlationで扱うとすれば、他のソフトで作図済みのER図を画像ファイルとして用意し、Alationの記事※として作成するという手法になるでしょう。
※記事については第5回で紹介しています。

ER図は非対応

第6回は「Alationの機能《データリネージ》」についてお届けしました。
次回は、Alationの機能《コンポーズ》についてご紹介いたします。

Alationの製品紹介やデモをご希望の場合には、CTC担当営業または問合せフォームからご連絡ください!

CTA

RECENT POST「データマネジメント」の最新記事


データマネジメント

データドリブンなビジネスを実現するDr.Sum導入のメリット

データマネジメント

ETLとELT|プロセス・おもな違い・データ利活用でのポイント

データマネジメント

データドリブンなビジネスを実現する Motionboard の魅力!

データマネジメント

クラウドデータ移行ならSnowflake x Alation

Alation、はじめました。第6回:Alation(アレーション)の機能《データリネージ》
CTA

RECENT POST 最新記事

CTA

RANKING人気記事ランキング


OFFICIAL SUPPORTER