Oswald Regular
OpenSans Regular
Enterprise Meta>Environment
Ab Initioのメタデータシステム

現代ビジネスにおいてITインフラストラクチャはその中枢であり、経営にはその全体の把握が求められます。どんな情報が、どこを流れ、何を意味し、どの程度正確か、また、どんな処理を通り、保存されるのか。これら、情報についての情報が、メタデータと呼ばれます。

メタデータの掌握は容易ではありません。メタデータ対応をうたう製品があっても、そのアプローチは学究的になりがちです。“情報についての情報”という考えが、“情報”とは何かという疑問につながり、多くのメタデータ製品が、概念の定義と、概念と概念の関係に着目しました。最終的には物理的な情報に結び付くとしても、その結び付きが脆弱でした。メタデータが手作業で入力され、主観が入り込み、結果として不完全で、人為ミスの余地がありました。変化し続けるシステムの実際と比較して、メタデータシステムはその後を追うシステムとなり、情報の鮮度に問題がありました。

Ab Initioは、既存の製品とは異なるアプローチをとりました。それは、実際に運用されているメタデータに着目したことです。それは実際の業務担当者やITの管理者が使い、変更できるもので、具体的には、データを処理するシステムや、それを構成するアプリケーション、アプリケーション内に記述された業務処理、また、組織に散在するデータセット、その中身、いかに生成されたか、用途、さらには、データ品質の時系列的変化など、ITシステムに発生するあらゆる具体的な情報です。

Ab Initioはこれら運用に由来する具体的なメタデータを、業務従事者が組織内の情報をもとに定義した概念的な“業務”メタデータと関連付けます。その結果が、真のエンタープライズメタデータ管理システム、Ab Initio Enterprise Meta>Environment(EME)です。

エンタープライズメタデータ管理システムは、利用者に役割に応じて、さまざまな利便を提供します。

  • CFOは、レポートにあるフィールドの意味や、データの由来について、業務監査員に説明するために、調べたいかもしれません。
  • CIOは、社内のハードウェアやソフトウェアについて、それぞれの所有者が誰で、どのシステムに依存し、また別のシステムがそれに依存しているのか、また、各システムのデータ品質や、システム間での差異について、調べたいでしょう。
  • 部長が午後5時までに分析データをまとめられるように、補佐は業務用語集を準備しなければなりません。
  • 運用担当者は、今日、または過去に、運用環境で発生した事象、たとえばどのジョブが正常終了したか、その所要時間、処理されたデータ量、リソースに余裕はどのくらいあったか、データ品質に問題はなかったか、などについて知りたいはずです。
  • システム設計者は、システムを構成しているアプリケーション、データテーブル、ファイル、メッセージなどを棚卸しし、それらがいかにつながり、何が何を生成し、何を読み込み、別の何に依存しているか、といった情報に関心があるでしょう。
  • アプリケーション開発者は、コードの変更履歴について、また、データの状態、誰が何を修正したか、いつ、何が、なぜ、どのようにリリースされたか、どの仕事が進行中かを知りたいはずです。

これらの尽きない問いに答えを提供するのが、Ab Initio Enterprise Meta>Environmentです。

メタデータには、いろいろな意味がある

An Initioは業務コンピューティングにおける意味で、“メタデータ”という言葉を使っていますが、“メタデータ”という言葉は、業界によって異なる意味をもちます。たとえば、画像処理の領域では、イメージがどんなデバイスで撮影され、撮影時の状況がどのようであったかについての情報を指します。Webページにもメタデータがあり、ページの記述に利用された言語、作成に使用したツール、トピックの詳細などを指します。

メタデータの泳ぎ方

Ab Initioのメタデータ閲覧用GUIであるEME Metadata Portalを使用すると、システムのどこからでも探索を開始し、どの方向にも進むことができます。メタデータは、ユーザーの役割にあわせて異なる形式で表示されます。業務ユーザーが業務に関する調べ物をするときは、技術的な詳細に圧倒されることのないように、一方で開発者や運用担当者には、関心のある詳細情報を容易に見つけることができるように、工夫されています。

レポート上の値の根源的なソースとして、EMEがあるファイルを特定したとします。このファイルについてEMEはユーザーにどのような情報を提供できるでしょうか。メタデータの要素を関連付けるAb Initioのアプローチでは、次のような情報を、直感的なインターフェイスで収集できます。

  • どのアプリケーションがファイルを使用しているか
  • レコード形式
  • データ品質
  • サイズの経時変化
  • 各フィールドに記録された期待値
  • 実際に見つかった値調査
  • 管理統合を担当するデータ管理者(とその上司)
  • 各フィールドの業務上の意味と使用に関するドキュメント
  • データベーステーブルやメッセージなど、論理モデルと類似データセットとの関係
  • データセットの読み書きを行うプログラムのリスト

次の図は、EMEでメタデータをナビゲートしている例です。基になる画面は、多数のデータセットとその処理の関係を示す系譜図です。オーバーレイはそれぞれ、同じメタデータ要素に関連しているさまざまな種類のメタデータを示しています。

EMEの「データ系譜」と
その他の機能
「データ管理者情報」
「運用状況グラフ」
「データプロファイル結果」
「用語の定義」
「データセットの詳細」
「マッピング仕様」
「エンティティの関連図」
「データ品質基準」
「データ品質の色区分図」
「意味モデル」
b9
bg

メタデータの統合

EMEは、大量のメタデータを取り込んで別々の入れ物に格納するだけはありません。要素間の関係を確立することにより、メタデータに価値を付加し、組織でメタデータを扱うユーザーに深い洞察をもたらします。

もちろん、問題は役立つメタデータを如何に収集するかです。一般に、異機種が混在する環境、ときには国境をも超えるような大規模な組織の分散する環境では、特にむずかしい挑戦です。スケーラビリティと統合が問題となります。あまりにも異なる情報ソースや、技術基盤から、メタデータをどのように収集し、大量の情報をどのように処理するか、ユーザーを混乱させたりコンテンツの意味を失うことなく、どのように合理的に保存し、表示するか?業務、国、言語さえ異なるメタデータをどう関連付けるかといったことが問題となります。

EMEでは多様なメタデータを統合することにより、それぞれの価値が高まります。たとえば、プラットフォームの壁を超えてデータの系譜が把握できたり、一元化された運用統計により、包括的な性能設計や、データに対応するプロファイル統計、データ品質のメトリックが得られるようになります。

Ab Initioアプリケーションの定義と実行に関する情報は、すべて自動的にEMEに取り込まれます。これには、業務ルール、データ構造、アプリケーション構造、ドキュメント、実行時の統計などが含まれます。Co>Operating Systemで構築された運用アプリケーションは、すべて自動的に取り込まれます。

このメタデータがEMEのMetadata ImporterとCo>Operating Systemの高度な処理により、外部のメタデータと統合されます。

Ab Initioは複数ソースのメタデータを結合できるので、1つのソースシステムのメタデータは他のソースのメタデータで補足されます。たとえば、Metadata Importerで、データベースカタログから取り込んだデータベースのテーブルとカラムの詳細情報に、モデリングツールで記述されたコメントや論理リンクを付加し、最後にデータ品質メトリックと関連付けることができます。Metadata Importerは次のような外部メタデータを取り込むことができます。

  • レポート作成ツール: MicroStrategy、Business Objects、Cognosなど
  • モデリングツール: ERwin、ERstudio、Rational Architectなど
  • メジャー、マイナーに関わらず、大半のリレーショナルデータベース管理システムのシステムカタログは取り込めます。
  • スプレッドシートに保存された表形式のメタデータ。アビニシオの定義したテンプレートも、またはユーザー固有のレイアウトを使用したスプレッドシートも利用可能です。
  • Common Warehouse Model XML Metadata Interchange(CWM XMI)形式など、メタデータ変換のための業界標準プロトコル

非標準、またカスタムのメタデータソースも、ユーザーがCo>Operating Systemの強力なデータ処理機能を利用すれば、どんなに複雑であってもEMEに取り込めます。Co>Operating Systemはこのような非標準のシステムからメタデータを抽出し、必要に応じて処理し、EMEに取り込んで他のメタデータと統合できるのです。

メタデータも、さまざま

EMEは非常に広範囲のメタデータを統合でき、拡張も可能です。Metadata Portalのホームページからは、ユーザーが関心のあるゆるメタデータに移動できます。

このページから以下の情報を確認できます。

プロジェクトやアプリケーションに関するメタデータ。Ab Initioのプロジェクトやそれらに含まれているアプリケーションに関する情報は、EMEで保存および管理されます。プロジェクトは階層に編成され、パブリックにも、プライベートにも指定できます。EMEはプロジェクト間の参照関係や、各プロジェクトの全オブジェクトを記録します。

アプリケーションのバージョンの詳細。EMEは、Ab Initioアプリケーションの完全なバージョン情報に関する詳細な履歴を管理します。グラフ、レコード形式、トランスフォームルールなどのバージョン間の違いは視覚的に確認できます。運用環境で使用されているバージョンの詳細も簡単に確認できます。

ユーザー、グループ、ロック、アクセス権。EMEは、メタデータに対するアクセス制御管理を提供します。EMEはソースコード管理システムでもあり、その排他制御機能は、アプリケーションの全体また各部分について、複数の開発者による相互干渉を防ぎます。

メタデータの階層化。業務的な意味を反映するフォルダ階層に分類、編成することができ、その結果、必要な情報が見つけやすくなります。

データ辞書。EMEは、データ辞書または概念データモデルの作成をサポートしています。データ辞書は、業務用語が階層的なリストに編成されただけの場合も、複数の業務用語が複雑なセマンティックモデルに編成されている場合もあります。

企業規模の実装では、通常、部門や製品分野、エンタープライズモデルごとに個別のデータ辞書が使用されます。EMEでは、部門別の業務用語が具体的なカラムやフィールドに関連付けられ、そのうえで企業全体の統括モデルにも関連付けられます。これにより、各部門は独自のデータ辞書を放棄することなく、エンタープライズレベルで業務概念を統一することができます。

レポート作成ツール由来のメタデータ。EMEは、MicroStrategy、Business Objects、Cognosなど、主要なビジネスインテリジェンス(BI)レポート作成ツールからメタデータを取り込めます。レポートとレポートフィールド、さらには、ファクト、メトリック、属性、集約など、レポート作成に関わる内部的なオブジェクトの詳細が含まれます。系譜クエリを行うと、BIツールで算出されるレポートフィールドの値から遡って、データマートやデータウェアハウス、さらには、最終的なソースまでたどることが可能です。

データベースシステム由来のメタデータ。EMEは、多数のデータベースシステムからメタデータ(スキーマ、テーブル、列、ビュー、キー、インデックス、ストアドプロシージャなど)を取り込めみ、複数のビューやストアドプロシージャをつなげて系譜分析が実行できます。影響分析を行ったり、テーブルの効率的な再利用を計画したり、重複するテーブルを排除するにあたり、データベーステーブル、ビュー、プロシージャの関係を理解する唯一の有効な手段がEMEである場合も、少なくありません。

ファイル由来のメタデータ。XMLやCOBOLコピーブックのような複雑な階層レコード形式など、ファイルに関するメタデータを取り込むことができます。

エンドツーエンドのデータ系譜。EMEは、多数の異なる運用システム、レポート作成ツール、データベースシステム、ETL製品、SQLスクリプトなどからメタデータを取り込んで企業内のデータフローの完全なモデルを構築します。この統合モデルを使用して、データがいかに計算され、変更がどのように影響するのかについて、ユーザーはシステムに問い合わせることができます。

システム構成図。システムやあらゆるメタデータの構成図を保存し、Metadata Portalで、図内に“ホットリンク”を設けることにより、ワンクリックで関連するメタデータオブジェクトに移動が可能になります。

論理モデル。EMEは、一般的なモデリングツールから論理モデルと物理モデルを取り込みます。論理モデルと物理モデルの関連をモデル化し、データベースの具体的なスキーマとも関連付けます。

ドメインと参照データ。EMEにドメインや参照コードの値などを保存できます。参照データの定義体としても利用できますし、異なるシステムの参照データのコピーを管理するためにも使えます。EMEでは、一つの論理的なドメイン値と、複数の異なる物理的な符号値のマッピングもサポートされています。

データプロファイル。EMEはデータのプロファイル結果をデータセットと個々のフィールドに関連付け保持できます。頻出する値やデータの分布傾向など、さまざまな統計はオンデマンドで算出することも、Ab Initioアプリケーションで自動算出することも可能です。

運用統計。Co>Operating Systemでは、あらゆるジョブと、そこで読み書きされるデータセットについて、実行時の統計情報が生成され、傾向分析、容量計画、および一般的なクエリに応えるため、保存できます。

データ品質メトリック。包括的なデータ品質の向上を支援するため、Ab Initioはデータ品質統計とエラー集計をEMEに保存します。EMEは、データセットや、その集合のデータ品質メトリックを分析して表示できます。データ品質メトリックをデータ系譜と組み合わせて、組織内でデータ品質に問題のある部分をハイライトした“ヒートマップ”として見ることができます。

仕様定義支援。EMEは、マッピングの定義を開発作業の一部分に組み込むことを可能にします。アナリストはMetadata Portalを用い、既存または新しく提案されている入力と出力の間に、任意の関連を指定できます。EMEでマッピングすることにより、作業中のマッピングが組織全体の中で占める位置を確認しながら、作業を進めることができます。

ここで決まる仕様は、開発チームに示唆を与え、仕様として保存できます。運用のデプロイ後も、仕様と実装を並べて表示および比較できます。

データマスキングルール。データのマスキングルールもEMEに保存し、Ab Initioアプリケーションを流れるデータに適用できます。Ab Initioには多数の組み込みルールが用意されており、ユーザーは独自のカスタムマスキングアルゴリズムも定義できます。これらのルールはフィールドやカラムに関連付けたり、概念モデルの業務用語に関連付けたりできます。概念レベルで関連付けられると、データマスキングルールは対応する物理的な列とフィールドに自動的に適用されます。

データガバナンスとスタッフやグループに関するメタデータ。EMEは、人やグループに関するメタデータを保存します。このメタデータは他のメタデータオブジェクトに関連付けて、データ管理権などの役割を記述できます。人やグループに関するメタデータは、会社のLDAPサーバーのよう な外部システムからも自動インポートできます。

メタデータレポート。EMEには多数のレポート機能が備わっており、ユーザーがカスタムレポートを定義することもできます。レポート作成機能を実行した結果には、Metadata Portalからアクセスできます。

カスタムメタデータ。ユーザーはEMEスキーマを拡張してさまざまなメタデータをEMEに統合することができます。既存のオブジェクトに属性を追加したり、新しいメタデータオブジェクトを作成して、既存メタデータに関連付けることもできます。ユーザーインターフェイスも簡単にカスタマイズし、標準、カスタムにかかわらず、メタデータを表や図に視覚化できます。

EMEはオープンなシステムです

EMEは、以下の業界の標準的な技術に基づくオープンなシステムです。

  • EMEの仕様は文書化され、スキーマは拡張可能です。充実したメタスキーマを備えており、多様なメタデータをサポートします。メタスキーマをカスタマイズしてカスタムのテーブルやカラムで拡張することにより、ユーザー定義のメタデータもサポートできます。EMEでは、あらかじめ備わっているメタデータオブジェクトと、ユーザーによる拡張とカスタマイズを統合して管理し、画面やレポートも完全にカスタマイズ可能です。
  • 業務メタデータ、および運用に関わるメタデータと、テクニカルメタデータの要約が、標準的な市販のリレーショナルデータベース(現在はORACLE、DB2、またはMicrosoft SQL Server)に蓄積されます。技術メタデータはODBCアクセスが可能なオブジェクトデータストアに保存されています。
  • グラフィカルユーザーインターフェイスは、標準的なWebブラウザから利用できます。さらに、EMEはドキュメント管理システム、画像データベース、サードパーティ製品など、外部の詳細なメタデータリポジトリへのナビゲーションをサポートしています。
  • 一般的なアプリケーションサーバーテクノロジを使用した3層アーキテクチャ。データベースの上には、セキュリティの管理、役割ベースのビューの計算、メタデータの保守に関するワークフローの実装などを行う標準のJavaアプリケーションサーバー(現在はWebSphere、WebLogic、JBoss、またはApache Tomcat)が位置します。
  • 外部レポート作成ツールのサポート。EMEはMetadata Portalを介してさまざまなレポートを提供しますが、カスタムレポートの場合は、サードパーティのレポート作成製品から、EMEのメタデータに直接アクセスすることも可能です。リレーショナルスキーマは文書化されており、これらのレポート作成ツールをサポートするためにビューも用意されています。
  • サービス指向アーキテクチャと、メタデータをサービスとしてアクセス可能にするWebサービスAPI。これらのインターフェイスを使用すると、外部システムが業務メタデータに問い合わせたり、メタデータの変更要求を送信したりできます。外部システムがメタデータの変更をサブスクライブして、承認された変更が発生したときにEMEがメッセージを送信するように設定することもできます。たとえば、EMEが有効値を管理している場合、承認ワークフロー(後述)が外部の運用システムにメッセージを送信して、これらの有効値のルックアップのキャッシュを更新できます。
  • メタデータのエクスポート。データアクセスインターフェイスに加え、EMEは複数の方法でメタデータをエクスポートできます。たとえば:
    • すべての表形式の画面は、マウスクリックでExcelスプレッドシートに変換できます。
    • EMEは、メタデータ交換の新規格であるCWM XMI形式のメタデータをエクスポートできます。
    • EMEは、Business Objectsのユニバースを生成し、メタデータを充填することができます。

メタデータ管理

EMEには、大企業のニーズに応じてカスタマイズできる高度な統制プロセスが備わっています。

テクニカルメタデータ(アプリケーションやトランスフォームルール)については、チェックイン/チェックアウト、ロック、バージョン管理、ブランチ、差分などを含む完全なソースコード管理機能を提供します。

業務メタデータと運用メタデータの場合、EMEにはワークキュー、承認、監査証跡など、メタデータを管理するためのワークフローが備わっており、外部の承認ワークフローツールと連携するインターフェイスも用意されています。EMEの提案/承認ワークフローメカニズムは“変更セット”を基礎概念としています。ユーザーは変更セットを作成して、メタデータの追加、更新、削除を提案し、承認を得るために送信します。

次の図は、変更セットの送信プロセスを示しています。

ユーザーにより変更セットが送信されると、該当するメタデータ管理者にEMEから電子メールが送信されます。提出された変更は、メタデータ管理者により、検分の上、承認または拒否されます。承認された変更セットは適用され、一般ユーザー層にも見えるようになります。

また、EMEは自身のWebサービスAPIと、OracleのAquaLogicのような外部ワークフロー承認/BPMシステムと統合することも可能です。この場合、外部ワークフローシステムがワークキュー内の項目の通信、通信の記録、エスカレーションの管理、最終ステータスの解決などを行います。

変更セットが承認されると、EME内ではメタデータの新しいバージョンが生成されます。EMEには、全バージョンの履歴と詳細が残ります。

最後に

エンタープライズメタデータの管理は長い間、大きな組織にとって目標ではあっても、達成がむずかしく、実用的とはいえないものでした。“リポジトリ”(多くの場合はデータ辞書が美化されたにすぎない)には関連メタデータが一部保持されるだけで、すぐに時代遅れになる古いメタデータの“孤島”になっていました。メタデータを包括的に管理することが最も求められるグローバル企業において、スケーラビリティ、メタデータソースの多様性、部門間でのセキュリティ管理、大量な情報の表示や検索の必要性など、所々のハードルが高く、組織が大きいほど実現がむずかしいものでした。

しかし、Ab InitioのEnterprise Meta>Environmentの登場により、ついに大企業でもエンタープライズメタデータの管理が可能になりました。いくつか例を挙げてみましょう。

  • 国際展開するある大手銀行は、その勘定番号を検証可能にするという業務監査員の要求を、ついに満たすことができました。さまざまな時点におけるデータ系譜の品質評価など、フルスケールのデータ品質プログラムが全社的に展開されています。
  • ある大手金融機関は、EMEを用いてレガシーシステムの仕組みを完全に理解し、業務部門とIT部門が協力して代替システムがどのように機能すべきかを記述できました。主要ソフトウェアシステムの代替にかかるはずであった経費が数千万ドル節約できています。多くの人員で数年に及ぶはずだった作業が、必要なくなりました。
  • IT環境が非常に複雑な複数の多国籍企業(最大100ヶ国での営業、何千もの異種システム、膨大な数のファイル、データベーステーブル、メッセージ)では、EMEを使用してあらゆるデータのインベントリを作成し、その意味と値を定義しています。これらの企業ではEMEを資産管理システムとして使用しています。車や建物、事務機器と同様に、データも、資産として把握する必要が認識されています。

Ab Initio EMEは一夜にして出来上がったものでも、象牙の塔から来たものでもありません。Ab Initioと顧客企業の、長年にわたる真剣な取り組みの成果なのです。

English
Français
Español
Deutsch
简体中文
言語:
日本語