Oswald Regular
OpenSans Regular
よく知られた課題への取り組み
ある大手放送局では、高性能で応答性に優れたデータアーカイブを構築する必要があった

データアーカイビングとは、Whatis.comによる説明では次のとおりです。

「データアーカイビングは、あまり使用されなくなったデータを長期保存のため別のデータ保存デバイスに移す処理です。データアーカイブは古いけれど、いまだ重要で将来参照する必要があるデータを保存します。データにはインデックスが付けられ、検索を容易にしています。」

過去25年以上の間、データアーカイビングが“テクノロジ分野の流行語”になったことは一度もありません。ソーシャルネットワーキングやiPadなどに比べて知名度は高くなく、会話を盛り上げる話題でもありません。しかし、ここ数年、データアーカイビングはIT部門にとっては重要度が増す一方です。今なぜ話題になっているのでしょうか。

これには2つの側面があります。第1に、規制が段階的に変化したことと、企業がより多くのデータを長期にわたりアクセスすることを望んだ結果、データアーカイビングの必要性が大幅に上昇したことが挙げられます。第2に、データの多様性とその量により、技術的観点からすれば、さまざまなファイル(XMLなど)とデータベースからデータを取得しそれらを保存し、高速かつ即時にアクセスを可能にすることが困難になっています。これは一見大した問題ではないように思えるかもしれませんが、実際には企業は立ち行かなくなる可能性があります。

大手放送局は、まさにこの種の課題に直面しました。この場合、CRM(Customer Relationship Management: 顧客関係管理)や課金など、基幹システムに毎月追加されるデータの量が運用上の問題を引き起こしていました。たとえば、課金処理の実行に時間がかかったり、顧客サービス担当者が顧客との電話応対に時間がかかり過ぎたりするといった問題です。要するに、データアーカイビング問題は、サービス面と財務面でこの放送局に影響を及ぼしていました。そこで、データアーカイビングの諸問題を解決することが、事業上の優先事項となりました。

初期の解決策

この企業が検討した最初の解決策は、アーカイブしなくていいように、運用システムのデータを保存するハードウェアを増設することでした。しかし、データベースに毎月追加されるデータの量を考慮すると、高いコストをかけて長期にわたってアップグレードし続けても得られるメリットは限られています。問題はデータを保持しているデータベースの内部構造にありました。データ量に比例して拡張できなかったのです。徹底的なテストの結果、現実的かつコスト効率に優れた唯一の解決策は、大きいデータベーステーブルのサイズを削減するという単純な結論に達しました。法令ではデータを丸7年間保存することが定められていますが、この放送局が運用システム内に保持する必要があるデータはわずか18か月分で、残りはアーカイブに保存できます。データ(数十億件のレコード)のほとんどは課金イベントや連絡先イベントなど、いくつかの大規模な“ファクト”テーブルに集中しています。分析の結果、このデータをアーカイブし運用システムからデータアーカイブに移すことで、パフォーマンスと応答時間が大幅に改善されることがわかりました。

ただし、この解決策にはマイナス面もありました。社内の数千人のユーザーが全データにリアルタイムにアクセスする必要があり、さらにこれらのユーザーの多くが顧客サービス担当者であり、ミリ秒レベルの応答時間を必要としていました。別のユーザーたちがアーカイブのデータを運用システムとビジネスインテリジェンスシステムの両方にある他のデータと組み合わせられるようにすること、すなわち、高度な“フェデレーションクエリ” を望んだことで、さらに困難になりました。

このような技術課題が重なったため、そのまま使用できる既製のパッケージは存在せず、唯一Ab Initioだけがこの放送局のアーカイビング要件をすべて満たすことができました。

簡単にアクセスしながらデータを抽出

開発者は、Ab Initio® Co>Operating System®を使用して、運用データベースから膨大なアーカイブ対象レコードをアンロードするための“グラフ”と呼ばれる並列アプリケーションを構築しました。抽出データは、Ab Initioインデックス付き圧縮フラットファイル(ICFF: Indexed Compressed Flat File)システムに並列で書き込まれました。ICFFシステムは、データを従来のデータベースより何倍も高速でロードできるだけでなく、データを保持するために必要なディスク領域はごくわずかで、アーカイブには理想的です。ICFFシステムにアクセスするため、Ab InitioはWebサービスインターフェイスと即時クエリ用のANSI標準SQLインターフェイスの両方を提供しました。このSQLインターフェイス は、アーカイブと運用データベースでのフェデレーションクエリもサポートしています。つまり、エンドツーエンドのソリューションです。

同時にコスト削減も実現

プロジェクトは、この放送局にとって大成功を収めました。運用システムのパフォーマンスと応答性が大幅に改善されたと同時に、テラバイト規模のアーカイブ済みデータにミリ秒レベルでアクセスできます。データのほとんどが低価格ディスク上に保持される圧縮データとなったため、この放送局に本質的なコスト削減をもたらしました。

データアーカイビングという昔からあるテーマに、高い効果につながる解決方法が見出せたようです。

English
Français
Español
Deutsch
简体中文
言語:
日本語