Oswald Regular
OpenSans Regular
大容量データの格納と管理
ビッグデータ

たとえば数百テラバイト、あるいは数ペタバイトの生データがあり、それをオンラインシステム上に保持して定期的に処理しなければならないとしましょう。そのデータを従来のリレーショナルデータベースに格納するのは非常にコストがかかります。データを追記し続け何度も検索するような場合は、Ab Initioのインデックス付き圧縮フラットファイル(ICFF)が効果的です。

Ab InitioのICFFは数百ギガバイトから数ペタバイトまでの生データを取り込み、圧縮し、インデックスを生成し、ファイルシステムのフラットファイルとして格納します。このフラットファイルは複数のディスクやさまざまなサーバーに分散できます。ICFFは一時ストレージをほとんど必要としません。ICFFが使用する標準圧縮ユーティリティは多くの場合、圧縮比1:10を実現するため、ICFFに対してデータベースが必要とする物理的ストレージ容量は20倍までいかないにしても簡単に10倍にはなります。ディスク使用量が10分の1または20分の1になるとすれば、かなりの節約です。

ICFFのパフォーマンスは非常に高速です。データは毎秒数十万件レコードという速度でICFFにリアルタイムで追加されます。追加されたレコードはすぐに参照可能になります。数分から数時間を要する大容量データのロードも妨げにはなりません。インデックス付きルックアップのパフォーマンスを妨げるのは、ディスクドライブのシークタイムだけです。データ全体のスキャンでは、各データパーティションからのデータの並列ストリームをAb Initioアプリケーションに流し、これらのアプリケーションは必要な数のCPUで並列実行されます。ICFFは、データベースやフラットファイルに格納されたデータセットとジョインするフェデレーションクエリをサポートし、SQL経由でのクエリも実行できます。適切な用途に使用すれば、ICFFに勝るものはありません。

English
Français
Español
Deutsch
简体中文
言語:
日本語