3.データマネジメントの現状とストレージソリューションへの期待
3.1.データマネジメントの現状
3.1.2.天文台における天文観測データの管理の特徴
3.1.2.4.現状の課題ここでは2章で定義されたデータマネジメントにおける8カテゴリに則って、現状の課題を述べる。特にデータの移行を容易にするための仕組み(以下(5)項)、アーカイブデータおよびバックアップデータの識別・同一性保障(以下(6)項および(8)項)が重要な課題であると認識している。
(1)データプロテクション天文観測は既に述べているように原理的に再観測が不可能であることに加えて、観測装置の進歩によりデータが質・量共に巨大化している。このため、データの保護は最重要課題である。データ保護の基本はバックアップであるが、巨大化した量のバックアップ採取時間の短縮と確実なリカバリ手段の提供を期待している。また、データ量が巨大化するとこれまでのバックアップとは異なるデータプロテクション方式の開発が望まれる。
(2)アーカイブ・HSM現在のSTARS/MASTARSは主にコストを抑えるために透過的アクセス方法を提供しているHSMシステムを採用している。最下層のテープ媒体をバックアップと低価格大容量記憶として利用することにより大容量のデータアーカイブを比較的低価格で実現している。しかし、レスポンスが一定でないことや磁気テープとディスク間のデータコピー時の信頼性への疑問などのデメリットも多い。本来は高速なランダムアクセスが可能なディスクベースのデータアーカイブが理想である。安価で信頼性の高いストレージ装置の実現を期待する。
(3)ストレージ管理天文観測データは一つの観測目的に対して複数の観測データが対応する(つまり複数のファイルが出力される)ことから複数ファイルをワンセットのコンテンツとして管理することが求められる。ファイルの集合を論理的に管理し可用性レベルを向上させるサービスを提供する仕組みが必要である。
(4)データアクセス管理負荷分散とディザスタリカバリのために地理的に離れた複数のデータアーカイブを連携して運用している。それらのデータアーカイブを参照するため、利用者にファイルシステムを意識させず、接続方式が違っても互いに干渉することなく一定のアクセススピードを保証するデータアクセス管理が必要である。
(5)デバイス管理天文観測データは原則永久保存であり、データ量は常に増加するため、ストレージの容量の増強や別のストレージ装置へのデータの移行が必要である。また、現状では計算機システムのリプレースに伴い、全観測データの移行が数年に一度発生し、データ移行に数ヶ月の時間を要する。データの引越しを容易にするストレージ装置やバックアップ装置(その媒体)、およびその仕組みとサービスの提供が必要である。
(6)データレプリケーション
- 天文分野ではアーカイブデータの二次利用が盛んである。大量の天文観測データの複製が世界中で作られている。デジタルデータは複製時に劣化しないという常識はどこまで通用するのだろうか。文書データとは違い、天文観測データはホワイトノイズに近いため複製ミスを人間が発見することは困難である。生物がDNAの複製ミスを修復する機能を進化させたように、デジタルデータの複製方式も進化させる必要があるだろう。
- これらの複製が地理的に分散すると、何処に何があるか把握できない状態に陥る。さらにそれぞれの複製に独自の付加情報が加わるとデータ自身が独自に進化し始めてしまう。従来のバージョン管理方式では困難な、オリジナルは何処の何か等の識別がつくようなミドルウェアが必要になってくるのではないか。さらに、データ自身に所有者を管理させるとか、データ自身に自己消滅機能を持たすとか、従来とは逆の思想の新たな方式が必要であろう。
現在では、OSやベンダによって様々なファイルシステムが提供されているが、用途に応じて使い分けするのではなくユーザインタフェースが統一化されており、高性能・高可用性のものが一般的に必要であると考えている。
(8)その他(圧縮、暗号化など)データレプリケーション技術の範疇かも知れないが、地理的に分散された(アーカイブされた)データとかバックアップされているデータ(媒体とかに)の同一性保障をどのようにするのかが重要である。STARS/MASTARSでは本文で述べているがアプリケーションによってデータの生成や移動、提供のタイミングでMD5値を算出し、データの同一性の保証を行っている。これでは維持管理するコストも嵩み、ユーザの負担が大きい。データの同一性を保証する仕組みがどこかのレイヤーで必要である。
SS研facebookページへ