3.データマネジメントの現状とストレージソリューションへの期待
3.1.データマネジメントの現状
3.1.1.JAXAにおける数値シミュレーションデータの管理の特徴
3.1.1.4.現状の課題
ここでは2章で定義されたデータマネジメントにおける8カテゴリに則って、NSⅢの現状の課題を述べる。
以前の数値シミュレーションにおいては、"データは計算し直せばよい"という考え方があり、保護すべきはソースコードとジョブ投入コマンド群である、との認識が少なからずあった。しかし、最近の数値シミュレーションの大規模化や、非定常計算への関心の高まりにより、多くのCPUタイムを使用して得たシミュレーション結果ファイルや、急速に増加している非定常解析用データファイル群が現れ、"データは保管するもの"という考え方が広がってきた。
NSⅢでは大規模なストレージシステムを整備し、この要求に応えてきた。
(1)データプロテクション
-
以前のシステムに比べれば、HSMを大規模に導入しデータプロテクションの機能は向上したと考えられる。バックアップソフトウェアではなくHSMによりデータプロテクション機能を実現しているため、ユーザは今まで通りのファイル管理を行うだけで、データプロテクションのための操作を新たに覚える必要はない。システムが自動的にバックアップとリストアを行っている。具体的には、ディスクに書き込まれたファイルを一定のポリシーに従ってテープ媒体2本にコピーする。一定のポリシーに従ってディスクから削除されたファイルを使用する場合は、システムが自動的にテープ媒体にコピーしたファイルをディスクにコピーしユーザが利用可能な状態にする。一つのテープ媒体が破損していた場合は、もう一方のテープ媒体を使用するようになっている。従来のパックアップ/リカバリの考え方や操作とは異なる方法ではあるが、このような方法でデータプロテクションを実現している。
- 全てのファイルを分け隔てなくバックアップしてしまうため、バックアップ不要なファイルまでバックアップしてしまっている可能性がある。
- ユーザはこれから使おうとしているファイルがテープ媒体上に存在することを意識していない場合があり、このとき、ファイルI/O開始までの待ち時間が通常の場合と比べて非常に長時間となってしまう。現在はバッチジョブのスケジューリングの仕組みを工夫して、この問題が発生しないようにしている。
この運用で大きな課題は発生していないが、あえて課題を挙げると次のようなものがある。
-
NSⅢの場合、データプロテクション、アーカイブ、HSMの区別が明確ではないが、上記(1)で示したシステムの形態で運用している。
HSMの便利さに気付き始めたユーザからは、スーパーコンピュータシステム内だけでなく、構内ネットワークやさらにはインターネットからもその機能を使えないかという声が挙がり始めており、遠隔ファイルシステム等と連携したデータプロテクションシステムの実現が望まれる。また、ストレージシステムが広く利用されるようになると、その構築コストにも目が行く。現在は比較的高価なRAID装置を用いているが、装置自体の低価格化が望まれる。また、HSMソフトウェアのライセンス料も課題の一つである。HSM管理される容量に対して従量課金するライセンス形態の場合、大規模なシステムの構築に支障が生じる可能性があるため、定量課金ライセンス形態の方がシステム構築し易い場合が多い。
-
ストレージ管理での課題の一つは、ストレージハードウェア故障時の交換対応である。単体ディスクが故障した場合はRAID構成となっていれば運用を停止することなく復旧可能であるが、RAIDコントローラや複数故障が発生した場合、運用を停止する必要が出てくる。大容量が進めばこの課題は今まで以上に顕在化してくると思われる。
また、ストレージ換装時のデータ移行が次の課題として挙げられる。ディスク装置だけでペタバイトのシステムを持てるようになった現在では、今までの手法だとデータ移行に長期間を要してしまう。オーガニックストレージ等大容量のストレージを長期間にわたり連続的に運用管理できる仕組みの構築が望まれる。
-
データアクセス管理で一番の課題は、データ共有である。スーパーコンピュータのみならず、他のコンピュータからも、スーパーコンピュータにあるファイルにアクセスしたいという要求である。上記(2)でも述べたが、このアクセス範囲は、構内ネットワークに留まらず、外部の組織との連携を考え、インターネット越しのアクセス要求も出てきている。また、JAXAの次期スーパーコンピュータシステムでは、JAXA内の複数の事業所からのスーパーコンピュータ利用が想定されており、この実現に向けた具体的なシステム構築が望まれている。
次の課題としては、データアクセス権の細かい制御である。現状でも拡張アクセスコントロール機能を利用すれば実現できるものであるが、広く利用されていない現状を考えると、その利用には課題がいくつかありそうである。具体的要求としては、メインフレームで実現しているような、個人単位のアクセス許可や、個人が複数のグループに属した場合の分かりやすいアクセス制限のかけ方のようである。
-
スーパーコンピュータシステムの場合、一度システムを構築してしまったら、ストレージシステムの構成変更はあまり発生しない。一方で、大規模なシステム構築をすることから、日々の動作状況監視が重要となる。今後のシステム設計のための参考資料としても、この日々の動作監視が重要であると考える。
-
NSⅢでは、データレプリケーション機能は実現していない。スーパーコンピュータの役割として、スーパーコンピュータでなければできない数値シミュレーションの実行を主眼としてきているためであると考えられる。今後も、この方針は変わらないと考えられるが、ユーザニーズの多様化や、遠隔地事業所からの利用等の観点で、データレプリケーション機能が必要になってくる可能性がある。
-
ファイルシステムに要求されるものは、高速性と共有性である。高FLOPS化する計算エンジンの入出力に耐えられるファイルシステム、遠隔地事業所からのスーパーコンピュータ利用や共同開発体でファイル管理を実現する遠隔共有性の実現が望まれる。
-
NSⅢでは、データ圧縮や暗号化は行っていない。今後、多岐にわたるユーザが単一システムであるスーパーコンピュータを利用する場合、暗号化は利用者から要求される可能性がある。具体的には、システム内でのデータ漏洩防止やデータをシステム外に持ち出す場合のセキュリティの観点からファイルの暗号化が必要になる可能性がある。また、データ量が増大する中、ストレージの媒体総量を圧縮するためにデータ圧縮技術を利用することが期待される。
SS研facebookページへ