[目次] [1ページ目] [前ページ] [次ページ] [質疑応答]

マルチベンダー環境の運用事例 −北陸先端大を例として−


  1. はじめに
  2. 情報環境
  3. 計算サーバの変遷
  4. 計算サーバ導入の基本的な考え方
  5. 主たる計算サーバの導入の経緯
  6. 運用の基本的な方針
  7. おわりに

プレゼンテーション資料 PDF file
[940KB]
写真

北陸先端科学技術大学院大学

松澤 照男
[アブストラクト]
学内ネットワークおよびそれに接続された情報機器を情報環境と呼ぶ。情報環境の主システムではなく、一部として計算サーバCray XT-3(360 CPU, 2.88TB)、SGI Altix3700(128 CPU, 768GB)、Sun Fire 15K(32CPU, 32GB)、Fujitsu VPP 5000(2CPU,28GB)などが導入されている。それぞれ特徴のあるシステムであり、本学での導入のコンセプトおよびそれに伴う運用の考え方と実績などを報告したい。

[キーワード]
情報環境、計算サーバ、並列計算機群、導入、運用

1. はじめに

　今年は本学の開学15周年記念にあたる。ネットワークとそれに接続された情報機器からなる情報環境は開学時からマルチベンダーで構築されており、情報科学センターはマルチベンダー環境を常態として運用をしている。今報告は、マルチベンダー環境の運用事例として、マルチベンダーで構成されている本学の情報環境の概要を紹介し、主として計算サーバの導入および運用の考え方を報告する。

2. 情報環境

　本学の情報環境は、本学の構成員（教職員、研究員、学生など）のすべてが世界最高水準の研究を組織的に推進するために必要となる、高度かつ先端的な情報環境を提供することを目的としている。そのために、情報科学センターが情報環境を一体的に運用し、全構成員に対して「一様かつレベルの高いサービス」を推進している。
　情報環境の特徴は、
  1. 全構成員に一人一台のワークステーション、パーソナルコンピュータあるいはシン端末の提供。
  2. 利用者は情報環境を 24時間、365日利用可能。
  3. 各種サーバ（ファイルサーバ、メールサーバなど）による情報（ファイル、メールなど）を集中管理。
  4. 1500 台以上のワークステーションや各種サーバなどを超高速ローカルエリアネットワークによる結合
  5. 各種超並列計算機群の提供
  6. 遠隔会議や遠隔教育のサポート
  7. 無線ネットワーク等様々な先端的ネットワーク
  8. 高速インターネットへの接続、日本におけるインターネットの重要な研究拠点
などがあげられる。
　利用者にとって使い勝手の良い情報環境にすることはもちろんとして、利用者が作成したファイルを保全することが、情報科学センターの大きなミッションの一つである。そのために、
  1. 高速、大容量、高可用性のファイルサーバ
  2. 高速、高可用性、利便性の満たしたローカルエリアネットワーク（LAN）
を整備している。特にLANは、基幹系を常用系と待機系の２系統（それぞれ 2Gbps）を設けており、フロアーネットワークからどちらかの系統を通りファイルサーバにアクセスできる。今年度中に基幹系を 10Gbps、フロアーネットワークを 1Gbps の広帯域ネットワークにする予定である。また、研究室、講義室、ゼミ室などに無線LANが整備され、利用者が移動してもローミングされ、ファイルサーバなどのアクセスが可能である。さらに、学外とは WIDE 10Gbps、SuperSINET 4Gbps、JGNII 10GBps で接続している。

3. 計算サーバの変遷

　本学には複数台の超並列計算機を導入していることが特徴の一つである。これらの計算サーバは、
  1. 情報科学研究科における超並列アルゴリズムやデータバースの研究用
  2. 他研究科におけるシミュレーションの研究用
の２つの側面がある。
　本学の計算サーバの開学からの変遷は以下の通りである。
  1. 超並列研究用システム
    CM5 (Thinking Machine) 　T3E (Cray) T3E-1200 (Cray) XT3 (Cray)
  2. 高度データベース処理研究用システム
    nCUBE2 (nCUBE) nCUBE3 (nCUBE) RS/6000 SP (IBM) Altix3700 (SGI)
  3. 超並列ソフトウェア研究用システム
    GC/MPC-128(Parsytec) GP7000 (Fujitsu) SunFire 15K SunFire V890
  4. 小規模計算サーバ（ベクトル計算機）
    VP1100 (Fujitsu) VX-E (Fujitsu) VPP5000 (Fujitsu) SX8 (NEC)
    C3440 (Convex) J90 (Cray) 　SV1 (Cray) 後継なし
  5. クラスター計算機
    HPC2000 (BestSystems) HyperBlade (APPRO)

4. 計算サーバ導入の基本的な考え方

　新設大学（1990年：設立、1992年：学生受け入れ開始、本年度(2005年度)：開学15周年）のため、情報環境予算（借料）が年次進行で配分された。したがって、毎年政府調達を行い、全情報環境の約４分の１ずつが更新されている。計算サーバを導入する際の基本的な考え方は以下の通りである。
  1. 導入のタイミングで最新の機器を選定（多少のリスクが伴う）。
  2. 教育的効果から可能な限りアーキテクチャの異なる計算機を導入する。
    ユーザが最適な計算機を選択する。
  3. 情報環境の一部として導入　　最終責任の所在を明確にする。
  4. 更新に際には、前計算機の資産にとらわれない。
　情報環境はもともとマルチベンダー指向であり、計算サーバも上で紹介したようにマルチベンダーである。ただし、計算サーバやファイルサーバなどを情報環境一式として調達しており、落札業者（富士通(株)）が最終的に責任をもつ体制を作っている。しかし、主要なマシン（計算サーバやファイルサーバ）などは、ベンダーと定期的に保守に関する打ち合わせをもっている。

5. 主たる計算サーバの導入の経緯

　主たる計算サーバとして、超並列処理研究用システム(Cray XT3) と高度データベース処理研究用システム (SGI Altix 3700) を導入した経緯を説明する。

5-1. 主たる計算サーバの導入の経緯

　このシステムは以下の用途、目的で導入した。
  1. 超並列アルゴリズムの開発・検証用
  2. 並列化を陽に用いて、高い性能を引き出すことが目的
  3. ユーザは基本的にMPI, SHMEMなどが使えることを仮定
  4. 流体力学、分子動力学など、数値シミュレーション系の研究が中心
そのために、以下の要求要件とした。
  1. 分散メモリマシンであること
  2. アルゴリズムの挙動が分かりやすいこと 共有メモリシステムだと分析が難しい
  3. MPIを前提としたシステムであること
  4. 浮動小数点演算性能に優れること
この要件を満たすシステムとして、Cray XT3 を導入した。導入したマシンの基本的な構成は以下の通りである。
  1. 並列処理計算機
    • 90 計算クラスタノード （360CPU）
    • 4 CPU/計算クラスタノード
    • 2.88TB 主記憶容量（32GB/計算クラスタノード、８GB/CPU）
  2. フロントエンド計算機
    • 12 サービス・IOノード
    • 96GB　主記憶容量（8GB/ノード）
  3. 二次記憶装置
    • 4.7TB RAID 5 ファイバチャネルディスクアレイ装置
  4. システム相互結合ネットワーク
    • 4 x 12 x 8 3Dトーラスネットワークトポロジー
    • 491.52GB/sバイセクションバンド幅

5-2. 高度データベース処理研究用システム

　このシステムは、以下の用途、目的で導入した。
  1. 幅広い研究プラットホームとして導入
  2. 必ずしも並列処理が目的ではない 処理を高速化するための手段として並列処理を用いる
  3. ユーザは並列処理の専門家とは限らない
  4. データベース処理を始め画像処理や暗号処理などに利用
そのために以下の要求要件とした。
  1. 複雑なプログラミングをせずに、大きなメモリ空間が利用できること
    • 利用者は、計算能力はCPU性能ではなく、メモリ容量でマシンを選択
    • SMPまたはcc-NUMAだと有難い
  2. MPI以外でも簡易な並列化が可能なこと 　性能は出ないかもしれないが・・・
  3. 整数演算性能が優れていること
この要件を満たすものとして SGI Altix 3700 を導入した。導入したシステムの特徴は以下の通りである。
  1. C−ブリック32台をNUMAlink3(3.2GB/秒)で結合させた共有メモリ型の並列計算機
  2. C−ブリック（4個の64ビット Intel(R) Itanium(R) 2プロセッサ 1.3GHz、24GBのメモリ
    • プライマリキャッシュ（L1）＝ 32KB　（レイテンシ1クロック）
    • セカンダリキャッシュ（L2）＝ 256KB　（レイテンシ5クロック）
  3. システム合計128個のCPUと768GBのメモリ
  4. 単一のLinux オペレーティング・システム
    • 64Bit Linux（SGI Linux Environment with SGI ProPack)
  5. 36GB x 4 = 144 GB の内臓ディスク　　OS用
ここでユーザのディスク領域は Altix 3700 の DAS として確保するのではなく、高速ネットワーク (1Gbps) 経由で高速ファイルサーバ (PRIMEPOWER 450 & ETERNUS3000, ２８TB,RAID5, Fujitsu)に NFS 接続した。

6. 運用の基本的な方針

　これらの計算サーバは以下のポリシーのもとで運用している。
  1. センターはユーザ利用に関して、出来る限り干渉しない
  2. ユーザグループの育成
    • メーリングリストで情報交換
    • 利用法についての質問 ユーザで解決
    • 処理時間などの計測で占有するときは他ユーザの了承を得る
    • ディーラーへの質問はセンター経由で行う
  3. 障害はセンターで対応

7. おわりに

　JAIST の情報環境および計算サーバ（Cray XT3、SGI Altix 3700）の概要を紹介した。さらに、計算サーバの導入の基本的な考え方および導入の経緯、計算サーバの運用の基本的な考え方を紹介した。情報環境はもともとマルチベンダー環境であり、一括導入することにより最終責任を明確にすることと、個々のベンダーとは保守に関して定期的に打ち合わせ会をもつことが重要と考えている。また、利用者優先を運用の方針としている。



    

[目次] [1ページ目] [前ページ] [次ページ] [質疑応答]