[目次]

PCクラスタWG報告


姫野龍太郎氏

理化学研究所 情報基盤研究部情報環境室 姫野 龍太郎
himeno@postman.riken.go.jp


    1.設立の背景

     PCクラスタ*1は複数台のPCをネットワークで接続してシステムを構成するといったメモリー分散型の並列計算機である。最近のPC単体の性能向上は著しく、その低価格化も進んでいるため、非常にコストパフォーマンスの良い計算機でもある。このため、一部の先端的ユーザーが導入し使い始めている。
    しかし、これは非常に良いコストパフォーマンスが得られる一方、一から十まで、その構築・運用については自己責任が伴うため、PCマニアでない普通の研究者がPCクラスタを使いたいと思っても、そのバリアは高いものとなっている。さらに、自らの作業量を含めたトータルコストを考える必要もあるし、また、大規模な構成では小規模な構成では目につきにくい問題点も上がっている。
    本WGは、平成12年度の科学技術計算分科会で報告したPCクラスタの話題「「PCクラスタはPoor Man's Supercomputer」に続き、平成12年度合同分科会での討論会(テーマ:「Linuxの適用分野とその可能性」)が大変好評であったことが発端となり、上記のような背景で設立された。

    2.目的

     上記のような障壁や問題点は各サイトレベルでは解決が困難なことも多く、WGの活動を通して、保守サービスも含めた形で何らかの解決を図り、また、必要に応じて、適宜ベンダー側への要望としてまとめる予定である。また、同時に中小規模のシステムでは、その効果がはっきりしているので、システムの設計や運用にあたっての注意すべきポイントを整理し、普及にも努力する。

    3.メンバー(○印まとめ役)

     [会員] ○姫野龍太郎(理研)、真鍋篤(KEK)、庄司誠(原研) 石井光雄(広島大学)
     [富士通]○石田伯夫、大空暸、佐藤広一、久門耕一、市川真一

    4.検討内容

    (1)大規模なシステムにおける問題点の抽出(例えば)

    • ジョブのモニタリング、ロードレベライザーなどの管理ソフトが十分でない
    • シリアルコンソールかモニター切り替え機か、リセットの手間
    • 資産管理上の問題
    • ベンダーのサポートが受けられない
    • データ管理(NFSは数百台規模では動かなくなるなど)
    (2)今後のクラスタ用ハード/ソフトの動向調査
    • サーバー用CPUの動向
    • Myrinet、GbitEthernetその他、高速ネットワークの動向
    • Linux/SCORE/MPI-CH(RWCPの今後なども含む)
    • コンパイラー性能
    • メモリーやチップセットの動向
    (3)規模による運用特性の違い
    • 基本的にマルチ・ユーザーには向かないのか
    • ユーザーに占有時間を与える運用方法の検討
    • 規模による適正化は可能か
    • 小規模のシステム導入のポイントの整理
    • 中規模のシステム導入の注意点
    (4)PCクラスターのリスク
    • ハードウエアのトラブル
    • ソフトウエアのトラブル
    • トラブルにあわないための仕様書の作り方、ベンチマークの仕方

    5.活動内容

    (1)調査・ディスカッション
     検討内容(4)はWG内だけでは十分な検討が行えないため、積極的に外部(新情報開発機構などの機関や、先端ユーザー、LINUX協会、インテルなど)に協力を求め、レクチャーやディスカッションを行ってゆく。この予定は事前に公開し、興味を持つ会員であればWGに限らず、参加できるものとする。

    (2)講演会の企画
     広くPCクラスターを普及し、さらに関係者への影響力を増すために、SS研会員に限らない、広い層を対象としたPCクラスタに関する講演会を企画・運営する。(富士通本社の場所を借り、200人規模の講演会を年内に行う)

    (3)これまでの活動
     WGを2回開催。1回目はメンバーそれぞれの自己・事例紹介と活動案を作成し、2回目から実質的な活動を開始した。

    第2回ゲストスピーカー:
    講演@「富士通研究所・久門氏"PCクラスタ〜その性能と今後〜"」
     PCクラスタの構成要素であるCPUとネットワークのあり方に関する所感から始まり、現状デリバリされているプロセッサの性能比較を実施しての問題点などを報告した。

    • 最近のコモディティハードウエアの性能向上は目覚ましいが、それらをスペックの額面どうり使いこなすには、適切なハードウエアの組みあわせ、ハードウエアードライバの組みあわせや、システムのバージョン、コンパイラの選択、チューニングの実施などが必要である。
    • 良く分っている人と、何も知らない人で同じ予算でも利用できる計算機資源に差があるが、これがどんどん広がる傾向にある。
    • これらの情報について、検討、集積、流通、公開が重要である。しかし言うは安く、行うは難しい。せめて、富士通のIAサーバは推奨のGigabitなどや、その性能の詳細などを公開したらどうだろうか。
    • CPUとインターコネクトについて性能評価、使いやすさ等の比較を元に今後のPCクラスタについての講演があった。
      • CPU : IA64, P4, Athlon
      • インターコネクト
        1. 専用 : Myrinet, cLAN, Infiniband(?)
        2. コモディティ : 性能が確認されたNICを選択する事が必須

    講演A「RWCP・住吉氏"RWCPでのPCクラスタへの取り組みと構築上のポイントについて"」
     PCクラスタの登場からRWCPでのこれまでの取り組みを紹介。SCore開発推進に当たってきた実際の経験をベースとしてきたからこそ言える、構築のポイントやこの分野の今後の展望などを報告した。また、PCクラスタコンソーシアムについても紹介があった。

    • PCクラスタを確実に動かすためには、講演@の議論と同様、ハードウエアの適切な選択が大事。
    • また、設置にたいしても、空調、電力、ケーブリングなど細かく気を使う必要がある。これがあとの稼働に大きく響く。
    • 自分でどこまでやるのか/やれるのかをよく考えて、仕様書を書こう。
    • 導入当初の試験が初期不良出しや、所定の性能を出すために重要。
    • センターなどでの共同利用計算機として使う場合、課金システムをどのようにするか。
    • ケーブル配線が多数あるが、ラックの場所を移動させる場合はどうするのか?
      →そのラックに接続されているケーブルを全部はずして移動するしかない。
    • 配線をすっきりということだが、一本ずつケーブル長が違うのか?
      →1本ずつ違う。ただし、PCを搭載する構成が決まれば何mが何本という形で業者に作ってもらうことができる。
    • 電源の線は各PCから全部だしているのか、UPSはどうしているのか?
      →各PCから出している。UPSは数が多いため設置していない。
    • セキュリテイ対策はどうしているのか?
      →PCクラスタをプライベートネットワークに接続し、対外接続はファイアウォール経由とする、各ノードへのtelnetを禁止する、といった対策が考えられる。
    • 大きな計算をする場合各ノードに結果ファイルが分散することになるが、それらの管理はどうすればよいのか?
      →計算後にバラバラのデータを1ヶ所へ集めて処理する方法、クラスタファイルやNFSのようなファイルを利用する方法、計算ノードで最終処理(可視化など)までする方法、などが考えられる。
    • 並列コンパイラはMPIを不要にするものではないのか?
      →理想はそうだが、現実はMPIで開発されている方が多い。
    • 富士通はVPPのコンパイラでそれを実現しているのだから、そいう技術をPCクラスタでも実現してほしい。
    • 1000台規模のクラスタの利点と欠点は?
      →利点はトラブル切り分けの時、半分のシステムに分割して同一プログラムを流すことにより問題個所を切り分けられる、欠点は数が多いのでハードトラブルが色々出る、また、トラブルが出たときベンダーの対応力がわかる。
    • トラブル発生率の高い順にいくつかの問題を教えてほしい
      →ケーブルの接続不良が多い、その他は熱問題によるCPUのトラブル、メモリエラー、DISK障害、ネットワークスイッチ障害、という感じ。
    • 某ベンダーのPCはファンがよく壊れたがそういうことはないのか?
      →RWCPではファンが壊れたということはない。
    • 途中でノードを追加したとき、SCoreはそこだけ最新バージョンにできるのか?
      →全ノードでバージョンを合わせる必要がある。
    • 構築上のポイント
      1. アプリケーションの性質の把握 → 測定してみる。
      2. ネットワークの選択 → 測定してみないと判らない。
      3. ラックレイアウト → 移動を考慮したレイアウト
      4. 試験 → 一晩くらいの全ノード通信試験が必須、NAS並列ベンチマークで値の検証する
    • 購入時のポイント 購入業者にどこまで頼むかを明確に、技術力があり実績を持つ業者選定が重要。
    • 運用面
      1. 1000台規模の故障率はベンダーのエラー率程度
      2. トラブル切りわけは半分ずつ切りわけて確認していく。

    (4)本WGでの議論と、その後寄せられた意見など

    • ファイル :PCクラスタを構成するCPU廻りは安価にできても、ファイル廻りにお金がかかる。
    • プリ/ポスト処理との連携 :PCクラスタで数値シミュレーションさせた時のプリ/ポスト処理システムとの連携で使いやすい接続、大量のシミュレーション結果データの取り扱い
    • 計算センターとしての大型PCクラスタの運用 :運用管理機能(特に課金)、エンドユーザのデータの扱い
    • ハードスペック向上速度にどう対応するか? :価格低下、性能向上が激しく、仕様書を作った調達をかけても導入時にそのものでない可能性がある。また、増設時には同じものが手に入らない。テスト環境が必要。
    • 計算だけでなく、計算結果出力の画像処理などの処理が必要。これらを効率的におこなうにはどうしたらよいか。
    • 同様に ファイルI/Oは全体のスループットとして重要であるが、これを、並列化された計算性能に見合うだけ実現しなくてはならない。どうしたらよいか。
    • コンソーシアムが設立され普及に注力する方針が示されている。では、普及に成功するためのキーテクノロジは何であるか議論したい。システム構築上の相談に乗るくらいでは普及はたかが知れている。
    • PCクラスタはスパコンを狙っているのか、というか本当に汎用スパコンになりうるのか?これから大学でスパコンが欲しいと言った時PCクラスタ以外思いつかないが、全学にスパコンでございます、どうぞ自由に使ってくださいといえるほど環境が整っていない。大計センターのように支援組織がしっかりしていれば別だが。
    • PCクラスタが劇的に安くなっているなら、レンタル月1000万で大計センター並のベクトルスパコン位の演算パワーが揃えらるようなシステムを組んで具体的に示せば実感が湧く。尤も提供するアプリ、ツール環境などはもちろん利用マニュアル付き。レイテンシーとスループット議論だけでは大学の何処に有効なPCクラスタか判らない。
    • 最近大学は教育用としてPCを500〜600台くらい導入しているところが多い。これこそクラスタの最たるものだが、このPCクラスタWGはこの世界はHPCではないとして考慮の外と見える。HPC−PCクラスタの市場は教育用のPCクラスタとどちらが多いだろうか?このWGはHPC用のPCクラスタのみを研究するのでしょうか。何かシステムを一緒にした提案もあるような気がしますが。
    • プレゼンテーションしたクラスタの技術的検討の項目は私がやっていたころと変わっていない。クラスタの魅力として主張している項目も同じであった。話の内容は明るい点だけが述べられており、ディスカッションが明るい面のみであったのが救い。

    6.今後の予定

    (1)第3回WG(11月27日13:30から)

    ゲストスピーカー:PCクラスタを使ったビジュアリゼーション「未定」、コンパイラ「IST」大内氏」、ファイル周り「未定」
    コンパイラ ★大空→IST)大内
    (2)講演会の企画
    開催時期:平成14年5月9日(SS研総会の前日)
    200人規模(富士通本社)

    以上

    OHP資料(PDF:28KB)

*1:市販されている普通のパソコンを集めたものと、ラックに設置するサーバータイプで構成されたものがある。

[目次]