(4/8)

4.GeoFEMにおける大規模シミュレーション技術：
　GeoFEMにおける並列計算、ベクトル計算　[７]〜[１５]

（１）GeoFEMにおける並列計算

　GeoFEMが対象としているシミュレーションは、細かいメッシュ・複雑形状でかつ高精度を要求する大規模問題シミュレーションである。そのため、GeoFEMでは大規模データを領域分割（Partition）し、局所化処理を基本としている。GeoFEMでは、大規模問題を扱うことと処理の並列性を考慮して反復法を選択している。ill-conditionedな問題に対しては、前処理で対処する方針を取っている。また、有限要素法と並列反復法の特性を生かした局所データ構造を準備しており、GeoFEMの核となる技術となっている。GeoFEMを使って計算をする場合、GeoFEM仕様の局所データを用意すればよい。しかし、この局所データは、GeoFEMのユーティリティ（パーティショナー）により自動的に準備されるのでユーザは、そのデータ構造の意味、生成に関しては意識する必要がないようになっている。GeoFEMにおける並列処理は、SPMD（Single-Program Multiple-Data）である。解析モジュールは領域ごとに要素単位の処理で係数マトリクスを生成し、シリアルコードと変わらない処理が可能となっている。したがって、全体系の計算のためには、 領域間の通信が必要になる。グローバル処理，通信は線形ソルバーのみで生じる（図-５）。大規模問題を解析するために、前処理付き反復法を用いた並列線形ソルバーが開発されている。この並列線形ソルバーは、一億自由度の問題をターゲットに、ポータビリティを重視し、F90+MPIにより開発されている。CG、BiCGSTAB、GMRES、GPBiCGなどの反復解法（スカラー、ブロックタイプ）をサポートしている。安定で並列向きな前処理として、オーバーラップつき局所不完全コレスキー/LU分解、点ヤコビ、Block Scaling等もサポートしている。

図-５ GeoFEMにおける並列処理

以下にGeoFEMにおける並列計算の成果を紹介する。

• 最大１億自由度の高並列性能：日本列島域を対象とした長さ 1000km×幅1000km×深さ100km、メッシュ幅3kmの代表的な固体地球解析では、約3000万節点，三次元線形弾性解析の場合約1億元の連立一次方程式を解くことが必要となる。本並列線形ソルバーにより、SR2201（1000 プロセッサ）を用いて、60%以上のスケーラビリティと95%以上のCPU利用率を達成した（図-６）。また同じく一億自由度の波動伝播問題（陽解法）では、98% 以上のスケーラビリティと98%以上の CPU利用率を達成した。これは解析規模、並列性能ともに世界最先端のレベルである。
• 複雑問題での大規模並列計算の達成： 固体地球システムをシュミュレーションするためには、非線形で複雑な問題を解析する必要がある。特に、固体地球シュミュレーションの分野で重要な断層の接触解析問題は、解析が非常に困難である。このような非線形問題に対して、拡大ラグランジェ法を使用した非線形解析アルゴリズムとブロック前処理を導入した反復法による線形ソルバーを開発し、効率的な解析を可能とした。また、工学から固体地球物理の広範囲な問題に渡り、複雑な問題において100万自由度規模の並列解析を達成した（図-７）。

図-６ GeoFEMによる、一億自由度解析

図-７ 有限要素解析モジュールの工学系問題に対する機能拡張： GeoFEMの非線形解析で、熱弾塑性解析を取り上げ、管板構造の大規模非弾性解析を実施。

（２）GeoFEMにおけるベクトル計算

　地球シミュレータを目指した線形ソルバーのベクトル化を実施した。ベクトル化においては、有限要素法のような非構造格子においても最大性能が発揮できるマトリクス格納方式（DJDS）とオーダリング手法（RCM　+　Cyclic Multicolor ）を採用し、問題規模0.20MDOFsで、NEC-SX4（JAERI/CCSE　２×３PEs、12Gflops Peak）単体 CPUのピーク性能の50%（970Mflops）に達する演算速度を得た。

　また、マトリクスの生成・組み立て部分においても、要素ループの最内側への入れ替えと、その再起参照の回避により、問題規模0.164MDOFsで、NEC-SX4単体 CPUのピーク性能の37%（737Mflops）に達する演算速度を得た（表-１）。

表-１ GeoFEMでのベクトル性能

（３）GeoFEMにおける地球シミュレータ上での演算速度予測

　性能評価ツール Vampire、Dimeasを用い、640ノードでの並列化効率を、T3Eの結果から推定し0.801とし、文献、SR8000の実績に基づきノード内8PEの並列化効率を0.8と仮定し、SX-4仕様・実績を参照し1PEのベクトル性能を49%とし、地球シミュレータ（ピーク性能40Tflops）におけるGeoFEMの実行演算速度予測を行ない、12.6Ｔflops の予測値を得た。さらに共有メモリユニット内の並列化に関する検討、地球シミュレータの特徴である単独ベクトルプロセッサ、共有メモリユニット内並列、共有メモリユニット間並列の3段階の並列性に関するGeoFEMの特性の検討を実施し、地球シミュレータに向けた最適化の準備を進めている。

　さらに、並列線形ソルバーに関しては、SMPクラスタ用ソルバー（Hitachi SR8000）、接触問題向け専用ソルバー・パーティショナー、マルチグリッドソルバー等多くの研究開発が進んでいる。