SS研HPCフォーラム2014 分科会レポート
Bridge to Exa 〜アプリケーションの観点から〜
SS研フォーラム2014が8月26日、汐留にある富士通株式会社の大会議室で行われ、約160人が参加した。海外招待講演を含む5件の講演があり、「京」におけるアプリケーションの具体的な成果が紹介された。フォーラムのタイトル「Bridge to Exa 〜アプリケーションの観点から〜」とあるように、エクサスケールのスーパーコンピュータに対する各分野の期待が述べられた。
村上和彰SS研会長(九州大学)による開会あいさつで、ポスト京に向けて「社会インフラ、公共インフラとしてのスパコン」という観点から議論されている話が出たように、公共財としてのスーパーコンピュータのあり方についても考えさせられるフォーラムとなった。
The K computer as an instrument to study brain-scale neuronal networks at microscopic resolution
講演はMarkus Diesmann氏による神経科学、脳科学におけるシミュレーションの話題からスタートした。Diesmann氏が所属するJülich Research Centreは、5,000人以上が在籍する学際的な研究機関だ。近隣には3つの主要な大学もある。Jülich Research Centreではスーパーコンピュータ「JUQUEEN」が稼働している。JUQUEENは2013年2月に先代のJUGENEに代わり導入された。458,752コア、5.9PFLOPSの計算性能があり、2014年6月のTOP500では第8位(ヨーロッパで2位)となっている。
Jülich Research Centreの紹介に続き、今回のシミュレーションの背景となる、ヨーロッパにおける巨大プロジェクトThe Human Brain Project(HBP)の紹介が行われた。脳では、1,000億個(1011個)ものニューロン(神経細胞)に、それぞれ1万個というオーダーでシナプスが結合している。脳については分子レベルから脳のサイズまで、さまざまな階層での研究が進められているが、研究の階層間をつなぐ「橋」が無かったり、分子レベルでのメカニズムがまだよくわかっていなかったりといった課題がある。そんな中、HBPは「EU FET (Future and Emerging Technologies) Flagships」の「大規模で学際的かつ1つのゴールに向かう科学」という政策方針のもと、2013年10月にスタートした。HBPは神経科学それ自体を行うというよりは、研究インフラの整備が目的であり、30カ月で5,400万ユーロの予算が下りる予定だ。80の機関、150人のPI、2,000人のPhD、20のヨーロッパの国々が参加している。大型加速器LHCのような、100を超える国家が関わり、1万人の研究者が集うコラボレーションを目指すという。
神経科学のシミュレーションではメモリを大量に必要とするため、スーパーコンピュータの使用が不可欠だ。神経回路の最大のシミュレーションとして、「京」では1.86×109個のニューロンと、それぞれのニューロンに対して6,000個のシナプスという規模での計算を行った。この成果は2013年8月、Jülich Research Centre、沖縄科学技術大学院大学(OIST)と理研の共同でプレスリリースもされている。
JUQUEENでも、1.08×109個のニューロンと、それぞれのニューロンに対して6,000個のシナプスという規模での計算が行われている。1秒間の活動に相当するシミュレーションを行うために、JUQUEENでは8〜41分、京では6〜42分かかり、そのうちネットワークの構築に3〜15分がかかったという。高速化のためにはマルチスレッド化や、データ構造の見直しが課題として挙げられるが、エクサスケールでは、シミュレーションの高速化に期待がかかるとしていた。使用しているアプリケーション「NEST」はオープンソースなソフトウェアで、http://www.nest-initiative.org/ から入手できる。
京を使った高解像度全球大気シミュレーションの成果とこれからの展望
続いて行われたのは、理化学研究所の富田浩文氏による気候・気象シミュレーションについての講演。中緯度におけるマッデン・ジュリアン振動(MJO)の予測と、全球を1kmを下回るメッシュ間隔にまで細かく分割した高解像度な対流シミュレーションの2本立てで行った。どちらも「京」を用いた研究成果である。気候シミュレーションで計算量が増大する要素は大きく分けて3つある。(1)高解像度化、パラメータに頼らず、原理的なところからの計算、(2)モデル要素の複合化・精緻化、(3)アンサンブル数の増大、積分期間の延長。これらのバランスが重要だと話した。
MJOは熱帯地方で起こる大規模な大気振動現象で、最近では2013年のジャカルタ、2014年のソロモン諸島で数万人規模の被災者を出した豪雨の原因となったものだ。日本とも無関係ではなく、例えば2011年の秋の異常高温と、厳冬はMJOの影響によるものだという。そのため、MJOの予測精度が上がれば、日本を含む中緯度の気候の予測精度向上にもつながる。
2007年、地球シミュレータで世界に先駆けてMJOを再現し、「可能性」を示した。しかし、「1発ランでは科学的にならない」。そして2014年、「京」で19事例、54本のシミュレーションを行い、MJO予測性能の調査を行った。富田氏はこれを「可能性を示すデモンストレーションから真の科学的成果への昇華」だと話した。
次に紹介された、1kmを下回る格子サイズでの積雲対流の描像は、「京」で「どこまでできるか」にチャレンジしたもの。「京」全ノードのおよそ1/4を使い、水平方向は860mのメッシュ、垂直方向は100のレベルに区切った。1km未満の全球シミュレーションは他にないという。富田氏は「大道芸」と喩えたが、耳目を集めるものであり、次世代のスーパーコンピュータでの先端的成果を先取りするものだ。雲はパラメータによって統計的に表現していたものを、細かい格子で直接表現することで不確定性を排除。雲を精緻に描写することで、地球シミュレータで行った3.5kmの格子間隔では見えてこなかった、台風の二重眼のような精緻な構造が見られるようになった。また、複数の解像度でシミュレーションを行ったことで、全球シミュレーションでは2.0km以上の格子サイズを用いることで、現実的な雲の再現ができるということも分かった。
今後、計算機の性能が発展していくことで、高解像度化、より多くの計算のアンサンブルとデータ同化、より高度化された物理過程の導入といった期待がかかる。中でも富田氏が目論んでいるのは、全球での高解像度な乱流モデル(LES)の計算だ。エアロゾルによる複数の間接効果を計算することで、雲の再現度を上げようと試みている。希望的な観測も含むが、エクサスケールになると真の雲解像が再現可能になり、完全な全球LES をするためには100EFLOPSの能力が欲しいと話した。
京スパコンを活用した自工会のCAE先端技術検証活動について
午後の最初の講演は、日本自動車工業会(自工会)の梅谷浩之氏による「京スパコンを活用した自工会のCAE先端技術検証活動について」。CAEとは、Computer Aided Engineeringの略で、設計支援システムや、シミュレーションを指す。自工会には、日本に生産工場を持つ自動車・二輪のすべての会社(14社)が所属している。自動車業界では、各社のスパコンの性能に応じて、1970年代からは強度・振動、1980年代からは衝突、1990年代からは流体のシミュレーションが行われてきた。環境・安全の規制が強化される中、開発期間と費用面からも、さまざまな条件での性能確認と安全対策のためのシミュレーションは今や必須のものとなった。自工会では、10年後には各社が「京」と同等のスーパーコンピュータを導入できると見込み、10年後のためのシミュレーション技術の開発を目的として「京」を利用している。
自工会では、国のスパコンを使うにあたり、フランスの枠組みを参考にした。フランスでの国家プロジェクトスパコンの民間利用は、テクノロジ、プラットフォーム、アプリケーション、コンサルタントが自国で行われる、オールフランス体制になっている。しかし、日本の場合、アプリケーションは海外製のものを使わざるをえないのが現状。「京」では当初、なかなか上手くソフトウェアが動かなかったが、自工会がコンサルタントの役割を担い、富士通や海外ベンダーと協力し、自社スパコンでは実施できない先端的なアプリケーションの「京」への移植と高速化に努めた。
プレゼンでは「京」で行ったシミュレーションを4種類紹介したが、ここではその1つ、自動車と自転車との衝突解析を紹介する。このシミュレーションでは、自転車乗員まで含めた解析を、衝突実験を車種ごとに約400ケースずつ行った。長い衝突時間の解析も必要になり、車両の前面衝突だけのシミュレーションに比べて、計算量が膨大になる。計算の結果、自転車乗員の頭部と、路面や車体との衝突の様子を再現。自転車乗員の頭部保護評価へと繋げられるようになった。
今後は環境シミュレーションなど分野を広げて活動を継続していく予定である。また、エクサスケールのスーパーコンピュータでは、設計案を即時評価できるようなリアルタイムシミュレーションや、「車まるごとシミュレーション」を目論む。現在は衝突や振動などをそれぞれ異なるモデルでシミュレーションを行っているが、将来は、あたかも試験車1台のように、共通のモデルで計算できるようにしたいと話した。
新ベンチマークプログラム:HPCGの概要と「京」における性能
続いては、理化学研究所の南一生氏による、「新ベンチマークプログラム：HPCGの概要と「京」における性能」と題した講演。公の場で「京」のHPCGにおけるチューニングについて話されるのは、これが初めてのことだ。HPCG(High Performance Conjugate Gradient)は、スーパーコンピュータの世界ランキング「TOP500」で使われているベンチマークプログラム「LINPACK」の開発者として知られるJ. Dongarra氏が提唱する、新たなベンチマークプログラムである。
なぜLINPACKを使い続けるのではいけないのか。TOP500プロジェクトが発足したのは1993年で、既に20年以上が経過している。「わかりやすさ」「システム最大性能との線形相関」といったメリットはあるものの、現在は実アプリケーションとの乖離や、実行時間の長さと言った問題点が指摘されている。「京」における実行時間は29時間かかっているのだ。
2014年3月に行われたHPCGワークショップでは、HPCGは「LINPACKを置き換えるものではない」とされた。たとえば、TOP500のリストに列を追加して、HPCGのスコアを表示することが提案されたという。
LINPACKは大規模密行列の連立一次方程式の並列直接解法で、行列行列積の計算が中心。一方、HPCGは大規模疎行列の連立一次方程式の並列反復解法で、疎行列ベクトル積が中心となる。HPCGベンチマークでは、LINPACKと比べてメモリアクセスと通信の比重が高く、より高いメモリ性能やLINPACKとは異なる通信性能を要求する。
6月に行われたISC '14では、HPCGのミニリストが発表された。「京」はTOP500で2位のTitanを抜いて、Tianhe-2に次ぐ2位にランクイン。チューニングの甲斐もあってか、HPCG/HPL性能比4.1%は、上位5位以内の他のマシンがいずれも1%台なのと比較すると、群を抜いて高い数値だ。ランキングはISCでは参考として発表されたものだが、11月に行われるSC '14では正式なベンチマークになる予定だという。
PRIMEHPC FX10後継機開発の取り組み
最後の講演は、新庄直樹氏(富士通株式会社)による「PRIMEHPC FX10 後継機開発の取り組み」。現行のPRIMEHPC FX10は、「京」で開発した技術をベースにした商用機である。その後継機を現段階では「Post-FX10」と呼称している。Post-FX10は2014年中に出荷開始が予定されている。後継機ということで、「京」やFX10でのアプリケーションを(リコンパイルやチューニングの必要はあるものの)そのまま利用できる。
Post-FX10は、FX10に比べて、CPU・インターコネクト性能の向上、高実装密度、省電力であることがアピールポイントだ。CPUは「SPARC64 XIfx」に変更。SIMD幅の倍増他によって、ベクトル代入などの基本演算のコアあたりの性能が、FX10のおよそ3倍に向上したと話した。
インターコネクトは「京」とFX10で採用されていた「Tofu」を改良して「Tofu2」に。Tofu同様の6次元メッシュ/トーラスで概念図に変化はないが、CPUに内蔵されるようになり、リンクバンド幅・ノードバンド幅も強化された。メモリもHMC(Hybrid Memory Cube)を採用したことで、ノードあたりのメモリスループットがFX10から3〜4倍に向上した。また、シャーシ間の接続に光通信が採用され、全体の2/3の光化が行われた。
ほかに、メモリや光モジュールに対しても水冷が可能になり、システムの水冷率は90%になったという。
今後のエクサに向けた開発については、高性能・省電力テクノロジの開発に力を入れて、国のスパコン開発プロジェクトへ参画を目指すと話した。
閉会
フォーラムの最後に、担当幹事の姫野龍太郎氏(理化学研究所)から「脳のシミュレーション、気象、産業界での利用、新しいベンチマークプログラム、新製品と、幅広い話題でトピックスを用意させていただいた。来年のフォーラムに向けて、アンケートで忌憚のない意見を聞かせて欲しい」と挨拶があった。その後の懇親会にも多数の参加者が集まり、各テーブルで活発な意見交換が行われていた。
以上
SS研facebookページへ