ホーム > 活動情報 > 大規模データ処理システム最適化WG > 活動計画

大規模データ処理システム最適化WG 活動計画

活動方針

 近年の基礎科学プロジェクトの大規模化に伴い、実験・観測装置から産出されるデータ量は加速度的に増えている。国際研究の枠組みにおいては、PBクラスに及ぶ大量データを結果の品質保証を含め短期間に処理しなければ、競争力を持つ科学的成果を上げることは難しい。しかし各研究機関では、限られた予算と時間の中で構築した必ずしも最適ではない計算機システムにおいて苦心して解析処理を行っている実情がある。また、手作業によるリソース割り当てや結果確認など、計算機の効率の問題に加えて人が介在する作業のオーバーヘッドも無視できない。
 大規模データ処理を伴う研究が発展を遂げる中で、高速なデータ処理を実現するためには、必要とされる処理とそれに伴うデータ入出力に応じた計算機システムの構成を最適化するとともに、与えられたシステムのリソースを効率的に使い切るためのプロセス割り当ての最適化の双方が必要である。また、機械学習などの技術を用い、プロセス実行や解析処理の異常検知、品質評価などの科学的スキルを要する作業を、トレーサビリティを確保した上で自動化・効率化することも有効と考えらえる。
 こうした現状を鑑みて、本WGではいくつかの分野において、大規模データ処理のシステムおよび処理手順の最適化に対する要求や技術上の課題を整理し、最新のHPC・ファイルシステム技術、また機械学習等の作業支援技術を調査した上で、それぞれの要請に適した技術の提案を行い、既存技術の課題や今後の方向性について議論を行う。

活動内容

 WG前半では、様々な分野・サイトについて、大規模なデータ処理を扱うシステム設計や運用の具体的な必要事例と最適なシステムの構築・運用に関する課題・要求を調査し整理する。また、それらの課題・要求に対応した現在のシステム構築・運用技術に関する技術や将来動向を調査する。調査においては特に、ユースケースに応じた計算機・ストレージ構成、深層強化学習などを活用した計算機資源を効率的に使うためのプロセスとデータ入出力の管理、データの利便性とその長期保存および活用戦略(メディア、圧縮技術、保存すべきデータと方法を含む)やセキュリティを整合的に実現するシステム設計、等の観点に着目する。
 WG後半では、調査した技術と課題・要求との隔たりを整理し、必要とされる技術の検討、ならびにシステム設計・運用のあり方についてまとめる。また、解決できる可能性のある課題・要求については、技術の応用方法も検討し提言する。

進め方

  • 活動期間:2年間程度(2018年9月〜2020年8月)
  • 会合開催:年4回、計8回程度

SS研について

イベント情報

研究会活動

資料アーカイブ

情報発信

リンク集




鍵マークがついている情報の閲覧にはWebサイトIDが必要です。登録/変更ページへ
Webサイト閲覧時にIDが必要なページには、鍵マークが付いています(当CD-ROM内では不要)。
コンテンツの最新/詳細情報は、SS研Webサイトをご覧下さい。
All Rights Reserved, Copyright© サイエンティフィック・システム研究会 1996-2023