ホーム > イベント情報CD-ROMホーム > HPCフォーラム2024 > 講演者プロフィール

[話題提供]
スーパーコンピュータ「富岳」で学習した大規模言語モデルFugaku-LLM

発表者

lecturer
白幡 晃一
富士通株式会社 人工知能研究所
シニアプロジェクトディレクター

[略歴]

2015年3月 東京工業大学 大学院情報理工学研究科 博士後期課程修了 博士(理学)

2015年4月 株式会社富士通研究所 コンピュータシステム研究所 入社

2018年10月〜2021年3月 株式会社富士通研究所 ICTシステム研究所 シニアリサーチャー

2021年4月〜2022年3月 富士通株式会社 ICTシステム研究所 主任研究員

2022年4月〜2023年3月 富士通株式会社 コンピューティング研究所 プロジェクトマネージャー

2023年6月〜2024年3月 富士通株式会社 コンピューティング研究所 リサーチディレクター

2024年4月〜現在 富士通株式会社 人工知能研究所 シニアプロジェクトディレクター

 

[研究分野、研究テーマ]

・深層学習や構造解析・流体・量子化学シミュレーションの高速化

・性能と信頼性を両立する大規模言語モデル・生成AIの開発

 

[所属学会、受賞歴、著書など]

・情報処理学会

・2020年、2021年スーパーコンピュータ「富岳」およびABCIを用いて機械学習処理性能ベンチマークMLPerf HPCで世界最高性能を達成

[アブストラクト]

日本のトップスパコンである「富岳」では元々大規模言語モデル(LLM) 等の大規模深層学習モデルの学習は想定アプリケーションでなかったため、それに向けた性能最適化は実装されていなかった。大規模深層学習モデルを開発するための計算環境を整備するため、「富岳」を活用したLLMの分散並列学習手法として、「富岳」上で深層学習フレームワークを用いた大規模分散並列実行の性能を最適化し、日本語を中心とした独自のデータで一からLLMを学習した。

[キーワード]

「富岳」、大規模言語モデル、分散並列学習、生成AI、深層学習


SS研について

イベント情報

研究会活動

資料アーカイブ

情報発信

リンク集




鍵マークがついている情報の閲覧にはWebサイトIDが必要です。登録/変更ページへ
Webサイト閲覧時にIDが必要なページには、鍵マークが付いています(当CD-ROM内では不要)。
コンテンツの最新/詳細情報は、SS研Webサイトをご覧下さい。
All Rights Reserved, Copyright© サイエンティフィック・システム研究会 1996-2024