印刷用ご案内

SS研HPCフォーラム2023
自然言語処理と高性能計算〜シナジーを探る〜 [開催済]

　深層学習のもたらした第3次AIブームを経て、今まさにAIが予測・認識・判別から生成まで圧倒的な高い知的レベルを達成し、世の中へ絶大なインパクトを与えている。本講演では、大規模言語モデルやChatGPTをはじめとする生成AIの出現を受け、とてつもないスピードで進化するテクノロジーの功罪を理解しどのように対処し活用していくべきなのか、また、どのようにテクノロジーが発展し浸透していくのか、我々の取り組み事例を取り上げながら考察する。

　2022年11月30日にOpenAIからChatGPTが発表されて、瞬く間に世界を席巻した。2023年3月にはChatGPT plusが発表されて、基本的なエンジンがGPT-3.5からGPT-4に変わった。これらの出来事は人類史を変えるイベントであるというのが私の認識である。ChatGPTが発表される以前の世界はBC(紀元前:Before ChatGPT)であると言っても過言でない。現状のGPT-4の知的能力は言語能力においては人間を圧倒しているが論理数学能力では普通の人間と同等程度である。論理数学能力において人間の知的能力を圧倒するようになったものが超知能である。超知能の出現は2029年まで起きるだろうと言うのが私の予想である。そうなると世界は後戻りできない変化を被る。これがシンギュラリティである。シンギュラリティは近い。

　係り受け解析は、言語処理の基礎的手法であると同時に、ヒトとコンピュータが言語の構造を共有する手段の一つである。BERTやGPTに代表される言語モデルの発展により、複数の言語にまたがる解析手法が現実的になってきたが、かえってそれは、言語間の差異を顕わにする結果となった。では、多言語にまたがる係り受け解析は実現可能なのか。HPCは、それにどう寄与しうるのか。本発表では、BERT/RoBERTa/DeBERTaモデルをもとに、多言語にまたがる係り受け解析について考察する。

　ChatGPTに代表される対話型文章生成AIが，研究分野のみならず産業界や一般社会においても注目を集めている．対話型文章生成AIはニューラルネットによる言語モデルを基本（出発点）として幾つかの要素技術の集合体として構築されている．本講演では，対話型文章生成AIを構築する際に用いられる要素技術の集合をおおまかに整理して紹介する．また，各技術の役割や導入背景などを説明し，どのような過程を経て現在の対話型文章生成AIに到達したのかについて説明する．

　近年、大規模言語モデルの飛躍的な発展により、地域に特化した言語（例：日本語）でのモデル構築が盛んとなっている。本講演では、日本語とマルチ言語（英語主体）の混合データセットを用いて、大規模言語モデルを事前学習により構築し、日本語単体データセットでの事前学習と比べた時のパフォーマンス差異を実証する。