2024年9月17日、国立情報学研究所（NII）の大規模言語モデル研究開発センター（LLMC）が、大規模言語モデルのプレビュー版「LLM-jp-3 172B beta1」を公開しました。

LLMCでは、オープンかつ日本語に強いGPT-3級大規模言語モデル「LLM-jp-3 172B」の開発を進めています。プレビュー版は目標学習量の約三分の一まで行った段階のもので、「LLM-jp-3 172B」の公開は2024年12月頃を予定しているとあります。

なお、モデルの構築に当たり、国立国会図書館（NDL）は国立国会図書館インターネット資料収集保存事業（WARP）で収集保存したファイルのURLリストをNIIに提供し、事業に協力しています。

約1720億パラメータ（GPT-3級）の大規模言語モデルのフルスクラッチ学習を行い、プレビュー版「LLM-jp-3 172B beta1」を公開～学習データを含めすべてオープンにしたモデルとしては世界最大〜（NII, 2024/9/17）
https://www.nii.ac.jp/news/release/2024/0917.html
https://www.nii.ac.jp/news/upload/nii_newsrelease_20240917.pdf
※二つ目のURLはプレスリリース[PDF：5ページ]です。

LLM-jp-3 172B: オープンかつ日本語に強いGPT-3級大規模言語モデル（LLMC）
https://llmc.nii.ac.jp/topics/llm-jp-172b/

国立情報学研究所が大規模言語モデル（LLM）のプレビュー版を公開しました（NDL, 2024/9/17）
https://www.ndl.go.jp/jp/news/fy2024/240917_01.html

参考：
国立情報学研究所（NII）、2024年度軽井沢土曜懇話会第1回「AIはどうして急に賢くなったのか、これからどうなるのか」の動画を公開 [2024年09月03日]
https://current.ndl.go.jp/car/225017

国立国会図書館（NDL）、国立情報学研究所（NII）における大規模言語モデル構築に協力すると発表 [2024年02月05日]
https://current.ndl.go.jp/car/209858