研究成果

LLM-jp-3 シリーズ instruct2, 3 の公開

大規模言語モデル研究開発センター（LLMC）ではオープンかつ日本語に強い大規模言語モデルの開発を進めており、2024年9月以降 llm-jp-corpus v3 を用いて訓練した「LLM-jp-3」シリーズの公開を進めて […]

完全にオープンな約1,720億パラメータ（GPT-3級）の大規模言語モデル「llm-jp-3-172b-instruct3」を一般公開～GPT-3.5を超える性能を達成～

LLM-jp-3 172B: オープンかつ日本語に強いGPT-3級大規模言語モデル

大規模言語モデル研究開発センター（LLMC）では、オープンかつ日本語に強いGPT-3級大規模言語モデル「LLM-jp-3 172B」の開発を進めています。このページでは、本モデルの最新の開発状況について継続的にアップデー […]

LLM-jp-3 VILA 14B の公開

大規模言語モデル研究開発センター（LLMC）では、オープンかつ日本語に強い基盤モデルの開発を進めています。このたび、LLMCで開発された LLM-jp-3 13B をベースに、画像も入力できるように拡張したマルチモーダル […]

LLM-jp-3 172B beta2 の公開

大規模言語モデル研究開発センター（LLMC）ではオープンかつ日本語に強いGPT-3級大規模言語モデル「LLM-jp-3 172B」の開発を進めています。 このたび、目標学習量の約3分の2にあたる1.4兆トークンを学習した […]

LLM-jp-3 172B alpha1, alpha2 の公開

大規模言語モデル研究開発センター（LLMC）ではオープンかつ日本語に強いGPT-3級大規模言語モデル「LLM-jp-3 172B」の開発を進めています。 このたび、同モデルの開発の初期段階で得られた、学習設定の問題（※） […]

LLM-jp-3 1.8B・3.7B・13B の公開

大規模言語モデル研究開発センター（LLMC）ではオープンかつ日本語に強いGPT-3級大規模言語モデル「LLM-jp-3 172B」の開発を進めています。 このたび、LLM-jp-3 172B の事前学習に使用しているコー […]

約1720億パラメータ（GPT-3級）の大規模言語モデルのフルスクラッチ学習を行い、プレビュー版「LLM-jp-3 172B beta1」を公開～学習データを含めすべてオープンにしたモデルとしては世界最大～