AIりんな開発元、日本語に特化した36億パラメータのGPT言語モデルを公開

「AIりんな」などを手掛けるrinna株式会社は17日、日本語に特化した36億パラメータのGPT言語モデルをオープンソースにて公開した。

rinna株式会社は2015年にリリースされ大きな話題を呼んだ女子高生AI「AIりんな」の開発元としてマイクロソフトから分社した企業。同社は「人とAIの共創世界」をビジョンに掲げ、これまでも日本語に特化した事前学習モデルを公開しており、Hugging Faceでのモデルダウンロード数は累計160万を超え、多くの研究開発者に利用されている。そしてこの度、日本語に特化したGPT(Generative Pre-trained Transformer)言語モデルが「rinna/japanese-gpt-neox-3.6b」としてオープンソースにて公開された。

大規模言語モデルを学習するためには大量の計算資源が必要とされており、多くの研究機関や企業が事前学習した大規模言語モデルを公開しているものの、それらは英語に特化していることが多く、日本語特化のものは少ない現状にある。こうした背景から同社は以前公開していたGPTモデル比で約3倍にあたる、36億パラメータで構成されたGPT言語モデルの公開に至ったという。

同時に対話に特化したモデル「rinna/japanese-gpt-neox-3.6b-instruction-sft)」も公開され、こちらを使うとChatGPTのように質問への回答を提案してくれる。

「ユーザー: 日本のおすすめの観光地を教えてください。
システム: どの地域の観光地が知りたいですか？
ユーザー: 渋谷の観光地を教えてください。
システム:」

『分かりました。いくつかのおすすめを紹介します。
1. ハチ公像です。ハチ公像は、日本の観光スポットの1つとして人気があります。
2. スクランブル交差点です。多くの人々が行き交う大きな交差点で、観光客に人気のスポットです。
3. 109です。109は、ショッピングやエンターテイメント施設です。
4. 道玄坂です。道玄坂は、日本の商業地区である坂道です。』

・汎用GPT言語モデル（Hugging Faceリンク）：
https://huggingface.co/rinna/japanese-gpt-neox-3.6b

・対話GPT言語モデル（Hugging Faceリンク）：
https://huggingface.co/rinna/japanese-gpt-neox-3.6b-instruction-sft