楽天、政府のAI支援「GENIAC」に採択　より高効率な日本語LLM開発

楽天グループは、経済産業省と新エネルギー・産業技術総合開発機構(NEDO)が推進する、生成AIの開発力強化プロジェクト「GENIAC(Generative AI Accelerator Challenge)プロジェクト」の第3期公募に採択された。これにより楽天は2025年8月から「長期記憶メカニズムと対話型学習を融合した最先端の生成AI基盤モデルの研究開発」を開始する。

楽天は、2024年3月から、日本語に最適化した大規模言語モデル(LLM)の開発を開始。開発当初からコスト効率が重視されており、「Rakuten AI 2.0」のような小規模で高効率なLLMの開発を行なっている。

同モデルは、Mixture of Experts(MoE)アーキテクチャを採用し、「エキスパート」と呼ばれる複数のサブモデルで構成。クエリ処理時には関連する一部の「エキスパート」のみを稼働させるため、従来の高密度モデルと比較して運用コストを大幅に削減できる。

今回の研究開発では、既存のLLMでは難しかった、より長く複雑な日本語の文脈に合わせた処理が可能で、従来よりもさらに高度なLLMの開発を目指す。言語モデルのメモリ機能を大幅に拡張する新たな技術を組み込むことで、応答生成時にアクセス可能な情報量が飛躍的に増加するという。

これらの技術を活用し、生成AIのメモリに関する既存の制約を克服することで、情報再現率と性能を大幅に向上させたモデルの開発を推進する。

経済産業省とNEDOは、生成AIに関する開発力を国内に形成するため、2024年2月から「GENIAC」プロジェクトを推進。基盤モデルの開発に必要な計算資源の提供支援やコミュニティの運営等を行なってきた。

第1期(開発期間:2024年2月から8月)では計10件、第2期(開発期間:2024年10月から2025年4月)では計20件の基盤モデル開発を支援している。第3期では楽天のほか、PFNやSansan、Turing、リコーなど24社が採択されている。