サイバーエージェント、日本語特化の大規模言語モデルを開発

サイバーエージェントは11日、独自の日本語LLM(大規模言語モデル)を開発したと発表した。同モデルは130億パラメータまでの開発が完了し、同社の「極予測AI」「極予測TD」「極予測LP」などAIを活用した広告クリエイティブ制作領域のサービスで活用している。

ChatGPTなどの生成AIの注目が高まっている中、その基盤となるLLMにおいても、Open AIのGPT-4、GoogleによるPaLM/PaLM 2、MetaのLLaMAなど開発競争が続いている。LLMでは世界的な開発・活用が進んでいるが、既存のLLMの多くはは英語を中心に学習されており、「日本語や日本文化に強いLLMは少ない」(サイバーエージェント)とする。

サイバーエージェントでは、同社の大規模な日本語データを活かし、日本語に特化した独自モデルを開発したことで、従来よりも自然な日本語の文章生成が可能となると説明。国内初導入した「NVIDIA DGX H100」を活用し、国内最大級のLLM開発などを予定している。また、広告制作のみならずチャットボットやRPAなど、業界特化型のLLMの構築や、各企業と連携したLLMを活用したビジネス開発の推進等も目指す。