マイクロソフト、小規模モデルでo1-mini超えの推論「Phi-4-reasoning」

マイクロソフトは、2024年12月に公開した「Phi-4」の推論能力を強化した小規模言語モデル「Phi-4-reasoning」「Phi-4-reasoning-plus」「Phi-4-mini-reasoning」の3モデルを公開した。

推論モデルは、複数ステップの分析と内省が必要な複雑なタスクが必要で、従来は大規模言語モデルでしか実現できなかった。Phi-4は知識蒸留・強化学習・高品質データの活用により、小規模ながらも大規模言語モデルに匹敵する推論能力と、高いレスポンス性を備えるという。

「Phi-4-reasoning」は、140億パラメータのオープンモデルで、数学や科学、コーディングなど多様な分野の推論タスクにおいて大規模言語モデルに匹敵する性能を発揮する。OpenAI o3-miniによる高品質な推論データによる教師ありファインチューニングによって訓練され、詳細な推論過程を生成できる。

Phi-4推論のパフォーマンス

「Phi-4-reasoning-plus」は、Phi-4-reasoningの能力をさらに強化し、強化学習によって追加の推論時計算リソースを活用できるよう訓練されたもの。推論時にPhi-4-reasoningの1.5倍のトークンを使用し、より高い精度を実現する。

「Phi-4-mini-reasoning」は、38億パラメータの軽量モデルで、計算資源や遅延が限られた環境でも高品質な数理推論を提供する。Deepseek-R1モデルが生成した合成データでファインチューニングされており、効率性と推論能力のバランスを実現。教育や組み込み用途、エッジ・モバイルシステムなどでの利用に適している。

Phi-4-mini-reasoningのパフォーマンス

これらは、OpenAI o1-miniやDeepSeek-R1-Distill-Llama-70Bなどの大規模モデルを多くのベンチマークで上回り、AIME 2025(米国数学オリンピック予選)でも優れた成績を収めた。また、Windows 11搭載PCやCopilot+ PCのNPU向けにも最適化され、ローカル実行やアプリ組み込みも可能になっている。