楽天グループ株式会社は、経済産業省および国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）が推進する日本の生成AI開発力強化プロジェクト「GENIAC（Generative AI Accelerator Challenge）プロジェクト」の一環として開発した新たなAIモデル「Rakuten AI 3.0」を発表したことが分かりました。
このモデルはMixture of Experts（MoE）アーキテクチャを採用した日本語大規模言語モデル（LLM）で、生成AI APIを統合した開発用プラットフォーム「Rakuten AIゲートウェイ」の生成AI API群に加わります。また「Rakuten AI」エージェントプラットフォームを通じて、楽天のサービスに順次導入される予定となっています。さらに、来春を目途にオープンウェイトモデルとしての公開も計画されているとのことです。
この記事の目次
日本語に特化した最大規模のLLM
Rakuten AI 3.0は日本語に特化したLLMとして、楽天がこれまでに開発したAIモデルや他のLLMの中でも最大規模となる約7,000億個のパラメータを持つMoE LLMです。このモデルはオープンソースコミュニティ上の最良なモデルを基に、楽天独自の高品質なバイリンガルデータ、技術力および研究成果によって開発されました。そのため、日本の独特な言語のニュアンスや文化、慣習をより深く理解することが可能となっています。
また、パフォーマンスと効率性のバランスに優れており、「楽天エコシステム（経済圏）」のサービスを支える試験において、他社の同規模モデルを使用した場合と比較して、最大90%のコスト削減を実現しているそうです。
なお、楽天は次世代の日本語大規模言語モデルの研究開発のため、本年7月にGENIACの第3期公募に採択されました。Rakuten AI 3.0の学習費用の一部は、生成AI開発に必要な計算資源として、「GENIAC」の補助を受けているとのことです。
楽天グループのChief AI & Data Officer（CAIDO）であるティン・ツァイ氏は「楽天では、小規模なベンチャー企業からグローバルな大企業まで、すべての人々に変革をもたらす高品質でコスト効率の高いモデルの開発に注力しています。この戦略によって、ユーザー体験を豊かにし、価値のあるAIを提供することを目指しています。これまでで最も競争力のある本モデルの導入により、楽天のサービスは新たな段階へと進化します」とコメントしています。
また経済産業省AI産業戦略室長の渡辺琢也氏は「高い性能を持つ大規模で効率的なAIモデル開発という成果を出されたことを歓迎いたします。この成果の社会実装を通じてAIエコシステムを拡大し、日本のAI産業をリードしていかれることを期待しています」とコメントしています。
大規模な事前学習を行った高効率モデル
Rakuten AI 3.0は、計算効率を高めるため、約7,000億個のパラメータのうち、個々のトークンに対して約400億個のパラメータのみをアクティブ化しています。アクティブパラメータには3つの密な層とエキスパートコンポーネントが含まれており、各トークンは常にアクティブな「共有エキスパート」と8つの「専門エキスパート」を経由するとのことです。この構造により、効率的な処理を実現しています。
大規模で複雑なデータセットでの迅速かつスケーラブルな学習を可能とするため、モデルの学習は楽天が設計した社内マルチノードGPUクラスタ上で実行されました。楽天の隔離された安全なクラウド環境に展開しているため、データが外部に送信されることはないとのことです。また、このモデルは日本の市場と楽天のビジネスニーズに最適化された豊富で高品質な独自データを用いてファインチューニングしているため、正確な処理を行うことができます。
最高水準の日本語性能
楽天は、基盤モデルの会話能力と指導追従能力のファインチューニングを行い、ペルソナの採用と維持、説得力のあるブログ記事の作成、専門用語に関する洞察の提供などといった行動におけるモデルの能力を評価する日本語版MT-Benchを使用してモデル評価を行ったとのことです。他の主なモデルや「Rakuten AI 2.0」インストラクションチューニング済モデルなどの楽天の従来モデルとの比較スコアは、以下の表の通りです。
Rakuten AI 3.0 (LLM) と日本語に特化した主なモデルの比較
Rakuten AI大規模言語モデル比較
楽天は、独自のモデル開発を通してLLMに関する知識と専門性を高め、「楽天エコシステム」をサポートするために最適化されたモデルを作成しています。今後も豊富なデータと最先端のAI技術の活用を通じて、世界中の人々へ新たな価値創出を目指していくとしています。
Rakuten AI 3.0の特徴
Rakuten AI 3.0の主な特徴は以下の通りです。
1. MoEアーキテクチャの採用
エキスパートと呼ばれる複数のサブモデルに分割されており、推論とトレーニングの間にエキスパートのサブセットのみがアクティブ化され、入力を処理するために使用されます。
2. 「Rakuten AIゲートウェイ」との連携
生成AI APIを統合した楽天従業員向けのプラットフォームとして、実験・開発・本番運用に必要なAPIを提供します。これにより、従業員は高度なAIエージェントを用いてコーディングおよび非コーディングのタスクを効率化することが可能となります。
3. 「Rakuten AI」エコシステムとの統合
「楽天エコシステム」の重要なゲートウェイとして、ショッピング、金融（フィンテック）、旅行、エンターテインメントといった多岐にわたるサービスとシームレスに連携する先進的エージェント型AIツールとしての機能を持ちます。楽天は、このツールの活用によって、主要サービス全体を横断するタスクを効率的に連携・調整し、一人ひとりのユーザーの好みに最適化したサポートを行っているとのことです。
4. 大幅なコスト削減
従来の同規模モデルと比較して、トークン（入力および出力）あたりにかかる費用を比較した場合、最大90%のコスト削減を実現しています。
5. 基盤モデルとしての拡張性
膨大な量のデータに対して事前にトレーニングされ、その後、特定のタスクやアプリケーションに適応するためにファインチューニングすることができるモデルとなっています。
6. 評価基準としての日本語版MT-Bench
LLM を8つの側面（ライティング、ロールプレイ、推論、数学、コーディング、抽出、STEM、人文科学）で評価するために作られた80の挑戦的な質問からなる自由回答形式の評価データを用いて性能を測定しています。回答に対する評価は、公開リーダーボードに沿って、比較と評価設定の透明性のために、GPT-4（gpt-4o-2024-08-06）を審査員として実施されているとのことです。
これまでに楽天で開発した「Rakuten AI 7B」（約70億パラメータ）や「Rakuten AI 2.0」（約470億パラメータ）と比較しても、Rakuten AI 3.0（約7,000億パラメータ）は圧倒的に大きなモデルサイズとなっており、より高度な言語理解と生成能力を持つことが期待されています。
楽天グループは今後も独自のAI技術開発を進め、様々なサービスへの統合を通じて顧客体験の向上と業務効率化を図っていくとしています。オープンウェイトモデルとしての公開も予定されており、日本語AIモデルの発展に大きく貢献することが期待されています。
出典元： 楽天グループ株式会社 プレスリリース
