2024年3月にサカナAIが複数技術を掛け合わせる技術を発表しました。AIを短時間で掛け合わせることを繰り返して進化させることで、従来かかっていた開発に要する時間を大幅に短縮する可能性があるようです。
通常、生成AIの開発には膨大な学習データや高機能な半導体が必要ですが、サカナAIは従来とは異なる技術を用いて生成AIを開発します。今回はサカナAIが開発した技術「進化的モデルマージ」の仕組みや特徴・構築した日本語モデルなどを詳しく解説します。
そもそもサカナAIとは
サカナAI(Sakana AI)とは、東京にあるAI企業です。2023年8月に元GoogleのAI研究者であるLlion Jones氏とDavid Ha氏によって設立されました。
サカナAIの名前の由来は日本語の「魚」から来ており、魚の群れのようにそれぞれの能力は異なるものの、1つにすることで大きな存在となり機能するAIの技術を目標としています。サカナAIは約45億円の資金調達を発表し、NTTグループ・KDDI・ソニーグループなど日本の大手企業からも出資を受けると発表されました。
サカナAIが開発した進化的モデルマージ
サカナAIが開発した技術は、世界初の大規模言語モデル(LLM)です。進化的モデルマージと呼ばれる既存の複数のモデルを統合(マージ)し、アルゴリズムを組み合わせた新しいモデルです。
サカナAIは進化的モデルマージを用いて、日本語のモデルと数学に特化しているモデルを統合し、日本語で数学の問題を解答することができる技術を開発しました。進化的モデルマージは従来の開発のように大量のデータを用いて学習させる必要もないため、短時間かつ低コストで開発することが可能です。
進化的モデルマージの仕組み
サカナAIが開発した進化的モデルマージの仕組みは以下の通りです。
- 複数のAIモデルを用意します。
それぞれのモデルは異なる構造や専門領域を持っているのが特徴です。 - それぞれのAIモデルを評価します。
評価基準はタスクの性質で異なりますが、精度や速度・効率などが評価されるようです。 - 評価結果に基づいたAIモデルの組み合わせを生成します。
この時に進化的アルゴリズムを用いて、最適な組み合わせを選びます。 - 生成されたAIモデルの統合を繰り返します。
- 最適なAIモデルの統合を見つけるまで続け、高性能なモデルを生成するのです。
進化的モデルマージの特徴
サカナAIが開発した進化的モデルマージには以下のような特徴があります。
- 人間の手を使わず最適なAIモデルを見つけることができる
- 異なった性質のAIモデルを組み合わせることができる
- 従来のAIモデルより高性能なAIモデルを生成できる
以下でそれぞれの特徴を詳しく見ていきましょう。
人間の手を使わず最適なAIモデルを見つけることができる
従来のAIモデルを開発する技術では人間がそれぞれのAIモデルの性能を評価し、最適な組み合わせを選択していました。一方、進化的モデルマージはアルゴリズムなどを用いてAIが自動的に最適な組み合わせを選ぶことができるため、人間の手を使うことなく負担が軽減できます。
異なった性質のAIモデルを組み合わせることができる
従来のAIモデル技術では、同じ構造を持ったAIモデル同士しか組み合わせることができませんでした。しかし、進化的モデルマージは、異なった構造や専門領域を持つAIモデル同士を組み合わせることが可能です。
そのため、従来のAIモデル融合技術よりさらに幅広い知識を持った高性能なAIモデルを生成することができます。例えば、画像認識のAIモデルと自然言語処理のAIモデルを組み合わせ、画像キャプション生成の処理ができるAIモデルを生成することが可能です。
異なるAIモデルを組み合わせることで、それぞれの弱点を補いながら性能を向上させることも期待できます。
従来のAIモデル融合技術より高性能なAIモデルを生成できる
進化的モデルマージは複数のAIモデルを組み合わせることで、過学習を防ぐことが可能です。過学習とはAIがデータを学習しすぎたため、未知のデータに対して分析する力が下がってしまうことを指します。
従来のAI技術は、過学習しやすいという問題がありました。しかし、進化的モデルマージは複数のAIモデルを組み合わせて学習することで、データの偏りがなく汎化性の高いAIモデルを生成できるのです。
進化的モデルマージで構築した高性能な日本語モデル
先述したように、サカナAIは進化的モデルマージを用いた日本語モデルを開発しています。現在構築されているのは以下の日本語モデルです。
| 特徴 | 活用例 | オープンソース化 | |
| EvoLLM-JP | 数学に特化した日本語の大規模言語モデル | 数学学習の支援・個別指導 問題集作成・数学論文の執筆 | ◯ |
| EvoVLM-JP | 日本語で対話できる 画像言語モデル | 学習教材・画像クイズ 商品画像の説明文作成 | ◯ |
| EvoSDXL-JP | 日本語の高速画像生成モデル | イラスト作成・画像編集 画像キャプション生成 | ー |
以上の3つの日本語モデルのうち、EvoLLM-JPとEvoVLM-JPはオープンソース化されており、GitHubで一般公開されています。以下でそれぞれの特徴を詳しく解説します。
【EvoLLM-JP】数学に特化した日本語の大規模言語モデル
EvoLLM-JPは、日本語のモデルと数学に特化しているモデルを組み合わせています。EvoLLM-JPは数学の問題を正確に解答しつつ、自然な日本語で数学の説明をすることが可能です。EvoLLM-JPは数学に特化した専門知識を持つため、数学記号や数式・数学特有の用語を理解しており、算数や統計など様々な数学分野に対応しています。
ちなみに、数学が関係しない通常の質問などにも自然に回答することができます。EvoLLM-JPは数学を学習する際の補助や個別指導・問題集の作成・数学論文の執筆・データ分析などでの活用が期待されるでしょう。
【EvoVLM-JP】日本語で対話できる画像言語モデル
EvoVLM-JPは、英語の画像言語モデルと日本語モデルを組み合わせているモデルで、日本語で画像に関する質問に回答できます。例えば、画像に対する事実確認や複雑な説明など自然な表現で対応することができるでしょう。
EvoVLM-JPは日本文化や習慣に関する知識を持っているのが特徴で、神社などの日本特有の画像の意味や歴史などの質問にも回答することができます。EvoVLM-JPは、進化的モデルマージにより高精度かつ高速度で画像処理と日本語処理を行うことができるのです。
子供たちの学習教材や画像クイズなどのコンテンツ開発・商品画像の説明文作成・画像検索の精度向上などでの活用が期待されます。
【EvoSDXL-JP】日本語の高速画像生成モデル
高速な日本語の動画を生成するEvoSDXL-JPは、日本語のSDモデルです。SDモデルとは、システムダイナミクス(System Dynamics)に基づき構築された複雑なシステムを予測するためのモデルです。
EvoSDXL-JPは、日本語モデルと画像生成モデルを組み合わせています。日本語テキストを条件としたイラスト生成・画像編集・画像キャプション生成など様々な分野に応用することができ、今後の性能向上が期待されます。
サカナAIの今後の展望
サカナAIはAI技術を活用して、人々の生活を豊かにするサービスを提供することを目指しています。今後、以下のような分野に注力していく予定のようです。
- 進化的モデルマージ技術の研究開発に注力
- 様々な実社会の課題解決
- AI技術の民主化を図る取り組み
それぞれの項目を具体的にみていきましょう。
進化的モデルマージ技術の研究開発に注力
サカナAIは、画像・音声・言語理解などの複数の情報を統合的に処理する進化的モデルマージの研究開発に注力していくようです。進化的モデルマージの進化により、人間に近い自然なコミュニケーションを実現したり、複雑な問題を解決したりする可能性を秘めています。
様々な実社会の課題解決
サカナAIは、進化的モデルマージによるAI技術を社会全体の持続可能な発展に貢献することを目指しています。そのため、医療・教育・エンターテイメントなど、様々な実社会の課題解決に役立てていくことが期待されるでしょう。
例えば、医療分野では画像診断や音声認識技術を用いて、高精度の診断や治療を提供することが可能になります。
AI技術を民主化を図る取り組み
サカナAIはAI技術を誰でも利用できるように、AIモデルをオープンソース化しており、世界中の開発者がアクセスできるようになっています。オープンソースとは、ソフトウェアのソースコードを公開し、誰でも自由に利用・改変・再配布できる開発モデルです。
誰もが利用できる環境を整えることで、AI技術がよりアクセスしやすいものとなっています。
サカナAIの技術がモデル開発の常識を覆す
今回は、サカナAIが開発した技術「進化的モデルマージ」や仕組み・特徴・構築した日本語モデルなどを詳しく解説しました。サカナAIの進化的モデルマージは、従来のようなモデルのデータ学習を一切必要とせず、わずかな計算で短時間で新たなモデルを生成できます。
今回ご紹介したサカナAIが開発した進化的モデルマージの3つの日本語モデルのうち、EvoLLM-JPとEvoVLM-JPはオープンソース化されています。GitHubで一般公開されているため、ぜひ試してみてください。また、EvoVLM-JPはデモも公開されています。
サカナAIのDavid Ha氏は、今後日本をベースに日本国内や海外から優秀な人材を集め、研究開発に取り組んでいき、日本のテクノロジー企業やコミュニティーと協力し、日本のAIエコシステムを深化させていくとのことです。今後のサカナAIの技術の進化に期待しましょう。
