AIモデルの巨大化が転換点を迎えている。
これまでAI業界を席巻してきた「より大きなモデルこそが高性能」という考え方に、複数の制約が立ちはだかっている。MITの研究は、今後5年から10年でアルゴリズムの効率化が巨大化を上回る可能性を示した。データ、計算能力、アーキテクチャという3つの壁が、スケーリング一辺倒の戦略に疑問を投げかけている。一方で、テスト時スケーリング、MoE、モデル圧縮といった効率化技術が実用段階に入り、オンデバイスAIの普及が始まっている。AI開発は巨大化から効率化へと、そのパラダイムを転換しつつある。
スケーリング則の時代
2017年にGoogleが発表したTransformerアーキテクチャは、AI開発に大きな可能性をもたらした。従来のRNNやLSTMと異なり、並列計算に適した設計により、数十億から数百億パラメータを持つ巨大モデルの訓練が現実的になった。
2020年、OpenAIの研究チームはスケーリング則を発表した。モデルの性能が、パラメータ数、データ量、計算資源と予測可能な関係にあることを示した研究だ。この発見により「計算資源を増やせば性能が向上する」という明確な指針が業界に共有された。Microsoft、Googleなどの企業が数十億ドル規模の投資を行う根拠となった。
2022年にはGoogle DeepMindがChinchillaの研究で、モデルサイズとデータ量のバランスが重要であることを示した。パラメータ1つあたり約20トークンのデータで訓練することが最適という「20:1ルール」の提唱だ。この発見はスケーリングの効率化に貢献したが、依然として「スケールが重要」という基本方針を補強するものだった。
巨大化の限界を示す証拠
2025年10月15日、MIT研究チームの分析がWired誌で報じられた。ニール・トンプソン氏らの研究は、スケールと効率性の進歩率を比較した。結果として、今後5年から10年で巨大モデルと小規模モデルの性能差が大幅に縮小する可能性が示された。アルゴリズム効率の改善ペースが、単純なスケールアップによる性能向上を上回るためだ。
この予測を裏付ける制約が3つ存在する。
データの壁では、高品質なテキストデータが枯渇しつつある。Epoch AIの分析によれば、2026年から2032年までに人間が生成した高品質言語データのストックが底をつくと予測されている。AI生成データで代替する試みもあるが、「モデル崩壊」のリスクが指摘されている。AIが生成したデータには元モデルのバイアスや誤りが含まれ、それを学習した次世代モデルは欠点を増幅させる可能性がある。
計算能力とエネルギーの壁も深刻だ。最先端モデルの訓練には小都市一つ分の電力が必要となり、次世代モデルでは一国全体のエネルギー予算に匹敵する規模が予想されている。ニール・トンプソン氏らの研究では、AIの計算需要の伸びがハードウェア性能向上のペースを既に上回っていることが示されている。
アーキテクチャの壁は根本的な問題を含む。Transformerアーキテクチャは本質的に「次に来る単語を予測する」タスクを実行している。Metaのヤン・ルカン氏は、LLMには真の推論、計画、世界モデルが欠けていると指摘する。人間の知識の大部分は五感を通じた物理世界との相互作用で獲得されるが、LLMはこの経験から切り離されている。GoogleのフランソワCholet氏も、LLMを洗練された情報検索システムと見なし、未知の状況への汎化能力や抽象的推論能力の欠如を批判している。
具体的な性能データにも停滞が見られる。多様な専門分野の知識を問うMMLUベンチマークでは、GPT-3からGPT-4への進化で43.9%から86.4%へ飛躍的に向上したが、その後は90%前後で頭打ちとなっている。計算資源を追加投入しても、得られる改善はごく僅かになっている。
スケーリング継続を支持する見方
一方で、スケーリングの限界論に対する反論も存在する。
Epoch AIは2030年までのスケーリング継続は技術的に可能と分析している。電力については、複数のデータセンターへの分散や新エネルギー源の活用で供給可能とする。データについても、画像、音声、動画などのマルチモーダルデータが新たな供給源となり、少なくとも2027年まではテキストデータだけでもスケーリングを継続できると試算している。
新しいベンチマークにおける性能向上も注目される。スタンフォード大学の2025年版AIインデックスレポートによれば、2023年に導入された高度なベンチマーク群でAIモデルは1年で大きな進歩を遂げた。MMMU（マルチモーダル理解）で18.8ポイント、GPQA（大学院レベルの科学問題）で48.9ポイント、SWE-bench（実世界のソフトウェアエンジニアリング）で67.3ポイントの上昇だ。
スケーリング継続派の根拠は、それがAGI（汎用人工知能）への最も直接的な道筋であるという信念にある。近年のAI進歩率を外挿すると、2028年から2030年頃には多くの知的領域で人間を超える能力を持つAIが登場する可能性があるという見方だ。AGIが実現すれば、数千億ドル規模の投資も十分に合理的な先行投資となる。
効率化へのシフト
巨大化の限界が議論される中、AI開発の方向性に変化が生まれている。
テスト時スケーリングは、訓練時ではなく推論時に計算リソースを投入する手法だ。モデルが複雑な問題に対して結論を出す前に「より長く考える」時間を与えることで、再訓練なしで性能を向上させられる。複数の思考連鎖を生成・評価したり、自己修正のループを実行したりして、より正確で論理的な回答を導き出す。
Mixture-of-Experts（MoE）は、巨大な規模と推論コストの抑制を両立させるアーキテクチャだ。多数の小規模な専門家ネットワークを内部に持ち、入力されたクエリに応じて最適な専門家のみを起動させる。数兆パラメータという規模を持ちながら、個々の推論で実際に使用するパラメータ数を抑えることができる。
モデル圧縮技術も重要な役割を果たしている。プルーニングは、訓練済みモデルから冗長な部分を削除する技術だ。量子化は、重みを表現する数値の精度を32ビットから16ビットや8ビットに下げることでメモリ使用量を削減する。知識蒸留は、大規模な教師モデルを用いて小型の生徒モデルを訓練し、知識をコンパクトなモデルへ移転させる手法だ。
これらの技術により、かつては巨大な計算センターでしか動かせなかったAIが、スマートフォンや自動車、医療機器といった日常的なデバイス上で動作可能になりつつある。
社会と産業への影響
効率的な小型モデルの実用化は、複数の分野に影響をもたらす。
オンデバイスAIは、データをデバイス外部に送信せずにローカル環境で処理を完結させる。個人の健康情報や財務情報といった機微なデータを扱う分野で、プライバシー保護の水準を大きく引き上げる。ネットワーク接続に依存しないため、通信の遅延がなく、オフライン環境でも利用できる。
ヘルスケアでは、CTスキャナーやMRIにAIを直接搭載し、リアルタイムで病変を検出できるようになる。ウェアラブルデバイスが収集した生体データを、患者のスマートフォン上で常時監視し、異常の兆候を早期に検知することも可能だ。
自動車産業では、カメラやセンサーからの情報をローカルで処理し、衝突の危険を予測して自動でブレーキをかけるなど、安全機能の根幹をなす。車内システムがドライバーの好みを学習してパーソナライズしたり、センサーデータから故障を予知したりする応用も進む。
金融業界では、厳格なデータ保護規制に対応しつつ、不正取引の検知や信用リスク評価を行内の閉じた環境で実行できる。
高性能な小規模モデルとオープンウェイトモデルの普及は、AI開発の参入障壁を下げている。これまで米国の巨大テック企業が主導してきたAI開発に、より多くの企業、大学、国家が参入できるようになる。中国の研究機関や企業は独自の強力なモデルを発表し、主要なベンチマークで米国製モデルとの性能差を急速に縮めている。
ただし、高性能なAIが容易に利用できるようになることは、悪用のリスクも増大させる。サイバー攻撃、高度な偽情報の生成、自律型兵器の開発など、悪意を持った主体が強力なAIを悪用する脅威は深刻化する。AIガバナンスの課題は、少数の巨大企業を規制する問題から、世界中に拡散した無数のAIをどう管理するかという、より複雑な問題へと移行していく。
企業への提言
BKK IT Newsとしては、この技術の転換期において、企業は以下の対応を検討する選択肢がある。
最新の巨大モデルの追跡に多大なリソースを費やすのではなく、自社のユースケースに特化した中小規模モデルの活用を検討することが考えられる。特定のタスクに最適化された効率的なモデルの方が、汎用的な巨大モデルよりもコスト対効果が高い場合がある。
オンデバイスAI技術への投資は、プライバシー保護と応答速度の向上を同時に実現する可能性を持つ。特に機微な情報を扱う業界では、データを外部に送信しない仕組みの構築が競争優位性となり得る。
AIガバナンスとセキュリティ体制の強化も重要な課題だ。AI技術が広く普及する環境では、悪用や誤用のリスクが高まる。社内でのAI利用に関する明確なガイドラインの策定や、セキュリティ対策の見直しが必要になるだろう。
人材育成の方向性についても再考の余地がある。巨大モデルの訓練技術よりも、既存モデルの効率的な活用、特定領域への最適化、オンデバイス実装といったスキルの重要性が増している。
