この記事は、Lex Fridman Podcast の議論に基づいています。 ここでエピソードを聞いてください。

この対談では、Lex Fridman が Dylan Patel および Nathan Lambert と、DeepSeek、中国の AI への野望、世界的な AI 競争における NVIDIA の役割、AI メガクラスターの将来など、AI の最新動向について語ります。議論では、AI の効率性の飛躍的進歩、半導体の優位性をめぐる地政学的戦い、人工知能の将来を形作る主要プレーヤーについて取り上げます。

人工知能は猛スピードで進化していますが、ほとんどの人が期待するような形ではありません。 

見出しでは、より大きなモデル、より多くのパラメータ、そして驚くべき新機能について大々的に取り上げられています。しかし、その誇大宣伝の下では、AI をより効率的でコスト効率が高く、地政学的に戦略的なものにする静かな革命が起こっています。 

注意深く見ていれば、大きなことに気づくでしょう。中国の AI シーンは、ほとんどの人が予想しなかった形で加速しているのです。

よりスマートな AI モデル: 専門家の混合アプローチ

大規模言語モデル（LLM）には膨大な計算能力が必要であることは周知の事実です。ゼロからトレーニングするだけでも数億ドルの費用がかかり、それを実行するには？これもまた底なしの出費です。AIの未来は、誰が最高のアルゴリズムを持っているかによって決まるのではなく、強力なAIモデルを構築する方法を誰が見つけるかによって決まります。 それなし サーバーコストで国の GDP が消耗しています。そして、まさにそこで大きな変化が起こっています。

エンジニアは、モデルのサイズを際限なく大きくするのではなく、これらのシステムが実際にどのように機能するかについてより詳しく理解するようになっています。

 入力 専門家の混合 モデル。 

専門家のパネルを編成しているところを想像してください。ただし、すべての専門家にすべての質問に取り組ませるのではなく、その仕事に最も適した専門家だけをアクティブにします。新しいモデルはまさにそのように機能します。巨大なニューラル ネットワークがすべてのリクエストをフル稼働で処理するのではなく、特定の時点では少数の「専門家」サブモデルだけがアクティブになります。その結果、インテリジェンスを犠牲にすることなく、計算とエネルギー消費の両方を削減し、効率が大幅に向上します。

これは単なる理論上の話ではありません。

 中国から発表された最新の AI モデルのいくつかは、この方法が現実世界のアプリケーションで機能することを証明しています。計算の割り当て方法を微調整することで、西洋の最高のモデルに匹敵するパフォーマンスを、わずかなコストで実現しています。

低レベル最適化のブレークスルー

これが次の大きな変化につながります。 低レベルの最適化.

 AI企業の多くは、モデルのトレーニングにNVIDIAが開発したCUDAなどの既存のソフトウェアフレームワークを利用しています。しかし、これらのフレームワークは最高の効率性のために設計されたものではなく、一般的な使いやすさのために構築されたものです。現在、真のブレークスルーを起こしている企業は、 リエンジニアリング AIがハードウェアを活用する方法。 

彼らは単に GPU を使用しているのではなく、GPU のパフォーマンスを最大限まで引き出し、GPU プログラミングのルールを書き換えて、計算をより高速かつ効率的に、そして大幅に安価に実行しています。

コンピューティングパワーをめぐる競争

ハードウェアに関しては、サイズが重要です。

 AI の最大手企業の中には、数万の GPU を搭載した巨大なサーバー ファームである大規模なコンピューティング クラスターを運用しているところもあります。ちなみに、Meta は H100 相当の GPU が 60,000 ～ 100,000 個ほどあるトレーニング クラスターを所有しています。中国の最新の AI モデルは、約 50,000 個の GPU のクラスターでトレーニングされています。これは、世界最高レベルの AI モデルに追いつくのに十分なパワーです。 

こうした投資の規模の大きさは、AI がもはや単なるテクノロジー業界の軍拡競争ではなく、国家の優先課題であることを示しています。

AIの地政学的チェス盤

もちろん、AIの世界では誰が最も速くモデルをトレーニングできるかということだけではなく、誰が 実際に得る 必要なハードウェア。そしてここで地政学が絡んでくるのです。 

米国は高性能AIチップに対する輸出規制をますます厳しくし、中国への販売を制限している。NVIDIAは中国市場向けにGPUの簡易版を製造することで対応した。 

つまり、中国のAI企業は依然として大規模なモデルを訓練できるものの、やや性能の劣るハードウェアで訓練せざるを得ない。しかし、興味深いのは、これらの制限によって中国のAI企業はさらに もっと 効率的です。無制限のコンピューティング能力でトップに躍り出るのではなく、革新を強いられています。 

彼らはソフトウェアを最適化し、アーキテクチャを再考し、西洋の企業がまだ考慮していないパフォーマンス向上を実現する方法を見つけています。皮肉なことに、制約により、彼らはより強力な競争相手になっています。

我々はAGIに近づいているのか？

そして、すべての上に迫りくる大局的な疑問があります。それは、私たちは汎用人工知能 (AGI) にどれだけ近づいているのか、ということです。 

今日のモデルはすでにその兆しを見せていると主張する人もいます。推論、問題解決、創造性など、複数のタスクに適応する現代の AI の能力は、私たちが AGI への道を人々が考えるよりも進んでいる可能性があることを示唆しています。 

そして、中国は製造力によって、進歩を加速させる独自の立場にある。米国と欧州がAIソフトウェアを支配している一方で、中国はAIハードウェアのバックボーンである。中国は世界の半導体サプライチェーンの大部分を支配しており、AIシステムの大規模なトレーニングと展開に必要なチップの大量生産で優位に立っている。

台湾：AI宇宙の中心

ここで、世界の AI 競争の陰の立役者である台湾について考えてみましょう。台湾セミコンダクター マニュファクチャリング カンパニー (TSMC) は、世界で最も先進的な AI チップを製造しています。OpenAI の GPT、Google の Gemini、中国の最新のディープラーニング システムなど、ほぼすべての AI モデルは、TSMC 製のチップに依存しています。

 TSMCのサプライチェーンに何らかの混乱が生じた場合、その波及効果は 毎 スマートフォンからスーパーコンピュータまで、AI はあらゆる産業に浸透しています。AI はもはやコーディングのブレークスルーだけではありません。グローバル サプライ チェーン、戦略的提携、地政学的安定性にも関わっています。

AIの未来：効率が勝つ

それで、これらすべては私たちをどこに導くのでしょうか? 

AI は、「誰が最大のモデルを持っているか」という力ずくの競争から、効率、ハードウェアの習熟、地政学的位置付けを競う、はるかに戦略的なゲームへと移行しています。AI を効率的に最適化、拡張、展開する方法を解明した企業 (および国) が、将来を支配することになります。そして、これらの変化に注意を払っていないと、AI が向かう本当のストーリーを見逃していることになります。

これは派手なデモや記録破りのベンチマークスコアだけではありません。

 それは誰についてなのか 実は 長期的に AI レースに勝つのは、強力なだけでなく、実用的で、拡張可能で、持続可能なモデルを構築する人です。そのレースは？日ごとに面白くなってきています。