Cet article est basé sur la discussion du podcast Lex Fridman : Écoutez l'épisode ici.

Dans cette conversation, Lex Fridman s'entretient avec Dylan Patel et Nathan Lambert sur les derniers développements de l'IA, en se concentrant sur DeepSeek, les ambitions de la Chine en matière d'IA, le rôle de NVIDIA dans la course mondiale à l'IA et l'avenir des mégaclusters d'IA. La discussion porte sur les avancées en matière d'efficacité de l'IA, la bataille géopolitique pour la domination des semi-conducteurs et les principaux acteurs qui façonnent l'avenir de l'intelligence artificielle.

L’intelligence artificielle évolue à une vitesse vertigineuse, mais pas de la manière dont la plupart des gens s’y attendent. 

Les gros titres parlent de modèles plus grands, de davantage de paramètres et de nouvelles capacités époustouflantes. Mais derrière tout ce battage médiatique, une révolution plus silencieuse est en cours : l’IA devient plus efficace, plus rentable et plus stratégique sur le plan géopolitique. 

Et si vous faites attention, vous remarquerez quelque chose d’important : le secteur de l’IA en Chine connaît une accélération que peu de gens ont vu venir.

Des modèles d'IA plus intelligents : l'approche par mélange d'experts

Ce n’est un secret pour personne que les grands modèles linguistiques (LLM) nécessitent des quantités invraisemblables de puissance de calcul. En former un à partir de zéro peut coûter des centaines de millions de dollars, et l’exécuter ? C’est un autre gouffre financier sans fin. L’avenir de l’IA ne sera pas seulement déterminé par celui qui aura les meilleurs algorithmes, mais aussi par celui qui saura créer des modèles d’IA puissants. sans Le PIB d'une nation est englouti dans les coûts des serveurs. Et c'est précisément là qu'un changement majeur est en train de se produire.

Au lieu d’augmenter sans cesse la taille des modèles, les ingénieurs deviennent de plus en plus intelligents quant au fonctionnement réel de ces systèmes.

 Entrer mélange d'experts modèles. 

Imaginez que vous réunissez un panel de spécialistes, mais au lieu de faire travailler chaque expert sur chaque question, vous activez uniquement ceux qui sont les plus aptes à accomplir cette tâche. C'est exactement ainsi que fonctionnent ces nouveaux modèles. Au lieu d'avoir un gigantesque réseau neuronal traitant chaque requête à pleine puissance, seuls quelques sous-modèles « experts » s'activent à un moment donné. Le résultat ? Des gains d'efficacité considérables, réduisant à la fois les calculs et la consommation d'énergie, sans sacrifier l'intelligence.

Ce n’est pas seulement théorique.

 Certains des modèles d'IA les plus récents issus de Chine prouvent que cette méthode fonctionne dans des applications concrètes. En ajustant avec précision la manière dont les calculs sont alloués, ils obtiennent des performances qui rivalisent avec les meilleurs modèles occidentaux, mais à une fraction du coût.

La percée de l'optimisation de bas niveau

Cela nous amène au prochain grand changement : optimisation de bas niveau.

 La plupart des entreprises d'IA s'appuient sur des frameworks logiciels existants comme CUDA, développé par NVIDIA, pour entraîner leurs modèles. Mais ces frameworks n'ont pas été conçus pour une efficacité maximale ; ils ont été construits pour une utilisation générale. Les entreprises qui font de véritables percées en ce moment sont celles qui réingénierie la façon dont l'IA utilise le matériel. 

Ils n'utilisent pas seulement des GPU ; ils en exploitent jusqu'à la dernière goutte de performance, réécrivant les règles de programmation GPU pour rendre les calculs plus rapides, plus légers et nettement moins chers.

La course à la puissance de calcul

Et quand il s’agit de matériel, la taille compte.

 Certains des plus grands acteurs de l’IA exploitent de vastes clusters de calcul, essentiellement des fermes de serveurs géantes contenant des dizaines de milliers de GPU. Pour donner un aperçu, Meta dispose d’un cluster d’entraînement de l’ordre de 60 000 à 100 000 GPU équivalents à H100. Les modèles d’IA les plus récents de la Chine sont formés sur des clusters d’environ 50 000 GPU, soit une puissance de feu suffisante pour rivaliser avec les meilleurs du monde. 

L’ampleur de ces investissements montre que l’IA n’est plus seulement une course aux armements de l’industrie technologique ; c’est une priorité nationale.

L'échiquier géopolitique de l'IA

Bien entendu, le paysage de l'IA ne se résume pas seulement à savoir qui peut former les modèles le plus rapidement, mais aussi à savoir qui peut obtenir réellement le matériel nécessaire. Et c'est là que la géopolitique entre en jeu. 

Les États-Unis ont mis en place des contrôles d’exportation de plus en plus stricts sur les puces d’IA haut de gamme, limitant ainsi leur vente à la Chine. NVIDIA a réagi en fabriquant des versions réduites de ses GPU spécifiquement pour le marché chinois. 

Cela signifie que même si les entreprises chinoises d'IA peuvent encore former des modèles massifs, elles sont obligées de le faire avec du matériel légèrement moins puissant. Mais voici la partie intéressante : ces restrictions poussent les entreprises chinoises d'IA à prendre leur revanche plus efficace. Au lieu de se frayer un chemin vers le sommet grâce à des ressources de calcul illimitées, ils sont obligés d'innover. 

Ils optimisent leurs logiciels, repensent leurs architectures et trouvent des moyens d'obtenir des gains de performances que les entreprises occidentales n'ont même pas encore envisagés. Ces contraintes font d'eux, ironiquement, des concurrents plus forts.

Sommes-nous en train d’approcher l’AGI ?

Et puis il y a la grande question qui plane sur tout : à quel point sommes-nous proches de l’intelligence artificielle générale (AGI) ? 

Certains affirment que les modèles actuels en laissent déjà entrevoir les prémices. La capacité de l’IA moderne à s’adapter à de multiples tâches (raisonnement, résolution de problèmes, créativité) suggère que nous sommes peut-être plus avancés sur la voie de l’IA générale qu’on ne le pense. 

La puissance industrielle de la Chine lui permet d'être particulièrement bien placée pour accélérer les progrès. Alors que les États-Unis et l'Europe dominent le marché des logiciels d'IA, la Chine est l'épine dorsale du marché du matériel d'IA. Elle contrôle une part importante de la chaîne d'approvisionnement mondiale des semi-conducteurs, ce qui lui donne un avantage dans la production en masse des puces nécessaires à la formation et au déploiement à grande échelle des systèmes d'IA.

Taïwan : le centre de l’univers de l’IA

Cela nous amène à Taïwan, le héros méconnu de toute la course mondiale à l'intelligence artificielle. La Taiwan Semiconductor Manufacturing Company (TSMC) produit les puces d'intelligence artificielle les plus avancées au monde. Presque tous les modèles d'intelligence artificielle, qu'il s'agisse de GPT d'OpenAI, de Gemini de Google ou des derniers systèmes d'apprentissage profond chinois, s'appuient sur des puces fabriquées par TSMC.

 Si quelque chose devait perturber la chaîne d'approvisionnement de TSMC, les effets d'entraînement se feraient sentir partout chaque L'industrie, des smartphones aux superordinateurs. L'IA ne se résume plus seulement à des avancées en matière de codage : elle concerne les chaînes d'approvisionnement mondiales, les alliances stratégiques et la stabilité géopolitique.

L’avenir de l’IA : l’efficacité l’emporte

Alors, où est-ce que tout cela nous mène ? 

L’IA évolue d’une compétition brutale pour savoir qui a le meilleur modèle à un jeu beaucoup plus stratégique d’efficacité, de maîtrise du matériel et de positionnement géopolitique. Les entreprises (et les pays) qui trouveront comment optimiser, faire évoluer et déployer efficacement l’IA seront celles qui domineront l’avenir. Et si vous ne prêtez pas attention à ces changements, vous passez à côté de la véritable direction que prend l’IA.

Il ne s’agit pas seulement de démos tape-à-l’œil ou de scores de référence battant des records.

 Il s'agit de qui en fait La course à l'IA est gagnée à long terme : celui qui construit des modèles qui sont non seulement puissants mais aussi pratiques, évolutifs et durables. Et cette course ? Elle devient de plus en plus intéressante de jour en jour.