Par Moon of Alabama – Le 24 janvier 2025
Le battage médiatique autour de l’intelligence artificielle, la tentative désormais avortée des États-Unis de la monopoliser et la récente riposte de la Chine sont une leçon sur la manière d’innover. Ils montrent également que les États-Unis sont en train de perdre leur capacité à le faire.
Au cours de l’année 2023, lorsque le battage médiatique autour de l’intelligence artificielle faisait les gros titres, j’ai écrit :
L’« intelligence artificielle » est (principalement) de la reconnaissance de formes glorifiée.
Actuellement, une famille de grands modèles de langage comme ChatGPT fait l’objet d’un certain battage médiatique. Le programme lit le langage naturel en entrée et le traite pour en faire un contenu en langage naturel en sortie. Ce n’est pas nouveau. La première entité informatique linguistique artificielle de l’internet (Alice) a été développée par Joseph Weizenbaum au MIT au début des années 1960. J’ai eu des discussions amusantes avec ELIZA dans les années 1980 sur un terminal central. ChatGPT est un peu plus astucieux et ses résultats itératifs, c’est-à-dire les « conversations » qu’il crée, pourraient bien en étonner plus d’un. Mais le battage médiatique dont il fait l’objet n’est pas justifié.
…
Actuellement, l’exactitude factuelle des résultats des meilleurs grands modèles de langage est estimée à 80 %. Ils traitent des symboles et des modèles, mais ne comprennent pas ce que ces symboles ou ces modèles représentent. Ils ne peuvent pas résoudre les problèmes mathématiques et logiques, même les plus élémentaires.
Il existe des applications de niche, comme la traduction de langues écrites, où l’IA et la reconnaissance des formes donnent des résultats étonnants. Mais on ne peut toujours pas leur faire confiance pour trouver le mot juste. Les modèles peuvent être des assistants, mais il faudra toujours revérifier leurs résultats.
Dans l’ensemble, la justesse des modèles d’IA actuels est encore bien trop faible pour leur permettre de décider d’une situation réelle. Davantage de données ou de puissance de calcul n’y changeront rien. Si l’on veut dépasser leurs limites, il faudra trouver des idées fondamentalement nouvelles.
Mais le battage médiatique s’est poursuivi. Un grand modèle d’IA, ChatGPT, a été fourni par une organisation à but non lucratif, OpenAI. Mais son PDG, Sam Altman, n’a pas tardé à sentir l’énorme quantité de dollars qu’il pouvait potentiellement gagner. Un an après avoir défendu la structure à but non lucratif d’OpenAI, Altman a fait main basse sur le conseil d’administration et a privatisé l’organisation :
Le fabricant de ChatGPT, OpenAI travaille sur un plan de restructuration de son activité principale en une société à but lucratif qui ne sera plus contrôlée par son conseil d’administration à but non lucratif, ont déclaré à Reuters des personnes familières avec le sujet, dans une démarche qui rendra la société plus attrayante pour les investisseurs.
…
Le directeur général Sam Altman recevra également pour la première fois des actions de la société à but lucratif, qui pourrait valoir 150 milliards de dollars après la restructuration, car elle tente également de supprimer le plafond des rendements pour les investisseurs, ont ajouté les sources.
Le modèle de langage de ChatGTP fourni par OpenAI est de source fermée. Il s’agit d’une boîte noire, fonctionnant dans le cloud, que l’on peut payer pour discuter avec elle ou utiliser pour la traduction, la génération de contenu ou l’analyse de certains problèmes.
La formation et la maintenance de ChatGTP nécessitent beaucoup de puissance de calcul et d’argent. Le système est un peu coûteux, mais il ne contient aucune nouvelle technologie. Les algorithmes utilisés sont bien connus et les données d’entraînement nécessaires pour le « programmer » sont disponibles gratuitement sur l’internet.
Malgré tout le battage fait autour de l’IA, il ne s’agit pas d’un programme secret, ni même d’une nouvelle technologie. Les barrières à l’entrée pour toute concurrence sont faibles.
C’est la raison pour laquelle Yves de Naked Capitalism, se référant à Edward Zitron, a posé la question suivante : « Comment OpenAI peut-il survivre ? » Il ne peut pas. Ou a peu de chances de le pouvoir. Les discussions sur ce sujet aux États-Unis n’ont jamais reconnu ces faits.
Les politiciens considèrent l’IA comme la prochaine grande chose qui renforcera le contrôle des États-Unis sur le monde. Ils tentent d’empêcher toute concurrence potentielle à l’avance que les États-Unis pensent avoir dans ce domaine. Nvidia, le dernier grand fabricant américain de puces, a perdu des milliards lorsqu’il lui a été interdit de vendre à la Chine ses derniers modèles spécialisés dans l’IA.
Il y a deux jours, Trump a annoncé Stargate, un investissement de 500 milliards de dollars dans l’infrastructure de l’IA aux États-Unis :
Trois grandes entreprises technologiques ont annoncé mardi qu’elles allaient créer une nouvelle société, appelée Stargate, pour développer l’infrastructure de l’intelligence artificielle aux États-Unis.
Sam Altman, PDG d’OpenAI, Masayoshi Son, PDG de SoftBank, et Larry Ellison, président d’Oracle, se sont rendus à la Maison Blanche mardi après-midi aux côtés du président Donald Trump pour annoncer la création de cette société, que ce dernier a qualifiée de « plus grand projet d’infrastructure d’intelligence artificielle de l’histoire ».
Les entreprises investiront 100 milliards de dollars dans le projet au départ, et prévoient d’injecter jusqu’à 500 milliards de dollars dans Stargate dans les années à venir. Le projet devrait créer 100 000 emplois aux États-Unis, a déclaré Trump.
Stargate construira « l’infrastructure physique et virtuelle qui alimentera la prochaine génération d’IA », y compris des centres de données dans tout le pays, a déclaré Trump. Ellison a indiqué que le premier projet de données du groupe, d’une superficie d’un million de mètres carrés, était déjà en cours de construction au Texas.
Le même jour, mais avec beaucoup moins de bruit, une entreprise chinoise publiait un autre modèle d’IA :
Nous présentons nos modèles de raisonnement de première génération, DeepSeek-R1-Zero et DeepSeek-R1. DeepSeek-R1-Zero, un modèle formé par apprentissage par renforcement à grande échelle (RL) sans réglage fin supervisé (SFT) en tant qu’étape préliminaire, a démontré des performances remarquables en matière de raisonnement. Avec l’apprentissage par renforcement, DeepSeek-R1-Zero a naturellement émergé avec de nombreux comportements de raisonnement puissants et intéressants.
Les nouveaux modèles DeepSeek ont de meilleures références que tous les autres modèles disponibles. Ils utilisent une combinaison différente de techniques, moins de données d’entraînement et beaucoup moins de puissance de calcul pour y parvenir. Ils sont peu coûteux à utiliser et, contrairement à OpenAI, ils sont totalement open source.
Les contrôles américains à l’exportation sur les semi-conducteurs avancés étaient destinés à ralentir les progrès de la Chine en matière d’IA, mais ils ont peut-être involontairement stimulé l’innovation. Incapables de s’appuyer uniquement sur le matériel le plus récent, des entreprises comme DeepSeek, basée à Hangzhou, ont été obligées de trouver des solutions créatives pour faire plus avec moins.
…
Ce mois-ci, DeepSeek a publié son modèle R1, qui utilise des techniques avancées telles que l’apprentissage par renforcement pur pour créer un modèle qui est non seulement l’un des plus formidables au monde, mais qui est également entièrement open source, ce qui permet à tout le monde de l’examiner, de le modifier et de s’en inspirer.
…
Les performances de DeepSeek-R1 sont comparables à celles des meilleurs modèles de raisonnement d’OpenAI pour toute une série de tâches, notamment les mathématiques, le codage et le raisonnement complexe. Par exemple, sur le benchmark de mathématiques AIME 2024, DeepSeek-R1 a obtenu un score de 79,8 % contre 79,2 % pour OpenAI-o1. Sur le test MATH-500, DeepSeek-R1 a obtenu 97,3 % contre 96,4 % pour o1. Dans les tâches de codage, DeepSeek-R1 a atteint le percentile 96,3 sur Codeforces, tandis que o1 a atteint le percentile 96,6 – bien qu’il soit important de noter que les résultats de ces tests peuvent être imparfaits et ne doivent pas être surinterprétés.
Mais ce qui est le plus remarquable, c’est que DeepSeek a pu atteindre ces résultats en grande partie grâce à l’innovation plutôt qu’en s’appuyant sur les puces informatiques les plus récentes.
La revue Nature est également impressionnée :
Un modèle de langage étendu construit en Chine, appelé DeepSeek-R1, enthousiasme les scientifiques, qui le considèrent comme un rival abordable et ouvert aux modèles de « raisonnement » tels que le modèle o1 d’OpenAI.
…
« C’est fou et totalement inattendu », a écrit Elvis Saravia, chercheur en IA et cofondateur de la société de conseil en IA DAIR.AI, basée au Royaume-Uni.
R1 se distingue pour une autre raison. DeepSeek, la start-up de Hangzhou qui a construit le modèle, l’a publié en tant que « poids libre », ce qui signifie que les chercheurs peuvent étudier et développer l’algorithme. Publié sous licence MIT, le modèle peut être librement réutilisé, mais il n’est pas considéré comme entièrement open source, car ses données d’entraînement n’ont pas été mises à disposition.
« L’ouverture de DeepSeek est tout à fait remarquable », déclare Mario Krenn, directeur du laboratoire de sciences artificielles de l’Institut Max Planck pour la science de la lumière à Erlangen, en Allemagne. En comparaison, o1 et d’autres modèles construits par OpenAI à San Francisco, en Californie, y compris son dernier effort o3, sont « essentiellement des boîtes noires », dit-il.
Même les investisseurs Internet de longue date, qui ont tout vu, sont impressionnés :
Marc Andreessen 🇺🇸 @pmarca – 9:19 UTC – 24 janvier 2025
Deepseek R1 est l’une des percées les plus étonnantes et les plus impressionnantes que j’ai jamais vues – et en tant qu’open source, un profond cadeau pour le monde. 🤖🫡
DeepSeek n’a pas communiqué le coût total de la formation de R1, mais elle fait payer aux personnes qui utilisent son interface environ un trentième de ce que coûte le fonctionnement de o1. L’entreprise a également créé des mini-versions « distillées » de R1 pour permettre aux chercheurs disposant d’une puissance de calcul limitée de jouer avec le modèle.
Cela fonctionne en effet !
Brian Roemmele @BrianRoemmele – 14:34 UTC – 23 janvier 2025
Les amis, je pense que nous avons réussi !
Si les tests de la nuit sont confirmés, nous avons l’OPEN SOURCE de DeepSeek R1 fonctionnant à 200 tokens par seconde sur un Raspberry Pi NON connecté à l’INTERNET.
Une IA d’avant-garde complète, meilleure que « OpenAI », dont vous êtes le propriétaire à part entière et que vous pouvez utiliser gratuitement !
Je mettrai l’image du Pi à disposition dès que tous les tests seront terminés.
Il suffit de l’insérer dans un Raspberry Pi et vous avez l’IA !
Ce n’est que le début de la puissance qui prend place lorsque vous ouvrez réellement un modèle d’IA.
Le matériel Rasberry Pi le plus récent est proposé à partir de 50 dollars. Le logiciel est gratuit.
C’est la mort pour OpenAI :
Arnaud Bertrand @RnaudBertrand – 14:23 UTC – Jan 21, 2025
La plupart des gens ne réalisent probablement pas à quel point le chinois Deepseek est une mauvaise nouvelle pour OpenAI.
Ils ont mis au point un modèle qui égale et même dépasse le dernier modèle o1 d’OpenAI sur différents benchmarks, et ils ne facturent que 3% du prix.
C’est comme si quelqu’un avait sorti un téléphone portable au même niveau que l’iPhone mais qu’il le vendait 30 dollars au lieu de 1000. C’est aussi spectaculaire que cela.
Qui plus est, ils le publient en open source, de sorte que vous avez même la possibilité – ce qu’OpenAI n’offre pas – de ne pas utiliser leur API du tout et d’exécuter le modèle « gratuitement » vous-même. …
L’histoire de DeepSeek est également étonnante.
En 2007, trois ingénieurs chinois ont entrepris de créer un fonds quantique (spéculation financière) à l’aide de l’IA. Ils ont embauché des personnes ambitieuses, fraîchement sorties de l’université. Leur fonds High-Flyer a connu un certain succès, mais au cours des dernières années, le gouvernement chinois a commencé à réprimer l’ingénierie financière, le trading quantitatif et la spéculation.
Avec du temps à disposition et une puissance de calcul inutilisée dans leur arrière-boutique, les ingénieurs ont commencé à construire les modèles DeepSeek. Les coûts étaient minimes. Alors qu’OpenAI, Meta et Google ont dépensé des milliards pour construire leurs IA, les coûts de formation pour les modèles DeepSeek publiés ne furent que de 5 à 6 millions de dollars.
Henry Shi @henrythe9ths – 23:20 PM – 20 janv. 2025
- La leçon à tirer ?
Parfois, avoir moins signifie innover davantage. DeepSeek prouve qu’il n’est pas nécessaire d’avoir :
– des milliards de dollars de financement
– Des centaines de doctorats
– Un pedigree célèbre
Il suffit de jeunes esprits brillants, du courage de penser différemment et de la volonté de ne jamais abandonner.
Une autre leçon est que les jeunes esprits brillants ne doivent pas être gaspillés pour optimiser la spéculation financière, mais pour fabriquer des produits utilisables.
DeepSeek démontre qu’il est impossible d’utiliser des barrières commerciales et technologiques pour ralentir la technologie des concurrents. Ceux-ci peuvent, avec des ressources décentes, simplement innover en contournant ces barrières.
Même avec des milliards de dollars, des marketeurs bruyants comme Trump et des escrocs comme Sam Altman, il est impossible de rivaliser avec succès avec une équipe d’ingénieurs bien formés.
Comme le remarque un auteur de Guancha (traduction automatique) :
Dans la guerre scientifique et technologique sino-américaine, l’avantage unique de la Chine vient précisément des blocages américains. On peut dire que notre forte volonté de survivre a été forcée par Washington, et que l’optimisation de nos ressources limitées est le secret de la percée. Ce genre d’histoire n’est pas nouveau dans l’histoire : le faible l’emporte sur le fort, et le petit se bat contre le grand.
Les États-Unis tomberont dans un dilemme à la vietnamienne : ils compteront trop sur leur avantage absolu, gaspilleront beaucoup de ressources et se perdront dans la consommation interne.
Combien de temps faudra-t-il aux États-Unis pour (ré)apprendre cette leçon ?
Moon of Alabama
Traduit par Wayan, relu par Hervé, pour le Saker Francophone.
Source: Lire l'article complet de Le Saker Francophone
