Comme d’habitude, Mr Phi a bien fouillé les articles sur le sujet et donne un état de l’art sur les preuves mathématiques par des LLMs
Cette vidéo est recommandée par la communauté de Tournesol:
[24🌻] Monsieur Phi: Pourquoi les mathématiciens s’inquiètent de l’avenir de leur discipline#Tournesol est un outil web open-source développé par une association non caritative, qui évalue la qualité des vidéos pour combattre les fake-news et les contenus non recommandables.
J’ai tout lu. C’est globalement très intéressant. Je retrouve des parties de mon avis des deux côtés. J’ai vraiment du mal a trancher. Dans tous les cas ce genre de fil me permet de mieux organiser ma vision de l’ia. Merci pour la discussion. Merci
Merci, c’est agréable de savoir que ces tartines sont lues et utiles à d’autres!
Merci pour tes partages sur les LLM. On est d’accord de pas être d’accord sur les conséquences sur le travail humain mais les contenus que tu partages et tes analyses sont toujours intéressants.
Merci!
1.avoir des milliards de dollars 2.débaucher des top chercheurs en maths 3.les laisser bosser sur qqch 4.profit
Ouais sinon on arrête les LLM de merde et on réaffecte 1% des couts de l’IA dans la recherche et on obtient des résultats fiables et une humanité qui n’empire pas, et avec une planète qui ne part pas en combustion spontanée dans les 6 mois.
Sinon, tu as aussi le droit de regarder une vidéo avec de nombreux mathématiciens, y compris Medaille Fields, qui disent que c’est une avancée majeure et que non seulement la preuve est correcte, mais qu’elle est en plus élégante et originale…
Oui, ça change les capacités intellectuelles qui sont utiles pour les humains. Et il se trouve que le mec qui fait cette vidéo, l’angle qui l’intéresse le plus, c’est la philosophie. Et que ça, il en parle. Et il parle des pistes que les mathématiciens, justement, posent eux-mêmes sur leur propre discipline.
Arrêter les modèle de merde ça inclut pas arrêter les modèles de recherche. Mais ça inclus les llm de surveillance heureusement
Mais enfin, vous n’y pensez pas !!
– C’est impossible !!Si si c’est tout à fait possible, il suffit de sortir du capitalisme et de mettre d’accord la Chine et les US, et accessoirement la France, sur le fait que ce qui semble effectivement être la plus grosse avancée d’ingénierie depuis l’invention de l’informatique est en fait quelque chose qu’on doit arrêter juste parce que quelques personnes se sentent inconfortables d’une façon qu’ils n’arrivent même pas à formaliser.
Ah oui, le changement climatique et la destruction de la planète c’est inconfortable.
Je pensais pas voir des AI-bros ici
Je pense pas que l’ambiance soit giga AI bro ici, c’est plus un mix entre “l’usage de l’IA pour tout et n’importe quoi a un impact social et écologique énorme” et “il faut bien admettre que dans certains domaines l’IA semble permettre des découvertes”
Cette vidéo penche plus du deuxième côté, mais je pense que tout le monde a bien conscience des conséquences négatives de l’IA.
Franchement, quantifiez l’impact écologique de l’IA avant de le dire “énorme”.
Il y a énormément d’activités humaines qui ont un impact nul, voire négatif, qui ont un impact écologique bien plus grand.
Quant à l’impact social, oui, il me paraît clair qu’il est énorme, il est gigantesque. Par contre, il ne m’apparaît pas évident qu’il soit négatif à long terme. Si on sort enfin de la tyrannie du travail et de l’obligation de travailler pour avoir droit à la survie, ce sera la plus grande avancée sociale de notre vivant.
Ouais, j’ai hésité à mettre impact énorme “dans les années qui viennent”.
C’est sûr que d’un côté, l’impact écologique réel de l’IA est discutable, c’est impossible de s’y retrouver. Il y a des exagérations dans les deux sens : oui, ça ne consomme pas tant que ça comparé à d’autres secteurs, mais ça be génère pas 0 émissions contrairement à ce qui a pu être sous-entendu. Entre les impacts de construction de datacenters et l’apports d’électricité produite par des sources fossiles (sachant que même les sources decarbonées ont un coût écologique à leur construction, qui est infime une fois étalé sur leur production mais qui existe), il y a forcément un impact à considérer, même s’il est relativisé.
Les apports de l’impact social, on verra bien, j’aimerais être aussi positif que toi. Jusqu’ici toutes les révolutions technologiques n’ont pas vraiment réduit la quantité de travail par rapport à une vie humaine, elles ont juste changé l’organisation du travail et la productivité. Peut-être que celle-ci est la bonne, mais je ne veux pas me faire de faux espoirs perso
Moi, je veux bien parler des gains et des coûts. Et je veux bien qu’on regarde le résultat net. Mais je refuse de le faire avec des gens qui ne veulent pas quantifier. La comparaison que je faisais à une époque et qui m’apparaissait assez pertinente, c’est que les gros modèles open source émettaient à peu près en CO2 autant qu’un avion faisant un vol transatlantique. J’utilisais cette base pour dire qu’une conférence internationale sur un sujet de recherche, c’était à peu près le même bilan carbone.
Il y a un certain consensus pour dire que les conférences internationales de recherche, c’est quand même un truc utile. Je pense qu’on peut probablement trouver plus d’avancées dans la recherche liées à des modèles d’IA que dans leur équivalent CO2 en conférences internationales. Je veux dire, rien que Alpha Fold nous fait faire une telle avancée qu’on a un offset pour un petit moment.
Et cette vidéo parle entre autres d’un aspect dont quiconque a fait un petit peu de recherche réalise la portée: Les LLMs aujourd’hui ont une immense culture scientifique dans tous les domaines et sont très bons pour faire de la recherche documentaire dans des domaines très différents. Le boost que ça donne en recherche d’avoir l’équivalent de 5 à 10 personnes qui font ta biblio, Je pense qu’il y a 10 ans, tous les chercheurs en rêvaient.
Jusqu’ici toutes les révolutions technologiques n’ont pas vraiment réduit la quantité de travail par rapport à une vie humaine
Bah quand même, si, et ce graphe ne tient pas compte des années de retraite et d’étude, bien plus nombreuses qu’il y a un siècle.
On notera quand même que toutes les professions qui avaient pour but principal d’utiliser la force musculaire ont disparu. Il y a toujours des gens qui font de la manutention, mais ils le font avec des machines. Et ça démultiplie leurs capacité de transport.
Le progrès technologique, lui, a tenu ses promesses, mais ce qui s’est passé, qui a fait louper le calcul qui nous promettait la fin du travail, c’est qu’on s’est rendu compte que les gens préfèrent avoir beaucoup plus de confort plutôt que de travailler moins. C’est enfin un calcul dont on est un petit peu en train de sortir avec la critique de la société de consommation. Mais aujourd’hui, si tu veux vivre comme quelqu’un de 1880 dans un logis insalubre (selon nos standards) sans eau et sans électricité, ça ne te coûtera pas très cher et tu peux travailler à temps très partiel pour ça.
1-3% de l’électricité mondiale projetée en 2030. C’est énorme.
Consommer de l’électricité, ce n’est pas émettre du CO2.
L’électricité, c’est la façon la plus propre de consommer de l’énergie, au point que le GIEC recommande une électrification des process et une augmentation de la production d’électricité, évidemment de façon renouvelable et décarbonée.
C’est un réflexe purement américain d’essayer de faire une équivalence entre le kWh et le CO2 émis en faisant l’hypothèse qu’on va créer de l’électricité en brûlant du pétrole ou du charbon. On ne fait plus ça en France, et le monde en sort progressivement.
Ce genre de projection ne veut rien dire : on vient de vivre un boom de l’IA, évidement que l’empreinte du secteur a augmenté rapidement, on ne peut pas extrapoler ces dernières années aux années à venir.
Le changement climatique est causé par l’émission de CO2. Les IA n’émettent pas de CO2. Zéro. Nichts. Nada. Kein. Wallou.
Elles consomment de l’électricité. L’électricité, on sait la générer sans émettre de CO2.
En général, à ce stade, la conversation change de but. On va se mettre à parler des terres rares, qui ne sont absolument pas rares, qui ne manquent pas, qui ne sont pas exploitées de façon disproportionnée par l’IA. Ou on va se mettre à parler de l’eau en faisant semblant de croire que l’eau c’est comme le pétrole, que c’est une ressource fossile.
AI-bros
Franchement, à un moment, je pense que je vais accepter cette épithète parce que l’inverse semble être du neoludisme qui fait semblant de croire que toutes les technologies sont néfastes tout le temps pour tout le monde alors que ce n’est clairement pas le cas. Moi, je suis un libristre, les start-upeurs me sortent par le nez mais apparemment, on est tech bro ou AI bro dès qu’on pense que c’est possible de générer l’électricité d’une façon renouvelable ou que l’informatique a des points positifs.
Donc si les gens qui développent de l’open source, des fab labs, qui font des formations pour des gens en réinsertion, l’initiation à l’informatique, de la récup, du recyclage, de l’upcycling, du recyclage de plastique, du développement de véhicules légers et intermédiaires (liste d’activités de tech bro auxquelles je m’adonne personellement), je pense que c’est un titre que je veux bien prendre, oui.
Vous savez que l’IA, vous avez aussi le droit de vous y intéresser d’une façon locale et ouverte, sans aduler Musk ou Altman, hein. Moi, les LLM que j’utilise, ils sont ouverts, refroidis à air sur du matos qui est chez moi.
Fabriquer des composants électroniques consomme énormément de CO2.
Fabriquer des éoliennes, des panneaux photovoltaïques, des barrages, centrales électriques, consomme énormément de CO2.
L’eau utilisée pour la fabrication des composants électroniques et pour le refroidissement des centrales électriques et pour le refroidissement des centres de données, c’est de l’eau potable. Va expliquer aux gens qui n’ont pas suffisamment d’eau potable pour vivre en bonne santé que c’est parce que t’en a besoin pour générer des images numériques s’il te plaît, perso j’ai honte.
Et quel process dans la fabrication de composants électroniques demande d’émettre du CO2, je te prie ?
Ce sont des process qui consomment de l’électricité. L’électricité, on sait la produire sans émettre de CO2. Ce sont des process qui demandent du transport. Le transport, on sait le faire sans émettre de CO2.
Les gens qui n’ont suffisamment pas d’eau potable pour vivre en bonne santé n’en auraient pas plus si on éteignait les data centers qui sont à l’autre bout du monde aujourd’hui. Les tensions hydriques, ça ne fonctionne pas comme ça, c’est quelque chose de très local.
ah oui les datacenter faits en terre-paille compostable oui
Je crois que t’as pas compris que la critique n’est pas sur la technologie mais bien spécifiquement sur les fondations politiques et écologiques de l’IA. Personne ici ne se plaint des fab-labs. Ça serait bien d’être un peu sérieux dans tes arguments
Ce serait bien que vous soyez un petit peu rigoureux dans vos critiques aussi également.
Ne dites pas IA quand ce que vous critiquez, c’est la Silicon Valley. Ne parlez pas des LLM quand le problème c’est Peter Thiel ou Sam Altman.
Personne ici ne se plaint des fablabs, pourtant ce genre de discussion néoludite, c’est ce qui a amené des gens à incendier celui que j’avais aidé à fonder à Grenoble. Parce que tu comprends, il y a des ordinateurs, donc ça procède aux nécro-technologies de Minatech qui est à l’autre bout de la ville.
Donc ne venez pas parler d’IA si vous venez parler de politique et d’écologie. L’IA, c’est un domaine de l’informatique qui est purement algorithmique. Il n’y a, à mon grand regret d’ailleurs, aucune pensée politique derrière l’IA. À la limite, vous pourriez dire que la pensée politique qui en est le plus proche est celle du revenu universel, parce que ces deux notions sont souvent très liées, et que vous trouverez beaucoup de personnes dans l’IA qui pensent que justement, elle permettra d’implémenter ce genre de choses.
Mais les gens dont vous entendez parler et que vous associez à cette technologie, ce sont des patrons d’industrie. Ce sont des gens qui vendent de l’IA, mais qui auraient vendu de l’acier il y a 100 ans, ou des chemins de fer, il y en a 150. Ils n’ont rien à voir avec la tech, ils ont tout à voir avec le capitalisme.
C’est incroyable d’être aussi stéréotypé que ça.
C’est qui qui a incendié ton fablab ? Je suis pas d’accord avec toi donc c’est forcément moi ? Tous les gens qui s’opposent à l’IA ont brûlé ton fablab ? Est-ce que je te traite de pédocriminel parce que yen a qui utilisent l’IA ? Un peu de rigueur stp
Si tu penses que l’IA est purement algorithmique c’est que tu fermes volontairement les yeux sur la politique. Tu veux juste pas la voir mais il y a une vision politique bien précise de l’IA. La domination est au coeur de son idéologie. Quelle que soit sa forme, appeler quelque chose spécifiquement IA (et pas juste llm, ou machine learning, ou…) c’est toujours de la domination de l’homme, généralement blanc, sur tout le reste. Ce que fait l’IA ne sort pas de nulle part, moi aussi j’aimerais bien que ça pousse tout seul sur les arbres et ya qu’à se baisser mais c’est pas ça la réalité. Il n’y a pas d’intelligence sans définir ce que c’est et oh surprise, la totalité de ses fondations sont faites par des hommes blancs dominants, dont certains ouvertement racistes quand on regarde dans quel but les tests de QI ont été inventés. Une intelligence artificielle n’est jamais créée dans le but d’être autonome mais toujours utilisée. La totalité de l’histoire du terme est solidement ancrée sur de la domination de l’homme sur le reste.
Utilise llm ou autre si tu veux parler strictement technique, mais attends-toi à ce qu’on te dise qu’on ne peut pas aborder la technique en faisant comme si les aspects sociaux n’existaient pas, ça n’a aucun sens.
Je vais pas répondre au reste parce que la flemme de debunker un aibro, mais juste une chose : un modèle local est rarement entrainé en local, et dans tous les cas décentraliser les couts de l’IA ne la rend pas plus efficace. Le local c’est pour des questions de vie privée, pas d’environnement.
M’enfin je sais même pas pourquoi je m’emmerde à taper ça quand la personne en face essaie de jouer martyr.
“la flemme de débunker un aibro”… bravo le niveau. Tu n’es pas obliger de polluer les discussions auxquels tu ne veux pas prendre part.
décentraliser les couts de l’IA ne la rend pas plus efficace. Le local c’est pour des questions de vie privée, pas d’environnement
On est quand même en droit de penser qu’il vaut mieux avoir des GPU à 400W qui font des spikes occasionnels et déversent quelques calories dans le buffer thermique d’une résidence (où elles sont compensées mécaniquement par moins de chauffage etc…), que des data centers en spike permanent qui dumpent des MW de chaleur dans leur environnement immédiat.
Et en vrai, même les data centers pourraient faire le choix de se refroidir à l’air ou pourraient se mettre à des endroits où leur consommation d’eau ne poserait aucun problème ou alors pourrait faire comme les incinérateurs et alimenter des réseaux de chaleur. C’est purement un problème capitaliste et politique, ça.
Microsoft avait expérimenté avec Data Center immergé. Je crois que la Chine en a également. L’histoire de chuaffage, là, c’est vraiment un problème artificiel.
Oui, et puis le debunking, c’est dur, ça demande à se baser sur la réalité.
Oui, en effet, c’est moins efficace d’avoir de l’inférence décentralisée. Merci de rappeler que les data centers, en fait, représentent une économie en énergie. Par contre, il y a une question de mix énergétique qui se pose vraiment entre les data centers situés aux US qui vont tourner aux énergies fossiles et ceux situés en France qui vont tourner au nucléaire décarboné.
La réalité :
- le gros de l’utilisation des IA est une perte sèche
- l’utilisation des llm pour le grand public a des effets cognitifs et psychologique dévastateurs
- l’utilisation du terme “nucléaire decarbonné” est une aberration du même titre que “voiture non radioactive.”
- la réduction du labeur grâce aux IA n’arrivera pas. Le techno-socialisme s’est heurté a une réalité ou la réduction du labeur n’a eu lieu qu’en lien avec des progrès vers une démocratie fonctionnelle et non une fonction des progrès de productivité depuis le 19ème… Sinon on bosserait déjà tous 20h par semaine pour un niveau de vie auquel la majorité n’a pas forcément accès (manger équilibré, eau potable, une chambre par gamin, éducation, santé, électroménager pour tous).
Après je ne suis pas anti-ia. En recherche elles ont leur place. En automatique et conduite aussi. En décisionnel c’est une très mauvaise idée, même si on arrive a diminuer les biais qui sont produits en miroir de notre société. En médical c’est pas du tout mûr. En psychologie c’est dangereux car incontrôlable. En militaire c’est a contrôler à fond, faire les dernier 500m d’un drone vers un tank n’a rien a voir avec appliquer une stratégie destruction définitive des terres agricoles enemies car c’est efficace et le faire sans que les humains ne s’en rendent compte / n’interviennent. Associé a des humanoïdes / robots de présence / de conversation c’est complètement idiot, ça délite encore plus une société. Idem pour les arts. En agriculture intensive je vois du potentiel rapidement (est-ce souhaitable?) en extensif a moyen terme, en permaculture on en est très loin.
deleted by creator
Sinon il y a cela aussi. https://jlai.lu/post/38087984
Je pose ça dans l’espoir que ça aide à réaliser à quel point les progrès dans le domaine sont rapides et à quel point on devrait prendre au sérieux les énormes changements sociétaux que ça promet, avec notamment la fin du travail humain, dans tous les domaines. La plupart des tâches intellectuelles sont accessibles aux IA et ce n’est plus qu’un problème d’ingénierie à présent.
Si vous avez manqué les investissements massifs qu’il y a dans plein de boîtes de robotique, humanoïdes ou non d’ailleurs, qui s’attendent à pouvoir utiliser ces modèles de façon embarquée dans les prochaines années, sachez qu’il n’y a absolument rien qui semble hors de portée aujourd’hui.
Faut se calmer un peu : les ascenseurs spatiaux, la fusion nucléaire et le revenu universel aussi ne sont “plus qu’un problème d’ingénierie”
Alors, le revenu universel, les ingénieurs, ils ont fait leur boulot, les économistes aussi. Tout est dans la main des politiques là.
La fusion nucléaire, il y a un petit peu de recherche fondamentale à faire.
Les ascenseurs spatiaux, c’est has-been. Maintenant, on parle plutôt de crochet spatial
Pour moi la fusion c’est de la recherche appliquée maintenant, le côté fondamental est a ma connaissance rodé. A prendre avec un grain de sel, j’ai moins suivi ce sujet, particulièrement sur l’etat des matériaux soutenant les températures requises.
@leftascenter @keepthepace de ce que j’avais compris on a un problème de confinement du plasma, et on n’est pas rentable en énergie sur la fusion.
Si (et pas quand) on résout ces problèmes sur les tokamaks expérimentaux il faudra encore plusieurs décennies pour la version industrielle.
Donc non la fusion va pas nous sauver.
Ah non, les ascenseurs spatiaux c’est mort. :)
Roald Dahl nous aurait menti ??
😭
@keepthepace à prendre avec des pincettes ce genre d’annonce.
