Comme d’habitude, Mr Phi a bien fouillé les articles sur le sujet et donne un état de l’art sur les preuves mathématiques par des LLMs
Comme d’habitude, Mr Phi a bien fouillé les articles sur le sujet et donne un état de l’art sur les preuves mathématiques par des LLMs
Pas de soucis pour le mode de réponse.
Pour les difficultés à mesurer le temps travaillé, elles existent, mais on a quand même des indices. Je crois me souvenir d’une vidéo de NotaBene sur le temps de travail médiéval qui concluait par “c’était sans doute plus que nos 35h, mais pas autant plus que ce qu’on s’imagine”. Et je me souviens aussi de reportages sur les sociétés de chasseurs cueilleurs actuelles et disparues qui en déduisaient que le temps de travail était d’entre 30h et 40h, mais qui soulignaient que le travail a des sens différents dans les deux cas. Bref, ça reste des indices vagues, mais mon argument n’a pas besoin de chiffrages précis, il a besoin de tendances.
Sur l’augmentation en production liée au progrès technique, je suis d’accord que ce phénomène existe, je ne cherche pas à le nier, mais à le nuancer. J’estime qu’il s’accompagne d’une évolution, partiellement choisie et imposée, partiellement souhaitable et criticable de ce qu’on considère comme nécessaire et confortable. Je pense qu’une grande partie de la persistance des problèmes sociaux, voire leur intensification, malgré les progrès techniques est due à cette adaptation des demandes. Ça porte un nom comme paradoxe je crois, en gros quand qqch est plus efficace, on en vient pas à l’utiliser moins, mais à s’habituer à le consommer plus. Et ça me paraît tout à fait pertinent d’appliquer ça à l’IA, en plus du fait qu’elle est aux mains d’élites dont les intérêts ne sont pas ceux de l’humanité dans son ensemble, pour alerter sur les risques que les progrès sociaux soient reportés, voire empêchés.
Tout ceci est d’autant plus impactant je pense quand on ne regarde pas uniquement nos sociétés européennes mais le monde dans son ensemble. Oui, le progrès technique permet certains progrès sociaux, mais ça ne veut pas dire que tout progrès technique amène nécessairement, et encore moins immédiatement, du progrès social, encore moins du progrès social massif ou total. Genre les gamins qui meurent dans les mines de métaux, sont exploités dans les usines, pour qu’on puisse avoir cette discussion sur nos appareils numériques, et que l’IA puisse construire ses datacenters, bah c’est quand même un coût social monstre, dans tous les sens du termes.
Ça me paraît crédible que les ouvriers avaient des journées plus chargées que les paysans. Parce qu’après tout, le moteur de l’exode rural, c’était aller chercher du travail en ville, car la campagne n’arrivait pas à absorber toute la main d’oeuvre. Ça peut s’expliquer par justement un travail insuffisant à faire (et donc à se faire payer pour).
Je pense que le nom que tu cherches, c’est le paradoxe du rebond ou le paradoxe de Jevons, qui l’a énoncé en constatant que plus les machines à vapeur devenaient efficaces et produisaient davantage de travail pour la même quantité de charbon, plus on consommait de charbon.
Il faut une formulation assez précise pour considérer qu’il y a un paradoxe. C’est juste logique quand c’est énoncé sous la forme « dès qu’un process devient plus rentable, ce process est plus exploité ».
Ce que les gens qui invoquent ce paradoxe manquent souvent, c’est que ce n’est pas un effet absolu, mais c’est un effet économique. Il faut que l’efficacité économique de quelque chose augmente pour que l’effet de rebond se confirme.
L’effet Jevons peut s’appliquer aux IAs, mais il faut alors admettre que ça veut dire que c’est un process rentable, pas juste un truc inutile qui gâche du temps de calcul sans aucune utilité comme je le lis ailleurs. Si on admet que c’est un process créateur de richesse, on doit alors le comparer à ce qu’il remplace pour évaluer si c’est une bonne ou une mauvaise chose. Si en consommant 1 kWh tu évites 100 km de trajet à une voiture, c’est carrément rentable.
Le problème, c’est que ça, ce n’est pas vrai. L’IA n’est pas dans les mains d’élites. Et c’est ça qui me désespère et que je me tue à répéter dans toutes les conversations à ce sujet. Les technos utilisées, elles sont ouvertes, elles sont connues, les architectures sont connues, les architectures sont publiées. Et dans le top 5 des modèles les plus performants, on a généralement des modèles ouverts (ça change littéralement toutes les semaines) que vous pouvez faire tourner sur des machines sans payer un centime de royalties à qui que ce soit et sans demander l’autorisation à qui que ce soit. Vous avez le droit de les améliorer, d’en faire un produit commercial, vous avez le droit de les désosser, vous avez le droit d’enlever la censure chinoise ou les barrières éthiques comme le font plein de chercheurs.
Alors certes, si vous prenez un modèle du top 5, la machine pour faire tourner ça, elle est un petit peu chère. Mais elle n’est pas non plus excessive. C’est de l’ordre de 200 000 dollars. C’est quelque chose qui est à la portée d’énormément d’organisations. Les modèles plus modestes que je fais tourner, qui me permettent de faire contrôler par des non spécialistes des flux d’analyse d’image assez complexes, tourne sur un PC de gamer. Et je parle pas des modèles de vision, que j’entraîne en local rapidement, cette techno étant bien plus mature que les LLMs (la révolution IA, chez les spécialistes, elle a commencé dans le domaine de la vision en 2012 avec AlexNet, le langage naturel a été conquis bien plus tard)
OpenAI, Anthropic, ils ont leur petite sauce secrète qui leur permet de se maintenir en tête du classement pendant 3 à 6 mois, mais ils sont talonnés par les modèles ouverts, parce qu’absolument personne en ce moment n’a envie justement de laisser un tel pouvoir dans les mains d’élites. Et c’est une chose qui me désespère, c’est une des victoires les plus écrasantes, les plus flamboyantes du mouvement open source, de l’idée que la recherche doit être ouverte, de l’idée que les idées sont des patrimoines communs de l’humanité. C’est une victoire super importante, c’est une victoire qui nous épargne des tonnes de dystopies au sujet desquelles la science-fiction nous a tous mis en garde. Et les héros qui mènent cette lutte ne sont absolument pas soutenus par les gens qui vont en bénéficier le plus. Ça me rend fou.
Et vous savez qui finançait les efforts ouverts ? Au début, ça a été Meta. Oui Meta de Facebook.
Ils n’ont pas fait semblant de prétendre que c’était pour des raisons idéologiques ou parce que tout d’un coup ils sont devenus des paragons de vertu. Ils ont simplement expliqué que c’est parce que c’était financièrement logique, que c’était plus efficace, que c’était dans leur intérêt. Je ne sais pas si vous vous rendez compte, mais l’open source, c’est techniquement un projet anarcho-communiste(non coercitif et non propriétaire). Et là, vous avez une des plus grosses capitalisations boursières qui dit que, de toute façon, l’open source, c’est logique pour eux. C’est plus efficace. On pourrait célébrer ça à un moment!
Et qui a pris le relais de l’open source/weight (y a un débat sur le bon terme) depuis que Facebook a arrêté ? Le Parti communiste chinois.
Alors, je ne sais pas vous, mais Meta ou le PCC, déjà, c’est un petit peu le grand écart, mais je ne fais confiance à aucun des deux. Je trouverais ça cool quand même qu’il y ait un support un petit peu généralisé pour que cette recherche puisse continuer sur des bases un petit peu plus sereines, notament en France.
Mais quand on propose d’aider Mistral ou des modèles de recherche, c’est accueilli comme une proposition d’ouvrir un portail démonique au milieu d’une école maternelle.
respire respire
Pardon je vais prendre mes pillules roses
Sur la nécessaire rentabilité des IA pour générer un effet de rebond : effectivement, mais c’est pas moi qui le dit que les IA vont être rentables (ce qui est impliqué par le fait qu’elle soient un progrès social), c’est toi. Je dis justement que même en cas de rentabilité, l’effet de rebond peut empêcher ou retarder le progrès social.
Sur les projets ouverts : Je trouve qu’il y a pas mal d’oeillères ou de mauvaise foi dans ce passage, en tout cas de ce que j’en interprète.
Trois points à te concéder avant de posee mes critiques : oui, on ne parle pas assez de la qualité des modèles ouverts. Oui, idéalement il faudrait financer des modèles alternatifs. Et oui, l’open source utilisé par les big tech, c’est une victoire (mais on a pas attendu l’IA pour ça, on a d’autres exemples, donc je trouve ça juste mais hors-jeu).
Premier point : il y a une différence entre ouvert et accessible. Les technologies pour faire des navigateurs sont ouvertes, et pourtant on reste bloqués avec des chromium-like, des Firefox-like et des Webview-like. Les autres options sont incroyablement loin derrière, et du coup quand Firefox fait de la merde, nos seules options sont des demies mesures genre Librefox, ou de changer de famille et d’avoir d’autres défauts. Pourquoi ? Parce que c’est complexe ses grands-morts. Techniquement, on a les connaissances pour construire nos propres voitures, nos propres téléphones. Mais qui fait ça ? C’est sûr qu’héberger des IA locales, c’est plus facile, mais tu l’as dit toi-même, les plus puissantes, càd précisément celles qui pourraient amener un changement social drastique, c’ est compliqué, pour être gentil. Donc à mes yeux, quelque chose peut être à la fois ouvert et aux mains des élites, ce n’est pas mutuellement exclusif (tu as raison de rappeller qu’on peut concevoir un univers où ce n’est pas le cas, mais pour l’instant ce n’est pas le nôtre).
Deuxième point : je trouve quand même carrément abusé de venir dire “nan mais les IA ne sont pas au mains des élites”, pour ensuite dire “j’aimerais bien une alternative à Meta et au PCC”, et que l’alternative en question c’est Mistral. Genre, c’est pas aux mains des élites, mais c’est chiant que y’ait que des élites qui le financent, et si on finançait cette version privée détenue par un milliardaire ? Même des modèles de recherche, si ça passe par des universités et surtout si ça a besoin de gros financement, dans une société où les élites contrôlent les financement, bah c’est aux mains des élites (c’est sûr que je préfère les élites académiques, loin très loin devant les élites politiques, loin devant les élites économiques, mais c’est marrant à quel point le contrôle sur l’IA et surtout ses financement est inversement proportionnel à ma liste).
Honnêtement, je comprends qu’on puisse se passionner par les IA, et être frustré par tous les aspects positifs masqués par la vague anti-IA, qui est souvent bas du front. Désolé de te plonger dans une opposition si frustrante. Mais tous les arguments jusqu’ici, loin de me convaincre, me font dire que les anti-IA ont vraiment de bonnes raisons, derrière le discours “AI baaaad”.
Bon, déjà, merci pour une critique plus posée que ce que je reçois dans les autres commentaires.
Je ne vois pas trop la logique là. Si ça a un effet positif, le fait qu’il y ait un rebond devrait causer au contraire un changement plus rapide et un basculement au lieu d’une évolution (ce qui est une des thèse en la matière ceci dit).
Premier point (ouvert et accessible)
Sur le premier point, tu as complètement raison, ce n’est pas parce que c’est ouvert que c’est accessible. Les technologies, elles sont difficiles et ce n’est pas à cause de barrières artificielles, politiques ou capitalistes, c’est juste en effet difficile. Tout est disponible sur Internet, si tu veux t’y mettre, tu peux, mais ça prend des mois, voire des années de suffisamment se plonger dedans pour comprendre comment modifier les choses.
C’est pour ça qu’il y a un vrai enjeu à l’appropriation des technologies, à une vraie discussion à avoir sur comment pouvoir les utiliser, les réutiliser. J’ai l’impression que le rejet des technologies, c’est un rejet de cette complexité, un peu de la façon que plein de pseudomédecines ont pour moteur le refus de comprendre les modèles beaucoup plus complexes de la médecine moderne. Mais si on refuse de s’approprier ces technologies, on les laisse aux autres. Et ça, pour moi, ce n’est pas une option. C’est un acte de résistance fort, important et politique de garder le contrôle de ces technologies.
les Fab Labs, les Hackerspace, nous autres, les “tech-bros-solutionnistes”. On se fait traiter de tous les noms parce qu’on explique que ces technologies, elles sont là à ramasser pour quiconque veut s’en emparer. Et qu’il y a différents niveaux de packaging qui s’adressent à différents niveaux d’implication. Alors, plus c’est facile à utiliser, plus c’est imparfait, plus ça va utiliser des briques propriétaires, plus ça va utiliser des parties problématiques. Mais tu as tout un spectre de possibilités qui sont là. Et quand tu te penches sur les détails, tu découvres à quel point les LLM démultiplient l’accessibilité de plein de technologies.
La semaine prochaine, d’ailleurs, le thème de notre réunion au Fab Lab, c’est que je vais donner les billes à un bricoleur qui est plutôt dans la fabrication numérique pour pouvoir se fabriquer l’engin mobile qu’il veut. Il appelle ça un cyberdeck. Ce sera un truc entre l’ultra portable et le téléphone. Et évidemment, on va faire ça avec des technos libres. Vous pouvez venir si vous voulez. C’est gratuit.
Ce qui nous prend de la place au milieu de l’atelier en ce moment, c’est un prototype de tricycle cargo à assistance électrique qu’un autre membre du Fab Lab modifie grâce au soudeur laser qu’il vient d’acheter, (qui au passage est une petite révolution dans les métiers du soudage et a plein d’implications pour quiconque aime bien le vélo) et il y a une conscience écologique forte au départ de son projet.
Avec lui, on discute souvent justement de la difficulté à créer de nouveaux véhicules. Ce sont des difficultés législatives et techniques. Mais si ça se fait. Et quand je te parle dans l’autre discussion du fait que je tombe souvent sur des gens qui ont une mentalité anarchiste mais qui font des choses tranquillement dans leur petite bulle, c’est entre autres à ce genre d’initiative que je pense.
Second point, le contrôle des modèles ouverts
Alors j’ai mal dû m’exprimer. Imagine une situation dans laquelle il y aurait une seule entreprise qui financerait le développement de Linux. IBM par exemple.Linux resterait un système libre, ouvert et une alternative crédible à Windows ou à OS X. Pourtant, cette source de financement constituerait à une vulnérabilité évidente et son arrêt serait un coup dur pour le projet.
C’est la situation qu’on a aujourd’hui dans le monde de l’IA open source: Tous les outils sont ouverts, les architectures sont connues et les gens publient. Ce que Meta a posé sur la table et ce que plusieurs entreprises chinoises ont posé sur la table, c’est des centaines de millions, voire des milliards de dollars en puissance de calcul pour entraîner ces modèles. Et le résultat, ils l’ont donné (discutable pour certaines licenses des modèles Meta). Ils ne peuvent pas tuer ce qu’ils ont créé. Par contre, ils peuvent décider d’en arrêter le développement, comme Meta l’a déjà fait. Et si ça, ça arrive, les modèles ouverts resteront pendant un peu trop longtemps au niveau de 2026, pendant que les modèles des boîtes privées continueront à s’améliorer.
C’est là-dessus que j’aimerais bien qu’on ait des meilleures alternatives. Et l’alternative, ce n’est pas forcément Mistral, (même si aujourd’hui Mistral est le meilleur LLM qui ne soit pas entraîné dans une dictature, ce qui est quand même quelque chose)
Dans mon idéal à moi, ce serait des financements publics, ce serait des campagnes de crowdfunding parce qu’il y aurait un plébiscite universel pour se rendre compte à quel point ces technos sont positives lorsqu’elles sont ouvertes. Et on financerait ça soit via des fonds publics comme l’a été le modèle Bloom, soit via des groupes comme EleutherAI qui a été un pionnier en matière d’alignement et qui a créé le premier dataset ouvert: The Pile que probablement toutes les boîtes privées ont repris dans leur dataset d’entraînement, sans jamais venir à la défense d’Eleuther quand ils ont commencé à avoir eu des problèmes légaux.
Sur l'hébergement local
Il y a plusieurs idées fausses là dedans.
Plus haut, je parlais de l’appropriation des technologies.
Dans mon projet actuel j’utilise une IA hébergée localement pour transformer du langage naturel en commande d’un système complexe qui intègre plusieurs modèles de vision et des contrôles d’outils robotiques et qui a des capacités de programmation limitées mais suffisantes.
Le but que j’ai avec ce projet, c’est de permettre à des gens qui n’ont pas d’entraînement en informatique, en robotique, qui ne sont pas très techniques, mais qui ont un savoir-faire spécialisé en production, de s’emparer des outils d’automatisation sans avoir à passer justement par une boîte, un ingé spécialisé, etc.
Et par idéologie, je veux cibler les petites structures où les gens qui sont les plus à même de s’emparer de ces technologies sont des gens qui ne vont pas être foutus au chômage par des robots.
Désolé d’y voir une tentative de changement social. 9B c’est un modèle qui tourne sur une carte graphique à 300 euros.
Ensuite, je viens d’aller voir sur le LLM Leaderboard, (qui vaut ce qu’il vaut), quel est le meilleur modèle ouvert du moment. Ça a l’air d’être Qwen 3.7 Max, qui tourne sur 4 cartes H200. C’est quelque chose qui à l’achat vaut à peu près 120 000 euros (le lot de 4), auxquels il faut que tu rajoutes probablement à peu près autant pour connecter l’ensemble.
C’est le prix d’un petit équipement industriel. C’est le prix d’un achat modeste pour une petite commune. C’est le prix d’un tracteur, d’un rond-point. Et pour ce prix-là, tu as un des meilleurs modèles du moment qui tourne chez toi.
Il y a peu de technos qui restent aussi accessibles que ça! Ça te coûtera plus cher d’équiper un atelier pour travailler de façon professionnelle du métal que pour faire tourner un modèle à la pointe de la recherche en IA.
Quelque chose peut être à la fois ouvert et aux mains des élites
C’est possible, mais pour que ce soit possible, il faut une reddition générale.
C’est possible de maintenir une oppression sans violence, mais ça demande une soumission totale des opprimés.
C’est pour ça que je réagis aussi fort aux arguments qui disent qu’il faut rejeter en bloc toutes ces technos au lieu de se les approprier. Y renoncer c’est une condition nécessaire au contrôle par les élites de ces technos qu’ils pourront alors nous imposer. C’est un but contre son camp total.
Imagine des révolutionnaires à qui on donne des armes et qui décident qu’en fait, comme les oppresseurs ont des armes, eux ne veulent pas les utiliser.
Encore une fois, désolé pour cette confrontationnalité, c’est pas une posture facile à tenir je trouve, de défendre l’IA. Merci pour tes retours.
Sur le rebond
L’effet de rebond n’implique pas de changement justement, juste une intensification. Ou alors, c’est que le changement se trouve dans les objectifs plutôt que dans l’utilisation. Le travail devient plus efficace, et bah juste on travaille pareil ou plus pour produire énormément. Le chauffage devient moins cher, et bah on chauffe plus pour se mettre à 25 en hiver. Les cartes graphiques deviennent plus puissantes, et bah on développe des jeux plus gourmands.
Sur les Fablab
J’en profite pour souligner que j’ai énormément de respect pour les travaux faits dans les FabLab et tous les ateliers et les processus d’educ pop. Chapeau à toi et aux autres, on est d’accord il faut carrément plus d’éducation sur tous ces sujets. Mon “Mais qui fait ça” visait plus à montrer que c’était peu de monde et pas que c’était personne. J’ai bien conscience du pouvoir de l’open source, qui m’a permis de ressusciter des vieux PC, de me faire un setup pour une télé, d’avoir un serveur pour moi et ma copine, etc. Mais je maintiens que ça reste quelque chose de l’ordre du potentiel seulement, un potentiel qui s’actualise pour une part de personnes non-négligeable mais presque, mais qui dans les faits reste mis en échec par les élites économiques, juste parce qu’elles proposent plus simple et plus abordable.
Sur le contrôle des modèles ouverts
Tu t’es bien exprimé, c’est moi qui ai fait un peu trop de raccourcis dans ma tentative de simplification pour que ce soit clair.
J’ai bien conscience qu’il y a une différence entre “main-mise totale” et “contrôle par les financements”, je voulais juste dire que de mon point de vue c’était la même famille de problème, l’un étant juste plus extrême que l’autre. Et que du coup, de mon point de vue c’est étrange de dire “il n’y a pas de problème de contrôle, mais il y a des problèmes de contrôles”. Autrement dit, pour moi, tant que quelque chose dépend financièrement de X pour survivre, il est “aux mains de X”.
Ceci étant dit, ton idéal est intéressant et peut couper court à l’argument du contrôle par le capital (même si ça reste pour l’instant un idéal, tout est contrôlé directement ou indirectement par le capital aujourd’hui). Je pense que ça ne coupe pas les problèmes sociaux engendrés par le développement de l’IA, ou en tout cas par lesquels le capital a pu accélérer le développement de l’IA (travailleureuses du clic, extraction des minerais rare, usines d’assemblage avec conditions de travail horribles, etc). Mais en tout cas ça rendrait l’IA tout de suite plus sympathique et sûre.
Sur le local
Je pense mieux comprendre le sens de ton argument : c’est plus accessible qu’on ne le pense de sortir des grandes entreprises pour l’hébergement de modèles locaux.
Je te concède le point sur l’hébergement, je pense que je n’en avais pas autant conscience, merci de l’info.
Du coup il reste juste les problèmes entraînement des modèles et de proposition de système plus simples et abordables par les grandes entreprises.
Sur l'usage des technologies des élites
C’est marrant, ce passage fait écho à plein de trucs intéressants dont on avait discuté.
Pour être franc, je pense que la reddition est déjà là. Les GAFAM ont un monopole, et pourtant des alternatives fonctionnelles existent. Les anti-AI ne participent pas à établir cettz reddition, uniquement à la maintenir éventuellement.
Je pense aussi que la théorie de “le meilleur moyen de sortir du contrôle des GAFAM, c’est de construire un monde où leurs produits ne sont pas nécessaires, même sous forme d’alternative” est très séduisante. Parce que l’autre théorie c’est “luttons pour un monde où leurs produits deviennent nécessaires, mais on leur arrache des mains”, et ça me paraît tellement moins probable.
En fait, je crois que tu conçois le problème comme si les big tech ne reposaient que sur la flemme des gens, passivement, et qu’il suffirait de convaincre assez de personnes pour sortir de leur domination. Mais en fait, les big tech sont actifs et luttent pour créer et entretenir la flemme chez les gens. Donc c’est nous contre les big tech, et si on joue au même jeu, perso je parie pas qu’on gagne. Par contre si on joue dans des domaines différents (construire des mondes low-tech plutôt que high-tech), j’ai plus d’espoir (je parierai pas non plus en fait, mais à choisir je prendrai le deuxième).
Perso, je suis assez séduit par les révolutions qui refusent les armes, si promises à l’échec soient elles, parce que les révolutions armées que j’ai connues ont toutes échouées aussi. Quitte à se planter, autant le faire d’une manière en accord avec mes valeurs.
Du coup, je rêve d’un monde où l’IA n’est pas nécessaire, où les grandes entreprises n’ont pas réussi à l’imposer rentablement, mais où de braves volontaires dans les Fablab parviennent à utiliser une version amoindrie de l’IA, moins puissante qie ce qu’elle aurait pu être, mais qui permet quand même d’améliorer le quotidien ici ou là.
Mais je crois qu’au final, on rêve tous et toutes juste de monde où les GAFAM ont perdu, et du coup on part forcément perdant.e.s
Je pense que tu te trompes sur l’open source : les alternatives à la libreWolf n’ont pas pour objectif de remplacer Firefox mais de faire pression sur eux en les empêchant d’avoir un monopole. Les navigateurs web ne sont pas “aux mains des élites” justement parceque tout le monde peut voir ce qu’ils font et se barrer s’ils le désirent : c’est l’open-source qui permet un rapport de force entre les élites et les utilisateurs, rapport de force qui n’existe dans aucun autre domaine (ni dans l’automobile ni dans la téléphonie).
Le fait que les GAFAM ont plus de moyens techniques alloués au développement de modèles open sources que Jeanine, ta voisine, ne change rien à leur droit d’accès et de modification des modèles. Dans la pratique, Jeanine peut décider d’utiliser le modèle tel qu’il a été conçu par Meta ou tel qu’il a été modifié par des internautes pour passer outre la censure, retirer un watermark ou corriger des biais.
C’est peut-être plus nuancé que ce que j’ai exprimé, mais j’ai quand même l’impression d’avoir compris, et d’avoir plutôt raison.
Déjà parce qu’il y a la différence entre capacité de modification et capacité de développement : on peut essayer de rattraper les dérives tant qu’elles sont superficielles, mais on ne peut pas corriger les modèles une fois entraînés, à ma connaissance. On peut peut-être tout modifier dans un navigateur, je me rends pas compte des possibilités techniques, mais si Firefox décide de devenir closed source, on sera bloqué avec ce qui existe actuellement, et bon courage pour la suite. Pareil pour les fonctionnalités implémentées, c’est en bonne partie ce que Firefox choisit de faire qui est fait. J’imagine qu’on peut aider en soumettant sdes contributions externes, mais sur les features les plus complexes, là où il faut des gros moyens, c’est elleux qui gèrent.
Et surtout parce qu’il y a une différence entre les faits et les possibilités offertes à Jeannine : combien de gens utilisent Firefox, et quelle proportion encore plus ridicule est passée à des alternatives ? Dans les chiffres, les élites ont la main mise. Oui, tout le monde peut changer, mais le capital s’est bien accomodé de cette possibilité, et ça l’a pas empêché de construire des quasi monopoles.
C’est comme les bagnoles, si on veut, on peut éviter les grands groupes et en fabriquer soi-même. Mais bon courage.
Vu que c’est une question de chiffres, c’ est même comme notre système politique : oui, oui, c’est une démocratie, tu peux ne pas vivre aux mains des élites si tu réunis assez de personnes pour détricoter le système de concentration de richesses en place. Mais bon courage.
C’est un contre sens : le capital ne s’est pas accommodé de l’open source (ils ferment leurs modèles dès qu’ils en ont les moyens), c’est la population qui s’est accommodé de dépendre des décisions de la bourgeoisie. La situation actuelle n’est pas causé par une limite de l’open source, mais par une limite de l’engagement de la population.
Et ce n’est pas comme la bagnole, justement, puisque les technologies de la bagnole sont fermés. Même des modifications extrêmement simple et superficielles (retirer un siège) sont strictement interdite et impossible à rendre légal dans la pratique. Le réactif limitant n’est pas la capacité de production de Jeanine, c’est juste que sa kangoo sera immobilisé si elle se fait prendre par la police.
Dans le cas des IAs, chercher à s’approprier la technologie en pointant du doigt la silicon valley est une diversion qui ne mènera nulle part car maintenant que ces entreprises sont obligés d’ouvrir leur code la seule chose qui reste à faire pour se les approprier c’est de mobiliser les gens, les former sur le “pourquoi” et sur le “comment” de l’utilisation de modèles open source. Les modèles sont là il suffit de se baisser, il n’y a pas de majorité à obtenir, pas de 49.3, il faut vaincre sa peur et télécharger LMStudio (j’exagère à peine).
Même si je me trompe sur le point précédent, ça faisait justement partie de mon argument que même au-delà de la maîtrise technique, la mainmise des élites se joue au niveau de l’engagement des gens, et qu’à ce jeu là, le capital est très fort pour captiver les gens. C’est comme si quelqu’un était manipulé pour rester en prison : ce n’est pas parce qu’on a ouvert la grille qu’iel est libre. Idem ici, ce n’est pas parce qu’on a la capacité technique de sortir du joug du capital qu’on en est sorti.
Tout à fait d’accords
Je ne savais pas trop comment évoquer ce point. Et en fait, je vois que vous en discutez ici, donc c’est parfait. Je vais m’inviter. Coucou, PatteBlanche, je viens poser des tartines :-)
libre vs propriétaire
Le monde du libre a plus ou moins vaguement conscience de s’opposer au monde propriétaire, ça c’est clair. Par contre, ce n’est pas particulièrement réciproque. Les entreprises de technologie, elles, sont avant tout opposées les unes aux autres et considèrent souvent que le libre les menace moins.
Entre deux boîtes technologiques qui se battent, souvent elles considèrent que financer une alternative libre à la solution propriétaire d’un concurrent, c’est un peu comme une politique de la terre brûlée: «Je ne peux pas avoir ce marché, alors tu ne l’auras pas non plus»
Quand Google a beaucoup aidé à pousser des standards libres sur le web, c’est parce qu’il n’avait absolument pas envie que Microsoft se fasse un pré-carré dedans. Idem quand Meta se met à beaucoup financer des modèles ouverts en IA, c’est parce qu’ils ne voulaient absolument pas dépendre d’un monopole de OpenAI.
C’est vraiment un bel exemple du capitalisme qui nous vend la corde pour les pendre.
Ce qui arrive dans le champ du libre est irréversible, à mon avis. Une fois que des utilisateurs se sont habitués à ne pas avoir à payer pour quelque chose et avoir un contrôle total sur leurs algorithmes et leurs logiciels, il faut un argument massue pour revenir en arrière. Et également, il y a une victoire idéologique assez fondamentale qui est que même les entreprises capitalistes de technologie admettent que le modèle open source et le modèle de collaboration, c’est tout simplement le meilleur pour maintenir une chose dont tout le monde a besoin.
C’est un mode dans lequel à la fois la théorie capitaliste classique et la théorie marxiste se rejoignent: Les rendements du capital diminuent parce que le marché devient de plus en plus efficace à faire des choses, c’est-à-dire arrive à extraire de moins en moins de profits au fur et à mesure qu’on apprend à faire les choses.
Alors dans une production industrielle, on a besoin d’extraire suffisamment de profits pour pouvoir payer à minimum les salaires des travailleurs. Et en général, il en reste un petit peu pour se payer des dividendes. Mais dans le monde du software, où là, produire la copie d’un logiciel coûte à peu près zéro, on arrive à une étape suivante: la sortie totale de la logique marchande.
les données d'entrainement
Il y a en effet tout un débat sur la définition d’un modèle ouvert. Et c’est pour ça qu’on parle souvent de modèle open weights plutôt qu’open source.
Il y a des groupes comme LLM360 qui, eux, essayent d’être vraiment open source.
Il se heurte à un problème légal et pour lequel on aimerait bien avoir le support de la population, mais en général, on ne se prend que des coups quand on en parle, c’est qu’un dataset, aujourd’hui, on n’a pas le droit de le faire de façon ouverte parce qu’il contient du contenu ‘piraté’.
Il n’y a absolument aucun doute que tous les modèles de langage propriétaires intègrent des données sous copyright pour lesquelles les droits n’ont pas été sécurisés. Pour la bonne et simple raison d’ailleurs qu’il n’y a aucun processus pour sécuriser de tels droits.
Supposons que tu aies envie que ton modèle soit capable de discuter de Lord of the Rings. Comment tu dois faire ?
Tu ne vas pas négocier œuvre par œuvre pendant des années d’obtenir des droits à plusieurs millions comme tu devrais pour faire un film, par exemple. Mais c’est la seule option qui donnerait une sécurité légale totale et certaine. Ça fait 30 ans qu’on attend que les ayants droit se mettent d’accord pour nous donner un truc qui ressemble à la licence globale. Là, il faudrait une licence globale sous stéroïde. Il n’y a juste aucune chance que ça arrive.
Tu peux acheter les livres et les scanner ou les acheter sous forme d’e-book pour les injecter à ton modèle, mais ça, il n’y a aucune garantie que ce soit légal parce que les ayants droit vont arguer que tu fais une œuvre dérivée. Ce qui au passage, d’un point de vue légal, est très discutable (le coté “oeuvre”, pas le coté “dérivé”).
Des modèles qui s’interdiraient de faire ça seraient plus mauvais. Simplement, si jamais tu publies un dataset d’entraînement (et que tu ne t’appelles pas Nvidia, eux ont des avocats) tu as la garantie de te prendre tout l’arsenal anti-piratage dans la gueule.
Eleuther AI a essayé à un moment de trouver un moyen de publier des datasets utilisables par tout le monde sans qu’on puisse reconstruire les œuvres, notamment en saucissonnant les datasets d’une façon qu’il soit difficile de réassembler des livres complets à partir du dataset d’entraînement, ou alors de coder les embeddings directement, ce qui en plus rendait le debugging assez difficile.
Si on veut des modèles vraiment open source, il va falloir accepter l’hypocrisie actuelle, qui est qu’on accepte que entraîner des modèles tombe dans le scope du “fair use”. Et ce serait bien qu’on reconnaisse ce droit aux gens qui font de l’open source autant qu’aux gens qui font des modèles propriétaires. Pour le coup, le flou, en l’occurrence, aide complètement les entreprises qui ont des armées d’avocats et handicapent complètement les labos qui essayent de faire des choses en mode libre et ouvert.
les processus de fine tuning
Une grande partie de la “sauce secrète” des modèles est en effet dans le fine tuning, mais le fine tuning est généralement plus facile à faire, demande moins d’infrastructures, moins de temps d’entraînement et surtout de l’intelligence au niveau de la formation des datasets.
Et il y a une communauté assez active qui fait ce genre de choses depuis longtemps (cough cough pour du roleplay érotique). Il y a en particulier quand tu veux les entraîner sur des données métiers assez spécialisées que tu ne souhaites pas partager avec d’autres, que ce soit du médical, de la finance.
Il y a également des techniques qui, là, pour le coup, proviennent complètement de labos et pas du tout de boîtes privées, qui s’amusent à enlever la censure politique de certains modèles (surtout chinois pour le coup). Et à le faire sans nécessité d’entraînement supplémentaire, juste par des opérations qui sont quasiment de la chirurgie fine dans ces modèles. C’est assez marrant à suivre.
infrastructures libres?
Je ne sais pas ce qu’on considérait être des infrastructures libres. Pour l’instant, je n’ai pas d’exemple de choses comme ça, à moins qu’on considère que les infrastructures publiques sont des infrastructures libres, ce qui me semble contestables.
Par contre, on a des choses non propriétaires dans le sens où on peut facilement changer de fournisseur.
Il faut savoir que les hébergeurs aujourd’hui se sont équipés en GPU pour fournir du token à des gens qui le demandent. Et là, on parle de fournisseurs qui, eux, n’entraînent pas du tout de modèle, ne sont pas des boîtes d’IA à proprement parler, juste des gens qui louent des machines.
Si aujourd’hui tu veux faire tourner un modèle open source énorme comme Qwen 3.7, tu n’as pas besoin d’acheter les 200 000 euros de machine, tu peux les louer à un tarif journalier qui a un prix de marché avec énormément de compétition et qui aujourd’hui a convergé à un prix assez proche de l’électricité consommée plus un amortissement sur un an des GPUs.
Tu peux également louer ces machines pour faire de l’entraînement de modèles. Les gens qui font des expériences de fine-tuning, en général, font ça. Ils vont louer pour quelques jours ou quelques semaines un gros cluster qu’ils n’ont pas les moyens de se payer. Et ça va leur coûter peut-être quelques centaines d’euros d’obtenir un modèle configuré et fine-tuné selon les datasets qu’ils ont mis au point.
Dans le monde de la recherche, il y a des supercalculateurs équipés des cartes adéquates qui sont accessibles à des labos de recherche. Alors, je ne connais pas le détail d’accessibilité de ces choses-là. Et comme tu te doutes dans notre autre conversation, je ne considère pas automatiquement comme libre les ressources dont l’État a le monopole.
Il y a, ceci dit, un projet qui existe pour de l’inférence surtout, il ne semble pas encore au point pour du training, qui s’appelle AI Horde, qui est la mise en réseau de machines de volontaires pour faire de l’inférence pour les gens qui n’ont pas de GPU. C’est ce qui se rapproche probablement le plus d’infrastructures réellement libres. Vu la taille que c’est, par rapport à la taille que ça devrait être, c’est pour l’instant plus au niveau de l’espoir que de l’effort réel crédible.
Message super intéressant, merci encore (je te réponds bientôt sur l’autre je prends juste mon temps ;) )
Sur la relation libre/propriétaire
On est globalement d’accord, c’est vrai que dire que le capital a “acculé dans un coin” l’open source, c’est sans doute dépeindre le monde avec trop de conflit.
Je pense par contre qu’il y a carrément des manœuvres du capital pour que tout ne soit pas open source, à commencer par leurs propres projets, mais aussi en rachetant des projets et en les faisant passer propriétaires. C’est plus un entre deux je pense, où l’open source est favorisé par le capital là où ça l’arrange, comme tu le décris, mais combattu ailleurs.
C’est marrant cette formulation du capitalisme qui vend la corde pour se faire pendre, parce qu’en fait je pense que c’est le cas de tout capitalisme. Hors de l’exemple du patron de l’usine de corde qui littéralement fabrique aussi la corde pour se faire pendre, il y a deux aspects du capitalisme qui auraient dû mener à sa perte : la compétition d’un côté, qui a tendance à donner des avantages “contre” les entreproses, et la constitution du prolétariat de l’autre côté, c’est-à-dire des gens nécessaires aux profits du capital et qui pourraient pourtant s’en émanciper. C’est simplement contré par un jeu du bâton et de la carotte, du monopole de la violence et de la manipulation des désirs, pour que tout tienne en place. Et l’efficacité de ces procédés me rend très sceptique quand à la possibilité de pendre effectivement les capitalistes avec les cordes qu’iels nous offrent dans leur guerre de compétition.
Sur le triptyque dataset/fine-tuning/infrastructures
Très intéressant ces manipulations de modèle par intervention chirurgicale plutôt que fine-tuning, tu as des liens vers ces gens là ?
Globalement merci encore, j’apprends un paquet de trucs. J’en tire les conclusions suivantes, hésite pas à me corriger :
Sur la question des datasets, j’imagine qu’on sera toujours bloqué comme ça, au sens où certaines données un peu sensibles pour X ou Y raison seront toujours plus accessibles pour des enteprises qui promettront de garder les originaux secrets que pour des entités qui promettront de publier les originaux en open-source. Mais on pourrait sans doute réduire grandement ce désavantage si le lobby des ayant-droits ne défendait pas si farouchement ses intérêts.