Comme d’habitude, Mr Phi a bien fouillé les articles sur le sujet et donne un état de l’art sur les preuves mathématiques par des LLMs
Comme d’habitude, Mr Phi a bien fouillé les articles sur le sujet et donne un état de l’art sur les preuves mathématiques par des LLMs
Bon, déjà, merci pour une critique plus posée que ce que je reçois dans les autres commentaires.
Je ne vois pas trop la logique là. Si ça a un effet positif, le fait qu’il y ait un rebond devrait causer au contraire un changement plus rapide et un basculement au lieu d’une évolution (ce qui est une des thèse en la matière ceci dit).
Premier point (ouvert et accessible)
Sur le premier point, tu as complètement raison, ce n’est pas parce que c’est ouvert que c’est accessible. Les technologies, elles sont difficiles et ce n’est pas à cause de barrières artificielles, politiques ou capitalistes, c’est juste en effet difficile. Tout est disponible sur Internet, si tu veux t’y mettre, tu peux, mais ça prend des mois, voire des années de suffisamment se plonger dedans pour comprendre comment modifier les choses.
C’est pour ça qu’il y a un vrai enjeu à l’appropriation des technologies, à une vraie discussion à avoir sur comment pouvoir les utiliser, les réutiliser. J’ai l’impression que le rejet des technologies, c’est un rejet de cette complexité, un peu de la façon que plein de pseudomédecines ont pour moteur le refus de comprendre les modèles beaucoup plus complexes de la médecine moderne. Mais si on refuse de s’approprier ces technologies, on les laisse aux autres. Et ça, pour moi, ce n’est pas une option. C’est un acte de résistance fort, important et politique de garder le contrôle de ces technologies.
les Fab Labs, les Hackerspace, nous autres, les “tech-bros-solutionnistes”. On se fait traiter de tous les noms parce qu’on explique que ces technologies, elles sont là à ramasser pour quiconque veut s’en emparer. Et qu’il y a différents niveaux de packaging qui s’adressent à différents niveaux d’implication. Alors, plus c’est facile à utiliser, plus c’est imparfait, plus ça va utiliser des briques propriétaires, plus ça va utiliser des parties problématiques. Mais tu as tout un spectre de possibilités qui sont là. Et quand tu te penches sur les détails, tu découvres à quel point les LLM démultiplient l’accessibilité de plein de technologies.
La semaine prochaine, d’ailleurs, le thème de notre réunion au Fab Lab, c’est que je vais donner les billes à un bricoleur qui est plutôt dans la fabrication numérique pour pouvoir se fabriquer l’engin mobile qu’il veut. Il appelle ça un cyberdeck. Ce sera un truc entre l’ultra portable et le téléphone. Et évidemment, on va faire ça avec des technos libres. Vous pouvez venir si vous voulez. C’est gratuit.
Ce qui nous prend de la place au milieu de l’atelier en ce moment, c’est un prototype de tricycle cargo à assistance électrique qu’un autre membre du Fab Lab modifie grâce au soudeur laser qu’il vient d’acheter, (qui au passage est une petite révolution dans les métiers du soudage et a plein d’implications pour quiconque aime bien le vélo) et il y a une conscience écologique forte au départ de son projet.
Avec lui, on discute souvent justement de la difficulté à créer de nouveaux véhicules. Ce sont des difficultés législatives et techniques. Mais si ça se fait. Et quand je te parle dans l’autre discussion du fait que je tombe souvent sur des gens qui ont une mentalité anarchiste mais qui font des choses tranquillement dans leur petite bulle, c’est entre autres à ce genre d’initiative que je pense.
Second point, le contrôle des modèles ouverts
Alors j’ai mal dû m’exprimer. Imagine une situation dans laquelle il y aurait une seule entreprise qui financerait le développement de Linux. IBM par exemple.Linux resterait un système libre, ouvert et une alternative crédible à Windows ou à OS X. Pourtant, cette source de financement constituerait à une vulnérabilité évidente et son arrêt serait un coup dur pour le projet.
C’est la situation qu’on a aujourd’hui dans le monde de l’IA open source: Tous les outils sont ouverts, les architectures sont connues et les gens publient. Ce que Meta a posé sur la table et ce que plusieurs entreprises chinoises ont posé sur la table, c’est des centaines de millions, voire des milliards de dollars en puissance de calcul pour entraîner ces modèles. Et le résultat, ils l’ont donné (discutable pour certaines licenses des modèles Meta). Ils ne peuvent pas tuer ce qu’ils ont créé. Par contre, ils peuvent décider d’en arrêter le développement, comme Meta l’a déjà fait. Et si ça, ça arrive, les modèles ouverts resteront pendant un peu trop longtemps au niveau de 2026, pendant que les modèles des boîtes privées continueront à s’améliorer.
C’est là-dessus que j’aimerais bien qu’on ait des meilleures alternatives. Et l’alternative, ce n’est pas forcément Mistral, (même si aujourd’hui Mistral est le meilleur LLM qui ne soit pas entraîné dans une dictature, ce qui est quand même quelque chose)
Dans mon idéal à moi, ce serait des financements publics, ce serait des campagnes de crowdfunding parce qu’il y aurait un plébiscite universel pour se rendre compte à quel point ces technos sont positives lorsqu’elles sont ouvertes. Et on financerait ça soit via des fonds publics comme l’a été le modèle Bloom, soit via des groupes comme EleutherAI qui a été un pionnier en matière d’alignement et qui a créé le premier dataset ouvert: The Pile que probablement toutes les boîtes privées ont repris dans leur dataset d’entraînement, sans jamais venir à la défense d’Eleuther quand ils ont commencé à avoir eu des problèmes légaux.
Sur l'hébergement local
Il y a plusieurs idées fausses là dedans.
Plus haut, je parlais de l’appropriation des technologies.
Dans mon projet actuel j’utilise une IA hébergée localement pour transformer du langage naturel en commande d’un système complexe qui intègre plusieurs modèles de vision et des contrôles d’outils robotiques et qui a des capacités de programmation limitées mais suffisantes.
Le but que j’ai avec ce projet, c’est de permettre à des gens qui n’ont pas d’entraînement en informatique, en robotique, qui ne sont pas très techniques, mais qui ont un savoir-faire spécialisé en production, de s’emparer des outils d’automatisation sans avoir à passer justement par une boîte, un ingé spécialisé, etc.
Et par idéologie, je veux cibler les petites structures où les gens qui sont les plus à même de s’emparer de ces technologies sont des gens qui ne vont pas être foutus au chômage par des robots.
Désolé d’y voir une tentative de changement social. 9B c’est un modèle qui tourne sur une carte graphique à 300 euros.
Ensuite, je viens d’aller voir sur le LLM Leaderboard, (qui vaut ce qu’il vaut), quel est le meilleur modèle ouvert du moment. Ça a l’air d’être Qwen 3.7 Max, qui tourne sur 4 cartes H200. C’est quelque chose qui à l’achat vaut à peu près 120 000 euros (le lot de 4), auxquels il faut que tu rajoutes probablement à peu près autant pour connecter l’ensemble.
C’est le prix d’un petit équipement industriel. C’est le prix d’un achat modeste pour une petite commune. C’est le prix d’un tracteur, d’un rond-point. Et pour ce prix-là, tu as un des meilleurs modèles du moment qui tourne chez toi.
Il y a peu de technos qui restent aussi accessibles que ça! Ça te coûtera plus cher d’équiper un atelier pour travailler de façon professionnelle du métal que pour faire tourner un modèle à la pointe de la recherche en IA.
Quelque chose peut être à la fois ouvert et aux mains des élites
C’est possible, mais pour que ce soit possible, il faut une reddition générale.
C’est possible de maintenir une oppression sans violence, mais ça demande une soumission totale des opprimés.
C’est pour ça que je réagis aussi fort aux arguments qui disent qu’il faut rejeter en bloc toutes ces technos au lieu de se les approprier. Y renoncer c’est une condition nécessaire au contrôle par les élites de ces technos qu’ils pourront alors nous imposer. C’est un but contre son camp total.
Imagine des révolutionnaires à qui on donne des armes et qui décident qu’en fait, comme les oppresseurs ont des armes, eux ne veulent pas les utiliser.
Encore une fois, désolé pour cette confrontationnalité, c’est pas une posture facile à tenir je trouve, de défendre l’IA. Merci pour tes retours.
Sur le rebond
L’effet de rebond n’implique pas de changement justement, juste une intensification. Ou alors, c’est que le changement se trouve dans les objectifs plutôt que dans l’utilisation. Le travail devient plus efficace, et bah juste on travaille pareil ou plus pour produire énormément. Le chauffage devient moins cher, et bah on chauffe plus pour se mettre à 25 en hiver. Les cartes graphiques deviennent plus puissantes, et bah on développe des jeux plus gourmands.
Sur les Fablab
J’en profite pour souligner que j’ai énormément de respect pour les travaux faits dans les FabLab et tous les ateliers et les processus d’educ pop. Chapeau à toi et aux autres, on est d’accord il faut carrément plus d’éducation sur tous ces sujets. Mon “Mais qui fait ça” visait plus à montrer que c’était peu de monde et pas que c’était personne. J’ai bien conscience du pouvoir de l’open source, qui m’a permis de ressusciter des vieux PC, de me faire un setup pour une télé, d’avoir un serveur pour moi et ma copine, etc. Mais je maintiens que ça reste quelque chose de l’ordre du potentiel seulement, un potentiel qui s’actualise pour une part de personnes non-négligeable mais presque, mais qui dans les faits reste mis en échec par les élites économiques, juste parce qu’elles proposent plus simple et plus abordable.
Sur le contrôle des modèles ouverts
Tu t’es bien exprimé, c’est moi qui ai fait un peu trop de raccourcis dans ma tentative de simplification pour que ce soit clair.
J’ai bien conscience qu’il y a une différence entre “main-mise totale” et “contrôle par les financements”, je voulais juste dire que de mon point de vue c’était la même famille de problème, l’un étant juste plus extrême que l’autre. Et que du coup, de mon point de vue c’est étrange de dire “il n’y a pas de problème de contrôle, mais il y a des problèmes de contrôles”. Autrement dit, pour moi, tant que quelque chose dépend financièrement de X pour survivre, il est “aux mains de X”.
Ceci étant dit, ton idéal est intéressant et peut couper court à l’argument du contrôle par le capital (même si ça reste pour l’instant un idéal, tout est contrôlé directement ou indirectement par le capital aujourd’hui). Je pense que ça ne coupe pas les problèmes sociaux engendrés par le développement de l’IA, ou en tout cas par lesquels le capital a pu accélérer le développement de l’IA (travailleureuses du clic, extraction des minerais rare, usines d’assemblage avec conditions de travail horribles, etc). Mais en tout cas ça rendrait l’IA tout de suite plus sympathique et sûre.
Sur le local
Je pense mieux comprendre le sens de ton argument : c’est plus accessible qu’on ne le pense de sortir des grandes entreprises pour l’hébergement de modèles locaux.
Je te concède le point sur l’hébergement, je pense que je n’en avais pas autant conscience, merci de l’info.
Du coup il reste juste les problèmes entraînement des modèles et de proposition de système plus simples et abordables par les grandes entreprises.
Sur l'usage des technologies des élites
C’est marrant, ce passage fait écho à plein de trucs intéressants dont on avait discuté.
Pour être franc, je pense que la reddition est déjà là. Les GAFAM ont un monopole, et pourtant des alternatives fonctionnelles existent. Les anti-AI ne participent pas à établir cettz reddition, uniquement à la maintenir éventuellement.
Je pense aussi que la théorie de “le meilleur moyen de sortir du contrôle des GAFAM, c’est de construire un monde où leurs produits ne sont pas nécessaires, même sous forme d’alternative” est très séduisante. Parce que l’autre théorie c’est “luttons pour un monde où leurs produits deviennent nécessaires, mais on leur arrache des mains”, et ça me paraît tellement moins probable.
En fait, je crois que tu conçois le problème comme si les big tech ne reposaient que sur la flemme des gens, passivement, et qu’il suffirait de convaincre assez de personnes pour sortir de leur domination. Mais en fait, les big tech sont actifs et luttent pour créer et entretenir la flemme chez les gens. Donc c’est nous contre les big tech, et si on joue au même jeu, perso je parie pas qu’on gagne. Par contre si on joue dans des domaines différents (construire des mondes low-tech plutôt que high-tech), j’ai plus d’espoir (je parierai pas non plus en fait, mais à choisir je prendrai le deuxième).
Perso, je suis assez séduit par les révolutions qui refusent les armes, si promises à l’échec soient elles, parce que les révolutions armées que j’ai connues ont toutes échouées aussi. Quitte à se planter, autant le faire d’une manière en accord avec mes valeurs.
Du coup, je rêve d’un monde où l’IA n’est pas nécessaire, où les grandes entreprises n’ont pas réussi à l’imposer rentablement, mais où de braves volontaires dans les Fablab parviennent à utiliser une version amoindrie de l’IA, moins puissante qie ce qu’elle aurait pu être, mais qui permet quand même d’améliorer le quotidien ici ou là.
Mais je crois qu’au final, on rêve tous et toutes juste de monde où les GAFAM ont perdu, et du coup on part forcément perdant.e.s