Hello, avec un pote on a prévu de se faire une petite session de coding pour explorer ce qu’on peut faire de nos jours avec un bon copilote IA et on se tâtait à le faire en streaming. Est-ce que ça intéresserait des gens ici?
Ces derniers mois on en arrive au point où écrire le code devient moins important que de savoir le spécifier et je voulais justement montrer à quel point mon boulot (dev) a changé en quelques mois. Si vous avez envie de faire des programmes mais que l’apprentissage d’un langage de prog vous rebute. c’est le bon moment pour jeter un nouvel œil au domaine.
Petit teaser: https://www.youtube.com/watch?v=n7kvydoo7zc (on aura un meilleur micro, je sais que mon son est pourri là)
Pour avoir particuper à un atelir il n’y a pas longtemps, c’est terriblement bluffant. Juste à partir d’un nom de module en elixir, ça générait le code approprié pour débuter un interpréteur de lambda expression
Oui, j’avais essayé de copilotes au début de la tendance et c’était pas terrible, mais on m’a forcé à réessayer récemment et c’est devenu impossoible de s’en passer.
Je me suis également ajouté un module whisperX pour parler à l’IDE. C’est vraiment magique maintenant: je lui dis, en français, ce que je souhaite, et ça me le code. Je râle sur ce qui marche pas, ça le répare!
Dans notre contexte c’était effrayant parce que le code généré était bon alors qu’on a fait quelques boulettes XD Après pour modérer un peu la chose, c’est comme le mec qui a fait générer un pacman à chatgpt en python. Bourriner des LLMs pour générer du python en le guidant fortement on est au niveau -1 de l’efficience énergétique et quand on regarde la conso des datacenters je sais pas si c’est vraiment pertinent comme utilusation.
Je pense qu’un dev qui met un jour à coder sur son desktop avec son alim à 300W et son écran à 100W consomment probablement plus que quelques requêtes à des LLMs qui vont faire la chose en 5 minutes.
On a testé des modèles locaux, ils sont pas mauvais mais clairement moins souvent corrects qu’un Claude-sonnet-3.5 par exemple, mais eux serait clairement plus efficaces énergétiquement.
Après, je trouve qu’on en fait des caisses sur la conso énergétique de ces modèles. Quand on regarde les quantités en jeu, c’est franchement pas énorme. Les journalistes ont tendance à confondre l’énergie utilisée à l’entraînement et à l’inférence, à parler de la conso des datacenters pour parler de celle de l’IA (minoritaire aujourd’hui). Y a des critiques à faire, surtout sur le modèle centralisé que quelques boites poussent (OpenAI, Anthropic) mais la conso énergétique, je pense que c’est pas l’angle le plus raisonnable.
Dans ce que j’entends sur l’aspect énergétique (et je me suis pas forcément bien exprimé dessus) c’est plus tout l’aspect autour des ressources matérielles et énergétiques de a à z : production du matériel, entrainement (en vrai comme beaucoup en informatique c’est pas l’exploitation qui consomme le plus mais bien le développement (dans un sens très large) (et encore, la boite d’evernote se vante de faire tourner 20k GPU pour un modèle d’amélioration des photos alors qu’en vrai, c’est pas essentiel). Et dans le cas que j’évoquais c’était surtout le fait de faire générer du python… quitte à avoir des IA pour faire le gros du travail, autant générer dans des langages plus efficients à l’exécution. In fine, je me suis lancé dans un tunnel mais ça dérivait un max sur du sociétal XD
Alors sur le fait que Python soit pas efficace, je te rejoins totalement. Personnellement, on va le faire en Python parce que c’est un langage dans lequel on est à l’aise et qui est populaire en ce moment. Ça aurait été ça ou JavaScript, mais moi je suis moins à l’aise dans JavaScript.
Mais par contre, un des trucs qui se passe avec ces générateurs, c’est qu’on peut justement plus facilement s’adresser à des langages plus ardus. Je pourrais faire des choses en C, j’ai déjà fait générer du C mais pour de l’arduino, pas des choses super compliquées. Mais une des choses qui est intéressante c’est que pour lui faire faire du Rust par exemple, pour parler d’un langage efficace et moderne mais bien ardu, il n’est pas mauvais et c’est quelque chose auquel je me remets doucement.
Enfin, on est vraiment juste en train de gratter la surface du truc. Ce que je pense, c’est qu’à terme on va changer fondamentalement certains langages de programmation. Voir qu’on va inventer de nouveaux langages de programmation autour de ces technologies, autour de ce qu’ils sont capables de faire.
Mon point de vue c’est que si on commence à inventer des langages dans lesquels on ne peut développer qu’avec des LLMs, c’est qu’on empire la pile de technologies douteuses qu’est l’informatique (cf un processeur moderne qui se fait passer via C et l’OS pour un processeur de pdp 11 ça donne des failles comme Spectre et Meltdown)… et que même pour générer le C, ça veut pas dire que le code généré n’a pas de fuite mémoire par exemple, ce qu’on cherche à éviter avec Rust et du coup, tu peux générer du code foireux plus vite. Je vois l’intérêt pour les ESN qui doivent vendre des bugs mais derrière si tu veux un paysage plus fiable c’est pas forcément si intéressant, d’autant que ça soulève énormément de questions non techniques et là-dessus, je pense que les ingénieurs et les développeurs devraient arrêter de se palucher sur le progrès technique peu importe le reste (comme a fait le créateur de Yolo qui a fini par arrêter la vision par ordinateur parce que l’usage qui s’est le plus démocratisé c’est la surveillance de masse)
C’est un débat qui a lieu depuis qu’on a commencé à avoir des compilateurs et des langages en fait, sur le niveau de contrôle qu’on souhaite avoir. Rappelons que la baseline contre laquelle on se compare là, c’est pas un programme parfait, c’est un programme fait par un humain moyen.
Pour avoir du bon code, on fait comme on fait quand on emploie des stagiaires ou des mauvais programmeurs: on relit, on écrit des tests. Ça reste de l’ingénierie.
En fait je pense que l’approche de réécrire des langages pour les LLMs, ça permettrait de probablement augmenter le niveau de contrôle des humains sur le code en rendant plus de choses explicites, en imposant une certain verbosité. Par exemple, avec du code généré, l’inférence de type est moins nécessaire. Une autre tendance m’a surpris: plutôt que d’ajouter une dépendance, je peux beaucoup plus facilement lui dire de rajouter les quelques fonctionnalités dont j’ai besoin, diminuant la surface d’attaque.
N’exagérons rien, ça sert aussi à guider des missiles.
En toute franchise, je pense que j’ai pas mal de réactance vis-à-vis des LLMs pour plusieurs raison:
Après pour la question de l’inférence de type, si on regarde l’écosystème actuel on a :
Quoi qu’il en soit, c’est mon côté anticapitaliste me dit que tant qu’on reste dans le modèle capitaliste, aucune avancé technologique ne sera clean et les LLMs bah c’est au niveau de l’entrainement : si tu entraîne un modèle uniquement sur du code GPL, on pourrait imaginer que ce qu’il produit et sous GPL, mais est-ce qu’entrainer from scratch sur du code gpl rend le modèle utilisable ? Sinon, il faut donc étendre avec du texte humain potentiellemet, et du coup, comment ça se passe au niveau licence ?
Ça c’est un peu abandonner un idéal de qualité et se résigner à la médiocrité. Il n’y a pas besoin d’être mauvais ou stagiaire pour faire des erreurs à plusieurs centaines de milliers d’€, juste une chaine d’outils pourris en amont ou de mauvaises conceptions (je l’ai vu il y a peu) et même quand des vies sont en jeu on a pu voir des problèmes graves (coucou le régulateur toyota ou les avions boeing). D’ailleurs, je pense que le secteur informatique souffre de la hiérarchisation issue de l’industrie (ouvrier, technicien, ingénieur je suis pas sûr que ce soit pertinent pour l’informatique)…
Technologiquement, j’aime vraiment le deep learning, mais il y a tellement de trucs problématiques associés que son industrialisation m’en dégoute un peu