You must log in or register to comment.
Aujourd’hui (15 fev 2024) Google a annoncé Gemini 1.5 Pro avec une fenêtre de contexte de 1M tokens. Ça veut dire quoi? Ça veut dire que même sans être entraîné sur une langue donnée, vous lui filez deux grammaires et un dico à lire, et ils est capable d’apprendre instantanément une nouvelle langue. Ils ont testé ça sur le Kalamang, une langue qui n’a plus que 200 locuteurs.
Faites gaffes aux limitations de l’IA, elles reculent toutes les semaines.
Incroyable !
Reste que les limitations de l’IA sont aussi celles du portemonnaie. Le temps et l’argent nécessaire pour intégrer l’intelligence artificielle dans des systèmes de surveillance généralisées sont notre plus grand rempart contre le capitalisme de surveillance. Malheureusement, il a beau être grand, il s’érode naturellement.
Non, c’est déjà là. Depuis le 9/11 il y un pognon de dingue qui a été mis dans la reconnaissance faciale. La Chine prétend être capable de reconnaître le visage de n’importe lequel de son milliard de citoyens (et c’est pas impossible). L’intégration se fait à vitesse grand V partout où c’est rentable. Et c’est pas cher non.
Le seul rempart contre la surveillance c’est l’état de droit et la démocratie. C’est d’utiliser les tribunaux, les prud’hommes et la désobéissance lorsque des asymétries de surveillance sont mises en place.
Je fais tourner des algos assez complexes sur mon GPU à 300€ et des puces optimisées encore moins chères arrivent.
Non, il ne faut pas croire qu’il faut un datacenter pour faire tourner ça. C’est Google et Microsoft qui le font croire, mais les modèles ouverts sur les ordis particuliers génèrent probablement plus de tokens que ceux des datacenters aujourd’hui.
ah c’est sûr qu’il vaut mieux aller vite maintenant, parce que quand la planète sera bien cramée, on pourra plus faire tourner tous ces GPU pour l’entrainement 😅
Donc autant le faire maintenant tant que les gens sont encore dans le déni.
Sérieux, on peut pas parler d’un sujet sans que tout revienne à “Annnh tu utilises de l’électricité!” ? L’électricité on sait la faire de façon renouvelable avec des choses qui ne demandent que de l’électricité et des ressources renouvelables à produire.
tu fais de l’inférence sur ton GPU, pas de l’entrainement. Tu sous-estimes les besoins pour entrainer un algo type ChatGPT.
Ensuite effectivement on peut le faire tourner en inférence sur des plus petites infra. Mon commentaire était surtout par rapport au fait que ça met du pognon de dingue maintenant. C’est la course pour être premier, mais aussi la course avec le temps à mon avis, il va aussi y avoir un pb d’eau avec les datacenter.
Oui je sais. Je bosse dans le domaine, je connais la problématique et ça me fait soupirer à chaque fois qu’on confond inférence et entraînement. Mais aussi que:
- On fasse une équivalence CO2 <->kWh: l’entraînement de ces modèles n’émettent pas de CO2. Ils consomment de l’électricité. Ils peuvent être intermittents au besoin. On les fout en Norvège, leur bilan carbone est nul. Certains datacenters équipés de panneaux solaires se vantent d’une perf écologique de 0 CO2/Wh. Je suis pas allé voir si c’était des conneries mais c’est au moins techniquement possible à terme et on va y venir.
- Même en faisant cette équivalence CO2<->kWh, on ne se rende pas compte que c’est équivalent à un seul vol international. La première conférence de recherche, le premier concert, une seule des 206 équipes attendues pour les JOs consomme autant. Il y avait récemment une carte des jets privés qui s’envolaient après le superbowl aux US. 15 minutes de ce traffic inutile émet plus que la recherche en IA pendant un an (et, rappelons le 1., selon une métrique à charge).
- On ne se rende pas compte que chaque modèle ouvert permet de ne plus avoir que du fine-tuning à faire, beaucoup moins coûteux.
Et, non, les datacenters ne posent pas de problème d’eau. Ils produisent de l’eau chaude qu’on peut injecter dans des réseaux de chaleur. Mais je pense que trop de gens buggent si on se met à expliquer que les datacenters ont une empreinte carbone négative du coup.
enfin je voulais dire… il faut de l’eau 😅
Mais là tu me ressors le même genre d’argument que “ouais mais regardez la Chine”, si tu veux hein, mais c’est pas du tout ce que je disais 🙂
Donc je vais clarifier ce que je voulais dire. En ce moment c’est la course à l’entrainement pour différentes raisons (économique, avancé technologique, etc…), mais peut être que plus tard (d’ici 10-20 ans), ça deviendra plus compliqué de faire ce genre de choses pour différentes raisons:
- il faut de l’eau pour produire les GPU
- il faut des terres rares, dont la majorité est en Chine
- La Chine réduit l’exportation
- La pénurie d’eau et des ressources augmentent les tensions, avec un risque d’effondrement
Donc au delà de la consommation en énergie et en eau des datacenters, peut être que plus tard ça ne sera juste plus possible de faire tout ça si ça coûte trop cher en ressource.
Très intéressant, merci!
Tiens sinon rien à voir mais normal que ton compte soit renseigné comme bot ?
Je pense que c’est moi qui ait merdé, on m’a expliqué que c’est ça qui fait que je peux plus up/down voter depuis quelques jours. Je l’ai enlevé mais on dirait que ça met quelques heures à se propager.
Ah, ceci explique cela
