You must log in or register to comment.
Aujourd’hui (15 fev 2024) Google a annoncé Gemini 1.5 Pro avec une fenêtre de contexte de 1M tokens. Ça veut dire quoi? Ça veut dire que même sans être entraîné sur une langue donnée, vous lui filez deux grammaires et un dico à lire, et ils est capable d’apprendre instantanément une nouvelle langue. Ils ont testé ça sur le Kalamang, une langue qui n’a plus que 200 locuteurs.
Faites gaffes aux limitations de l’IA, elles reculent toutes les semaines.
Incroyable !
Reste que les limitations de l’IA sont aussi celles du portemonnaie. Le temps et l’argent nécessaire pour intégrer l’intelligence artificielle dans des systèmes de surveillance généralisées sont notre plus grand rempart contre le capitalisme de surveillance. Malheureusement, il a beau être grand, il s’érode naturellement.
Non, c’est déjà là. Depuis le 9/11 il y un pognon de dingue qui a été mis dans la reconnaissance faciale. La Chine prétend être capable de reconnaître le visage de n’importe lequel de son milliard de citoyens (et c’est pas impossible). L’intégration se fait à vitesse grand V partout où c’est rentable. Et c’est pas cher non.
Le seul rempart contre la surveillance c’est l’état de droit et la démocratie. C’est d’utiliser les tribunaux, les prud’hommes et la désobéissance lorsque des asymétries de surveillance sont mises en place.
Je fais tourner des algos assez complexes sur mon GPU à 300€ et des puces optimisées encore moins chères arrivent.
Non, il ne faut pas croire qu’il faut un datacenter pour faire tourner ça. C’est Google et Microsoft qui le font croire, mais les modèles ouverts sur les ordis particuliers génèrent probablement plus de tokens que ceux des datacenters aujourd’hui.
Removed by mod
Sérieux, on peut pas parler d’un sujet sans que tout revienne à “Annnh tu utilises de l’électricité!” ? L’électricité on sait la faire de façon renouvelable avec des choses qui ne demandent que de l’électricité et des ressources renouvelables à produire.
Removed by mod
Oui je sais. Je bosse dans le domaine, je connais la problématique et ça me fait soupirer à chaque fois qu’on confond inférence et entraînement. Mais aussi que:
- On fasse une équivalence CO2 <->kWh: l’entraînement de ces modèles n’émettent pas de CO2. Ils consomment de l’électricité. Ils peuvent être intermittents au besoin. On les fout en Norvège, leur bilan carbone est nul. Certains datacenters équipés de panneaux solaires se vantent d’une perf écologique de 0 CO2/Wh. Je suis pas allé voir si c’était des conneries mais c’est au moins techniquement possible à terme et on va y venir.
- Même en faisant cette équivalence CO2<->kWh, on ne se rende pas compte que c’est équivalent à un seul vol international. La première conférence de recherche, le premier concert, une seule des 206 équipes attendues pour les JOs consomme autant. Il y avait récemment une carte des jets privés qui s’envolaient après le superbowl aux US. 15 minutes de ce traffic inutile émet plus que la recherche en IA pendant un an (et, rappelons le 1., selon une métrique à charge).
- On ne se rende pas compte que chaque modèle ouvert permet de ne plus avoir que du fine-tuning à faire, beaucoup moins coûteux.
Et, non, les datacenters ne posent pas de problème d’eau. Ils produisent de l’eau chaude qu’on peut injecter dans des réseaux de chaleur. Mais je pense que trop de gens buggent si on se met à expliquer que les datacenters ont une empreinte carbone négative du coup.
Removed by mod
Tiens sinon rien à voir mais normal que ton compte soit renseigné comme bot ?
Je pense que c’est moi qui ait merdé, on m’a expliqué que c’est ça qui fait que je peux plus up/down voter depuis quelques jours. Je l’ai enlevé mais on dirait que ça met quelques heures à se propager.
Ah, ceci explique cela
Très intéressant, merci!
