À l’heure actuelle, les outils fondés sur l’intelligence artificielle ne fonctionnent qu’avec une poignée de langues. Améliorer la technologie pourrait changer ...
Aujourd’hui (15 fev 2024) Google a annoncé Gemini 1.5 Pro avec une fenêtre de contexte de 1M tokens. Ça veut dire quoi? Ça veut dire que même sans être entraîné sur une langue donnée, vous lui filez deux grammaires et un dico à lire, et ils est capable d’apprendre instantanément une nouvelle langue. Ils ont testé ça sur le Kalamang, une langue qui n’a plus que 200 locuteurs.
Faites gaffes aux limitations de l’IA, elles reculent toutes les semaines.
Reste que les limitations de l’IA sont aussi celles du portemonnaie. Le temps et l’argent nécessaire pour intégrer l’intelligence artificielle dans des systèmes de surveillance généralisées sont notre plus grand rempart contre le capitalisme de surveillance. Malheureusement, il a beau être grand, il s’érode naturellement.
Non, c’est déjà là. Depuis le 9/11 il y un pognon de dingue qui a été mis dans la reconnaissance faciale. La Chine prétend être capable de reconnaître le visage de n’importe lequel de son milliard de citoyens (et c’est pas impossible). L’intégration se fait à vitesse grand V partout où c’est rentable. Et c’est pas cher non.
Le seul rempart contre la surveillance c’est l’état de droit et la démocratie. C’est d’utiliser les tribunaux, les prud’hommes et la désobéissance lorsque des asymétries de surveillance sont mises en place.
Je fais tourner des algos assez complexes sur mon GPU à 300€ et des puces optimisées encore moins chères arrivent.
Non, il ne faut pas croire qu’il faut un datacenter pour faire tourner ça. C’est Google et Microsoft qui le font croire, mais les modèles ouverts sur les ordis particuliers génèrent probablement plus de tokens que ceux des datacenters aujourd’hui.
Sérieux, on peut pas parler d’un sujet sans que tout revienne à “Annnh tu utilises de l’électricité!” ? L’électricité on sait la faire de façon renouvelable avec des choses qui ne demandent que de l’électricité et des ressources renouvelables à produire.
Oui je sais. Je bosse dans le domaine, je connais la problématique et ça me fait soupirer à chaque fois qu’on confond inférence et entraînement. Mais aussi que:
On fasse une équivalence CO2 <->kWh: l’entraînement de ces modèles n’émettent pas de CO2. Ils consomment de l’électricité. Ils peuvent être intermittents au besoin. On les fout en Norvège, leur bilan carbone est nul. Certains datacenters équipés de panneaux solaires se vantent d’une perf écologique de 0 CO2/Wh. Je suis pas allé voir si c’était des conneries mais c’est au moins techniquement possible à terme et on va y venir.
Même en faisant cette équivalence CO2<->kWh, on ne se rende pas compte que c’est équivalent à un seul vol international. La première conférence de recherche, le premier concert, une seule des 206 équipes attendues pour les JOs consomme autant. Il y avait récemment une carte des jets privés qui s’envolaient après le superbowl aux US. 15 minutes de ce traffic inutile émet plus que la recherche en IA pendant un an (et, rappelons le 1., selon une métrique à charge).
On ne se rende pas compte que chaque modèle ouvert permet de ne plus avoir que du fine-tuning à faire, beaucoup moins coûteux.
Et, non, les datacenters ne posent pas de problème d’eau. Ils produisent de l’eau chaude qu’on peut injecter dans des réseaux de chaleur. Mais je pense que trop de gens buggent si on se met à expliquer que les datacenters ont une empreinte carbone négative du coup.
Donc au delà de la consommation en énergie et en eau des datacenters, peut être que plus tard ça ne sera juste plus possible de faire tout ça si ça coûte trop cher en ressource.
Ben oui, à terme nos process seront soit trop couteux en ressources non-renouvelables soit devoir n’utiliser que des ressource renouvelables. Et il semble quand même clair que c’est la deuxième hypothèse qui est vraie dans ce cas.
enfin je voulais dire… il faut de l’eau 😅
L’eau n’a pas à être potable, elle n’a pas à être “consommée” (dans certain endroits elle est injectée dans le réseau de chaleur), elle reste potable si elle l’était. Mais en fait les énergies et volume d’eau en jeu sont tellement petits qu’il vaut mieux dépenser de l’énergie et du labeur à d’autres économies. En un an, tous les datacenters Google (c’est à dire aussi Youtube, leur moteur de recherche, de pub, pas que leurs labos d’IA) consomment moins de 2% de l’eau consommée par une journée aux US. Microsoft (qui fournit les datacenters pour OpenAI et Mistral) c’est encore moins. Et on n’est pas obligés de refroidir à l’eau hein. On peut aussi refroidir à l’air (clim) si on a une énergie décarbonée abondante.
Et où ça je parle de la Chine? Je parle surtout des US qui ont un mix élec pas terrible et beaucoup de datacenters. Les foutre en Norvège par exemple où le refroidissement est plus facile et l’électricité décarbonée (et l’eau abondante mais c’est tellement pas un problème) amènerait leur empreinte carbone à zéro voire à moins si un imagine qu’on les utilise pour du chauffage de ville.
il faut de l’eau pour produire les GPU
Eau qui, je le rappelle, est une ressource renouvelable. La question n’est pas de savoir quel volume on consomme au total mais quel portion on prélève dans le cycle. Je ne connais pas toutes les usines du monde mais je sais que celle de STM à Grenoble prélève dans l’Isère (ou le Drac je sais plus) de l’eau non potable mais que de toutes façons il leur faut de l’eau hyper-pure: l’eau potable est trop sale pour leurs process. Donc ils prélèvent une eau qui part vers la mer, la purifient, l’utilisent et la rejette. Le sujet éventuel n’est pas la conso d’eau, mais la présence de rejets. Ton article dit même que Intel prétend être “water-positive” en recyclant leur eau et, je suppose, fournissant une source supplémentaire d’eau potable.
il faut des terres rares, dont la majorité est en Chine
Il faut vraiment que je me fasse un copypasta sur cet argument qui revient tout le temps. Oui il faut des terres «rares», qui ne sont pas rares, et qui sont produites en Chine parce que la main d’oeuvre est pas chère et les contraintes environnementales inexistantes, et que c’est ce que toute denrée soumise à la compétition internationale va causer. Le problème des terres rares c’est le capitalisme. Le cobalt n’a pas besoin d’être recueilli par des esclaves de 12 ans au milieu d’un désastre écologique pour avoir ses propriétés intéressantes. On pourrait le “miner” (en général pour les terres rares c’est plutôt des impuretés qu’on sépare d’autres minerais exploités) en France pour 4 fois plus cher, ça ferait monter de 1 ou 2% le prix de l’élec. On pourrait se le permettre. Et c’est pas rare, on n’en manque pas. Source: USGS qui produit tous les ans des rapport des réserves de la plupart des minerais utilisés industriellement.
La Chine réduit l’exportation
De matériel destiné à l’exploitation des terres rares. Ils boudent parce qu’on leur a restreint l’accès aux machines pour faire des CPU/GPU alors ils cherchent des trucs stratégiques à limiter aussi. Désolé mais les aimants (dont parle l’article) on sait en faire avec d’autres technos et on sait s’en passer si ça devient critique.
La pénurie d’eau et des ressources augmentent les tensions, avec un risque d’effondrement
De mémoire le modèle World3 (du club de Rome) ne parle pas d’eau potable, ne parle pas de tensions géopolitiques. J’adore les discussions sur les modèles prédictifs du monde, qu’ils soient macro ou micro, climatiques, économiques ou autre, mais faut pas non plus faire dire à un modèle ce qu’il ne dit pas. Et World3 on en parlait beaucoup parce qu’il prédisait une croissance à peu près continue jusqu’à un effondrement soudain. Problème: on a produit plus que ce qu’ils avaient prévu et le déclin, bah il aurait du commencer entre 2015 et 2020 même sans ça. Ça fait d’ailleurs quelques années qu’on en parle beaucoup moins. C’est un modèle d’épuisement de ressource non-renouvelables qui suppose que toute activité dépend d’elles, qu’il n’y a pas d’alternatives, hypothèses qui ne se vérifient pas aussi complètement qu’ils le pensaient.
Je pense que c’est moi qui ait merdé, on m’a expliqué que c’est ça qui fait que je peux plus up/down voter depuis quelques jours. Je l’ai enlevé mais on dirait que ça met quelques heures à se propager.
Aujourd’hui (15 fev 2024) Google a annoncé Gemini 1.5 Pro avec une fenêtre de contexte de 1M tokens. Ça veut dire quoi? Ça veut dire que même sans être entraîné sur une langue donnée, vous lui filez deux grammaires et un dico à lire, et ils est capable d’apprendre instantanément une nouvelle langue. Ils ont testé ça sur le Kalamang, une langue qui n’a plus que 200 locuteurs.
Faites gaffes aux limitations de l’IA, elles reculent toutes les semaines.
Incroyable !
Reste que les limitations de l’IA sont aussi celles du portemonnaie. Le temps et l’argent nécessaire pour intégrer l’intelligence artificielle dans des systèmes de surveillance généralisées sont notre plus grand rempart contre le capitalisme de surveillance. Malheureusement, il a beau être grand, il s’érode naturellement.
Non, c’est déjà là. Depuis le 9/11 il y un pognon de dingue qui a été mis dans la reconnaissance faciale. La Chine prétend être capable de reconnaître le visage de n’importe lequel de son milliard de citoyens (et c’est pas impossible). L’intégration se fait à vitesse grand V partout où c’est rentable. Et c’est pas cher non.
Le seul rempart contre la surveillance c’est l’état de droit et la démocratie. C’est d’utiliser les tribunaux, les prud’hommes et la désobéissance lorsque des asymétries de surveillance sont mises en place.
Je fais tourner des algos assez complexes sur mon GPU à 300€ et des puces optimisées encore moins chères arrivent.
Non, il ne faut pas croire qu’il faut un datacenter pour faire tourner ça. C’est Google et Microsoft qui le font croire, mais les modèles ouverts sur les ordis particuliers génèrent probablement plus de tokens que ceux des datacenters aujourd’hui.
Removed by mod
Sérieux, on peut pas parler d’un sujet sans que tout revienne à “Annnh tu utilises de l’électricité!” ? L’électricité on sait la faire de façon renouvelable avec des choses qui ne demandent que de l’électricité et des ressources renouvelables à produire.
Removed by mod
Oui je sais. Je bosse dans le domaine, je connais la problématique et ça me fait soupirer à chaque fois qu’on confond inférence et entraînement. Mais aussi que:
Et, non, les datacenters ne posent pas de problème d’eau. Ils produisent de l’eau chaude qu’on peut injecter dans des réseaux de chaleur. Mais je pense que trop de gens buggent si on se met à expliquer que les datacenters ont une empreinte carbone négative du coup.
Removed by mod
Ben oui, à terme nos process seront soit trop couteux en ressources non-renouvelables soit devoir n’utiliser que des ressource renouvelables. Et il semble quand même clair que c’est la deuxième hypothèse qui est vraie dans ce cas.
L’eau n’a pas à être potable, elle n’a pas à être “consommée” (dans certain endroits elle est injectée dans le réseau de chaleur), elle reste potable si elle l’était. Mais en fait les énergies et volume d’eau en jeu sont tellement petits qu’il vaut mieux dépenser de l’énergie et du labeur à d’autres économies. En un an, tous les datacenters Google (c’est à dire aussi Youtube, leur moteur de recherche, de pub, pas que leurs labos d’IA) consomment moins de 2% de l’eau consommée par une journée aux US. Microsoft (qui fournit les datacenters pour OpenAI et Mistral) c’est encore moins. Et on n’est pas obligés de refroidir à l’eau hein. On peut aussi refroidir à l’air (clim) si on a une énergie décarbonée abondante.
Et où ça je parle de la Chine? Je parle surtout des US qui ont un mix élec pas terrible et beaucoup de datacenters. Les foutre en Norvège par exemple où le refroidissement est plus facile et l’électricité décarbonée (et l’eau abondante mais c’est tellement pas un problème) amènerait leur empreinte carbone à zéro voire à moins si un imagine qu’on les utilise pour du chauffage de ville.
Eau qui, je le rappelle, est une ressource renouvelable. La question n’est pas de savoir quel volume on consomme au total mais quel portion on prélève dans le cycle. Je ne connais pas toutes les usines du monde mais je sais que celle de STM à Grenoble prélève dans l’Isère (ou le Drac je sais plus) de l’eau non potable mais que de toutes façons il leur faut de l’eau hyper-pure: l’eau potable est trop sale pour leurs process. Donc ils prélèvent une eau qui part vers la mer, la purifient, l’utilisent et la rejette. Le sujet éventuel n’est pas la conso d’eau, mais la présence de rejets. Ton article dit même que Intel prétend être “water-positive” en recyclant leur eau et, je suppose, fournissant une source supplémentaire d’eau potable.
Il faut vraiment que je me fasse un copypasta sur cet argument qui revient tout le temps. Oui il faut des terres «rares», qui ne sont pas rares, et qui sont produites en Chine parce que la main d’oeuvre est pas chère et les contraintes environnementales inexistantes, et que c’est ce que toute denrée soumise à la compétition internationale va causer. Le problème des terres rares c’est le capitalisme. Le cobalt n’a pas besoin d’être recueilli par des esclaves de 12 ans au milieu d’un désastre écologique pour avoir ses propriétés intéressantes. On pourrait le “miner” (en général pour les terres rares c’est plutôt des impuretés qu’on sépare d’autres minerais exploités) en France pour 4 fois plus cher, ça ferait monter de 1 ou 2% le prix de l’élec. On pourrait se le permettre. Et c’est pas rare, on n’en manque pas. Source: USGS qui produit tous les ans des rapport des réserves de la plupart des minerais utilisés industriellement.
De matériel destiné à l’exploitation des terres rares. Ils boudent parce qu’on leur a restreint l’accès aux machines pour faire des CPU/GPU alors ils cherchent des trucs stratégiques à limiter aussi. Désolé mais les aimants (dont parle l’article) on sait en faire avec d’autres technos et on sait s’en passer si ça devient critique.
De mémoire le modèle World3 (du club de Rome) ne parle pas d’eau potable, ne parle pas de tensions géopolitiques. J’adore les discussions sur les modèles prédictifs du monde, qu’ils soient macro ou micro, climatiques, économiques ou autre, mais faut pas non plus faire dire à un modèle ce qu’il ne dit pas. Et World3 on en parlait beaucoup parce qu’il prédisait une croissance à peu près continue jusqu’à un effondrement soudain. Problème: on a produit plus que ce qu’ils avaient prévu et le déclin, bah il aurait du commencer entre 2015 et 2020 même sans ça. Ça fait d’ailleurs quelques années qu’on en parle beaucoup moins. C’est un modèle d’épuisement de ressource non-renouvelables qui suppose que toute activité dépend d’elles, qu’il n’y a pas d’alternatives, hypothèses qui ne se vérifient pas aussi complètement qu’ils le pensaient.
Tiens sinon rien à voir mais normal que ton compte soit renseigné comme bot ?
Je pense que c’est moi qui ait merdé, on m’a expliqué que c’est ça qui fait que je peux plus up/down voter depuis quelques jours. Je l’ai enlevé mais on dirait que ça met quelques heures à se propager.
Ah, ceci explique cela
Très intéressant, merci!