À l’heure actuelle, les outils fondés sur l’intelligence artificielle ne fonctionnent qu’avec une poignée de langues. Améliorer la technologie pourrait changer ...
Reste que les limitations de l’IA sont aussi celles du portemonnaie. Le temps et l’argent nécessaire pour intégrer l’intelligence artificielle dans des systèmes de surveillance généralisées sont notre plus grand rempart contre le capitalisme de surveillance. Malheureusement, il a beau être grand, il s’érode naturellement.
Non, c’est déjà là. Depuis le 9/11 il y un pognon de dingue qui a été mis dans la reconnaissance faciale. La Chine prétend être capable de reconnaître le visage de n’importe lequel de son milliard de citoyens (et c’est pas impossible). L’intégration se fait à vitesse grand V partout où c’est rentable. Et c’est pas cher non.
Le seul rempart contre la surveillance c’est l’état de droit et la démocratie. C’est d’utiliser les tribunaux, les prud’hommes et la désobéissance lorsque des asymétries de surveillance sont mises en place.
Je fais tourner des algos assez complexes sur mon GPU à 300€ et des puces optimisées encore moins chères arrivent.
Non, il ne faut pas croire qu’il faut un datacenter pour faire tourner ça. C’est Google et Microsoft qui le font croire, mais les modèles ouverts sur les ordis particuliers génèrent probablement plus de tokens que ceux des datacenters aujourd’hui.
ah c’est sûr qu’il vaut mieux aller vite maintenant, parce que quand la planète sera bien cramée, on pourra plus faire tourner tous ces GPU pour l’entrainement 😅
Donc autant le faire maintenant tant que les gens sont encore dans le déni.
Sérieux, on peut pas parler d’un sujet sans que tout revienne à “Annnh tu utilises de l’électricité!” ? L’électricité on sait la faire de façon renouvelable avec des choses qui ne demandent que de l’électricité et des ressources renouvelables à produire.
Ensuite effectivement on peut le faire tourner en inférence sur des plus petites infra. Mon commentaire était surtout par rapport au fait que ça met du pognon de dingue maintenant. C’est la course pour être premier, mais aussi la course avec le temps à mon avis, il va aussi y avoir un pb d’eau avec les datacenter.
Oui je sais. Je bosse dans le domaine, je connais la problématique et ça me fait soupirer à chaque fois qu’on confond inférence et entraînement. Mais aussi que:
On fasse une équivalence CO2 <->kWh: l’entraînement de ces modèles n’émettent pas de CO2. Ils consomment de l’électricité. Ils peuvent être intermittents au besoin. On les fout en Norvège, leur bilan carbone est nul. Certains datacenters équipés de panneaux solaires se vantent d’une perf écologique de 0 CO2/Wh. Je suis pas allé voir si c’était des conneries mais c’est au moins techniquement possible à terme et on va y venir.
Même en faisant cette équivalence CO2<->kWh, on ne se rende pas compte que c’est équivalent à un seul vol international. La première conférence de recherche, le premier concert, une seule des 206 équipes attendues pour les JOs consomme autant. Il y avait récemment une carte des jets privés qui s’envolaient après le superbowl aux US. 15 minutes de ce traffic inutile émet plus que la recherche en IA pendant un an (et, rappelons le 1., selon une métrique à charge).
On ne se rende pas compte que chaque modèle ouvert permet de ne plus avoir que du fine-tuning à faire, beaucoup moins coûteux.
Et, non, les datacenters ne posent pas de problème d’eau. Ils produisent de l’eau chaude qu’on peut injecter dans des réseaux de chaleur. Mais je pense que trop de gens buggent si on se met à expliquer que les datacenters ont une empreinte carbone négative du coup.
Mais là tu me ressors le même genre d’argument que “ouais mais regardez la Chine”, si tu veux hein, mais c’est pas du tout ce que je disais 🙂
Donc je vais clarifier ce que je voulais dire. En ce moment c’est la course à l’entrainement pour différentes raisons (économique, avancé technologique, etc…), mais peut être que plus tard (d’ici 10-20 ans), ça deviendra plus compliqué de faire ce genre de choses pour différentes raisons:
Donc au delà de la consommation en énergie et en eau des datacenters, peut être que plus tard ça ne sera juste plus possible de faire tout ça si ça coûte trop cher en ressource.
Donc au delà de la consommation en énergie et en eau des datacenters, peut être que plus tard ça ne sera juste plus possible de faire tout ça si ça coûte trop cher en ressource.
Ben oui, à terme nos process seront soit trop couteux en ressources non-renouvelables soit devoir n’utiliser que des ressource renouvelables. Et il semble quand même clair que c’est la deuxième hypothèse qui est vraie dans ce cas.
enfin je voulais dire… il faut de l’eau 😅
L’eau n’a pas à être potable, elle n’a pas à être “consommée” (dans certain endroits elle est injectée dans le réseau de chaleur), elle reste potable si elle l’était. Mais en fait les énergies et volume d’eau en jeu sont tellement petits qu’il vaut mieux dépenser de l’énergie et du labeur à d’autres économies. En un an, tous les datacenters Google (c’est à dire aussi Youtube, leur moteur de recherche, de pub, pas que leurs labos d’IA) consomment moins de 2% de l’eau consommée par une journée aux US. Microsoft (qui fournit les datacenters pour OpenAI et Mistral) c’est encore moins. Et on n’est pas obligés de refroidir à l’eau hein. On peut aussi refroidir à l’air (clim) si on a une énergie décarbonée abondante.
Et où ça je parle de la Chine? Je parle surtout des US qui ont un mix élec pas terrible et beaucoup de datacenters. Les foutre en Norvège par exemple où le refroidissement est plus facile et l’électricité décarbonée (et l’eau abondante mais c’est tellement pas un problème) amènerait leur empreinte carbone à zéro voire à moins si un imagine qu’on les utilise pour du chauffage de ville.
il faut de l’eau pour produire les GPU
Eau qui, je le rappelle, est une ressource renouvelable. La question n’est pas de savoir quel volume on consomme au total mais quel portion on prélève dans le cycle. Je ne connais pas toutes les usines du monde mais je sais que celle de STM à Grenoble prélève dans l’Isère (ou le Drac je sais plus) de l’eau non potable mais que de toutes façons il leur faut de l’eau hyper-pure: l’eau potable est trop sale pour leurs process. Donc ils prélèvent une eau qui part vers la mer, la purifient, l’utilisent et la rejette. Le sujet éventuel n’est pas la conso d’eau, mais la présence de rejets. Ton article dit même que Intel prétend être “water-positive” en recyclant leur eau et, je suppose, fournissant une source supplémentaire d’eau potable.
il faut des terres rares, dont la majorité est en Chine
Il faut vraiment que je me fasse un copypasta sur cet argument qui revient tout le temps. Oui il faut des terres «rares», qui ne sont pas rares, et qui sont produites en Chine parce que la main d’oeuvre est pas chère et les contraintes environnementales inexistantes, et que c’est ce que toute denrée soumise à la compétition internationale va causer. Le problème des terres rares c’est le capitalisme. Le cobalt n’a pas besoin d’être recueilli par des esclaves de 12 ans au milieu d’un désastre écologique pour avoir ses propriétés intéressantes. On pourrait le “miner” (en général pour les terres rares c’est plutôt des impuretés qu’on sépare d’autres minerais exploités) en France pour 4 fois plus cher, ça ferait monter de 1 ou 2% le prix de l’élec. On pourrait se le permettre. Et c’est pas rare, on n’en manque pas. Source: USGS qui produit tous les ans des rapport des réserves de la plupart des minerais utilisés industriellement.
La Chine réduit l’exportation
De matériel destiné à l’exploitation des terres rares. Ils boudent parce qu’on leur a restreint l’accès aux machines pour faire des CPU/GPU alors ils cherchent des trucs stratégiques à limiter aussi. Désolé mais les aimants (dont parle l’article) on sait en faire avec d’autres technos et on sait s’en passer si ça devient critique.
La pénurie d’eau et des ressources augmentent les tensions, avec un risque d’effondrement
De mémoire le modèle World3 (du club de Rome) ne parle pas d’eau potable, ne parle pas de tensions géopolitiques. J’adore les discussions sur les modèles prédictifs du monde, qu’ils soient macro ou micro, climatiques, économiques ou autre, mais faut pas non plus faire dire à un modèle ce qu’il ne dit pas. Et World3 on en parlait beaucoup parce qu’il prédisait une croissance à peu près continue jusqu’à un effondrement soudain. Problème: on a produit plus que ce qu’ils avaient prévu et le déclin, bah il aurait du commencer entre 2015 et 2020 même sans ça. Ça fait d’ailleurs quelques années qu’on en parle beaucoup moins. C’est un modèle d’épuisement de ressource non-renouvelables qui suppose que toute activité dépend d’elles, qu’il n’y a pas d’alternatives, hypothèses qui ne se vérifient pas aussi complètement qu’ils le pensaient.
Jancovici parle régulièrement de Limits to Growth, Arhur Keller ici, pas forcément de pénurie d’eau, mais par exemple de pénurie de cuivre, à cause de la demande accrue pour la transition énergétique, ou bien du sable de construction.
Incroyable !
Reste que les limitations de l’IA sont aussi celles du portemonnaie. Le temps et l’argent nécessaire pour intégrer l’intelligence artificielle dans des systèmes de surveillance généralisées sont notre plus grand rempart contre le capitalisme de surveillance. Malheureusement, il a beau être grand, il s’érode naturellement.
Non, c’est déjà là. Depuis le 9/11 il y un pognon de dingue qui a été mis dans la reconnaissance faciale. La Chine prétend être capable de reconnaître le visage de n’importe lequel de son milliard de citoyens (et c’est pas impossible). L’intégration se fait à vitesse grand V partout où c’est rentable. Et c’est pas cher non.
Le seul rempart contre la surveillance c’est l’état de droit et la démocratie. C’est d’utiliser les tribunaux, les prud’hommes et la désobéissance lorsque des asymétries de surveillance sont mises en place.
Je fais tourner des algos assez complexes sur mon GPU à 300€ et des puces optimisées encore moins chères arrivent.
Non, il ne faut pas croire qu’il faut un datacenter pour faire tourner ça. C’est Google et Microsoft qui le font croire, mais les modèles ouverts sur les ordis particuliers génèrent probablement plus de tokens que ceux des datacenters aujourd’hui.
ah c’est sûr qu’il vaut mieux aller vite maintenant, parce que quand la planète sera bien cramée, on pourra plus faire tourner tous ces GPU pour l’entrainement 😅
Donc autant le faire maintenant tant que les gens sont encore dans le déni.
Sérieux, on peut pas parler d’un sujet sans que tout revienne à “Annnh tu utilises de l’électricité!” ? L’électricité on sait la faire de façon renouvelable avec des choses qui ne demandent que de l’électricité et des ressources renouvelables à produire.
tu fais de l’inférence sur ton GPU, pas de l’entrainement. Tu sous-estimes les besoins pour entrainer un algo type ChatGPT.
Ensuite effectivement on peut le faire tourner en inférence sur des plus petites infra. Mon commentaire était surtout par rapport au fait que ça met du pognon de dingue maintenant. C’est la course pour être premier, mais aussi la course avec le temps à mon avis, il va aussi y avoir un pb d’eau avec les datacenter.
Oui je sais. Je bosse dans le domaine, je connais la problématique et ça me fait soupirer à chaque fois qu’on confond inférence et entraînement. Mais aussi que:
Et, non, les datacenters ne posent pas de problème d’eau. Ils produisent de l’eau chaude qu’on peut injecter dans des réseaux de chaleur. Mais je pense que trop de gens buggent si on se met à expliquer que les datacenters ont une empreinte carbone négative du coup.
enfin je voulais dire… il faut de l’eau 😅
Mais là tu me ressors le même genre d’argument que “ouais mais regardez la Chine”, si tu veux hein, mais c’est pas du tout ce que je disais 🙂
Donc je vais clarifier ce que je voulais dire. En ce moment c’est la course à l’entrainement pour différentes raisons (économique, avancé technologique, etc…), mais peut être que plus tard (d’ici 10-20 ans), ça deviendra plus compliqué de faire ce genre de choses pour différentes raisons:
Donc au delà de la consommation en énergie et en eau des datacenters, peut être que plus tard ça ne sera juste plus possible de faire tout ça si ça coûte trop cher en ressource.
Ben oui, à terme nos process seront soit trop couteux en ressources non-renouvelables soit devoir n’utiliser que des ressource renouvelables. Et il semble quand même clair que c’est la deuxième hypothèse qui est vraie dans ce cas.
L’eau n’a pas à être potable, elle n’a pas à être “consommée” (dans certain endroits elle est injectée dans le réseau de chaleur), elle reste potable si elle l’était. Mais en fait les énergies et volume d’eau en jeu sont tellement petits qu’il vaut mieux dépenser de l’énergie et du labeur à d’autres économies. En un an, tous les datacenters Google (c’est à dire aussi Youtube, leur moteur de recherche, de pub, pas que leurs labos d’IA) consomment moins de 2% de l’eau consommée par une journée aux US. Microsoft (qui fournit les datacenters pour OpenAI et Mistral) c’est encore moins. Et on n’est pas obligés de refroidir à l’eau hein. On peut aussi refroidir à l’air (clim) si on a une énergie décarbonée abondante.
Et où ça je parle de la Chine? Je parle surtout des US qui ont un mix élec pas terrible et beaucoup de datacenters. Les foutre en Norvège par exemple où le refroidissement est plus facile et l’électricité décarbonée (et l’eau abondante mais c’est tellement pas un problème) amènerait leur empreinte carbone à zéro voire à moins si un imagine qu’on les utilise pour du chauffage de ville.
Eau qui, je le rappelle, est une ressource renouvelable. La question n’est pas de savoir quel volume on consomme au total mais quel portion on prélève dans le cycle. Je ne connais pas toutes les usines du monde mais je sais que celle de STM à Grenoble prélève dans l’Isère (ou le Drac je sais plus) de l’eau non potable mais que de toutes façons il leur faut de l’eau hyper-pure: l’eau potable est trop sale pour leurs process. Donc ils prélèvent une eau qui part vers la mer, la purifient, l’utilisent et la rejette. Le sujet éventuel n’est pas la conso d’eau, mais la présence de rejets. Ton article dit même que Intel prétend être “water-positive” en recyclant leur eau et, je suppose, fournissant une source supplémentaire d’eau potable.
Il faut vraiment que je me fasse un copypasta sur cet argument qui revient tout le temps. Oui il faut des terres «rares», qui ne sont pas rares, et qui sont produites en Chine parce que la main d’oeuvre est pas chère et les contraintes environnementales inexistantes, et que c’est ce que toute denrée soumise à la compétition internationale va causer. Le problème des terres rares c’est le capitalisme. Le cobalt n’a pas besoin d’être recueilli par des esclaves de 12 ans au milieu d’un désastre écologique pour avoir ses propriétés intéressantes. On pourrait le “miner” (en général pour les terres rares c’est plutôt des impuretés qu’on sépare d’autres minerais exploités) en France pour 4 fois plus cher, ça ferait monter de 1 ou 2% le prix de l’élec. On pourrait se le permettre. Et c’est pas rare, on n’en manque pas. Source: USGS qui produit tous les ans des rapport des réserves de la plupart des minerais utilisés industriellement.
De matériel destiné à l’exploitation des terres rares. Ils boudent parce qu’on leur a restreint l’accès aux machines pour faire des CPU/GPU alors ils cherchent des trucs stratégiques à limiter aussi. Désolé mais les aimants (dont parle l’article) on sait en faire avec d’autres technos et on sait s’en passer si ça devient critique.
De mémoire le modèle World3 (du club de Rome) ne parle pas d’eau potable, ne parle pas de tensions géopolitiques. J’adore les discussions sur les modèles prédictifs du monde, qu’ils soient macro ou micro, climatiques, économiques ou autre, mais faut pas non plus faire dire à un modèle ce qu’il ne dit pas. Et World3 on en parlait beaucoup parce qu’il prédisait une croissance à peu près continue jusqu’à un effondrement soudain. Problème: on a produit plus que ce qu’ils avaient prévu et le déclin, bah il aurait du commencer entre 2015 et 2020 même sans ça. Ça fait d’ailleurs quelques années qu’on en parle beaucoup moins. C’est un modèle d’épuisement de ressource non-renouvelables qui suppose que toute activité dépend d’elles, qu’il n’y a pas d’alternatives, hypothèses qui ne se vérifient pas aussi complètement qu’ils le pensaient.
Jancovici parle régulièrement de Limits to Growth, Arhur Keller ici, pas forcément de pénurie d’eau, mais par exemple de pénurie de cuivre, à cause de la demande accrue pour la transition énergétique, ou bien du sable de construction.
Concernant le cuivre, le Chili a déjà des problèmes de production lié aux ressources en eau (autre lien), et la quantité de cuivre est également limitée, on verra si on arrive au bout dans les 30 prochaines années.
Même si le modèle World3 est vieux, il reste toujours d’actualité et les recherches continuent.
Les tensions géopolitiques, ça vient du rapport du GIEC, mis en forme dans un atelier pédagogique qui s’appelle La fresque du climat.
Les différents liens sont ici.