• RelativityRangerOP
    link
    fedilink
    Français
    arrow-up
    2
    ·
    22 hours ago

    Les conclusions du rapport de l’UNESCO sur lequel se base l’article qu’on trouve en suivant ton lien (ou celui dans l’article):

    But there is no single percentage that represents “climate knowledge.” Different benchmarks test different abilities. Models perform extremely well at recalling and synthesising established science, less consistently at evaluating evidence and scientific uncertainty, and very poorly at reasoning about nonlinear interactions among climate policies: in this report’s En-ROADS experiments, models identified the direction of individual policy effects with up to 94.5% accuracy, yet averaged just 33.8% on interactions between policies — essentially random guessing. High factual knowledge therefore does not imply reliable climate-system reasoning.

    On pourrait aussi survoler les chapitres 3 et 4 mais je vais juste mettre le résumé du rapport pour faire simple:

    As the next two chapters show, models’ knowledge is also not equally accessible across languages (Chapter 3), and not always robust to user pressure (Chapter 4).

    • PatteBlanche
      link
      fedilink
      Français
      arrow-up
      1
      ·
      17 hours ago

      Oui donc des faiblesses uniquement quand on pousse les modèles dans ses retranchements. On parle là de faire des simulations pour répondre à question du style “est-ce qu’une taxe sur le gaz et le charbon a plus ou moins d’effet que la somme des effets d’une taxe sur le charbon et d’une taxe sur le gaz” : on est très loin du niveau de discussion qu’ont les climato-sceptiques, et les présentations du niveau d’un doctorant (c’est les mots de l’étude) dont sont capable les chatbots sont plus que suffisantes pour réduire les croyances climato-sceptiques.

      Une baisse de 10% en moyenne entre les langues les mieux représentées et les moins bien représentées par l’IA est très dommage (particulièrement quand les gens qui parlent ces langues sont aussi les plus touchés par le changement climatique) mais n’est pas du tout suffisant pour justifier de faire du fearmongering anti-IA : dans le pire des cas (pire langue pour le pire modèle), les chatbots répondent quand même juste à 73% des questions. Et c’est d’autant plus hypocrite de la part de Reporterre car s’ils s’intéressaient réellement à cette question ils auraient pu faire remarquer que cette moyenne de 10% cache en fait de très gros écart : avec moins de 3% pour ChatGpt et 16% pour des modèles qu’on ne conseillera pas.

      • RelativityRangerOP
        link
        fedilink
        Français
        arrow-up
        2
        ·
        17 hours ago

        Oui donc des faiblesses uniquement quand on pousse les modèles dans ses retranchements

        Tu peux appeler ça comme tu veux, c’est bel et bien un défaut mais non on parle pas seulement de retranchements. Comme le dit à très juste titre l’article et l’étude, une connaissance factuel importante n’implique pas nécessairement un raisonnement fiable sur le système climatique.

        Tu peux le tourner dans le sens que tu veux, encore une fois, c’est toujours un défaut qui justifie pleinement de parler des risques inhérents. De plus, tu ignores complètement le chapitre 4 qui démontre comment un usager peut manipuler des modèles pour les amener à donner des réponses erronées.

        Les modèles peuvent être amenés à donner des réponses erronées sur le climat, principalement en fonction de ce que dit l’utilisateur, et non de ce qu’il prétend être. Le simple fait d’indiquer à un modèle qui est l’utilisateur (un climatologue, un conseiller politique ou un climatosceptique) n’a guère influencé la précision avec laquelle il évaluait les affirmations sur le climat. Le fait de donner une fausse réponse a en revanche eu une incidence, en particulier lorsqu’elle provenait d’un soi-disant expert: lorsque l’utilisateur prétendait être un climatologue, la précision baissait en moyenne d’environ 13 points de pourcentage. Une contestation soutenue, aboutissant à la présentation de preuves fabriquées, causait bien plus de dégâts, réduisant la précision moyenne de 31 à 35 points selon l’identité revendiquée, avec une différence significative

        • PatteBlanche
          link
          fedilink
          Français
          arrow-up
          1
          ·
          17 hours ago

          En l’occurrence, selon ce benchmark, ni toi ni moi n’avons un “raisonnement fiable sur le système climatique”, et on est pas climato-sceptiques pour autant. Faire un article sur ce défaut en cachant les conclusion réelle de l’étude, c’est du même niveau que faire des articles sur les accidents de voitures causé par des malfonctions d’airbag : “l’airbag peut être un danger pour votre sécurité”

          Je ne l’ignore pas c’est littéralement le titre de l’article de Reporterre. Par contre c’est, encore une fois, une faiblesse parmi des résultats globalement très positifs.

          • RelativityRangerOP
            link
            fedilink
            Français
            arrow-up
            1
            ·
            edit-2
            16 hours ago

            Parle pour toi lol

            Il faut que tu comprennes que l’usager moyen n’a pas nécessairement tes capacités de réflexions ou d’auto-critique sur la question et que ce type de défaut va faire des ravages dans l’esprit de certains. Autant j’aime parfois jouer avec le feu mais pas sur ces questions.

            Aussi tu peux pas dire que Reporterre cache quoi que ce soit alors qu’il y a un lien vers l’étude dans l’article, c’est pas réglo