• cnovel
    link
    fedilink
    Français
    arrow-up
    5
    arrow-down
    1
    ·
    25 days ago

    *un système automatisé qui génère de fausses alertes sur les jeunes racisés

    Faut pas oublier que tous ou presque les algos de machine learning commencent par des annotations faites à la main. Les exemples de biais sont légions

    • keepthepace@tarte.nuage-libre.fr
      link
      fedilink
      Français
      arrow-up
      3
      arrow-down
      1
      ·
      25 days ago

      On a pas mal de publis dans tous les sens qui montrent comment certains datasets, même sans intention néfaste à l’origine peuvent introduire des biais, mais il ne faut pas pour autant croire que c’est automatique.

      On sait qu’au niveau de la sécurité des vigiles, il y a du racisme systémique, qui est entretenu pour plein de raisons.

      Ces raisons n’existent pas dans l’apprentissage de datasets. Il faudrait être maladroit ET mal intentionné pour faire quelque chose d’aussi mauvais que les vigiles humains.

      • Œil
        link
        fedilink
        Français
        arrow-up
        3
        arrow-down
        1
        ·
        edit-2
        24 days ago

        Vaut-il mieux un système automatisé qui génère des fausses alertes sur tout le monde ou un système purement humain qui n’en génère que sur les jeunes racisés ?

        Je pense que tu devrais faire attention à ce genre de phrase provocatrice qui non seulement tape totalement à côté du sujet mais en plus laisserait sous-entendre que la vidéo surveillance algorithmique finalement remettrait tout le monde sur un pied d’égalité donc de quoi se plaint-on ? Ne serions-nous pas finalement un peu racistes sur les bords ?

        Or, ici, on parle d’outils qui collectent et nourrissent des algorithmes sans le consentement des usagers à des fins surveillance généralisée, en intégrant certainement des biais racistes dont tu parles toi-même au-dessus.
        Mais surtout, qui lutte contre la VSA ? Les mêmes qui luttent contre le fascisme, le racisme, etc.

        J’ai bien compris, à la lecture de différents débats ici, que tu es agacé par ce que tu trouves être des réactions de défiance non justifiées face à l’IA et la technologie en général, mais attention à ce genre de petite pique qui nivelle par le bas, ferait passer les anti-VSA pour des luddistes primaires racistes qui ne s’assument pas. Ça n’aide pas du tout à servir ton propos !

        • keepthepace@tarte.nuage-libre.fr
          link
          fedilink
          Français
          arrow-up
          2
          ·
          edit-2
          24 days ago

          Il y a une accusation implicite dans ma provocation, mais ce n’est pas une accusation de racisme, c’est l’accusation de passer à des systèmes humains des défauts énormes et de ne pas tolérer un millième de ces défauts dans les systèmes automatiques.

          Et je suis désolé, mais la surveillance généralisée, ça fait depuis les années 90 qu’on tire des sonnettes d’alarme et qu’on passe pour des zozos. Ce combat, il est perdu.

          Les caméras, elles sont partout. Vos plaques d’immatriculation sont partout. Vos téléphones donnent votre localisation partout, tout le temps. Les flux vidéo sont enregistrés, sont consultés, sont effacés sans aucun respect des règles. Il y a des règles théoriques, mais personne ne se charge de les faire appliquer.

          Votre identité est liée à votre carte bancaire, à votre consommation électrique, à vos transports, à vos cartes de transport. Depuis le 11 septembre, on passe pour des complices de terroristes quand on dit que peut-être il faudrait un peu limiter les pouvoirs de la police à traquer tout, tout le temps, partout.

          Y a des caméras dans les supermarchés depuis les années 80 mais là, tout d’un coup, comme c’est des systèmes à base d’IA, on se réveille. Oui, désolé de penser que c’est de la défiance non justifiée (au contraire du luddisme, qui était un mouvement social) plutôt que de la vraie révolte contre du fichage généralisé. D’autant plus que les modèles d’IA ont la possibilité d’anonymiser réellement, (attention, je ne dis pas que c’est ce qu’ils font systématiquement, mais un système qui a eu l’aval de la CNIL le fait probablement)

          En vrai, foutre des IA plutôt que des magnétoscopes et des personnes derrière des caméras, c’est un progrès de l’anonymisation.

          C’est tout à fait possible avec un système d’IA de faire des choses du genre compter le nombre de personnes qui sont entrées et sorties d’un bâtiment sans avoir à stocker les images. C’est tout à fait possible d’avoir un système IA qui enregistre l’information « il reste deux personnes dans le hangar » sans enregistrer le fait qu’ils sont en train de se bécoter.

          ici, on parle d’outils qui collectent et nourrissent des algorithmes sans le consentement des usagers à des fins surveillance généralisée

          Probablement pas non, les systèmes sont déjà entrainés depuis longtemps et grâce à la CNIL (je le dis sans ironie) c’est risqué de faire une telle chose sans consentement. Aux US ils se gênent pas par contre.

        • PatteBlanche
          link
          fedilink
          Français
          arrow-up
          1
          ·
          24 days ago

          Les logiciels de surveillance par IA ne nourrissent pas plus les modèles futur que n’importe quel autre système de surveillance. L’inquiétude que tu ressens maintenant arrives 20 ans trop tard.