Planet Georezo » Dans les algorithmes

Un Planet est un site Web dynamique qui agrège le plus souvent sur une seule page, le contenu de notes, d'articles ou de billets publiés sur des blogs ou sites Web afin d'accentuer leur visibilité et de faire ressortir des contenus pertinents aux multiples formats (texte, audio, vidéo, Podcast). C'est un agrégateur de flux RSS. Il s'apparente à un portail web.
Vous pouvez lire le billet sur le blog La Minute pour plus d'informations sur les RSS !

Feeds

5418 items (55 unread) in 55 feeds

Dans la presse

Cybergeo (5 unread)
Revue Internationale de Géomatique (RIG)
SIGMAG & SIGTV.FR - Un autre regard sur la géomatique (2 unread)
Mappemonde (10 unread)
Dans les algorithmes (7 unread)

Du côté des éditeurs

Toile géomatique francophone

Géomatique anglophone

Blogs GeoRezo.net

Abonnez vous à cette page (RSS) !

Dans les algorithmes (7 unread)

Skip to page: 1 2

19 March 2025
7:00
Red-teaming : vers des tests de robustesse de l’IA dans l’intérêt du public
sur Dans les algorithmes
Le Red-Teaming consiste à réunir des équipes multidisciplinaires pour procéder à des attaques fictives pour éprouver la robustesse de la sécurité d’un système informatique. Dans le domaine de l’IA, cela consiste à identifier les vulnérabilités des réponses d’un modèle de langage pour les corriger. Mais les questions méthodologiques auxquelles sont confrontées ces équipes sont nombreuses : comment et quand procéder ? Qui doit participer ? Comment intégrer les résultats… Les questions d’enjeux ne sont pas moindres : quels intérêts sont protégés ? Qu’est-ce qu’un comportement problématique du modèle et qui est habilité à le définir ? Le public est-il un objet sécurisé ou une ressource utilisée ?…

Un rapport publié par Data & Society et AI Risk and Vulnerability Alliance (ARVA), par les chercheurs Ranjit Singh, Borhane Blili-Hamelin, Carol Anderson, Emnet Tafesse, Briana Vecchione, Beth Duckles et Jacob Metcalf, tente d’esquisser comment produire un red-teaming dans l’intérêt public.

À ce jour, la plupart des expériences de red-teaming en IA générale comportent quatre étapes :
- Organiser un groupe de penseurs critiques.
- Leur donner accès au système.
- Les inviter à identifier ou à susciter des comportements indésirables.
- Analyser les données probantes pour atténuer les comportements indésirables et tester les futurs modèles.
Actuellement, la méthode dominante pour réaliser la troisème étape est l’incitation manuelle et automatisée, qui consiste à tester les comportements erronés des modèles par l’interaction. Pour les chercheurs, qui ont recueilli les avis de participants à des équipes de red-teaming, si cette approche est précieuse, le red-teaming doit impliquer une réflexion critique sur les conditions organisationnelles dans lesquelles un modèle est construit et les conditions sociétales dans lesquelles il est déployé. Le red-teaming dans d’autres domaines, comme la sécurité informatique, révèle souvent des lacunes organisationnelles pouvant entraîner des défaillances du système. Les évaluations sociotechniques de l’IA générale gagneraient à s’inspirer davantage des pratiques existantes en matière de red-teaming et d’ingénierie de la sécurité.

Pour les chercheurs, les événements de Red-Teaming soulignent trop souvent encore l’asymétrie de pouvoir et limitent l’engagement du public à la seule évaluation des systèmes déjà construits, plutôt qu’aux systèmes en développement. Ils favorisent trop l’acceptation du public, le conduisant à intégrer les défaillances des systèmes, plutôt qu’à les résoudre ou les refuser. Enfin, ils restreignent la notion de sécurité et ne prennent pas suffisamment en cause les préjudices qu’ils peuvent causer ou les modalités de recours et de réparation proposé au grand public.

Le rapport dresse une riche histoire des pratiques d’amélioration de la sécurité informatique et de ses écueils, et de la faible participation du public, même si celle-ci a plutôt eu tendance à s’élargir ces dernières années. Reste que cet élargissement du public est encore bien timide. Il s’impose surtout parce qu’il permet de répondre au fait que l’IA générative couvre un large champ d’usages qui font que chaque prompt peut être une attaque des modèles. “L’objectif du red-teaming est de compenser le manque de bonnes évaluations actuelles pour les modèles génératifs”, explique une spécialiste, d’autant qu’il permet de créer “une réflexivité organisationnelle”, notamment du fait que les interactions avec les modèles sont très ouvertes et nécessitent d’élargir les perspectives. Mais les pratiques montrent également la difficulté à saisir ce qui relève des défaillances des modèles, d’autant quand ce sont les utilisateurs eux-mêmes qui sont considérés comme des adversaires. Pourtant, dans ces pratiques de tests de robustesse adverses, les risques n’ont pas tous le même poids : il est plus simple de regarder si le modèle génère des informations privées ou du code vulnérable, plutôt que d’observer s’il produit des réponses équitables. En fait, l’une des grandes vertus de ces pratiques, c’est de permettre un dialogue entre développeurs et publics experts.

Le rapport souligne cependant que l’analyse automatisée des vulnérabilités se renforce (voir “Comment les IA sont-elles corrigées ?”), notamment via l’utilisation accrue de travailleurs du clic plutôt que des équipes dédiées et via des systèmes spécialisés dédiés, afin de réduire les coûts de la correction des systèmes et ce même si ces attaques-ci pourraient ne pas être aussi “novatrices et créatives que celles développées par des humains”. Le risque c’est que le red-teaming ne devienne performatif, une forme de “théâtre de la sécurité”, d’autant que le régulateur impose de plus en plus souvent d’y avoir recours, comme c’est le cas de l’AI Act européen. Or, comme le pointe un red-teamer, “ce n’est pas parce qu’on peut diagnostiquer quelque chose qu’on sait comment le corriger”. Qui détermine si le logiciel respecte les règles convenues ? Qui est responsable en cas de non-respect des règles ? L’intégration des résultats du red-teaming est parfois difficile, d’autant que les publications de leurs résultats sont rares. D’où l’importance des plateformes qui facilitent le partage et l’action collective sur les problèmes d’évaluation des systèmes d’IA, comme Dynabench.

“Nous devons repenser la relation entre l’IA et la société, passant d’une relation conflictuelle à une relation co-constitutive”, plaident les chercheurs. C’est la seule à même d’aider à dépasser la confusion actuelle sur la fonction du red-teaming, qu’elle relève des conflits de méthodes, de pouvoir, d’autorité ou d’expertise. Les meilleures pratiques ne le sont pas nécessairement. Le Titanic a été construit selon les meilleures pratiques de l’époque. Par définition, le red-teaming consiste à examiner les réponses des modèles de manière critique, mais uniquement selon les meilleures pratiques du moment. Le red-teaming a tendance à porter plus d’attention aux méthodes holistiques de red-teaming (comme les simulations) qu’à ceux qui se concentrent sur l’évaluation des dommages causés par l’IA aux utilisateurs normaux. Trop souvent encore, le red-teaming consiste à améliorer un produit plus qu’à améliorer la sécurité du client, alors que le red-teaming élargi aux publics consiste à mieux comprendre ce qu’ils considèrent comme problématique ou nuisible tout en leur permettant d’être plus conscients des limites et défaillances. Pour les chercheurs, nous avons plus que jamais besoin “d’espaces où le public peut débattre de ses expériences avec les systèmes d’IA générale”, d’espaces participatifs, disaient déjà une précédente recherche de plusieurs de ces mêmes chercheurs. Le risque, c’est que cet élargissement participatif que permet certains aspects du red-teaming ne se referme plus qu’il ne s’étende.
18 March 2025
7:00
Inférences : comment les outils nous voient-ils ?
sur Dans les algorithmes

Comment les systèmes interprètent-ils les images ? Ente, une entreprise qui propose de chiffrer vos images pour les échanger de manière sécurisée sans que personne d’autres que ceux que vous autorisez ne puisse les voir, a utilisé l’API Google Vision pour montrer comment les entreprises infèrent des informations des images. C’est-à-dire comment ils les voient, comment les systèmes automatisés les décrivent. Ils ont mis à disposition un site pour nous expliquer comment « ILS » voient nos photos, qui permet à chacun d’uploader une image et voir comment Google Vision l’interprète.
Sommes-nous ce que les traitements disent de nous ?
Le procédé rappelle le projet ImageNet Roulette de Kate Crawford et Trevor Paglen, qui renvoyait aux gens les étiquettes stéréotypées dont les premiers systèmes d’intelligence artificielle affublaient les images. Ici, ce ne sont pas seulement des étiquettes dont nous sommes affublés, mais d’innombrables données inférées. Pour chaque image, le système produit des informations sur le genre, l’origine ethnique, la localisation, la religion, le niveau de revenu, les émotions, l’affiliation politique, décrit les habits et les objets, pour en déduire des passe-temps… mais également des éléments de psychologie qui peuvent être utilisés par le marketing, ce qu’on appelle les insights, c’est-à-dire des éléments permettant de caractériser les attentes des consommateurs. Par exemple, sur une des images en démonstration sur le site représentant une famille, le système déduit que les gens priorisent l’esthétique, sont facilement influençables et valorisent la famille. Enfin, l’analyse associe des mots clefs publicitaires comme albums photos personnalisé, produits pour la peau, offre de voyage de luxe, système de sécurité domestique, etc. Ainsi que des marques, qui vont permettre à ces inférences d’être directement opérationnelles (et on peut se demander d’ailleurs, pourquoi certaines plutôt que d’autres, avec le risque que les marques associéées démultiplient les biais, selon leur célébrité ou leur caractère international, comme nous en discutions en évoquant l’optimisation de marques pour les modèles génératifs).

Autant d’inférences probables, possibles ou potentielles capables de produire un profil de données pour chaque image pour leur exploitation marketing.

Comme l’explique le philosophe Rob Horning, non seulement nos images servent à former des modèles de reconnaissance d’image qui intensifient la surveillance, mais chacune d’entre elles produit également des données marketing disponibles pour tous ceux qui souhaitent les acheter, des publicitaires aux agences de renseignement. Le site permet de voir comment des significations sont déduites de nos images. Nos photos, nos souvenirs, sont transformés en opportunités publicitaires, identitaires et consuméristes, façonnées par des logiques purement commerciales (comme Christo Buschek et Jer Thorp nous l’avaient montré de l’analyse des données de Laion 5B). L’inférence produit des opportunités, en ouvre certaines et en bloque d’autres, sur lesquelles nous n’avons pas la main. En nous montrant comment les systèmes interprètent nos images, nous avons un aperçu de ce que, pour les machines, les signifiants signifient.

Mais tout n’est pas parfaitement décodable et traduisible, transparent. Les inférences produites sont orientées : elles ne produisent pas un monde transparent, mais un monde translucide. Le site They see your photos nous montre que les images sont interprétées dans une perspective commerciale et autoritaire, et que les représentations qu’elles produisent supplantent la réalité qu’elles sont censées interpréter. Il nous permet de voir les biais d’interprétation et de nous situer dans ceux-ci ou de nous réidentifier sous leur répétition.

Nous ne sommes pas vraiment la description produite de chacune de ces images. Et pourtant, nous sommes exactement la personne au coeur de ces descriptions. Nous sommes ce que ces descriptions répètent, et en même temps, ce qui est répété ne nous correspond pas toujours ou pas du tout.
Exemples d’intégration d’images personnelles dans TheySeeYourPhotos qui montrent les données qui sont inférées de deux images. Et qui posent la question qui suis-je ? Gagne-je 40 ou 80 000 euros par mois ? Suis-je athée ou chrétien ? Est-ce que je lis des livres d’histoire ou des livres sur l’environnement ? Suis-je écolo ou centriste ? Est-ce que j’aime les chaussures Veja ou les produits L’Oréal ? Un monde indifférent à la vérité
L’autre démonstration que permet le site, c’est de nous montrer l’évolution des inférences publicitaires automatisées. Ce que montre cet exemple, c’est que l’enjeu de régulation n’est pas de produire de meilleures inférences, mais bien de les contenir, de les réduire – de les faire disparaître voire de les rendre impossibles. Nous sommes désormais coincés dans des systèmes automatisés capables de produire de nous, sur nous, n’importe quoi, sans notre consentement, avec un niveau de détail et de granularité problématique.

Le problème n’est pas l’automatisation publicitaire que ce délire de profilage alimente, mais bien le délire de profilage automatisé qui a été mis en place. Le problème n’est pas la qualité des inférences produites, le fait qu’elles soient vraies ou fausses, mais bien le fait que des inférences soient produites. La prévalence des calculs imposent avec eux leur monde, disions-nous. Ces systèmes sont indifférents à la vérité, expliquait le philosophe Philippe Huneman dans Les sociétés du profilage (Payot, 2023). Ils ne produisent que leur propre renforcement. Les machines produisent leurs propres mèmes publicitaires. D’un portrait, on propose de me vendre du cognac ou des timbres de collection. Mais ce qu’on voit ici n’est pas seulement leurs défaillances que leurs hallucinations, c’est-à-dire leur capacité à produire n’importe quels effets. Nous sommes coincés dans un régime de facticité, comme le dit la philosophe Antoinette Rouvroy, qui finit par produire une vérité de ce qui est faux.
Où est le bouton à cocher pour refuser ce monde ?
Pourtant, l’enjeu n’est pas là. En regardant très concrètement les délires que ces systèmes produisent on se demande surtout comment arrêter ces machines qui ne mènent nulle part ! L’exemple permet de comprendre que l’enjeu n’est pas d’améliorer la transparence ou l’explicabilité des systèmes, ou de faire que ces systèmes soient plus fiables, mais bien de les refuser. Quand on comprend la manière dont une image peut-être interprétée, on comprend que le problème n’est pas ce qui est dit, mais le fait même qu’une interprétation puisse être faite. Peut-on encore espérer un monde où nos photos comme nos mots ne sont tout simplement pas interprétés par des machines ? Et ce alors que la grande interconnexion de celles-ci facilite ce type de production. Ce que nous dit « They see your photos », c’est que pour éviter ce délire, nous n’avons pas d’autres choix que d’augmenter considérablement la confidentialité et le chiffrement de nos échanges. C’est exactement ce que dit Vishnu Mohandas, le développeur de Ente.

Hubert Guillaud
17 March 2025
7:00
Data for Black Lives
sur Dans les algorithmes

Anuli Akanegbu, chercheuse chez Data & Society, a fait un rapide compte rendu de la 3e édition de la conférence Data for Black Lives qui s’est tenue fin novembre à Miami.

L’IA et d’autres technologies automatisées exacerbent les inégalités existantes dans tous les domaines où elles se déploient : l’emploi, l’éducation, la santé, le logement, etc. Comme l’a expliqué Katya Abazajian, fondatrice de la Local Data Futures Initiative, lors d’un panel sur le logement, « toutes les données sont biaisées. Il n’y a pas de données sans biais, il n’y a que des données sans contexte ». Rasheedah Phillips, directrice du logement pour PolicyLink, a ajouté : « les préjugés ne se limitent pas aux mauvais acteurs, ils sont intégrés dans les systèmes que nous utilisons ». Soulignant les injustices historiques et systémiques qui affectent la représentation des données, la criminologue et professeure de science des données Renee Cummings a rappelé le risque d’utiliser les nouvelles technologies pour moderniser les anciennes typologies raciales. « Les ensembles de données n’oublient pas », a-t-elle insisté.

Tout au long de la conférence, les intervenants n’ont cessé de rappeler l’importance des espaces physiques pour l’engagement communautaire. Aux Etats-Unis, institutions artistiques, églises, associations… sont partout des pôles d’organisation, d’éducation et d’accès à la technologie qui permettent de se mobiliser. Pour Fallon Wilson, cofondatrice de l’Institut de recherche Black Tech Futures, cela plaide pour mettre nos anciennes institutions historiques au coeur de notre rapport à la technologie, plutôt que les entreprises technologiques. Ce sont ces lieux qui devraient permettre de construire la gouvernance des données dont nous avons besoin, afin de construire des espaces de données que les communautés puissent contrôler et partager a défendu Jasmine McNealy.

Joan Mukogosi, qui a notamment travaillé pour Data & Society sur la dégradation des conditions de maternité des femmes noires et de leurs enfants, expliquait que nous avons besoin de données sur la vie des afro-américains et pas seulement sur la façon dont ils meurent. Pour l’anthropologue de la médecine Chesley Carter, ce changement de perspective pourrait conduire à une recherche plus constructive, porteuse de solutions. Nous devrions construire des enquêtes sur les atouts plutôt que sur les déficits, c’est-à-dire nous interroger sur ce qui améliore les résultats plutôt que ce qui les détériore. Cela permettrait certainement de mieux identifier les problèmes systémiques plutôt que les défaillances individuelles. Aymar Jean Christian, fondateur du Media and Data Equity Lab, qui prépare un livre sur les médias réparateurs à même de guérir notre culture pour les presses du MIT, a présenté le concept d’intelligence ancestrale, alternative à l’IA : un moyen de guérir des impacts des systèmes capitalistes en centrant les discussions sur la technologie et les données sur l’expérience des personnes de couleurs. C’est par le partage d’expériences personnelles que nous documenteront les impacts réels des systèmes sur la vie des gens.

La chercheuse Ruha Benjamin (voir notre lecture de son précédent livre, Race after technology) dont le nouveau livre est un manifeste de défense de l’imagination, a rappelé que l’avenir n’est que le reflet de nos choix actuels. « L’imagination est un muscle que nous devrions utiliser comme une ressource pour semer ce que nous voulons plutôt que de simplement déraciner ce que nous ne voulons pas ». Dans une interview pour Tech Policy, Benjamin rappelait que les imaginaires évoluaient dans un environnement très compétitif, qui rivalisent les uns avec les autres. Pour elle, face aux imaginaires dominants et marchands qui s’imposent à nous, le risque est que concevoir une nouvelle société devienne une impossibilité, tant ils nous colonisent par l’adhésion qu’ils suscitent tout en repoussant toujours plus violemment les imaginaires alternatifs. Pour elle, nous opposons souvent l’innovation et les préoccupations sociales, comme si les technologies innovantes étaient par nature autoritaires. Mais c’est notre conception même de l’innovation que nous devrions interroger. « Nous ne devrions pas appeler innovation ce qui exacerbe les problèmes sociaux ». En nous invitant à imaginer un monde sans prison, des écoles qui encouragent chacun ou une société où chacun a de la nourriture, un abri, de l’amour… Elle nous invite à réinventer la réalité que nous voulons construire.
14 March 2025
7:00
LLMO : de l’optimisation de marque dans l’IA générative
sur Dans les algorithmes

« Votre client le plus important, désormais, c’est l’IA ! », explique le journaliste Scott Mulligan pour la Technology Review. C’est le constat que dresse également Jack Smyth, responsable des solutions IA de JellyFish. Smyth travaille avec des marques pour les aider à comprendre comment leurs produits ou leurs entreprises sont perçues par les différents modèles d’IA afin de les aider à améliorer leur image. L’enjeu est d’établir une forme d’optimisation d’image, comme les entreprises le font déjà avec les moteurs de recherche, afin de s’assurer que sa marque est perçue positivement par un grand modèle de langage.

JellyFish propose d’ailleurs un outil, Share of Model, qui permet d’évaluer la façon dont différents modèles d’IA perçoivent les marques. « L’objectif ultime n’est pas seulement de comprendre comment votre marque est perçue par l’IA, mais de modifier cette perception ». L’enjeu, consiste à construire des campagnes marketing dédiée pour changer la perception de marque des modèles. « On ne sait pas encore si les changements fonctionnent », explique un client, « mais la trajectoire est positive ». A croire que l’important c’est d’y croire ! Sans compter que les changements dans la façon dont on peut demander une recommandation de produits dans un prompt produit des recommandations différentes, ce qui pousse les marques à proposer des invites pertinentes sur les forums, pour orienter les questions et donc les réponses à leur profit. En fait, le même jeu de chat et de souris que l’on connaît dans le SEO pourrait se répéter dans l’optimisation des LLM pour le marketing, au plus grand profit de ceux chargés d’accompagner les entreprises en manque d’argent à dépenser.

Le problème surtout, c’est que les biais marketing des LLM sont nombreux. Une étude montre que les marques internationales sont souvent perçues comme étant de meilleures qualités que les marques locales. Si vous demandez au LLM de recommander des cadeaux aux personnes vivant dans des pays à revenu élevé, il suggérera des articles de marque de luxe, tandis que si vous lui demandez quoi offrir aux personnes vivant dans des pays à faible revenu, il recommandera des marques non luxueuses.

L’IA s’annonce comme un nouveau public des marques, à dompter. Et la perception d’une marque par les IA aura certainement des impacts sur leurs résultats financiers. Bref, le marketing a trouvé un nouveau produit à vendre ! Les entreprises vont adorer !
13 March 2025
7:00
L’essor des PropTechs, les technologies pour les propriétaires immobiliers
sur Dans les algorithmes

Les technologies des propriétaires sont en plein essor aux Etats-Unis, rapporte Tech Policy Press. Mais elles ne se limitent pas aux logiciels de tarification algorithmique de gestion immobilière, comme RealPage, dont nous vous avions déjà parlé (et que le ministère de la Justice continue de poursuivre au prétexte qu’il permettrait une entente anticoncurrentielle). Alors que la crise de l’accès au logement devient de plus en plus difficile pour nombre d’Américains, le risque est que la transformation numérique de l’immobilier devienne un piège numérique pour tous ceux à la recherche d’un logement. Le prix des loyers y devient de plus en plus inabordable. YieldStar de RealPage, influence désormais le prix de 70 % des appartements disponibles aux États-Unis et serait responsable de l’augmentation de 14% du prix de l’immobilier d’une année sur l’autre. Le développement de ces systèmes de fixation des prix coordonnés sapent l’idée que la concurrence sur le marché du logement pourrait seule protéger les locataires.
Des technologies pour harmoniser les tarifs, discriminer les locataires et accélérer les expulsions
Mais la numérisation du marché ne s’applique pas seulement au tarif des locations, elle se développe aussi pour la sélection des locataires. Alors qu’aux Etats-Unis, les propriétaires étaient souvent peu exigeants sur les antécédents des locataires, désormais, les conditions pour passer les filtres des systèmes de sélection deviennent bien plus difficiles, reposant sur une inflation de justificatifs et des techniques d’évaluation des candidats à la location particulièrement opaques, à l’image de SingleKey, l’un des leader du secteur. 9 propriétaires sur 10 passent désormais par ce type de logiciels, en contradiction avec la loi américaine sur le logement équitable, notamment du fait qu’ils produisent un taux de refus de logement plus élevé sur certaines catégories de la population. Ces systèmes reproduisent et renforcent les discriminations, et surtout, rendent la relation propriétaire-locataire plus invasive. Mais, rappelaient déjà The Markup et le New York Times en 2020, ils s’appuient sur des systèmes de vérification d’antécédents automatisés et défectueux, qui par exemple agglomèrent des données d’homonymes et démultiplient les erreurs (et les homonymies ne sont pas distribuées de façon homogène : plus de 12 millions de Latinos à travers les Etats-Unis partageraient seulement 26 noms de famille !). Les casiers judiciaires des uns y sont confondus avec ceux des autres, dans des systèmes qui font des évaluations massives pour produire des scores, dont nul n’a intérêt à vérifier la pertinence, c’est-à-dire le taux de faux-positifs (comme nous le pointions relativement aux problèmes bancaires). Soumis à aucune normes, ces systèmes produisent de la discrimination dans l’indifférence générale. L’accès aux registres judiciaires et aux registres de crédits a permis aux entreprises de « vérification d’antécédents » de se démultiplier, sans que les « vérifications » qu’elles produisent ne soient vraiment vérifiées. Contrairement aux agences de crédit bancaires, dans le domaine de la location, les agences immobilières qui les utilisent ne sont pas contraintes de partager ces rapports d’information avec les candidats rejetés. Les locataires ne savent donc pas les raisons pour lesquelles leurs candidature sont rejetées.

Mais, rapporte encore Tech Policy Press, une troisième vague technologique est désormais à l’œuvre : les technologies d’expulsion, qui aident les propriétaires à rassembler les raisons d’expulser les locataires et à en gérer les aspects administratifs. C’est le cas par exemple de Teman GateGuard, un interphone « intelligent » qui permet de surveiller le comportement des locataires et enregistrer toute violation possible d’un bail, aussi anodine soit-elle, pour aider à documenter les infractions des locataires et remettre leurs biens sur le marché. SueYa est un service pour aider les propriétaires à résilier un bail de manière anticipée. Resident Interface propose quant à lui d’expulser les locataires rapidement et facilement… Des solutions qui n’enfreignent aucune loi, rappelle pertinemment Tech Policy Press, mais qui accélèrent les expulsions. Les propriétaires américains ont procédé à 1 115 000 expulsions en 2023, soit 100 000 de plus qu’en 2022 et 600 000 de plus qu’en 2021. Sans compter que ces expulsions peuvent être inscrites au casier judiciaire et rendre plus difficile la recherche d’un autre logement, et ce alors que les logements sociaux, les refuges et les services aux sans-abri sont notoirement sous-financés et insuffisants, alors même que de plus en plus d’Etat pénalisent les personnes SDF.

Pour l’instant, les tentatives de régulation des PropTechs sont plus juridiques que techniques, notamment en renforçant le droit au logement équitable. Des villes ou Etats prennent des mesures pour limiter les vérifications des antécédents des locataires ou interdire le recours à des logiciels de fixation de prix. Des actions de groupes contre RealPage ou Yardi ou contre des plateformes de contrôle des locataires, comme SafeRent ou CoreLogic, ont également lieu. Mais, « les régulateurs et les agences ne sont pas conçus pour être les seuls à faire respecter les protections et les conditions du marché ; ils sont conçus pour créer les conditions dans lesquelles les gens peuvent faire valoir leurs propres droits ». Les gouvernements locaux devraient soutenir publiquement la représentation juridique des locataires comme moyen d’atténuer les impacts de la crise du logement, et créer une meilleure responsabilité pour la technologie pour rétablir l’équité dans la relation propriétaire-locataire. À l’échelle nationale, 83 % des propriétaires ont une représentation juridique, contre seulement 4 % des locataires. La ville de Cleveland par exemple a piloté une représentation publique pour les locataires, ce qui a permis à 81 % des personnes représentées d’éviter une expulsion ou un déménagement involontaire, à 88 % de celles qui cherchaient un délai supplémentaire pour déménager d’obtenir ce délai et à 94 % de celles qui cherchaient à atténuer les dommages d’y parvenir. En fait, assurer cette représentation permet d’assurer aux gens qu’ils puissent exercer leurs droits.

Les PropTechs exacerbent la crise du logement. A défaut de substituts à des logements abordables, l’enjeu est que le droit puisse continuer à protéger ceux qui en ont le plus besoin. Mais sans documenter les discriminations que cette conjonction de systèmes produit, le droit aura surement bien des difficultés à menacer les technologies.

MAJ du 16/03/2025 : Signalons que The American Prospect consacre son dernier numéro à la crise du logement américaine : l’inflation immobilière est la principale responsable de l’inflation aux Etats-Unis.
12 March 2025
7:01
IA au travail : un malaise persistant
sur Dans les algorithmes

Les travailleurs américains sont plutôt sceptiques face à l’aide que peut leur apporter l’IA au travail. 80% d’entre eux ne l’utilisent pas, rapporte un sondage du Pew Internet, et ceux qui le font ne sont pas impressionnés par ses résultats. Les travailleurs sont plus inquiets qu’optimistes. Si les travailleurs plus jeunes et ceux qui ont des revenus plus élevés expriment plus d’enthousiasme à l’égard de l’IA au travail et à des taux plus élevés que les autres, l’inquiétude se propage à tous les groupes démographiques, rapporte le Washington Post. En fait, les attitudes des travailleurs à l’égard de l’IA risquent de devenir plus polarisées encore à la fois parce que les entreprises n’expliquent pas en quoi l’IA va aider leurs employés ni ne lèvent le risque sur l’emploi et le remplacement. Le malaise social de l’IA se répand bien plus qu’il ne se résout.

MAJ du 13/03/2025 : Dans sa newsletter, Brian Merchant pointe vers un autre sondage réalisé par le cabinet de consulting FGS pour Omidyar Network. Le sondage montre que si les travailleurs sont plutôt enthousiastes sur l’IA et la productivité qu’elle permet, ils savent que ces avantages ne leurs seront pas bénéfiques et qu’ils auront peu de contrôle sur la façon dont l’IA sera utilisée sur le lieu de travail. Bref, ils savent que l’IA sera un outil d’automatisation que la direction utilisera pour réduire les coûts de main-d’œuvre. Ils sont plus préoccupés par la perte d’emploi que par la menace que l’IA représente sur leur propre emploi. Par contre, ils sont très inquiets de la menace que représente l’IA sur la vie privée et sur la capacité d’apprentissage des enfants. Enfin, la plupart des travailleurs souhaitent des réglementations et des mesures de protection, ainsi que des mesures pour empêcher que les systèmes d’IA soient utilisés contre leurs intérêts et, bien sûr, pour dégrader les conditions de travail.
7:00
Atténuation des risques, entre complexité et inefficacité
sur Dans les algorithmes

Tim Bernard pour TechPolicy a lu les évaluations de risques systémiques que les principales plateformes sociales ont rendu à la Commission européenne dans le cadre des obligations qui s’imposent à elles avec le Digital Service Act. Le détail permet d’entrevoir la complexité des mesures d’atténuation que les plateformes mettent en place. Il montre par exemple que pour identifier certains contenus problématiques d’autres signaux que l’analyse du contenu peuvent se révéler bien plus utile, comme le comportement, le temps de réaction, les commentaires… Certains risques passent eux totalement à la trappe, comme les attaques par d’autres utilisateurs, les risques liés à l’utilisation excessive ou l’amplification de contenus polarisants et pas seulement ceux pouvant tomber sous le coup de la loi. On voit bien que la commission va devoir mieux orienter les demandes d’information qu’elle réclame aux plateformes (mais ça, la journaliste Gaby Miller nous l’avait déjà dit).
11 March 2025
7:00
Dans les algorithmes bancaires
sur Dans les algorithmes

« Faux positifs » est une série de 3 épisodes de podcasts produits par Algorithm Watch et l’AFP, disponibles en français ou en anglais, et que vous trouverez sur la plupart des plateforme. Cette série pourrait être une enquête anodine et pourtant, c’est l’une des rares de disponible sur le sujet des défaillances des algorithmes bancaires. Les 3 épisodes explorent le problème du debanking ou débancarisation, c’est-à-dire le blocage et la fermeture automatisée de comptes bancaires, sans que vous n’y puissiez rien. Un phénomène qui touche des centaines de milliers de personnes, comme le montre cette grande enquête à travers l’Europe.
Dans les erreurs de la débancarisation
On ne sait pas grand chose des innombrables algorithmes qu’utilisent les banques, rappellent les journalistes de Faux positifs. La débancarisation repose sur des alertes automatisées développées par les banques et leurs prestataires sur les mouvements de comptes et leurs titulaires, mais elles semblent bien souvent mal calibrées. Et sans corrections appropriées, elles débouchent très concrètement sur la fermeture de comptes en banques. Le problème, comme souvent face aux problèmes des systèmes du calcul du social, c’est que les banques ne mettent en place ni garanties ni droits de recours pour ceux dont les comptes sont considérés comme suspects par les systèmes de calculs. Et le problème s’étend à bas bruit, car les clients chassés de leurs banques n’ont pas tendance à en parler.

Ça commence assez simplement par le blocage brutal du compte, racontent ceux qui y ont été confrontés. Impossible alors de pouvoir faire la moindre opération. Les usagers reçoivent un courrier qui leur annonce que leur compte sera clos sous deux mois et qu’ils doivent retirer leurs fonds. Bien souvent, comme dans d’autres problèmes du social, les banques annoncent être en conformité avec la réglementation dans leur décision voire nient le fait que la décision soit automatisée et assurent que la décision finale est toujours prise par un humain, comme l’exige la loi. Rien n’est pourtant moins sûr.

Comme ailleurs, les explications fournies aux usagers sont lacunaires, et elles le sont d’autant plus, que, comme quand on est soupçonné de fraude dans les organismes sociaux, le fait d’être soupçonné de malversation bancaire diminue vos possibilités de recours plutôt qu’elle ne les augmente. Visiblement, expliquent les journalistes, le blocage serait lié à des erreurs dans le questionnaire KYC (Know your customer, système de connaissance client), un questionnaire très exhaustif et intrusif, assorti de pièces justificatives, qui permet de certifier l’identité des clients et leur activité. Bien souvent, les défaillances sont liées au fait que l’activité ou l’identité des clients est mal renseignée. Certaines catégories, comme le fait de pratiquer l’échange de devises, sont considérées comme des activités à haut risques et sont plus susceptibles que d’autres de déclencher des alertes et blocages.

« Les saisines de l’autorité de surveillance des banques pour des plaintes liées à des fermetures de comptes en banques ont quadruplé en Espagne entre 2018 et 2022« , rapporte le pool de journalistes auteurs du podcast. « En novembre 2023, le New York Times a publié une enquête sur le même phénomène et au Royaume-uni, une hausse de 69% des plaintes a été constatée entre 2020 et 2024 par le médiateur des banques. En France, ce sont les associations du culte musulman qui ont tiré la sonnette d’alarme » et alertent sur la discrimination bancaire dont elles sont l’objet. Un tiers de ces associations auraient expérimenté des fermetures de comptes. Les associations cultuelles, les personnalités politiques et les réfugiés politiques semblent faire partie des catégories les plus débancarisées.

En 2024, le problème des associations cultuelles musulmanes n’est toujours pas réglé, confirment les associations, les empêchant de payer leurs loyers ou leurs charges. Ici aussi, les victimes se retrouvent face à un mur, sans recevoir d’explications ou de solutions. Si les banques ont le droit de fermer les comptes inactifs ou à découvert, elles doivent aussi respecter une réglementation très stricte pour lutter contre le blanchiment d’argent ou le financement du terrorisme, et les amendes sont très élevées pour celles qui ne respectent pas ces contraintes. En France, les banques doivent rapporter à Tracfin, la cellule de renseignement financier, les opérations douteuses qu’elles détectent. Les algorithmes bancaires repèrent des opérations sensées correspondre à certaines caractéristiques et seuils, développés par les banques ou des acteurs tiers, aux critères confidentiels. Ces logiciels de surveillance de la clientèle se sont déployés, et avec eux, les « faux positifs », rapportent les journalistes.

A la Banque postale, rapporte un cadre, chaque années, ce sont plusieurs dizaines de milliers d’opérations qui font l’objet d’alertes. Une fois analyse faite, si l’alerte se confirme, l’opération est déclarée à Tracfin, mais 95% des alertes ne débouchent sur aucun signalement. Dans les banques, à Paris, 17 à 20 000 personnes vérifient chaque jour ces alertes. Mais, visiblement, les rapports d’activité suspecte existent et ne sont pas sans conséquence sur les comptes. En fait, contrairement à ce qu’on pourrait penser, les faux positifs visent à surprotéger les banques contre les amendes réglementaires, en démontrant aux régulateurs qu’elles agissent, qu’importe si cette efficacité est très défaillante. Les faux positifs ne sont pas tant des erreurs, qu’un levier pour se prémunir des amendes. Finalement, les banques semblent encouragées à produire des faux positifs pour montrer qu’elles agissent, tous comme les organismes sociaux sont poussés à détecter de la fraude pour atteindre leurs objectifs de contrôle ou les systèmes de contrôle fiscaux automatisés sont poussés à atteindre certains niveaux d’automatisation. Le fait de débrancher des comptes, de soupçonner en masse semble finalement un moyen simple pour montrer qu’on agit. Pour la professeure Mariola Marzouk de Vortex Risk qui a quitté le secteur de la conformité réglementaire des banques, cette conformité est hypocrite et toxique. Les erreurs ne sont pas un bug, elles sont une fonctionnalité, qui protège les banques au détriment des usagers.
Faux positifs, la série de podcast d’Algorithm Watch et de l’AFP. La débancarisation, outil bien commode de la réduction du risque
Le 2e épisode commence par revenir sur les Panama Papers et les scandales de l’évasion fiscale qui ont obligé les banques à renforcer leurs contrôles. Mais la véritable origine de la surveillance des comptes provient de la lutte contre le trafic de drogue, explique l’avocate Charlotte Gaudin, fondatrice de AML Factory, une entreprise qui aide les entreprises à lutter contre le blanchiment de capitaux et le financement du terrorisme, dans tous les secteurs, des banques, aux assurances, en passant par les notaires et avocats, aux entreprises de cryptomonnaies, qui « ont toutes l’obligation de surveiller leurs clients ». Pour Transparency International, les banques doivent surveiller les dépôts à risques, notamment provenance de pays à risques établis par le GAFI, le Groupe d’action financière, l’organisme mondial de surveillance du blanchiment de capitaux et du financement du terrorisme. Outre, le KYC, la surveillance des clients, il y aussi la surveillance des transactions (KYT, Know your transactions). Le KYC permet de générer un score client. Le KYT lui permet de regarder s’il y a des dépôts d’argents « décorélés de ce que vous êtes sensé gagner tous les mois ». Les dépôts d’espèces sont mécaniquement plus risqués que les dépôts par carte, par exemple. Quand un dépôt d’espèces semble suspect, la banque alerte Tracfin qui estime s’il faut prévenir la justice ou l’administration fiscale. Pour s’éviter des ennuis, la banque peut décider de fermer votre compte, sans avoir le droit de vous dire pourquoi pour que vous n’effaciez pas les preuves.

Le problème, c’est que cette réglementation font des banques des auxiliaires de police et de justice… Mais sans avoir les moyens ou les compétences de mener des enquêtes. Les banques, pour poursuivre leur but, gagner de l’argent, ont donc tendance à se débarrasser de tous clients qui pourraient les mettre en danger. « C’est ce qu’on appelle le « derisking » ». Pour Mariola Marzouk, « ces règles sont vraiment simplistes ». Elles peuvent dire qu’une ONG est à haut risque parce qu’elle envoie des fonds dans une zone de conflits. En janvier 2022, l’autorité bancaire européenne elle-même a lancé une alerte sur le risque du derisking. En 2023, le politicien britannique d’extrême-droite, Nigel Farage, s’est vu fermer ses comptes par sa banque et a lancé un appel à témoignage qui a rencontré beaucoup d’échos, montrant à nouveau l’étendue du problème. Tous les politiques sont jugés à hauts risques par ces systèmes et font l’objet de mesures de contrôles renforcés (on parle de PPE, Personnes politiquement exposées). Selon les données de l’autorité qui contrôle les banques et les marchés financiers au Royaume-Uni, 170 000 personnes ont vu leur compte en banque fermé en 2021-2022 en lien avec la lutte anti-blanchiment, alors que seulement 1083 personnes ont été condamné pour ce délit ces mêmes années selon l’Institut des affaires économiques britanniques.

En France aussi, les politiques sont sous surveillance. C’est arrivé au sénateur centriste du Tarn, Philippe Folliot, qui a même déposé une loi contre la fermeture abusive des comptes bancaires. Pour le sénateur, la débancarisation est liée à la déshumanisation, aux développement des robots bancaires et aux fermetures d’agences. Depuis la crise financière de 2008, le nombre de succursales bancaires en France est passé de 180 000 agences à 106 000 en 2023. Si l’on en croit le Canard Enchaîné, il y aurait d’autres raisons à la débancarisation du sénateur du Tarn, notamment les activités de sa compagne, d’autant que les banques semblent également utiliser les informations de la presse et des réseaux sociaux pour prolonger leurs informations. Mais quand bien même ces informations auraient pu jouer dans ce cas précis, les banques agissent ici sans mandat ni preuves. Cela montre, il me semble, la grande limite à confier à des acteurs des pouvoirs de police et de justice, sans assurer de possibilités de se défendre. Un peu comme l’on confie désormais aux Gafams la possibilité d’exclure des utilisateurs sans que ceux-ci ne puissent faire de recours. « Les banques de leur côté, ne nient pas qu’il puisse y avoir des difficultés, mais soulignent qu’elles ne font qu’appliquer la réglementation », souligne un acteur de la réglementation bancaire. Dans le cadre de PPE, se sont tous les proches qui sont placés sous-surveillance.

Pour l’expert américain Aaron Ansari de RangeForce, les décisions, aux Etats-Unis, sont automatisés en temps réel. Depuis les années 2010, quand un dépôt est effectué, les signalements sont immédiats… et si la marge d’erreur est faible, les comptes sont automatiquement fermés. En Europe, on nous assure que ce n’est pas le cas.
Sans issue ?
Le 3e épisode, évoque l’internationalisation du problème, en montrant que les banques peuvent débancariser des réfugiés politiques au prétexte qu’ils sont signalés comme terroristes par les pays autoritaires qu’ils ont fuit. La débancarisation est devenue un moyen pour exclure des opposants dans leurs pays et qui ont des effets au-delà de leurs pays d’origine.

Yasir Gökce, réfugié turc en Allemagne, estime que nombre d’opposants turcs en Europe sont débancarisés du fait que les banques utilisent des informations provenant de courtiers en données pour alimenter leurs algorithmes de débancarisation, sans toujours les trier. Des données turques assignent les opposants comme terroristes et ces termes restent dans les fiches nominatives des courtiers. Les banques les utilisent pour évaluer les risques, et à moins de prêter une attention particulière à ces données pour les désactiver, génèrent des scores de risque élevés…

Le grand problème, c’est que les citoyens confrontés à ces décisions n’ont pas de recours. Faire modifier leur fiches KYC ne leur est souvent même pas proposé. Pour Maíra Martini de Transparency International, « les institutions financières n’ont pas à rechercher de preuves. Ce n’est pourtant pas à elles de décider si des personnes sont ou pas criminelles ».

« Les institutions financières n’arrivent donc pas toujours à corriger les erreurs de leurs systèmes algorithmiques et faire appel de ces décisions fondées sur leurs calculs ou sur leur aversion au risque peut-être très compliqué. C’est un problème que l’on retrouve ailleurs : dans l’aide social, dans l’éducation, les ressources humaines. » Les citoyens ne savent pas à qui s’adresser pour demander un réexamen de leurs cas. En fait, bien souvent, la possibilité n’est même pas proposée. Dans les boucles absurdes des décisions automatisées, bien souvent, l’usager est laissé sans recours ni garantie. « Les boutons Kafka » qu’évoquait l’avocate hollandaise Marlies van Eck pour permettre aux administrés de s’extraire de situations inextricables, n’est toujours pas une option.

Maíra Martini estime que les institutions financières devraient motiver leurs décisions. Les autorités de contrôle devraient également mieux évaluer les fermetures de compte, demander aux banques des statistiques annuelles, pour connaître les types de comptes et de personnes touchées, la proportion de fermeture par rapport aux condamnations… Empêcher que les abus ne se cachent derrière l’envolée des « faux positifs ». Et que les « faux positifs » ne deviennent partout une solution à la minimisation des risques. Bref, peut-être un peu mieux surveiller le niveau de derisking afin qu’il ne soit pas le prétexte d’une discrimination en roue libre.

Hubert Guillaud

Prenez le temps d’aller écouter les 3 épisodes de « Faux positifs », pilotés par Naiara Bellio d’Algorithm Watch et Jean-Baptiste Oubrier pour l’Agence France-Presse. Signalons que les journalistes invitent les victimes de débancarisation à témoigner par message audio sur whatsapp au + 33 6 79 77 38 45 ou par mail : podcast@afp.com
10 March 2025
7:04
De l’hypersurveillance chinoise
sur Dans les algorithmes

Les technologies de surveillance les plus avancées au monde se trouvent aujourd’hui en Chine, explique le politologue Minxin Pei, mais, comme il le montre dans son livre, The Sentinel State: Surveillance and the Survival of Dictatorship in China, aucune de ces technologies ne fonctionne particulièrement bien et ce malgré le déploiement d’une pléthore de personnels pour les faire fonctionner. En fait, cette pléthore humaine ressemble bien plus aux vieux réseaux d’informateurs humains qui viennent compléter les défaillances du renseignement qu’à un réseau d’ingénieurs performants, explique Mason Wong dans sa lecture du livre de Pei. La dictature chinoise n’a pas besoin de technologie de pointe pour assurer sa paranoïa. La persistance de l’autocratie en Chine est moins une fonction de la technologie que le résultat d’un travail humain sous la forme de réseaux d’informateurs, d’espionnage intérieur à forte intensité de main-d’œuvre et d’une surveillance policière renforcée. Pei montre que nous sommes bien loin des délires dystopiques qui savent si bien mettre sous silence la question des libertés publiques qu’évoque l’investisseur sino-américain Kai-Fu Lee dans ses livres et notamment dans IA 2042.

Pour l’historien Andrew Liu, ce qui rend l’Asie si dangereuse pour nombre d’occidentaux, c’est qu’elle aurait capturé les technologies occidentales pour les rendre autoritaires et malfaisantes. Mais selon Liu, nous sommes surtout confronté à un techno-orientalisme, qui n’est pas seulement raciste, mais qui sert surtout à occulter la surveillance américaine elle-même et qui tend à faire de l’Asie une menace indétrônable. Dans le cadre techno-orientaliste, le problème est moins lié au danger que le régime chinois représente pour son propre peuple qu’au danger qu’il représente pour l’Occident.

Cette histoire sert également des objectifs politiques pratiques. Mettre la technologie au centre du récit sur la privation de liberté de la Chine permet à la sécurité américaine de présenter celle-ci comme une menace de haute technologie pour l’ensemble du monde libre. Et cela, à son tour, leur permet d’intégrer des préoccupations apparemment humanitaires concernant la surveillance dans un projet plus vaste : l’endiguement de la Chine. La logique de la soi-disant guerre technologique sino-américaine déplace le débat des questions de droits de l’homme vers les questions de politique de sécurité nationale, en associant le problème de l’État de surveillance aux débats sur les sanctions, le contrôle des exportations de semi-conducteurs, le protectionnisme commercial contre les voitures électriques chinoises et le désinvestissement forcé des investisseurs chinois d’applications comme TikTok. Le journaliste allemand Kai Strittmatter dans son livre, Dictature 2.0, quand la Chine surveille son peuple (et demain le monde) (Taillandier, 2020), nous le disait déjà pourtant : la Chine est d’abord le miroir noir de la surveillance américaine. En présentant la Chine comme l’ennemi, les Etats-Unis protègent d’abord leur propre puissance, expliquait Paris Marx.

Dans un pays où les informateurs imprègnent chaque couche de l’interaction sociale, la solution n’est pas aussi simple que de déjouer un algorithme ou d’échapper à la censure sur un flux vidéo. Le livre de Pei rappelle que l’autoritarisme chinois n’est pas fondamentalement un problème technique : le totalitarisme numérique n’est pas le bon prisme d’analyse. Ce qui ne veut pas dire que les Chinois sont des enfants de choeur, ni que la surveillance chinoise, plus distribuée que technologique, n’est pas un problème. Mais elle est d’abord un problème pour les citoyens chinois, plus qu’une menace technologique pour l’Occident.
07 March 2025
7:25
La course à l’IA est un marathon
sur Dans les algorithmes

« Tant qu’il existera un consensus sur le fait que les LLM sont la seule approche pertinente, la loi d’échelle dominera et aucun pays ne pourra réellement « gagner » la course à l’IA. »

« L’extrême droite a réussi un tour de force : disqualifier la vérité en tant que critère pertinent pour juger de la qualité d’un modèle d’IA. »

« Ce n’est qu’en refusant de participer à cette course délirante que l’Europe aurait vraiment une chance de s’en sortir par le haut. » Gary Marcus
7:00
De l’esthétique fasciste de l’IA
sur Dans les algorithmes

“Pourquoi les personnalités d’extrême droite utilisent-elles massivement la synthographie et la vidéo générée par IA pour communiquer ? Le premier élément de réponse, le plus évident, se situe dans la facilité d’accès aux outils de génération d’image. Dans la pure application de la doctrine de Steve Bannon, qui recommande d’inonder l’espace médiatique de « merde » , l’imagerie IA peut être produite et diffusée de façon massive. Elle ne nécessite pas d’intermédiaire artistique et permet de véhiculer de manière suffisamment précise les idées à communiquer”. David-Julien Rahmil

“Si l’art consiste à établir ou à briser des règles esthétiques, alors l’art de l’IA, tel qu’il est pratiqué par la droite, affirme qu’il n’y a pas de règles, mais l’exercice pur et simple du pouvoir par un groupe sur un groupe extérieur”. Gareth Watkins

“Les fascistes n’ont pas de morale […] Ils prennent toutes leurs décisions pour des raisons mythologiques ou esthétiques. C’est pourquoi ils aiment l’IA moderne. Pour eux, elle représente la victoire de l’esthétique sur l’art. Le triomphe final des apparences superficielles sur le sens humain.” Aaron Brown
06 March 2025
7:00
La co-science de l’IA sera-t-elle magique ?
sur Dans les algorithmes

Google a dévoilé un système expérimental d’intelligence artificielle qui « utilise le raisonnement avancé pour aider les scientifiques à synthétiser de vastes quantités de littérature, à générer de nouvelles hypothèses et à suggérer des plans de recherche détaillés », selon son communiqué de presse. L’idée de cette IA de « co-science », basée sur Gemini, est qu’elle propose des idées à une question ou à un objectif spécifique, puis travaille ces hypothèses en allant puiser dans la recherche scientifique et dans les bases de données scientifiques. Si les équipes qui ont testé l’outil semblent enthousiastes, le New Scientist l’est beaucoup moins. L’idée que l’IA permettrait de tester de nouvelles hypothèses semble présomptueux, estime un spécialiste qui a regardé les propositions d’une équipe pour traiter la fibrose hépatique, qui note qu’il n’y a rien de nouveau dans ce qui est proposé. Visiblement, le système a surtout accès a bien plus de réponses que les humains.

En 2023, Google avait déjà annoncé qu’une quarantaine de « nouveaux matériaux » avaient été synthétisés à l’aide de son IA GNoME. Pourtant, selon une analyse de 2024 de Robert Palgrave de l’University College London, aucun des matériaux synthétisés n’était réellement nouveau. Ce qui n’empêche pas Palgrave de soutenir que l’IA est une aide considérable à la science. Une aide, pas une solution.
05 March 2025
7:00
Les sites de rencontre ne protègent pas leurs utilisatrices
sur Dans les algorithmes

Match Group est un conglomérat mondial qui possède la plupart des applications de rencontre, comme Hinge, Tinder, OkCupid et Plenty of Fish. Match Group contrôle la moitié du marché mondial des rencontres en ligne, opère dans 190 pays et facilite les rencontres pour des millions de personnes. La politique de sécurité officielle de Match Group stipule que lorsqu’un utilisateur est signalé pour agression, « tous les comptes trouvés qui sont associés à cet utilisateur seront bannis de nos plateformes ». Mais ce n’est pas le cas, révèle une enquête de The Markup. Le 25 octobre 2024, un juge a condamné un cardiologue de Denver à 158 ans de prison après qu’un jury l’a reconnu coupable de 35 chefs d’accusation liés à l’usage de drogues et à l’agression sexuelle de huit femmes, et à l’agression de 3 autres. Les avocats des femmes ont déclaré qu’une grande partie de cette violence aurait pu être évitée, car la plupart de ces mauvaises rencontres se sont faites depuis des applications de rencontre, alors que le cardiologue y avait été dénoncé par de précédentes victimes. Visiblement, les sites de rencontre permettent aussi aux agresseurs qui commettent des abus sexuels d’atteindre plus facilement un nombre apparemment infini de cibles potentielles.

En 2022, une équipe de chercheurs de l’université Brigham Young a publié une analyse de centaines d’agressions sexuelles dans l’Utah. Ils ont découvert que les agressions facilitées par les applications de rencontre se produisaient plus rapidement et étaient plus violentes que lorsque l’agresseur rencontrait la victime par d’autres moyens. Ils ont également constaté que les agresseurs qui utilisent des applications de rencontre sont plus susceptibles de cibler les personnes vulnérables.

« Match Group sait depuis des années quels utilisateurs ont été dénoncés pour avoir drogué, agressé ou violé leurs partenaires. Depuis 2019, la base de données centrale de Match Group enregistre chaque utilisateur signalé pour viol et agression sur l’ensemble de sa suite d’applications ; en 2022, le système, connu sous le nom de Sentinel, collectait des centaines d’incidents chaque semaine, selon des sources internes de l’entreprise.«

« Match Group a promis en 2020 de publier ce que l’on appelle un rapport de transparence – un document public qui révélerait des données sur les préjudices survenus sur et en dehors de ses plateformes. Si le public était conscient de l’ampleur des viols et des agressions sur les applications de Match Group, il serait en mesure d’évaluer précisément les risques auxquels il est exposé. Mais en février 2025, le rapport n’avait pas encore été publié. »

Depuis 2020, les membres du Congrès américain ont demandé à plusieurs reprises à Match des données sur les agressions sexuelles, sans jamais avoir obtenu de réponses. « Les utilisateurs de Tinder bannis, y compris ceux signalés pour agression sexuelle, peuvent facilement rejoindre ou passer à une autre application de rencontre de Match Group, tout en conservant les mêmes informations personnelles clés. » « À partir d’avril 2024, The Dating Apps Reporting Project a créé une série de comptes Tinder que nous avons ensuite signalés pour agression sexuelle. Peu de temps après, Tinder a banni les comptes et nous avons commencé à enquêter sur la facilité avec laquelle un utilisateur banni pouvait créer de nouveaux comptes.«

« À plusieurs reprises, nous avons constaté que les utilisateurs, peu de temps après avoir été bannis, pouvaient créer de nouveaux comptes Tinder avec exactement le même nom, la même date de naissance et les mêmes photos de profil que ceux utilisés sur leurs comptes bannis. Les utilisateurs bannis de Tinder pouvaient également s’inscrire sur Hinge, OkCupid et Plenty of Fish sans modifier ces informations personnelles. »

En ce début 2025, les résultats financiers du Groupe Match ne sont pas très bons : les sites de rencontre peinent à se renouveler. Et surtout, la sécurité des utilisatrices des applications de rencontre est devenue problématique. Le cardiologue de Denver ne sortira probablement jamais de prison, mais les dirigeants de Match Group ne sont actuellement pas inculpés alors que l’entreprise était au courant de son comportement et de ceux de milliers d’autres utilisateurs abusifs. L’entreprise dispose de données qui pourraient aider les utilisatrices à éviter des situations dangereuses, mais elle ne les a pas partagées, laissant des millions de personnes dans l’ignorance. « La réalité est que si le cardiologue de Denver était libéré aujourd’hui, il pourrait immédiatement revenir sur une application de rencontre. Match Group le sait – et maintenant vous aussi. »
Sortir du swipe
Pour le philosophe Luke Brunning qui dirige le Centre pour l’amour, le sexe et les relations de l’université de Leeds, les utilisateurs sont de plus en plus nombreux à se détourner des sites de rencontre. Pourtant, elles ont permis d’élargir les bassins de partenaires, tout en rendant la recherche de relation plus calculatrice, comme le montrait la chercheuse Marie Bergström dans son livre, Les nouvelles lois de l’amour (2019, La Découverte). A mesure que les applications de rencontre ont été plus acceptées, elles se sont aussi gamifiées, explique Brunning dans The New Scientist, nous incitant à chercher de nouvelles relations plutôt que d’approfondir les relations existantes (voir « Comment gagner à Tinder ? »). Bien souvent, payer un abonnement mensuel permet surtout d’obtenir un surcroît d’attention, tout comme sur X, où les utilisateurs payants sont rendus plus visibles. Mais cela ne signifie pas plus de rendez-vous réussi pour autant. Pour Brunning, les applications de rencontre doivent faire leur mea-culpa sur la gamification. Le fait qu’elles projettent toutes d’intégrer de l’IA, fait peser de nouveaux risques en créant des espaces toujours moins authentiques, où la manipulation se déploie, et avec elle, les préjugés sociaux existants et notamment l’homogamie sociale. Le chercheur invite également les applications à se débarrasser du mode binaire du swipe. « Avant d’adopter l’IA générative, les applications de rencontres doivent résoudre les problèmes qu’elles ont créés, pour nous connecter avec plus de transparence et d’autonomie. Elles ne sont peut-être pas disposées à le faire, car leur conception actuelle signifie que plus nous swipons, plus ils gagnent, mais s’ils ne le font pas, ils ont peu de chances de survivre à l’apathie croissante envers les rencontres en ligne. »

Le public est devenu très méfiant envers les sites de rencontre, notamment parce que celui-ci s’est rendu compte que les applications cherchent surtout à pousser les utilisateurs à payer pour accéder à des avantages (augmentation de la visibilité, likes illimités…). Le groupe Match est même poursuivi parce qu’il enferme ses utilisateurs « dans une boucle perpétuelle de paiement » pour jouer au détriment des « objectifs relationnels des clients ». Pour The Atlantic, Faith Hill se demande s’il pourrait y avoir des applications de rencontre à but non lucratif, pour éviter tous les désagréments auxquels conduit la recherche de profits. La journaliste a repéré quelques applications développées par des villes en Asie. Mais, si les objectifs des autorités peuvent rejoindre ceux des utilisateurs, la protection des utilisateurs n’est pas plus assurée par les applications publiques. En Chine ou en Iran, les victimes ne sont pas mieux considérées, sans compter qu’une plateforme publique ou gouvernementale peut facilement censurer certains types de rencontres (notamment intersexes, interculturelles, intercultuelles ou interraciales).

Mais il y a d’autres acteurs que les autorités pour produire ce type de plateforme, et notamment les chercheurs. Pourtant, la recherche sur le sujet des rencontres est à la peine. Dans une étude de 2017, des psychologues ont essayé de prédire la compatibilité des gens en utilisant un modèle mathématique basé sur plus de 100 mesures de traits et de préférences que leurs sujets ont eux-mêmes déclarées : aucune combinaison de ces caractéristiques n’a réussi à corréler le degré d’entente entre les participants lors de leur rencontre.

Elizabeth Bruch et Amie Gordon, chercheuses à l’Université du Michigan, ont travaillé sur Revel, une application de rencontres en cours de test par 200 étudiants. Mais plus qu’un site de rencontre, Revel semble surtout une plateforme d’étude pour comprendre à partir de combien de profils proposés, l’utilisateur sature, ou si le fait d’avoir plus d’information sur les personnes conduit à de meilleures connexions… C’est oublier que derrière la magie des appariements, comme le disait déjà Marie Bergström, « les algorithmes utilisés sont très rudimentaires et bien moins sophistiqués qu’on le croit. Les concepteurs sont d’ailleurs souvent les premiers à dire qu’on ne peut pas prédire l’appariement… et se contentent de cadrer la rencontre en laissant se débrouiller les gens. Meetic par exemple utilise des algorithmes simples qui déterminent une priorité dans les profils présentés favorisant le fait que les gens soient connectés en temps réel, qu’ils se soient inscrits récemment, qu’ils habitent à proximité et qu’ils aient à peu près le même âge. Et on en reste là la plupart du temps. »
04 March 2025
7:00
Doge : l’efficacité, vraiment ?
sur Dans les algorithmes

Sans mandat ni attribution claire, Musk a pris les commandes des systèmes informatiques de l’Etat fédéral (Musk n’est que conseiller du Département de l’efficacité, dirigé – on ne le sait que depuis quelques jours – par Amy Gleason). Le démantèlement en cours de l’autre côté de l’Atlantique est à l’image de ce nouveau bureau dont le cadre d’exercice est tout aussi confus que le périmètre de ses missions. Cela n’empêche pas que, depuis le 20 janvier 2025, les Doge Kids prennent partout les commandes des bases de données d’innombrables agences et ministères, alors que le Doge licencie les fonctionnaires à tour de bras et coupe les budgets. S’il est difficile de tirer la situation au clair, tant les actions sont nombreuses et polémiques (certaines décisions sont prises, réfutées, reprises, avec des décisions de justice contradictoires qui viennent les réfuter sans qu’elles ne le soient nécessairement dans les faits), à défaut d’éclaircir la confusion, essayons néanmoins de regrouper les analyses.

Ce qu’il se passe avec le Doge depuis janvier est difficile à suivre, rappelle Brian Barrett pour Wired. Notamment parce que, contrairement à ce que Musk avait promis, le Doge ne fonctionne absolument pas d’une manière transparente, bien au contraire. Mais le peu que la presse en voit, qu’elle arrive à documenter, montre dans ses interstices, que ce qu’il se passe est pire que ce qu’elle parvient à en montrer. « La Food and Drug Administration (FDA) a annulé une réunion qui aurait dû donner des orientations sur la composition du vaccin contre la grippe de cette année. Pour l’instant, la réunion n’a pas été reprogrammée ». L’administration de la sécurité sociale va réduire son personnel de moitié. Le ministère du Logement et du Développement urbain va être réduit de 84 %. Et c’est pareil dans nombre d’administrations… « Ne pensez pas que vous recevrez vos chèques d’aide sociale à temps, que vous allez pouvoir garder vos lumières allumées »…. « Ne présumez pas que tout ce qui fonctionne aujourd’hui fonctionnera encore demain. » Surtout que si beaucoup de personnel ont été licenciés, la purge massive annoncée n’a pas encore eu lieu !

Le Doge a annoncé des correctifs sur certaines de leurs premières annonces, comme l’annulation d’un programme de l’USAID conçu pour empêcher la propagation d’Ebola. « Nous avons rétabli la prévention d’Ebola immédiatement » a-t-il été répondu face à l’alarme. Ce n’est pas le cas, rapporte le Washington Post. Un exemple qui montre qu’on ne peut même pas s’appuyer sur les déclarations.

Bref, « le Doge pour l’instant n’a fait que jeter un rocher au milieu d’un étang. Si vous pensez que c’est mauvais, attendez les répercussions ».
Le Doge : un piratage de l’intérieur !
« Il s’agit de la plus grande violation de données et de la plus grande violation de sécurité informatique de l’histoire de notre pays », explique un expert en sécurité informatique interrogé par The Atlantic. Comme si on assistait à un piratage informatique de l’intérieur. Partout, les fonctionnaires sont déboussolés de constater ce qu’il se passe. « Musk et son équipe pourraient agir délibérément pour extraire des données sensibles, modifier des aspects fondamentaux du fonctionnement de ces systèmes ou fournir un accès supplémentaire à des acteurs non contrôlés. Ou ils peuvent agir avec négligence ou incompétence, détruisant complètement les systèmes. Étant donné l’ampleur de ce que font ces systèmes, des services gouvernementaux clés pourraient cesser de fonctionner correctement, des citoyens pourraient être lésés et les dommages pourraient être difficiles ou impossibles à réparer ». D’innombrables données personnelles sont siphonnées sans que nulle ne sache où elles seront disséminées ni à quoi elles pourront servir. Pire, les données peuvent également être modifiées tout comme le fonctionnement de logiciels critiques. Pire encore, le Doge peut désormais cacher les preuves des modifications que ses équipes accomplissent. « Ils pourraient modifier ou manipuler les données du Trésor directement dans la base de données sans que plus personne ne puisse vérifier les modifications ». L’information sur les niveaux d’accès spécifiques dont Musk et son équipe disposent restent flous et varient probablement selon les agences et les systèmes. « Auparavant, les protocoles de sécurité étaient si stricts qu’un entrepreneur branchant un ordinateur non fourni par le gouvernement sur un port Ethernet d’un bureau d’une agence gouvernementale était considéré comme une violation majeure de la sécurité ». Nous n’en sommes absolument plus là. « Plus ces intrusions durent, plus le risque d’une compromission potentiellement fatale augmente ». Même une petite modification d’une partie du système qui a trait à la distribution des fonds pourrait faire des ravages, empêchant ces fonds d’être distribués ou les distribuant de manière incorrecte, par exemple. Les opposants de Musk et Trump devraient s’inquiéter. Demain, le fisc pourrait produire des déclarations qu’ils n’ont pas faites ou faire disparaître celles qu’ils ont faites. La corruption des bases de données de l’Etat fédéral risque de saper ce qu’il reste de confiance dans l’Etat.

Dans les administrations, la terreur et la paranoïa règnent, explique la journaliste Karen Hao. La paralysie qui saisit les administrations américaines n’est pas que liée aux licenciements massifs, mais plus encore à la peur de dénonciation. Tous les fonctionnaires ont l’impression d’être désormais traqués par leur propre gouvernement. Nombre de fonctionnaires suspectent désormais leurs ordinateurs de les espionner pour le compte du Doge, rapporte Wired, et nombreux sont ceux qui se mettent à prendre des précautions… D’ailleurs, le nombre de messages échangés a considérablement chuté, pas seulement du fait des licenciements.

Mais la surveillance des fonctionnaires a commencé bien avant Trump, rappellent les journalistes de Wired, notamment pour ceux qui manipulent des informations classifiées. Mais pas seulement, beaucoup d’agences sensibles sont depuis longtemps sous surveillance. 9 des 15 ministères américains avaient déjà souscrit des programmes de surveillance d’une partie de leurs employés, à l’image du logiciel Intercept de Dtex, utilisé par plusieurs agences fédérales, qui génère des scores de risque individuels en analysant des métadonnées anonymisées, telles que les URL que les travailleurs visitent et les fichiers qu’ils ouvrent et impriment sur leurs appareils de travail. « Lorsque vous créez une culture de peur et d’intimidation et que vous parvenez à dissuader les gens de dénoncer les actes répréhensibles, vous vous assurez que la corruption passe inaperçue et n’est pas traitée« , s’alarme Karen Hao.

Thomas Shedd, un ancien ingénieur de Tesla récemment nommé directeur des services de transformation technologique du Doge, a demandé un accès privilégié à 19 systèmes informatiques différents. « S’ils voulaient changer le montant du salaire d’une personne ou de ses impôts, ils pourraient le modifier », explique encore un article de The Atlantic. Non seulement ils peuvent lire les e-mails des employés, mais vu le niveau d’autorisation d’accès, ils pourraient même les modifier. Les risques de préjudice, d’abus, de corruption ou de vengeance sont complètement libérés. « La NASA détient des spécifications techniques et des données de recherche pour les concurrents de SpaceX, et les initiés craignent que ces informations soient bientôt également compromises. Ils craignent également que la R&D classifiée de la NASA dans des domaines tels que la physique quantique, la biotechnologie et l’astrobiologie puisse être volée à des fins privées. »

« Le premier mois de Musk et du Doge a été si chaotique, leurs incursions si aléatoires, qu’il est difficile d’évaluer ce qui s’est passé. Doge prétend améliorer le gouvernement, mais les employés de l’agence avec lesquels nous avons parlé ont le sentiment d’avoir été piratés. »

Pour les éditeurs de The Atlantic : « Aucune bonne raison ou argument ne peut être avancé pour qu’une personne ou une entité ait un tel accès à autant d’agences gouvernementales contenant autant d’informations sensibles. Même dans un seul bureau gouvernemental, l’accès administratif complet à tous les systèmes est un privilège qui n’existe pas. Dans l’ensemble, à l’échelle de l’ensemble du gouvernement, ce serait incompréhensible ».

Le Data Coup du Doge est « la plus grande appropriation de données publiques par un particulier dans l’histoire d’un État moderne », estiment les sociologues Nick Couldry et Ulises Meijas dans une tribune pour Tech Policy Press (auteurs d’un récent livre sur le pillage des données et le colonialisme de la Tech, dont on avait rendu compte). Pour eux, ce qu’il se passe ne relève pas du capitalisme de surveillance de Zuboff qui dénonçait le fait que les géants de la tech aient été mis au service de l’Etat. Ici, il s’agit de mettre toutes les données de l’Etat fédéral au mains d’entreprises : « Dans le néolibéralisme, les citoyens deviennent des consommateurs ; dans le colonialisme des données, les citoyens deviennent des sujets ». Une fois que nous examinons les événements récents aux États-Unis à travers une lentille coloniale, le mépris de la légalité n’est pas non plus surprenant. Jusqu’à récemment, il était possible que l’État américain soutienne des réglementations pour restreindre l’extractivisme des Big Tech, sous une forme ou une autre. Aujourd’hui, c’est devenu une perspective lointaine.

« Le Doge a compris quelque chose que l’establishment politique n’a pas compris : la technologie est la colonne vertébrale de tout gouvernement ! » C’est ce qu’affirme dans une tribune pour Tech Policy Press, Emily Tavoulareas qui a fondé le US Digital Service, qui, depuis le 20 janvier est devenu le Doge. L’organisation dédiée à l’amélioration des services gouvernementaux a été réaffectée en vecteur de destruction de ces services, constate, désolée, la chercheuse et ex-directrice technique à la Maison Blanche. Là aussi, la plupart des employés ont été licenciés. Le Doge a pris le contrôle de nombres de systèmes critiques du gouvernement fédéral. « L’administration Trump semble comprendre quelque chose que peu d’autres comprennent : l’infrastructure technique est l’infrastructure de tout. Elle peut accélérer ou entraver les objectifs politiques ». C’est ce qu’a tenté d’expliquer Tavoulareas à nombre de responsables politiques ces dernières années. Pour le US Digital Service, les applications et sites de l’administration problématiques étaient souvent un levier pour organiser des transformations plus profondes dans les services. Mais pour les politiciens, bien souvent, la technologie et l’implémentation des politiques dans des services numériques, tenaient de la simple logistique, souvent confiée à des acteurs privés. Mais, c’est là croire que la technologie est subordonnée au travail politique, quand elle lui est inextricablement liée. « Séparer la politique de la technologie dont elle dépend a été une cause profonde de beaucoup de dysfonctionnements ».

« La technologie n’est pas une chose supplémentaire que vous ajoutez aux programmes et services gouvernementaux — elle EST le service. Ce n’est pas une chose supplémentaire que vous ajoutez à l’institution — elle est la colonne vertébrale de l’institution. » Le Doge a parfaitement compris cela. Les équipes de Musk savent parfaitement que l’infrastructure technique n’est pas seulement une infrastructure pour faire des applications et des sites web, mais qu’elle est l’infrastructure qui contrôle tout.

La mission du US Digital Service était de fournir de meilleurs services gouvernementaux au peuple américain à travers la technologie et le design. Pour le service numérique du gouvernement américain, la technologie n’était qu’un véhicule pour améliorer les services au bénéfice des personnes. Ce n’est pas l’objectif du Doge, qui se concentre tout entier sur l’efficacité et la réduction des coûts. Le Doge n’a pas vocation à se mettre au service des gens, ce qui signifie qu’elle est au service de quelqu’un d’autre ! Certes, concède Emily Tavoulareas, le Digital service n’a pas toujours été efficace. Oui, le gouvernement américain a gaspillé parfois des milliards de dollars à construire des logiciels qui ne fonctionnent pas, notamment parce que nombre de services se préoccupent assez peu des utilisateurs. Mais le Digital service montrait qu’on pouvait et devait faire mieux, que les employés du gouvernement devaient privilégier les résultats sur les procédures, les personnes par rapport aux processus, les solutions par rapport aux règles. Le service a tenté de faire en sorte que la technologie bénéficie aux utilisateurs. Avec le Doge, il est sûr que ce n’est pas aux utilisateurs qu’elle va désormais bénéficier !
Le Doge, institution de l’IA impériale
Il est temps de s’inquiéter des projets d’intelligence artificielle du Doge, s’alarment les spécialistes de la sécurité informatique Bruce Schneier et Nathan Sanders dans The Atlantic (ils feront paraître en octobre, Rewiring Democracy). Alors que nombre de fonctions critiques de l’Etat ont été interrompues, que des dizaines de milliers de fonctionnaires fédéraux sont encouragés à démissionner, le département de l’efficacité gouvernementale s’attaque déjà à l’étape suivante : utiliser l’IA pour réduire les coûts. Selon le Washington Post, le groupe de Musk a commencé à traiter des données sensibles des systèmes gouvernementaux via des programmes d’IA pour analyser les dépenses et déterminer ce qui pourrait être élagué et bien sûr remplacer les fonctionnaires par des machines. En fait, analysent Schneier et Sanders, remplacer les fonctionnaires par des machines a surtout pour objectif de rendre le changement à l’oeuvre sans recours, en éliminant la résistance des corps institués au changement. L’autre danger de recourir à l’IA pour gérer des programmes fédéraux, c’est de renforcer la concentration du pouvoir. Les programmes de protection sociale comme les organismes de contrôle des entreprises peuvent alors très facilement être orientés pour bénéficier à certains plus qu’à d’autres. « Le pouvoir absolu de commander des agents d’IA pourrait faciliter la subversion de l’intention législative« .

Bien sûr, la faculté de discernement ne disparaît pas, mais dans les systèmes machiniques, celle-ci est concentrée dans les mains de ceux qui opèrent et déploient les systèmes. Dans les systèmes humains, ce discernement est largement réparti entre de nombreux individus, fonctionnaires et agents. « L’IA ne remplace pas ces anciennes institutions, mais elle change leur fonctionnement ». Le développement de l’IA elle-même pourrait se faire au sein d’institutions publiques transparentes, responsables et démocratiques, avec une supervision publique de leur conception et de leur mise en œuvre et la mise en place de garde-fous adaptés, plaident les deux chercheurs. Ce n’est bien sûr pas cette orientation qui est prise. Et le risque, c’est que cette orientation autoritaire inspire toute les autres à venir.

Le Washington Post explique que c’est le ministère de l’Education qui semble le premier à faire les frais de l’épluchage de ses dépenses par l’IA. L’utilisation de l’IA par le Doge au sein du ministère de l’Éducation constitue un écart important par rapport à la politique préconisée sur la technologie, à savoir n’utiliser les programmes qu’après avoir fait les tests nécessaires pour s’assurer que son utilisation ne compromette pas la confidentialité et la cybersécurité.

Mais, l’IA peut-elle vraiment aider le Doge à réduire les budgets et éviter le gaspillage ?, s’interroge la Technology Review. Comme le répète Arvind Narayanan, le calcul fonctionne mieux quand ce qu’il doit calculer est clair. La fraude est une notion un peu moins subjective que le gaspillage. Or, les paiements fédéraux frauduleux dans le domaine de la santé ne sont pas tant du fait des utilisateurs que des sociétés pharmaceutiques, rappelle l’économiste Jetson Leder-Luis, spécialiste de la fraude sociale. Celui-ci rappelle qu’il est possible de chercher des schémas de fraudes pour mettre fin aux remboursements frauduleux avant qu’ils ne se produisent. Dans une étude de 2024, l’économiste montrait qu’il était possible d’utiliser l’IA pour détecter des fraudes institutionnelles potentielles, selon une approche préventive. Mais ces distinctions n’ont pas l’air d’être la priorité du Doge, bien au contraire. Le but semble bien plus de réduire des dépenses pour des raisons politiques que de réduire les fraudes et abus depuis des preuves.

Le Doge travaille à un système pour automatiser le licenciement des fonctionnaires, explique encore Wired, sur la base d’un logiciel créé il y a 20 ans par le ministère de la Défense, permettant d’accélérer la réduction d’effectifs. Jusqu’à présent, les licenciements ont été manuels et ont visé surtout les employés en période d’essai. Mais visiblement, le but semble d’accélérer encore la cadence. Pour Brian Merchant, ces annonces d’automatisation des licenciements sont consécutives au fait que le Doge ait demandé à deux millions d’employés du gouvernement de répondre à un mail leur demandant ce qu’ils ont fait de leur semaine. L’analyse qu’il va en être fait risque surtout de ne pas produire grand-chose car aucun système n’est capable de déterminer depuis ces mails, si le travail de ceux qui y répondent est nécessaire ou non. Nous sommes dans un “Grok Gouvernement” ironise Merchant, en comparant ce qu’il se passe à l’IA de Musk, surtout connue pour son sens de l’humour particulièrement problématique.

Mais aussi stupide soit la fiction, la mascarade est puissante. Car ces annonces rhétoriques impressionnent. L’essentiel n’est pas ce que ces outils vont ou peuvent produire, mais en réalité, l’important, c’est la fiction qu’ils déroulent. Ce sont des “générateurs de faux-semblants”. L’efficacité supposée des outils permet surtout de déresponsabiliser les décisions. “L’idée est d’utiliser la notion même d’IA et d’automatisation comme instruments de perturbation et de consolidation du contrôle”.

Pour Kate Crawford, citée par Merchant, l’IA se révèle plus impérialiste que jamais. Les Etats-Unis comme les Big Techs de l’IA ne parlent plus d’innovation, constate-t-elle. JD Vance, le vice-président américain, à Paris comme à Munich, ne disait pas autre chose. Il parle d’expansion pure, de consolidation du pouvoir par l’IA. Le décalage avec le camp qui défend l’intérêt public n’a jamais été aussi béant. Le désalignement est total. “L’approche américaine de l’IA consiste à construire un empire”, sans garde-fous. “Au moment même où Vance prononçait ces mots, aux États-Unis, le Doge infiltrait et saisissait, souvent en violation de la loi, l’infrastructure d’information du gouvernement américain”. Le Doge a effacé des données, censuré des mots et réécrit l’histoire. Pour le gouvernement américain, désormais, l’enjeu n’est plus de s’inquiéter des risques, de la sécurité ou de la protection des populations, mais de construire des systèmes rentables. Les empires ont toujours concentré le pouvoir technologique, rappelle Crawford qui a tenté de le montrer dans son projet Calculating Empire.

Ce qui semble certain, c’est que ce déploiement de l’IA comme nouvelle méthode de gouvernement ne se fera pas sans retour de bâton… A mesure que ces systèmes feront n’importe quoi – et ils feront n’importe quoi –, c’est tout le champ technologique qui est menacé de corruption et d’effondrement.

Nous sommes confrontés à un coup d’Etat des thuriféraires de l’IA, estime Eryk Salvaggio dans Tech Policy Press. L’IA est une technologie qui permet de « fabriquer des excuses ». Il suffit de dire que l’IA peut remplacer l’administration, pour qu’on discute de savoir comment plutôt que de comprendre pourquoi ce serait nécessaire. Nous sommes au milieu d’un coup d’État politique qui risque de changer à jamais la nature du gouvernement américain. Il ne se déroule pas dans la rue, il se déroule sans loi martiale, sans même avoir recours à la force ou à l’armée : il se déroule dans l’automatisation banale de la bureaucratie. La justification repose sur un mythe de productivité selon lequel le but de la bureaucratie est simplement ce qu’elle produit (services, informations, gouvernance) et peut être isolé du processus qui y conduit. L’IA nous est imposée comme un outil pour remplacer la politique. Mais son but n’est pas de s’en prendre à la paperasse ou au gaspillage, comme on nous le répète : l’IA est utilisée pour « contourner la surveillance du budget par le Congrès, qui est, constitutionnellement, l’attribution de ressources aux programmes gouvernementaux par le biais de la politique représentative ». Le Doge vise à déplacer la prise de décision collective au cœur de la politique représentative. Dans le chaos qui règne à Washington, les entreprises de la Silicon Valley font valoir qu’elles sont la solution. Elle consiste, peu ou prou, en un chatbot omnipotent, une sorte d’IA gouvernementale dédiée. « Il suffit que cette IA soit considérée comme un concurrent plausible de la prise de décision humaine suffisamment longtemps pour déloger les décideurs humains existants dans la fonction publique, des travailleurs qui incarnent les valeurs et la mission de l’institution. Une fois remplacées, les connaissances humaines qui produisent l’institution seront perdues ». Ce projet, même flou, ne propose rien de moins que l’avènement d’un régime technocratique, où le pouvoir se concentre entre les mains de ceux qui comprennent et contrôlent la maintenance, l’entretien et les mises à niveau de ce système. Pour Salvaggio, l’enjeu consiste à créer une forme de « crise informatique nationale que seule les géants de l’IA peuvent résoudre ». Nous sommes en train de passer de « la gouvernance démocratique à l’automatisme technocratique ». Ce scénario catastrophe suppose bien sûr un public passif, une bureaucratie complaisante et un Congrès qui ne fait rien, précise Salvaggio. Cela suppose qu’opérer dans une zone grise juridique est un moyen d’échapper à la surveillance judiciaire – et c’est ce que permet le Doge. La rapidité d’action permet de déplacer le débat vers la technique ce qui est une façon d’exclure les décideurs politiques et le public des décisions et de transférer ce pouvoir au code qu’ils écrivent. La participation démocratique ne sera jamais un gaspillage, rappelle Salvaggio. « Aucun système informatisé ne devrait remplacer la voix des électeurs. Ne demandez pas si la machine est digne de confiance. Demandez-vous qui la contrôle« .
Transformer l’infrastructure de l’Etat en arme
« Ce n’est pas tant un coup d’Etat qu’une OPA », expliquent Henry Farrell et Abraham Newman, qui ont publié récemment L’empire souterrain (Odile Jacob, 2024) un livre où ils expliquent comment l’Amérique a pris le contrôle des systèmes techniques de l’économie mondiale et les ont utilisés pour exercer leur domination sur leurs alliés comme sur leurs ennemis. « Aujourd’hui, Musk semble faire au gouvernement américain ce que le gouvernement américain a fait autrefois au reste du monde : transformer la plomberie du gouvernement fédéral en arme politique contre ses adversaires« . Snowden nous a montré comment les États-Unis avaient transformé Internet en un gigantesque système de surveillance mondiale. L’accès à Swift, l’infrastructure institutionnelle de base qui garantit que l’argent, les informations et les biens arrivent là où ils doivent était l’autre pierre angulaire que l’Amérique a subvertit. « Les États-Unis ont identifié des points d’étranglement clés qui leur ont permis d’utiliser les infrastructures de paiement, d’information et physiques du monde entier comme une arme pour parvenir à leurs fins. Le Doge de Musk utilise les infrastructures de paiement, d’information et physiques du gouvernement américain de manière très similaire, en contournant les structures politiques censées restreindre l’action exécutive unilatérale. Tout comme lorsque les États-Unis ont utilisé l’économie mondiale comme une arme il y a plus de deux décennies, il est difficile pour ceux qui en sont les victimes de comprendre exactement ce qui leur arrive« .

« Comme Swift et la compensation en dollars, le système de paiement fédéral était autrefois traité comme un système entièrement technique, à l’abri des interférences politiques. Ce n’est plus le cas. Comme l’explique Nathan Tankus pour Rolling Stones, le Bureau du service fiscal, la partie du département du Trésor qui gère les paiements pour le gouvernement fédéral, est censé être technocratique et se concentrer uniquement sur la garantie que l’argent va là où il est censé aller. Néanmoins, parce qu’il agit comme un intermédiaire entre le gouvernement et le reste du gouvernement, il constitue un point d’étranglement crucial. Il offre un point de visibilité unique sur les opérations du gouvernement, avec des informations stratégiques détaillées sur l’argent qui circule et où, et un point de contrôle unique. »

« Ce qu’ils doivent comprendre – et rapidement – ??c’est que Musk, et par extension Trump, semblent essayer de transformer ces systèmes techniques en leviers de contrôle. Si les deux réussissent, ce qui est incertain, ils auront un avantage politique sans précédent dans les mois et les années à venir. Même s’ils échouent, leurs erreurs peuvent avoir des conséquences catastrophiques.«

« Tout comme le contrôle de Swift a fourni aux États-Unis des informations stratégiques vitales sur les flux financiers mondiaux, Doge pourrait également utiliser l’accès au système fédéral de paiements pour obtenir un aperçu des opérations gouvernementales. Dans notre recherche sur les paiements mondiaux, nous avons décrit comment les États-Unis ont transformé la finance mondiale en un « panoptique » qui leur a fourni des informations extrêmement détaillées sur qui envoyait de l’argent à qui, qu’ils pouvaient ensuite utiliser comme arme contre leurs adversaires. Peu à peu, les États-Unis ont utilisé le système du dollar comme un point d’étranglement pour bloquer les paiements et pour transformer les banques étrangères en agents du pouvoir américain ».

« Le système fédéral de paiements est un panoptique depuis des décennies, attendant que quelqu’un avec des ambitions politiques brise le pare-feu bureaucratique ». C’est ce qui est en train de se passer, estiment les chercheurs. « Tout entrepreneur ou tiers qui dépend de l’argent du gouvernement américain se retrouvera dépendant de leur patronage et de leurs caprices politiques. Cela sera techniquement difficile à réaliser, mais cela générerait des opportunités étonnantes de corruption secrète et ouverte et d’imposition de préférences politiques et idéologiques à des tiers ». Pourtant, les risques les plus probables à court terme ne sont pas une coercition efficace mais une calamité accidentelle, du fait que les Doge Kids maîtrisent mal les couches techniques de ces systèmes.

« Tout comme il a fallu des décennies aux États-Unis pour vraiment transformer les systèmes techniques de l’économie mondiale en fonction de leurs objectifs, il faudra du temps et des bidouillages pour que le Doge commence vraiment à réaliser ses ambitions. La mauvaise nouvelle est que les fonctionnaires fédéraux et l’ensemble de la population américaine seront les cobayes involontaires de cette vaste expérience. La moins mauvaise nouvelle est que ce qui ressemble à une prise de pouvoir gouvernementale accomplie en un week-end n’est pas encore une machine de pouvoir, et il faudra un travail acharné et ininterrompu pour y parvenir. Les législateurs, les avocats et les citoyens ordinaires qui ne veulent pas que cette prise de pouvoir hostile réussisse devraient saisir toutes les occasions de jeter du sable dans le mécanisme par la politique et la protestation, tant qu’il est encore temps de préserver les institutions qui, bien qu’imparfaites, sont nécessaires au fonctionnement de la société et de la démocratie américaines ».

Même constat pour l’historien de l’économie Quinn Slobodian (auteur du Capitalisme de l’apocalypse, Le Seuil, 2025) dans une brillante analyse politique pour la New York Review, où il explique que le Doge est la synthèse de trois courants politiques : celui des marchés et des startups qui souhaitent un retour sur investissement, celui des think-tanks consevateurs anti-New Deal qui souhaite un Etat incapable de promouvoir la justice sociale ; et le monde extrêmement connecté de l’anarchocapitalisme et de l’accélérationnisme de droite, qui souhaite un État brisé qui cède l’autorité gouvernementale à des projets concurrents de gouvernance privée décentralisée. Les mercenaires de Musk sont des « consultants en gestion radicalisés » qui appliquent les règles qu’il a appliqué à Twitter au gouvernement fédéral. L’objectif n’est pas moins que la mort de l’Etat fédéral, pareil à un écran noir qui ne répond plus.
Doge : une porte ouverte pour la corruption et l’escroquerie
En attendant, les équipes de Musk agissent vite. Dès qu’ils accèdent aux données, ils épurent les bénéficiaires. The Atlantic rapporte par exemple l’arrivée des équipes du Doge au Bureau de protection des consommateurs en matière financière (CFPB). En quelques heures, les bureaux sont fermés, les employés licenciés, les activités suspendues, selon des principes partout similaires : coupes budgétaires brutales, changements de direction, et campagnes de diffamation en ligne. Toutes les dépenses sont annulées, avec le triple objectif d’une purge politique de l’administration, du renforcement sans précédent du pouvoir présidentiel et bien sûr d’économies.

Pourtant, depuis sa création, en 2011, le CFPB a protégé nombre d’Américains des fraudes et escroqueries financières. Selon son ancien directeur, elle aurait restitué 20,7 milliards de dollars aux consommateurs depuis sa création. Sa fermeture annonce surtout la retour des arnaques financières que l’organisme n’a eu de cesse de traquer : « les entreprises de fintech douteuses auront moins de soucis à se faire, les normes de prêt pourront se détériorer, les consommateurs victimes de fraude n’auront pas de moyen de demander de l’aide »…

Comme le dit l’économiste américain Paul Krugman dans sa newsletter, c’est le retour du printemps pour les escrocs. « Nous avons désormais un gouvernement de, par et pour les prédateurs financiers », s’insurge Krugman. Via un système de signalement et de dépôt de plaintes, l’agence a aidé des centaines de milliers de personnes à résoudre leurs problèmes avec des entreprises privées. Selon Bloomberg, le Doge s’est vu « accorder l’accès à tous les systèmes de données du CFPB », alors qu’elle dispose d’une quantité importante d’informations confidentielles sur les plaignants comme sur les entreprises visées par ces plaintes, sans compter les conflits d’intérêts même de Musk (qu’il est censé gérer seul, du haut de sa grande vertu morale !), le CFPB ayant reçu des plaintes à l’encontre de Tesla, et X – qui a annoncé un accord avec Visa pour développer des services de paiement – aurait dû entrer dans le scope de surveillance financière du CFPB. « Démanteler l’organisme de surveillance au motif qu’il représente un coût excessif pour le peuple américain, comme l’a affirmé Elon Musk dans un message est tout simplement incorrect. Si vous regardez les dollars dépensés par rapport aux dollars récupérés », a déclaré son ancien responsable. « L’agence a récupéré bien plus pour les consommateurs qu’elle n’en a jamais dépensé dans son intégralité pour ses opérations. Musk dit que le Doge devrait permettre aux contribuables d’économiser de l’argent, mais le CFPB le fait depuis le début. »

L’accès aux systèmes de paiement fédéraux par le personnel du Doge a été qualifié de « plus grande menace interne à laquelle le bureau du service fiscal n’ait jamais été confronté ».

En tout cas, les conflits d’intérêts semblent innombrables. Scott Langmack, directeur de l’exploitation de Kukun une société de technologie immobilière s’est récemment présenté comme conseiller principal du Doge en demandant aux employés du Département du logement et du développement urbain de lister tous les contrats du bureau et de noter s’ils étaient ou non essentiels pour l’agence, rapporte Wired. Tom Krause, par exemple, exerce les fonctions de secrétaire adjoint aux finances au Trésor tout en occupant le rôle de PDG d’une entreprise de logiciels qui a des millions de dollars de contrats avec le Trésor. Outre les conflits d’intérêts problématiques, la granularité des données auxquels le Doge a désormais accès est tout autant problématique. Et l’ensemble est d’autant plus problématique que nul ne sait ce qui est fait des données. Elles peuvent être copiées, modifiées, corrompues. Il est probable que cette corruption des données soit en train de produire de super-oligarques de la tech… Les techbros surpuissants d’aujourd’hui, pourraient bien être des nains par rapport à la puissance qu’ils sont en train d’acquérir.

Même le vénérable Financial Times commence à s’inquiéter. Les entreprises ont conclu un pacte faustien avec Donald Trump et Elon Musk, séduites par les promesses de la déréglementation et des baisses d’impôts. « En réalité, les chefs d’entreprise ont laissé entrer dans le poulailler des renards extrêmement rapaces, ce qu’ils pourraient regretter ». La journaliste économique Rana Foroohar est pourtant conciliante, puisqu’elle propose de laisser de côté les effets économiques négatifs des guerres commerciales qui s’annoncent, des rafles d’immigrants, ou des conflits géopolitiques qui pointent. L’accès illimité du Doge aux données d’innombrables administrations est une menace existentielle pour nombre d’entreprises. « Il y a plusieurs choses qui m’inquiéteraient si j’étais un chef d’entreprise. La première est l’avantage concurrentiel sans précédent que Musk pourrait obtenir en ayant accès à des éléments tels que les données de sécurité du ministère des Transports, les informations sur les essais de la Food and Drug Administration, les recherches exclusives du ministère de l’Agriculture ou les informations préalables à la publication des demandes de brevet. Si j’étais à la tête d’une entreprise automobile comme General Motors ou d’une société de covoiturage comme Uber, je me demanderai si Elon Musk a aspiré des informations sur les tests de voitures autonomes des concurrents de Tesla. Si j’étais un investisseur en capital-risque, je me demanderai s’il est désormais capable de voir quelles nouvelles technologies sont les plus proches d’être commercialisées et comment, afin de mieux devancer ses concurrents potentiels. Ce ne sont là que quelques-unes des implications les plus évidentes d’avoir un adversaire qui pourrait potentiellement accéder à des informations que les entreprises pensaient ne donner qu’au gouvernement« . Ensuite, il y a les avantages concurrentiels à long terme que Musk pourrait obtenir en intégrant des ensembles de données de différents départements dans ses propres systèmes d’intelligence artificielle (La Maison Blanche affirme qu’il ne le fait pas, mais il n’y a aucune preuve dans un sens ou dans l’autre). « On ne sait pas exactement ce que Doge exploite et comment les données sont utilisées ».

Mais les conséquences négatives potentielles pour les entreprises ne se limitent pas à un accès injuste à l’information. La suppression de diverses agences et la fin des subventions vont avoir de nombreux effets dissuasifs dans des secteurs tels que l’énergie, le transport, l’industrie, le logement… Des entreprises renoncent déjà à des projets. Les processus de demande d’autorisation qui étaient déjà compliqués, vont l’être plus encore à mesure que les effectifs des agences sont réduits. L’incertitude réglementaire ne facilite pas beaucoup les affaires. Pour l’instant, peu de monde souhaite se heurter à Musk ou Trump. Beaucoup de chefs d’entreprises semblent vouloir donner une chance à l’approche de réduction des coûts… Beaucoup attendent en faisant profil bas. Mais la crainte d’une récession se profile. Le silence politique des entreprises pourrait ne pas durer. Reste à savoir qui s’opposera au démantèlement en cours ?

Pour l’instant, rapporte pertinemment Mediapart, les représentants Républicains commencent seulement à être confrontés à la colère de leurs administrés. Les plus fidèles à Trump dénoncent une instrumentalisation des débats par les démocrates. Pas sûr que cette ligne de défense tienne longtemps si la grogne s’étend.
Le Doge ne s’intéresse pas à l’efficacité
La journaliste et historienne Anne Applebaum rappelle que le département de l’efficacité, pour l’instant, ne s’intéresse pas à l’efficacité. Nous n’assistons qu’à l’éradication de la fonction publique fédérale. Les Américains sont confrontés à un changement de régime. « Trump, Musk et Russell Vought, le nouveau directeur du Bureau de la gestion et du budget et architecte du Projet 2025 de l’Heritage Foundation – le plan initial de changement de régime – utilisent désormais des opérations informatiques, la confiscation des systèmes de paiement, des ingénieurs à leur solde, une avalanche de décrets exécutifs et une propagande virale pour parvenir à leurs fins ». « Bien que Trump et Musk affirment lutter contre la fraude, ils n’ont pas encore fourni de preuves à l’appui de leurs affirmations. Bien qu’ils exigent la transparence, Musk dissimule ses propres conflits d’intérêts. Bien qu’ils affirment vouloir l’efficacité, Musk n’a produit aucun audit des raisons à la suppression des programmes entrepris ».

« La seule chose que ces politiques auront certainement pour effet, et sont clairement conçues pour cela, est de modifier le comportement et les valeurs de la fonction publique« . Toutes les personnes qui travaillent pour le gouvernement fédéral américain font la même expérience, celle d’avoir l’impression de vivre sous occupation étrangère.

Pourtant, estime Applebaum, la destruction de l’éthique de la fonction publique prendra du temps. Jusqu’à présent, les fonctionnaires fédéraux avaient pour instruction de respecter l’État de droit, de vénérer la Constitution, de maintenir la neutralité politique et de soutenir les changements de politique légaux, qu’ils émanent d’administrations républicaines ou démocrates. Ils étaient censés mesurer la réalité objective – les preuves de pollution, par exemple – et réagir en conséquence. Tous n’étaient pas parfaits, mais leurs actions étaient contraintes par des audits, des règles de transparence et une éthique. Le Doge a déjà attaqué au moins 11 agences fédérales qui étaient impliquées dans des conflits réglementaires avec les entreprises de Musk ou qui enquêtaient sur elles pour d’éventuelles violations des lois sur la sécurité au travail, les droits des travailleurs et la protection des consommateurs. Le nouveau système qui se met en place, quelle que soit son idéologie, représente en pratique un retour au clientélisme. Désormais, les candidats aux nouveaux postes doivent s’engager à parler du Golfe d’Amérique au lieu du Golfe du Mexique ou dire que Trump a gagné l’élection de 2020. « Ces tests de loyauté trumpiens, visent à rompre avec l’éthique de la fonction publique, qui exigeait que les gens prennent des décisions basées sur des réalités objectives, et non sur des mythes ou des fictions. »

« Certains employés fédéraux seront certainement tentés d’en abuser. Vous n’aimez pas votre ancien patron ? Dénoncez-le ! Dénoncez aussi vos collègues qui promeuvent l’inclusion et la lutte contre les discriminations ». Cela peut sembler improbable, mais, rappelle Applebaum, au niveau des États, les lois encourageant les Américains à dénoncer d’autres Américains se sont multipliées. Au Texas, une loi permet aux citoyens de poursuive toute personne qui aurait aidé ou encouragé un avortement. Au Mississippi, une loi propose des primes aux personnes qui identifient des immigrés illégaux en vue de leur expulsion. Certains mots tels que « défense des droits », « handicap », « traumatisme » socio-économique et, oui, « femmes », déclenchent déjà des coupures de subventions fédérales et la censure, rapporte le Washington Post.

Le plus grand tour à l’œuvre consiste à nous faire croire que le Doge a pour objectif l’efficacité, explique Tom Nichols pour The Atlantic. “Le Doge n’est pas vraiment un département ; ce n’est pas une agence ; il n’a aucune autorité statutaire ; et il n’a pas grand-chose à voir avec les économies d’argent, la rationalisation de la bureaucratie ou l’élimination du gaspillage”. C’est une attaque contre l’expertise qui vise à y mettre fin, explique Nichols qui a publié un livre sur la contestation de l’expertise (The Death of Expertise : The Campaign Against Established Knowledge and Why it Matters, Oxford University Press, 2017). Pour lui, l’assaut de Musk à l’encontre de l’expertise s’abreuve à la même source que celle qui alimente en grande partie l’hostilité du public envers les experts. La mort de l’expertise est liée à la montée de deux mots sociaux : le narcissisme et le ressentiment.

L’égocentrisme est au cœur du succès des “techno-ploutocrates” comme Musk, qui pensent que leur richesse est la preuve de leur compétence. Trump et Musk semblent constamment en colère parce que leur richesse et leur pouvoir peuvent leur apporter tout sauf du respect. Or, l’expertise est bien souvent un puissant moyen de défense contre l’incompétence et les manigances politiques. S’opposer aux experts nécessite des connaissances. L’égocentrisme ne réclame pas aux autres de la compétence, mais de l’obéissance et de la servitude. D’où le fait qu’ils cherchent à saper l’expertise et la connaissance qui peut s’opposer à eux.

L’autre moteur est le ressentiment, celui d’une élite contre une autre. Nous sommes en train d’assister à l’affrontement d’élites entre elles, estime Nichols, entre les jeunes ingénieurs et entrepreneurs du Doge et les fonctionnaires et experts de carrière. L’objectif du Doge n’est pas de produire un meilleur gouvernement, mais de le détruire : de le remplacer par un autre. A se demander si la destruction de l’Etat fédéral ne serait pas seulement un moyen pour générer des débouchés économiques à l’illusion de l’IA ?

Pour Ethan Zuckerman également, Musk ne disrupte par le gouvernement, il le détruit. En prenant la main sur les systèmes, ce qu’il brise, ce sont les processus démocratiques qui les ont créés. « Dans Doge, nous voyons l’intersection de deux idéologies : la croyance conservatrice selon laquelle le gouvernement ne peut rien faire de bien et devrait en faire le moins possible, et le credo du perturbateur selon lequel tout système inefficace mérite d’être détruit. Leur fusion est une prophétie auto-réalisatrice : les systèmes détruits fonctionnent mal et ne peuvent être améliorés qu’en les éliminant complètement ».

Comme le disait le professeur d’économie comportementale Raymond Fishman, dans une tribune pour le New York Times, avant l’arrivée de Trump au pouvoir. Bien sûr que l’efficacité gouvernementale peut être améliorée. Mais si les entreprises fonctionnent plus efficacement qu’un gouvernement, c’est parce qu’elles n’ont pas les mêmes objectifs, les mêmes missions ni la même complexité. Ce que font les entreprises est bien souvent plus simple que ce que font les gouvernements. Une entreprise ne gère pas la misère ni la pauvreté. Ce n’est pas parce qu’il n’y a pas d’attaque terroriste qu’il faut réduire le budget du FBI. « Créons une commission consacrée à rendre le gouvernement plus efficace. Mais ce n’est pas la même chose que de réduire la taille du gouvernement, et ce n’est certainement pas la même chose que de le gérer comme une entreprise ».
Le ministère de l’incompétence
Pour Derek Thompson, le bureau de l’efficacité risque vite de nous montrer tout le contraire. Cette agence hors de contrôle, semble surtout le règne de l’incompétence. Une incompétence qui risque de coûter très chère aux Etats-Unis, bien plus que les coupes de dépenses qu’elle promet. Pour l’instant, le Doge licencie à tour de bras, sans même savoir qui. Elon Musk a laissé entendre, face à des critiques croissantes, que le Doge annulerait simplement toute mesure qui irait trop loin. Certes, dans la pratique reste à savoir lesquelles réinstaller en fonction de quelles critiques, et si cela s’avère possible une fois les choses démantelées. Tout annuler et voir ce qu’il se passe ne semble pas une méthodologie très fonctionnelle. L’incompétence du Doge est une fonctionnalité, pas un bug, estime Brian Barrett pour Wired. Doge.gov est un simple fil Twitter, comme si une politique se résumait à une succession d’annonces. « L’incompétence née de la confiance en soi est un état d’esprit familier de la Silicon Valley, la raison pour laquelle les startups réinventent sans cesse un bus, une épicerie ou le courrier. C’est la certitude implacable que si vous êtes intelligent dans un domaine, vous devez être intelligent dans tous les domaines ».

Les États-Unis ne sont pas une start-up. Le gouvernement fédéral existe pour faire toutes les choses qui ne sont pas rentables par définition, qui servent le bien public plutôt que de protéger les profits des investisseurs. La grande majorité des start-up échouent, ce que les États-Unis ne peuvent pas se permettre de faire, rappelle Barrett. « Les erreurs coûteuses et embarrassantes du Doge sont le sous-produit d’un nihilisme téméraire ; si l’intelligence artificielle peut vous vendre une pizza, elle peut bien sûr assurer l’avenir de l’administration centrale ». En fait, Musk se contrefout du gouvernement comme de l’efficacité. Il n’est là que pour siphonner des données qui lui assureront une puissance sans limite.

Ce qu’il se passe est une course de vitesse, estime Brian Barrett dans un autre article pour Wired. « La vitesse est bien sûr une stratégie. Elle consiste à inonder la zone de merde (comme disait Steve Bannon) afin que ni les médias ni les tribunaux ne puissent suivre le rythme« . Les poursuites judiciaires et les ordonnances judiciaires évoluent selon une échelle de temps différente de cette approche de purge des effectifs, de forçage des accès et de pillage des données. Et à ce rythme, DOGE aura exploité tous les serveurs gouvernementaux bien avant que la Cour suprême n’ait même eu la chance de se prononcer, ironise Barrett. Mais c’est aussi une question de réflexe. La première chose à faire lors d’une reprise d’entreprise est de réduire les coûts le plus rapidement possible.

« C’est ainsi que vous obtenez un décret exécutif déclarant que « chaque agence ne doit pas embaucher plus d’un employé pour quatre employés qui partent », un ratio arbitraire qui ne tient pas compte des besoins réels en personnel. C’est ainsi que vous mettez aux enchères des centaines de bâtiments du gouvernement fédéral, quel que soit leur taux d’occupation. C’est à la fois extrême et inconsidéré, une course pour vider le seul puits de la ville ».

« Et ensuite… quoi ? C’est la question à laquelle Elon Musk et Doge n’ont pas réussi à répondre, car il n’y a pas de réponse. Le gouvernement américain doit-il devenir un moteur de profits ? Doit-il restituer de la valeur aux citoyens-actionnaires ? Medicaid doit-il démontrer une adéquation produit-marché à temps pour le prochain tour de financement ? »

« C’est la logique d’un consultant. Il s’agit d’un sprint d’ingénierie dont la ligne d’arrivée inévitable est la rupture du contrat social« .

« La démocratie ne meurt pas dans l’obscurité : elle meurt dans les logiciels de ticketing déposés par les anciens de Palantir » (Les logiciels de ticketing sont des logiciels pour traiter les demandes de clients à la suite les unes des autres et selon leur importance. Ici Barrett évoque le fait que les accès aux systèmes fédéraux s’ouvrent selon les demandes fantasques de conseillers qui masquent souvent leurs conflits d’intérêts derrière ces accès). « Il n’est pas nécessaire d’avoir un MBA de Stanford pour savoir que la réduction des dépenses n’aide que la moitié de votre compte de résultat. Toute tentative sérieuse de traiter les États-Unis comme une entreprise impliquerait une augmentation des revenus. Alors, où sont les impôts ? Et pourquoi démolir le CFPB, qui a rendu plus de 20 milliards de dollars aux citoyens américains ? »

« Dans les semaines et les mois à venir, alors que cette farce continue de se dérouler, rappelez-vous que l’objectif de la plupart des acquisitions n’est pas de bénéficier aux Américains. Il s’agit soit de subsumer, soit de s’en débarrasser, selon ce qui génère le meilleur rendement. » « L’influence sans précédent d’Elon Musk sur le pouvoir exécutif profitera en fin de compte à Elon Musk. Les employés aux commandes sont ses employés. Les données collectées par Doge, les contrats d’approvisionnement qu’ils supervisent, tout cela lui revient. Et tout cela s’écoule trop vite pour que l’Etat puisse suivre, et encore moins pour pouvoir l’arrêter. »

Dans un autre billet, Barrett rappelle que le gouvernement n’est pas une startup. Pourtant, c’est bien la même méthode que celle qu’il a appliquée lors de sa reprise de Twitter, que Musk déroule. « Il se débarrasse des employés. Il installe des loyalistes. Il abat les garde-fous. Ils ont récupéré les accès avant de les couper. Ils ont récupéré les données comme un avantage concurrentiel. Et des économies. Ils veulent des économies. Plus précisément, ils veulent soumettre le gouvernement fédéral à un budget à base zéro », une méthode de planification financière populaire dans la Silicon Valley dans laquelle chaque dépense doit être justifiée à partir de zéro. « Le problème avec la plupart des startups de logiciels, c’est qu’elles échouent. Elles prennent de gros risques et ne sont pas rentables, et elles laissent la carcasse de cet échec derrière elles et commencent à produire un nouveau pitch. C’est le processus que Doge impose aux États-Unis. » Pas sûr que le gouvernement puisse proposer un nouveau pitch !

« Personne ne contesterait que la bureaucratie fédérale est parfaite, ou particulièrement efficace. Bien sûr, elle peut être améliorée. Bien sûr, elle devrait l’être. Mais il y a une raison pour laquelle le changement se fait lentement, méthodiquement, par le biais de processus qui impliquent des élus et des fonctionnaires, ainsi que de l’attention et de la considération. Les enjeux sont trop élevés et le coût de l’échec est total et irrévocable« .

« Musk va réinventer le gouvernement américain de la même manière que l’hyperloop a réinventé les trains, que la société Boring a réinventé le métro, que Juicero a réinventé le presse-agrume. Autrement dit, il ne réinventera rien du tout, ne réglera aucun problème, n’offrira aucune solution au-delà de celles qui consolident encore davantage son propre pouvoir et sa richesse. Il réduira la démocratie à sa plus simple expression et la reconstruira à l’image conflictuelle de ses propres entreprises. Il ira vite. Il cassera tout. » Mêmes constats dans le New York Times, notamment en soutenant ses élucubrations sans preuves depuis ses tweets incendiaires.
L’Amérique, livrée à elle-même : la re-ségrégation
Ce n’est pas une réforme, c’est un sabotage, explique David Wallace-Wells pour le New York Times. C’est « une guerre éclair contre les fonctions essentielles de l’État”, opérant en dehors du droit constitutionnel. Pour le politologue Seth Masket, « Elon Musk est un simple citoyen qui prend le contrôle du gouvernement. C’est un coup d’Etat ».

“Tout d’un coup, vous ne pouvez plus consulter les données du CDC sur le VIH ni les directives pour d’autres maladies sexuellement transmissibles. Vous ne pouvez pas non plus trouver de données de surveillance sur l’hépatite ou la tuberculose, ni l’enquête sur les comportements à risque des jeunes, ni aucune des données de l’agence sur la violence domestique. Si vous étiez un médecin espérant consulter les directives fédérales sur le contrôle des naissances post-partum, cette page a également été fermée.” Derrière les fermetures et le recul de l’information, le nouveau message semble être clair : les citoyens sont désormais livrés à eux-mêmes.

Désormais, la santé publique se résume à la responsabilité personnelle. Mais, c’est également vrai de toutes les politiques publiques qui ont été “effacées” : le climat, l’aide sociale, la lutte contre les discriminations. C’est la grande “re-ségrégation”, explique Adam Serwer, c’est-à-dire le début d’un mouvement qui va revenir sur les droits civiques obtenus de haute lutte. Le retour de la Grande Amérique (Make America Great Again), consiste d’abord et avant tout à restaurer les hiérarchies traditionnelles de race et de genre de l’Amérique. Les lois tentant de renforcer l’égalité des chances ont été annulées, les recherches sur les inégalités également, comme si cela suffisait à faire disparaître les inégalités elles-mêmes. Le but est clair : « abroger les acquis de l’ère des droits civiques« .

“Ils ne souhaitent pas le retour à la ségrégation explicite – cela briserait l’illusion selon laquelle leurs propres réalisations sont basées sur une méritocratie aveugle à la couleur de peau. Ils veulent un arrangement qui perpétue indéfiniment l’inégalité raciale tout en conservant une certaine possibilité de déni plausible, un système truqué qui maintient un mirage d’égalité des chances tout en maintenant une hiérarchie raciale officieuse. Comme les élections dans les pays autoritaires où l’autocrate est toujours réélu par une écrasante majorité, ils veulent un système dans lequel ils ne risquent jamais de perdre mais peuvent toujours prétendre avoir gagné équitablement.”
Du grand effacement au grand ralentissement scientifique
Nous assistons à l’effacement de la science américaine, déplore Katherine J. Wu pour The Atlantic. La cohabitation pacifique et productive de la science avec les autorités est terminée. Les autorités ont toujours agi sur les priorités scientifiques avec leurs financements (le gouvernement fédéral est le premier bailleur de fond de la recherche fondamentale), mais ces changements d’orientation sont souvent modestes et ciblées, rappelle le spécialiste du financement de la science, Alexander Furnas. La nouvelle administration n’a d’ailleurs pas annoncé de coupes uniformes : la recherche sur l’IA, le spatial ou les maladies chroniques ne sont pas concernées. Pour passer le couperet de la censure automatisée sur certains mots clefs, nombre de chercheurs modifient les termes de leurs demandes de subventions. Le risque, c’est que s’impose l’idée que la méthodologie scientifique soit transgressive. En faisant disparaître des données, en courant le risque qu’elles soient falsifiées, le gouvernement fédéral s’attaque à la science. “À long terme, la science américaine pourrait ne plus paraître fiable aux yeux des scientifiques étrangers”. “Trump et son administration sont en train de déc

17 February 2025

7:09
La reconnaissance faciale : un projet politique
sur Dans les algorithmes

Suite de notre plongée dans le livre de Kashmir Hill, « Your face belongs to us ». Après avoir observé l’histoire du développement de la reconnaissance faciale, retour sur l’enquête sur le développement de Clearview, la startup de la reconnaissance faciale. 2e partie.

Clearview, un outil d’investissement idéologique
Le cœur du livre de Kashmir Hill, Your face belongs to us, est consacré à l’histoire de l’entreprise Clearview. Hill rappelle que lorsqu’elle entend parler de cette entreprise jusqu’alors inconnue, face au silence qu’elle reçoit de ses fondateurs, elle contacte alors des policiers qui lui en font immédiatement les louanges : Clearview parvient à identifier n’importe qui, lui expliquent-ils ! Pourtant, quand ils entrent une photo de la journaliste dans le moteur, celui-ci ne fournit aucune réponse, alors que de nombreuses images d’elle sont disponibles en ligne, ce qui devrait permettre de la réidentifier facilement. En fait, ce n’est pas que la journaliste n’est pas dans la base, mais que toute recherche sur elle est protégée et déclenche même une alerte quand quelqu’un s’y essaye.

Cette anecdote permet de montrer, très concrètement, que ceux qui maintiennent la base disposent d’un pouvoir discrétionnaire immense, pouvant rendre des personnes totalement invisibles à la surveillance. Les constructeurs de Clearview peuvent voir qui est recherché par qui, mais également peuvent contrôler qui peut-être retrouvé. Cet exemple est vertigineux et souligne que les clefs d’un tel programme et d’un tel fichier sont terribles. Que se passera-t-il quand le suspect sera le supérieur d’un agent ? Qui pour garantir l’incorruptibilité d’un tel système ? On comprend vite que dans une société démocratique, un tel outil ne peut pas être maintenu par une entreprise privée, hormis si elle est soumise à des contrôles et des obligations des plus rigoureux – et le même problème se pose si cet outil est maintenu par une entité publique. Ce qui n’est absolument pas le cas de Clearview.

Hill raconte longuement l’histoire de la rencontre des cofondateurs de Clearview. Elle souligne le fait que ceux-ci se rencontrent du fait de leurs opinions politiques, lors de réunions et de meetings en soutien à la candidature de Donald Trump à l’été 2016. Hoan Ton-That, le développeur et confondateur de Clearview, fasciné par le candidat républicain, prend alors des positions politiques racistes que ses amis ne lui connaissaient pas. C’est via les réseaux républicains qu’il rencontre des personnages encore plus radicaux que lui, comme Peter Thiel, le milliardaire libertarien qui sera le premier financeur du projet, ou encore Richard Schwartz, qui deviendra son associé. Si les deux cofondateurs de Clearview ne sont pas des idéologues, le produit qu’ils vont imaginer correspond néanmoins aux convictions politiques de l’extrême-droite américaine dont ils se revendiquent à cette époque. L’entreprise va d’ailleurs particulièrement attirer (et aller chercher) des investisseurs au discours politique problématique, comme Paul Nehlen, tenant du nationalisme blanc.

C’est en voyant fonctionner l’application russe de reconnaissance faciale FindFace, qui permet de retrouver les gens inscrits sur VKontakte, le réseau social russe, que Ton-That a l’idée d’un produit similaire. En novembre 2016, il enregistre le site web smartcherckr.com. Le projet se présente alors comme un système de réidentification depuis une adresse mail ou une image, permettant d’inférer les opinions politiques des gens… dans le but « d’éradiquer les gauchistes » !

Si depuis les discours des fondateurs se sont policés, nous avons là des gens très conservateurs, qui tiennent des propos d’extrême-droite et qui vont concevoir un outil porteur de ces mêmes valeurs. La reconnaissance faciale et ceux qui la portent sont bien les révélateurs d’une idéologie : ils relèvent tout à fait du technofascisme que dénonce le journaliste Thibault Prévost dans son livre, Les prophètes de l’IA. Et nul ne peut faire l’économie du caractère fasciste que porte la possibilité de réidentifier n’importe qui, n’importe quand pour n’importe quelle raison. C’est d’ailleurs là l’héritage de la reconnaissance faciale, inspirée des théories racistes de Francis Galton, qui va donner naissance à la police scientifique d’Alphonse Bertillon, comme à l’eugénisme et à la phrénologie d’un Cesare Lombroso. L’analyse des traits distinctifs des être humains est d’abord et reste le moyen de masquer le racisme sous le vernis d’une rigueur qui se veut scientifique. Hill suggère (sans jamais le dire) que Clearview est un projet politique.
Clearview, un outil de contournement du droit
Hill souligne un autre point important. Elle n’est pas tendre avec l’arrivisme du jeune informaticien australien Hoan Ton-That qui se fait un nom en créant des outils de phishing via des quizz pour Facebook et des jeux pour iPhone. Elle montre que celui-ci n’a pas beaucoup de conscience morale et que le vol des données, comme pour bien de porteurs de projets numériques, n’est qu’un moyen de parvenir à ses fins. Dès l’origine, Ton-That mobilise le scraping pour construire son produit. Derrière ce joli mot, la pratique consiste à moissonner des contenus en ligne, sauf que cette récolte consiste à ramasser le blé qui a poussé sur les sites web des autres, sans le consentement des sites que l’on pille ni celui des utilisateurs dont on vole les données. En juin 2017, une première version de l’outil de recherche de visage est lancée, après avoir pillé quelque 2,1 millions de visages provenant de plusieurs services en ligne, comme Tinder. A la fin 2018, elle comportera plus de 2 milliards d’images. L’entreprise qui a changé de nom pour Clearview, dispose alors d’un produit robuste. Seuls Facebook et Google disposent de plus de portraits que lui.

Certes, Clearview a volé toutes les images disponibles. Facebook, Google ou Linked-in vont officiellement protester et demander l’effacement des images volées. Reste que les géants n’intentent aucun procès à la startup. Il faut dire que les entreprises de la Tech sont en effet refroidies par les échecs de Linked-in à lutter contre le scraping. Dans un bras de fer avec une entreprise qui a moissonné les données du réseau social, Linked-in a été débouté en 2017 par un jugement confirmé en appel en 2019. Le tribunal de Californie a déclaré qu’il était légal de collecter des informations publiques disponibles sur le net. Le jugement a gelé les ardeurs des géants à lutter contre un phénomène… qu’ils pratiquent eux-même très largement.

Hill pointe également que Ton-That n’est pas un génie du développement. Comme nombre d’ingénieurs, non seulement il vole les données, mais il a recours à des outils existants pour développer son application, comme OpenFace. Ton-That n’a pas d’états d’âme. Si les géants de la Tech refusent de sortir un produit de réidentification, c’est parce qu’ils ont peur des retombées désastreuses d’un tel outil, en termes d’image. Ce n’est pas le cas de Ton-That.

Reste que c’est bien la qualité de l’application qui va convaincre. Clearview permet d’identifier des gens dans la foule quelles que soient les conditions (ou presque). Pour tous ceux qui l’essayent, l’application semble magique. C’est à ce moment que les investisseurs et les clients se précipitent… D’abord et avant tout des investisseurs libertariens, très marqués politiquement. Pourtant, ceux-ci sont conscients que l’application risque d’avoir des problèmes avec les régulateurs et va s’attirer des poursuites en justice. Mais le risque semble plutôt les convaincre d’investir. Hill sous-entend par là un autre enjeu majeur : l’investissement s’affole quand les produits technologiques portent des enjeux de transformation légale. Si les capitaux-risqueurs ont tant donné à Uber, c’est certainement d’abord parce que l’entreprise permettait d’agir sur le droit du travail, en le contournant. C’est l’enjeu de modification des règles et des normes que promettent les outils qui muscle l’investissement. C’est parce que ces technologies promettent un changement politique qu’elles sont financées. Pour les investisseurs de Clearview, « pénétrer dans une zone de flou juridique constitue un avantage commercial ». Hill suggère une fois encore une règle importante. L’investissement technologique est bien plus politique qu’on ne le pense.

Mais, il n’y a pas que les investisseurs qui vont voir dans Clearview un outil pour contourner les normes. Ses clients également.

Après avoir tenté d’élargir le recrutement de premiers clients, Clearview va le resserrer drastiquement. Au-delà du symbole, son premier client va être la police de New York. Mais là encore, Clearview ne rencontre pas n’importe quels policiers. L’entreprise discute avec des officiers qui ont soutenu les théories problématiques de la vitre brisée, des officiers qui ont promu le développement du Big data dans la police et notamment les systèmes tout aussi problématiques de police prédictive. C’est donc par l’entremise de policiers radicaux, eux aussi très marqués à droite, que Clearview signe, en décembre 2018, un contrat avec la police de New York. Le contrat demande que l’entreprise prenne des engagements en matière de sécurité et de contrôle des agents qui l’utilisent. Le nombre de requêtes sur l’application décolle. Pourtant, après 6 mois de tests et plus 11 000 requêtes, la police de New York renonce à poursuivre le contrat. Elle aussi est inquiète de la perception par l’opinion publique. Sa direction a plus de pudeurs que les officiers qui ont permis le rapprochement entre la startup et la police. D’autres départements de police n’auront pas ces pudeurs. L’Indiana, la Floride, le Tennessee vont se mettre à utiliser Clearview. Viendront Londres puis le Département américain de la sécurité intérieure. Des agences du monde entier testent l’outil et l’adoptent : Interpol, la police australienne, canadienne… Clearview multiplie les contrats alors que l’entreprise est encore totalement inconnue du grand public. Malgré ces contrats publics, l’entreprise reste sous les radars. Assurément, parce que son usage permet là aussi pour ses clients de s’affranchir des règles, des normes et des modalités d’examen public en vigueur. Alors que la reconnaissance faciale est une technologie sulfureuse, l’abonnement discret à Clearview permet de le rendre invisible. La zone de flou de légalité profite à tous.
Discrètement, la reconnaissance faciale est advenue
En 2017, un militant de l’ACLU entend parler de Rekognition, l’outil de reconnaissance faciale développé par Amazon et lance une campagne à son encontre. L’ACLU lance l’outil sur les photos de 535 membres du Congrès et en identifie faussement 28 comme des criminels connus des services de police. L’ACLU lance sa campagne pour interdire la surveillance des visages, que quelques villes adopteront, comme San Francisco ou Oakland. Pour Clearview, ces controverses sont préjudiciables. La startup va alors utiliser le même test sur son propre produit qui ne déclenche aucune erreur et identifie parfaitement les 535 membres du Congrès. D’ailleurs, quand on met une photo provenant du site This Person Does not exist dans Clearview, l’application ne produit aucun résultat !

Bien sûr, Kashmir Hill rappelle que des Américains qui ont été et continuent d’être indûment arrêtés à cause de la reconnaissance faciale. Mais ces rares exemples semblent n’avoir plus grand poids. Le Nist qui a testé quelque 200 algorithmes de reconnaissance faciale a montré qu’il y avait de fortes variations selon les produits.

En décembre 2021, Clearview a soumis son algorithme au NIST pour évaluation. Son logiciel de reconnaissance facial a obtenu parmi les meilleurs résultats.

Pour les médias, ces variations dans les résultats des outils de reconnaissance faciale montrent que la reconnaissance faciale est biaisée, mais elles montrent plutôt qu‘il y a de bons algorithmes et de mauvais. Le NIST dispose de 2 sortes de tests, le premier pour comparer deux images et déterminer si le système est capable d’identifier une même personne et le second pour chercher un visage particulier dans une base de données remplie de visages. Contrairement à ce que l’on pense, les pires biais se trouvent plutôt dans le premier cas, où les systèmes ont du mal avec à reconnaître les sujets féminin, noirs ou asiatiques. « Reste que, aussi précis qu’ils soient, les algorithmes de reconnaissance faciale déployés dans des sociétés inégalitaires et structurellement racistes vont produire des résultats racistes ». Les personnes faussement arrêtées par la reconnaissance faciale étaient toutes noires, rappelle Hill. Ce qui est une preuve supplémentaire, non seulement de ses défauts, mais plus encore de son ancrage idéologique.

L’exemple du développement de Clearview nous rappelle en tout cas qu’il n’y a pas de neutralité technologique. Les outils ne sont pas des outils qui dépendent des usages qu’on en fait, comme le dit l’antienne. Ils ont des fonctionnalités spécifiques qui embarquent des idéologies. L’essor de Clearview nous montre très bien qu’il est un instrument au service d’un projet politique. Et que quelques soient ses défauts ou ses qualités, la reconnaissance faciale sert des objectifs qui ne sont pas que ceux, financiers, d’une classe sociale qui a intérêt à son succès, mais bien avant tout, ceux, politiques, d’idéologues qui ont un projet. Et ce projet, on l’a vu, n’est pas celui de construire une société apaisée, mais son exact contraire : faire avancer, dans l’ombre, les technologies nécessaires à l’avènement de la dissolution de l’Etat de droit.

(à suivre)

14 February 2025

7:03
Sacrifiés
sur Dans les algorithmes

Derrière une poignée d’ingénieurs, 150 à 430 millions de travailleurs de la donnée à travers le monde font tourner les IA. Un système d’exploitation bien rodé, une méthode de redistribution de la violence des comportements humains du Nord pour les faire nettoyer par ceux du Sud et leur en laisser les conséquences psychologiques. Les profits pour les uns, les sacrifices pour les autres. L’impérialisme est toujours là, au mépris des droits humains et des droits du travail, tout simplement parce que ce mépris permet d’augmenter les profits.

Prenez le temps de regarder le documentaire les Sacrifiés de l’IA.

7:00
L’arsenal technologique pour réprimer l’immigration aux Etats-Unis est prêt !
sur Dans les algorithmes

Applications et bracelets électroniques qui suivent les demandeurs d’asile en temps réel où qu’ils aillent. Bases de données remplies d’informations personnelles comme les empreintes digitales et les visages. Outils d’enquête qui peuvent pénétrer dans des téléphones et rechercher dans des gigaoctets d’e-mails, de messages texte et d’autres fichiers. Ces éléments font partie de l’arsenal technologique dont dispose le président Trump pour lutter contre l’immigration illégale et mener à bien la plus grande opération d’expulsion de l’histoire américaine, explique le New York Times. Quelques 15 000 contrats ont été passé par les agences des douanes et de l’immigration amércaines, soit 7,8 milliards de dollars dépensés en technologies contre l’immigration auprès de 263 entreprises depuis 2020.

D’autres systèmes comparent les données biométriques aux casiers judiciaires, alertent les agents des changements d’adresse, suivent les voitures avec des lecteurs de plaques d’immatriculation et extraient et analysent les données des téléphones, des disques durs et des voitures. L’administration Biden a utilisé bon nombre de ces technologies pour faire respecter la législation sur l’immigration, notamment dans le cadre d’enquêtes sur le trafic de drogue, le trafic d’êtres humains et les activités des gangs transnationaux, pour répondre à une pénurie d’agents et d’installations de détentions. Pour le NYTimes, le boom des technologies sécuritaires n’a pas connu de repos depuis 2001 et devrait s’envoler sous Trump. Les entreprises qui fournissent des solutions, comme Palantir, Clearview, Cellbrite, Lexis Nexis, Thomson Reuters ou Geo Group sont sur les rangs. Leurs actions sur les marchés ont toutes augmentées depuis l’élection de Trump.

Environ 180 000 immigrants sans papiers portent un bracelet à la cheville avec un dispositif de localisation GPS, ou utilisent une application appelée SmartLink qui les oblige à enregistrer leurs allées et venues au moins une fois par jour. Fabriquée par une filiale de Geo Group, cette technologie est utilisée dans un programme lancé en 2004 appelé Alternatives to Detention.

Reste que « certains outils sont parfois pertinents pour les enquêtes ciblées, pas pour les expulsions généralisées », a déclaré Dave Maass, le directeur des enquêtes de l’Electronic Frontier Foundation, l’association de défense des libertés civiles. « Ce que les services de l’immigration achètent et ce qui est réellement utile peuvent être des choses totalement différentes ». La seule chose certaine, c’est que les entreprises du secteur vont gagner beaucoup d’argent.

13 February 2025

7:03
De la difficulté à évaluer l’IA
sur Dans les algorithmes

Les chercheurs ont désormais du mal à créer des tests que les systèmes d’IA ne peuvent pas réussir. La plupart des tests dont nous disposions sont vites devenus caducs, explique Kevin Roose pour le New York Times. Des chercheurs du Center for AI Safety et de Scale AI viennent de publier un nouveau test d’évaluation baptisé « Humanity’s Last Exam », imaginé par Dan Hendrycks, directeur du Center for AI Safety. Le test consiste en un questionnaire à choix multiple de plus de 3000 questions qui ont chacune été produites par des experts en leur domaine, à qui on a demandé de proposer des questions extrêmement difficile dont ils connaissaient la réponse.

Il existe bien sûr d’autres tests qui tentent de mesurer les capacités avancées de l’IA dans certains domaines, tels que FrontierMath, un test développé par Epoch AI, et ARC-AGI, un test développé par le chercheur François Chollet. Mais celui de AI Safety s’imagine surtout comme un score d’intelligence générale du fait de la complexité et de la grande diversité des questions. « Une fois la liste des questions établie, les chercheurs ont soumis le dernier examen de l’humanité à six modèles d’IA de premier plan, dont Gemini 1.5 Pro de Google et Claude 3.5 Sonnet d’Anthropic. Tous ont échoué lamentablement. Le système o1 d’OpenAI a obtenu le score le plus élevé du groupe, avec un score de 8,3 % ». Mais ces résultats devraient bouger très vite.

Nous devrons chercher d’autres moyens d’évaluer les performances de l’IA que de savoir à quoi elles peuvent répondre, suggère Roose. Comme de mieux mesurer leurs impacts, comme d’examiner les données économiques qu’elles peuvent traiter ou juger si elle peut faire de nouvelles découvertes dans des domaines comme les mathématiques et les sciences. Pour Summer Yue, directrice de recherche chez Scale AI, un autre test pourrait consister à « poser des questions dont nous ne connaissons pas encore les réponses, et vérifier si le modèle est capable de nous aider à les résoudre ».

Les progrès de l’IA actuelle sont déroutants car ils sont très irréguliers, rappelle Kevin Roose. L’IA peut être très performante sur certains sujets et les mêmes modèles peuvent avoir du mal à effectuer des tâches de base, comme l’écriture de poésie rythmée. Et cela créé une perception de ses améliorations différenciée, selon que l’on regarde ses meilleurs résultats ou les pires. Cette irrégularité rend également l’évaluation de l’IA difficile. L’année dernière, Kevin Roose expliquait déjà que nous avions besoin de meilleures évaluations des systèmes d’IA, mais selon lui, nous avons aussi besoin de méthodes plus créatives que des tests standardisés que l’IA réussi plutôt bien. Si l’IA peut être impressionnante, même pour répondre à des questions complexes, ses réponse ne suffisent pas. L’un des experts en physique théorique des particules qui a soumis des questions au dernier test de l’humanité, explique que, quand bien même l’IA serait capable de répondre à toutes les questions sur nos connaissance, le travail humain ne se limite pas à fournir des réponses correctes. En médecine par exemple, les machines deviennent de plus en plus performantes pour produire des diagnostics automatisés, mais cela ne signifie pas qu’on puisse remplacer les médecins, rappelait le New Scientist. Parce que le diagnostic ne se limite pas toujours à des données. Ensuite parce que la relation est certainement plus essentielle qu’on ne la mesure. Enfin, parce que les symptômes eux-mêmes sont rarement clairs.

Le problème, conclut le New Scientist, c’est que les qualités comme les limites des diagnostics automatisés ne sont pas le seul facteur qui entre en ligne de compte dans l’automatisation. L’état du système de santé, ses défaillances, ses coûts, la disponibilité du personnel… sont autant de facteurs qui vont appuyer sur les choix à recourir et à déployer les outils, mêmes imparfaits. Bref, l’évaluation de l’IA ne peut se faire dans une boîte de Pétri.

7:01
Technofanatiques
sur Dans les algorithmes

« Le déploiement de l’IA s’accompagne d’un imaginaire qui porte en lui une dévaluation profonde de l’humanité ». Celia Izoard.

7:00
L’IA : une « machine à valeur perpétuelle »
sur Dans les algorithmes

« Ce que j’entends par machine à valeur perpétuelle, c’est une machine qui serait un moyen de créer et de capturer une quantité infinie de plus-value sans avoir besoin de travail pour produire cette valeur ». Une forme de quête chimérique du capital, explique Jathan Sadowski qui vient de faire paraître The Mechanic and the Luddite.

« La technologie et le capitalisme ne sont pas deux systèmes qui existent séparément l’un de l’autre, comme si la technologie était corrompue par le capital, ce qui serait l’argument qui sous-tend, je pense, la thèse du capitalisme de surveillance de Zuboff, selon laquelle ces entreprises ont été corrompues par le capitalisme. Mon livre soutient que ce n’est pas du tout le cas, que ces deux systèmes ont toujours été étroitement liés et interconnectés, qu’on ne peut pas les dissocier analytiquement ou matériellement. Il faut comprendre que ces entreprises technologiques sont le sommet du capital à l’heure actuelle. Ce sont les capitalistes de pointe, et cela signifie qu’ils vont agir de la manière dont les capitalistes ont toujours agi au cours des 300 dernières années. »

12 February 2025

7:00
Pour une démocratie algorithmique
sur Dans les algorithmes

« Les débats politiques suscités par les nouvelles technologies ont le potentiel de « réanimer la démocratie au XXIe siècle » », défend le théoricien politique devenu député travailliste britannique, Josh Simons, dans son livre Algorithms for the People: Democracy in the Age of AI (Princeton University Press, 2023). Les questions que posent les décisions automatisées révèlent les enjeux qu’on toujours eut les décisions institutionnelles en matière d’équité, explique Lily Hu dans le compte-rendu du livre qu’elle livre pour la Boston Review. Pour Simmons, ceux qui jusqu’à présent prenaient des décisions seront demain formés par les algorithmes pour les prendre. Mais cela ne signifie pas que les décisions de demain seront plus efficaces ou plus justes, critique Hu. Les assistants sociaux qui prenaient des décisions sur les gens n’étaient pas forcément bienveillants, pas plus que ne le seront les outils algorithmiques qu’on imagine apolitiques. Au contraire, comme l’ont documentés ces dernières années ceux qui s’intéressent au déploiement des outils algorithmiques dans le domaine social, à l’image des travaux de la sociologue Dorothy Roberts qui dénonce la « terreur bienveillante » des systèmes de protection de l’enfance américains, qui relèvent bien plus d’une extension de l’État carcéral qu’autre chose. Les enjeux politiques de nos institutions – en particulier des institutions étatiques qui ont le monopole de la violence – ne peuvent pas être réduits au caractère personnel des individus qui y travaillent, rappelle Hu. Pour Simons, « nous devons nous engager dans des débats publics sur la raison d’être des différentes institutions, sur les responsabilités qu’elles ont et sur la manière dont la prise de décision devrait refléter ces objectifs et ces responsabilités ». Le fait que les systèmes algorithmiques offrent un moyen de mettre en pratique de telles déterminations collectives – par le biais d’une conception décidée démocratiquement – est ce qui en fait un lieu si important de renouveau démocratique, défend-t-il. C’est là que les outils algorithmiques présentent une opportunité unique. En élargissant nos options de prise de décision, ils facilitent l’audit et l’évaluation des systèmes dont nous disposons déjà, en proposant d’ouvrir le débat, de les changer et les améliorer.

Dans son livre, Simmons esquisse deux propositions. Il propose une loi sur l’égalité de l’IA qui établirait un cadre auquel toutes les institutions qui ont recours à des outils prédictifs devraient se conformer. L’idée est de mettre au cœur des systèmes l’égalité politique, c’est-à-dire « non seulement de s’assurer que leurs systèmes de prise de décision n’aggravent pas les inégalités sociales et que, dans certains contextes, leurs systèmes les réduisent ».

Enfin, il propose de développer des services publics « spécifiquement démocratiques » via de nouveaux mécanismes de gouvernance participative – ce qui n’est pas sans rappeler ce que disait le juriste Thomas Perroud, qui voyait dans les Communs, un levier pour reposer la question démocratique en ouvrant la gouvernance des services publics. Pour Simmons, nous devons « débattre sans cesse » de la manière dont nos idéaux sont mis en pratique. « Ce qui compte ce n’est pas les valeurs ou les intérêts particuliers que les outils de prédiction privilégient à un moment donné, mais les processus et les mécanismes de gouvernance utilisés pour faire émerger et interroger ces valeurs et ces intérêts au fil du temps ». Nous devrions institutionnaliser un processus de révision continue pour nous demander comment faire progresser l’égalité politique et soutenir les conditions de l’autonomie collective. Une démocratie plus profonde est la fin que nous devrions chercher à atteindre. Nous devrions nous préoccuper avant tout de la meilleure façon de « donner la priorité à la démocratie sur le capitalisme ».

11 February 2025

7:00
De l’impact de la désinformation sur l’IA
sur Dans les algorithmes

Il est relativement facile d’empoisonner les modèles d’IA en ajoutant un peu de désinformation médicale à leurs données d’entraînement, explique le New Scientist. Les expériences réalisées ont montré que le remplacement de seulement 0,5 % des données d’entraînement de l’IA par un large éventail de fausses informations médicales pouvait amener les modèles d’IA empoisonnés à générer davantage de contenu médicalement nocif, même lorsqu’ils répondaient à des questions sur des concepts sans rapport avec les données corrompues. Par exemple, les modèles d’IA empoisonnés ont catégoriquement nié l’efficacité des vaccins et des antidépresseurs en termes sans équivoque. Les chercheurs « ont découvert que la corruption d’à peine 0,001 % des données d’entraînement de l’IA par des fausses informations sur les vaccins pouvait entraîner une augmentation de près de 5 % du contenu nuisible généré par les modèles d’IA empoisonnés ».

Pour répondre à ces attaques, faciles à mener, les chercheurs ont développé un algorithme de vérification des faits capable d’évaluer les résultats de n’importe quel modèle d’IA pour détecter la désinformation médicale. En comparant les phrases médicales générées par l’IA à un graphique de connaissances biomédicales, cette méthode a pu détecter plus de 90 % de la désinformation médicale générée par les modèles empoisonnés. Le problème reste que l’algorithme de vérification ne peut pour l’instant n’être qu’un correctif temporaire, mais cela plaide en tout cas pour améliorer les contrôles randomisés des systèmes et leur surveillance en continue.

10 February 2025

7:00
La reconnaissance faciale, l’enjeu du siècle
sur Dans les algorithmes

Avec cet article, nous nous lançons dans un dossier que nous allons consacrer à la reconnaissance faciale et au continuum sécuritaire. Première partie.

Your face belongs to us (Random House, 2023), le livre que la journaliste du New York Times, Kashmir Hill, a consacré à Clearview, l’entreprise leader de la reconnaissance faciale, est une plongée glaçante dans la dystopie qui vient.

Jusqu’à présent, j’avais tendance à penser que la reconnaissance faciale était problématique d’abord et avant tout parce qu’elle était défaillante. Elle est « une technologie qui souvent ne marche pas », expliquaient Mark Andrejevic et Neil Selwyn (Facial Recognition, Wiley, 2022), montrant que c’est souvent dans son implémentation qu’elle défaille. La juriste, Clare Garvie, faisait le même constat. Si l’authentification (le fait de vérifier qu’une personne est la même que sur une photo) fonctionne mieux que l’identification (le fait de retrouver une personne dans une banque d’image), les deux usages n’ont cessé ces dernières années de montrer leurs limites.

Mais les choses évoluent vite.
L’une des couvertures du livre de Kashmir Hill. « Le plus grand danger de la reconnaissance faciale vient du fait qu’elle fonctionne plutôt très bien »
Dans leur livre, AI Snake Oil, les spécialistes de l’intelligence artificielle, Arvind Narayanan et Sayash Kapoor, soulignent pourtant que le taux d’erreur de la reconnaissance faciale est devenu négligeable (0,08% selon le NIST, l’Institut national des normes et de la technologie américain). « Quand elle est utilisée correctement, la reconnaissance faciale tend à être exacte, parce qu’il y a peu d’incertitude ou d’ambiguïté dans la tâche que les machines doivent accomplir ». Contrairement aux autres formes d’identification (identifier le genre ou reconnaître une émotion, qui sont bien plus sujettes aux erreurs), la différence cruciale c’est que l’information requise pour identifier des visages, pour les distinguer les uns des autres, est présente dans les images elles-mêmes. « Le plus grand danger de la reconnaissance faciale vient du fait qu’elle fonctionne plutôt très bien » et c’est en cela qu’elle peut produire énormément de dommages.

Le risque que porte la reconnaissance faciale repose tout entier dans la façon dont elle va être utilisée. Et de ce côté là, les dérives potentielles sont innombrables et inquiétantes. Gouvernements comme entreprises peuvent l’utiliser pour identifier des opposants, des personnes suspectes mais convaincues d’aucuns délits. Certes, elle a été utilisée pour résoudre des affaires criminelles non résolues avec succès. Certes, elle est commode quand elle permet de trier ou d’organiser ses photos… Mais si la reconnaissance faciale peut-être hautement précise quand elle est utilisée correctement, elle peut très facilement être mise en défaut dans la pratique. D’abord par ses implémentations qui peuvent conduire à y avoir recours d’une manière inappropriée et disproportionnée. Ensuite quand les images ne sont pas d’assez bonnes qualités, au risque d’entraîner tout le secteur de la sécurité dans une course sans limites à toujours plus de qualité, nécessitant des financements disproportionnés et faisant peser un risque totalitaire sur les libertés publiques. Pour Narayanan et Kapoor, nous devons avoir un débat vigoureux et précis pour distinguer les bons usages des usages inappropriés de la reconnaissance faciale, et pour développer des gardes-fous pour prévenir les abus et les usages inappropriés tant des acteurs publics que privés.

Certes. Mais cette discussion plusieurs fois posée n’a pas lieu. En 2020, quand la journaliste du New York Times a commencé ses révélations sur Clearview, « l’entreprise qui pourrait mettre fin à la vie privée », le spécialiste de la sécurité, Bruce Schneier avait publié une stimulante tribune pour nous inviter à réglementer la ré-identification biométrique. Pour lui, nous devrions en tant que société, définir des règles pour déterminer « quand une surveillance à notre insu et sans notre consentement est permise, et quand elle ne l’est pas », quand nos données peuvent être combinées avec d’autres et quand elles ne peuvent pas l’être et enfin savoir quand et comment il est permis de faire de la discrimination biométrique et notamment de savoir si nous devons renforcer les mesures de luttes contre les discriminations qui vont se démultiplier avec cette technologie et comment. En France, à la même époque, le sociologue Laurent Mucchielli qui avait fait paraître son enquête sur la vidéosurveillance (Vous êtes filmés, Dunod, 2018 – voir notre compte-rendu de l’époque, désabusé), posait également sur son blog des questions très concrètes sur la reconnaissance faciale : « Quelle partie de la population serait fichée ? Et qui y aurait accès ? Voilà les deux problèmes. » Enfin, les deux professeurs de droit, Barry Friedman (auteur de Unwarranted : policing without permission, 2017) et Andrew Guthrie Ferguson, (auteur de The Rise of Big Data policing, 2017) condamnaient à leur tour, dans une tribune pour le New York Times, « la surveillance des visages » (c’est-à-dire, l’utilisation de la reconnaissance faciale en temps réel pour trouver où se trouve quelqu’un) mais reconnaissaient que l’identification faciale (c’est-à-dire la réidentification d’un criminel, uniquement pour les crimes les plus graves), elle, pourrait être autorisée. Ils y mettaient néanmoins une condition : la réidentification des visages ne devrait pas être autorisée sans décision de justice et sans sanction en cas d’utilisation abusive. Mais, à nouveau, ce n’est pas ce qui s’est passé. La reconnaissance faciale s’est déployée sans contraintes et sans limites.

Les dénonciations comme les interdictions de la reconnaissance faciale sont restées éparses. Les associations de défense des libertés publiques ont appelé à des moratoires et mené des campagnes pour l’interdiction de la reconnaissance faciale, comme Ban Facial Recognition aux Etats-Unis ou Reclaim your face en Europe. Souvent, ces interdictions restent circonscrites à certains types d’usages, notamment les usages de police et de surveillance d’État, oubliant les risques que font courir les outils de surveillance privée.

Reste que le débat public sur son implémentation et ses modalités est inexistant. Au lieu de débats de sociétés, nous avons des « expérimentations » qui dérogent au droit, des déploiements épars et opaques (plus de 200 autorités publiques par le monde sont clientes de Clearview qui n’est qu’un outil parmi une multitude de dispositifs plus ou moins efficaces, allant de la reconnaissance faciale, à la vidéosurveillance algorithmique), et surtout, un immense déni sur les enjeux de ces technologies. Au final, nous ne construisons aucune règle morale sur son utilité ou son utilisation. Nous faisons collectivement l’autruche et son utilisation se déploie sans cadres légaux clairs dans un continuum de technologies sécuritaires et problématiques, allant des drones aux technologies de contrôle de l’immigration.
Une histoire de la reconnaissance faciale : entre amélioration par à-coups et paniques morales à chaque amélioration
Dans son livre, Your face belongs to us, Kashmir Hill alterne à la fois une histoire de l’évolution de la technologie et une enquête sur le développement de Clearview.

Sur cette histoire, Hill fait un travail qui met en exergue des moments forts. Elle rappelle d’abord que le terme de vie privée, définit à l’origine comme le droit d’être laissé tranquille par les juristes américains Samuel Warren et Louis Brandeis, était inspiré par la création de la pellicule photographique par Kodak, qui promettait de pouvoir sortir l’appareil photo des studios où il était jusqu’alors confiné par son temps de pause très long. Dans cette longue histoire de la reconnaissance faciale, Hill raconte notamment l’incroyable histoire du contrôle des tickets de trains américains dans les années 1880, où les contrôleurs poinçonnaient les tickets selon un codage réduit (de 7 caractéristiques physiques dont le genre, l’âge, la corpulence…) permettant aux contrôleurs de savoir si le billet contrôlé correspondait bien à la personne qui l’avait déjà présenté. Bien évidemment, cette reconnaissance humaine et basique causa d’innombrables contestations, tant ces appréciations d’un agent à un autre pouvaient varier. Mais la méthode aurait inspiré Herman Hollerith, qui va avoir l’idée de cartes avec des perforations standardisées et va adapter la machine pour le recensement américain, donnant naissance à l’entreprise qui deviendra IBM.

Hill surfe sur l’histoire de l’IA, des Perceptrons de Marvin Minsky, à Panoramic, l’entreprise lancée dans les années 60 par Woody Bledsoe, qui va être la première, à la demande de la CIA, à tenter de créer un outil de reconnaissance des visages simplifié, en créant une empreinte de visages comme autant de points saillants. Elle raconte que les améliorations dans le domaine vont se faire avec l’amélioration de la qualité et de la disponibilité des images et de la puissance des ordinateurs, à l’image des travaux de Takeo Kanade (dans les années 70, pour l’entreprise japonaise NEC), puis de Matthew Turk qui va bénéficier de l’amélioration de la compression des images. Accusé d’être à la tête d’un programme Orwellien, Turk s’en défendra pourtant en soulignant qu’enregistrer les informations sur les gens qui passent devant une caméra est surtout bénin. A croire que notre déni sur les conséquences de cette technologie remonte à loin.

En 2001, lors du Super Bowl, plusieurs entreprises, dont Viisage Technology et Raytheon, communiquent sur le fait qu’elles ont sécurisé l’accès au stade grâce à la reconnaissance faciale, identifiant 19 spectateurs avec un passé criminel. Viisage a récupéré la technologie de Turk et l’a commercialisé pour des badges d’identification pour entreprises. Ces déploiements technologiques, financés par les agences fédérales, commencent à inquiéter, notamment quand on apprend que des entreprises y ont recours, comme les casinos. Reste que la technologie est encore largement défaillante et peine bien souvent à identifier quiconque.

Mais le 11 septembre a changé la donne. Le Patriot Act permet aux agences du gouvernement d’élargir leurs accès aux données. Joseph Atick, cofondateur de Visionics, une autre entreprise du secteur, propose sa technologie aux aéroports pour rassurer les voyageurs. Il sait que celle-ci n’est pas au point pour identifier les terroristes, mais il a besoin des données pour améliorer son logiciel. Bruce Schneider aura beau dénoncer le « théâtre de la sécurité« , l’engrenage sécuritaire est lancé… Face à ses déploiements, les acteurs publics ont besoin d’évaluer ce qu’ils achètent. Jonathon Philips du National Institute of Standards and Technology (Nist) créée une base de données de visages de très bonne qualité sous différents angles, « Feret », pour tester les outils que vendent les entreprises. Il inaugure un concours où les vendeurs de solutions sont invités à montrer qui parvient à faire le mieux matcher les visages aux photos. En 2001, le premier rapport du Nist montre surtout qu’aucune entreprise n’y parvient très bien. Aucune entreprise n’est capable de déployer un système efficace, mais cela ne va pas les empêcher de le faire. Les meilleures entreprises, comme celle d’Atick, parviennent à faire matcher les photos à 90%, pour autant qu’elles soient prises dans des conditions idéales. Ce qui tient surtout de l’authentification faciale fonctionne également mieux sur les hommes que sur les femmes, les personnes de couleurs ou les jeunes. En 2014, le FBI lance à son tour un concours pour rendre sa base d’images de criminels cherchable, mais là encore, les résultats sont décevants. La technologie échoue dès qu’elle n’est pas utilisée dans des conditions idéales.

En 2006, le juriste de l’ACLU James Ferg-Cadima découvre dans une grande surface la possibilité de payer depuis son empreinte digitale. Face à de tels dispositifs, s’inquiète-t-il, les consommateurs n’ont aucun moyen de protéger leurs empreintes biométriques. Quand son mot de passe est exposé, on peut en obtenir un nouveau, mais nul ne peut changer son visage ou ses empreintes. Le service « Pay by Touch », lancé en 2002 fait faillite en 2007, avec le risque que sa base d’empreintes soit vendue au plus offrant ! Avec l’ACLU, Ferg-Cadima œuvre alors à déployer une loi qui oblige à recevoir une permission pour collecter, utiliser ou vendre des informations biométriques : le Biometric Information Privacy Act (Bipa) que plusieurs Etats vont adopter.

En 2009, Google imagine des lunettes qui permettent de lancer une recherche en prenant une photo, mais s’inquiète des réactions, d’autant que le lancement de Street View en Europe a déjà terni son image de défenseur de la vie privée. La fonctionnalité de reconnaissance faciale existe déjà dans Picasa, le service de stockage d’images de Google, qui propose d’identifier les gens sur les photos et que les gens peuvent labelliser du nom de leurs amis pour aider le logiciel à progresser. En 2011, la fonctionnalité fait polémique. Google l’enterre.

A la fin des années 90, l’ingénieur Henry Schneiderman accède à Feret, mais trouve que la base de données est trop parfaite pour améliorer la reconnaissance faciale. Il pense qu’il faut que les ordinateurs soient d’abord capables de trouver un visage dans les images avant qu’ils puissent les reconnaître. En 2000, il propose d’utiliser une nouvelle technique pour cela qui deviendra en 2004, PittPatt, un outil pour distinguer les visages dans les images. En 2010, le chercheur Alessandro Acquisti, fasciné par le paradoxe de la vie privée, lance une expérience en utilisant PittPatt et Facebook et montre que ce croisement permet de ré-identifier tous les étudiants qui se prêtent à son expérience, même ceux qui n’ont pas de compte Facebook, mais qui ont été néanmoins taggés par leurs amis dans une image. Acquisti prédit alors la « démocratisation de la surveillance » et estime que tout le monde sera demain capable d’identifier n’importe qui. Pour Acquisti, il sera bientôt possible de trouver le nom d’un étranger et d’y associer alors toutes les données disponibles, des sites web qu’il a visité à ses achats en passant par ses opinions politiques… et s’inquiète du fait que les gens ne pourront pas y faire grand chose. Pour le professeur, d’ici 2021 il sera possible de réidentifer quelqu’un depuis son visage, prédit-il. Acquisti s’est trompé : la fonctionnalité a été disponible bien plus tôt !

En 2011, PittPatt est acquise par Google qui va s’en servir pour créer un système pour débloquer son téléphone. En décembre 2011, à Washington se tient la conférence Face Facts, sponsorisée par la FTC qui depuis 2006 s’est doté d’une petite division chargée de la vie privée et de la protection de l’identité, quant, à travers le monde, nombre d’Etats ont créé des autorités de la protection des données. Si, suite à quelques longues enquêtes, la FTC a attaqué Facebook, Google ou Twitter sur leurs outils de réglages de la vie privée défaillants, ces poursuites n’ont produit que des arrangements amiables. A la conférence, Julie Brill, fait la démonstration d’un produit de détection des visages que les publicitaires peuvent incorporer aux panneaux publicitaires numériques urbains, capable de détecter l’âge où le genre. Daniel Solove fait une présentation où il pointe que les Etats-Unis offrent peu de protections légales face au possible déploiement de la reconnaissance faciale. Pour lui, la loi n’est pas prête pour affronter le bouleversement que la reconnaissance faciale va introduire dans la société. Les entreprises se défendent en soulignant qu’elles ne souhaitent pas introduire de systèmes pour dé-anonymiser le monde, mais uniquement s’en servir de manière inoffensive. Cette promesse ne va pas durer longtemps…

En 2012, Facebook achète la startup israélienne Face.com et Zuckerberg demande aux ingénieurs d’utiliser Facebook pour « changer l’échelle » de la reconnaissance faciale. Le système de suggestions d’étiquetage de noms sur les photos que les utilisateurs chargent sur Facebook est réglé pour n’identifier que les amis, et pas ceux avec qui les utilisateurs ne sont pas en relation. Facebook assure que son outil ne sera jamais ouvert à la police et que le réseau social est protégé du scraping. On sait depuis que rien n’a été moins vrai. Après 5 ans de travaux, en 2017, un ingénieur de Facebook provenant de Microsoft propose un nouvel outil à un petit groupe d’employés de Facebook. Il pointe la caméra de son téléphone en direction d’un employé et le téléphone déclame son nom après l’avoir reconnu.

A Stanford, des ingénieurs ont mis au point un algorithme appelé Supervision qui utilise la technologie des réseaux neuronaux et qui vient de remporter un concours de vision par ordinateur en identifiant des objets sur des images à des niveaux de précision jamais atteints. Yaniv Taigman va l’utiliser et l’améliorer pour créer DeepFace. En 2014, DeepFace est capable de faire matcher deux photos d’une même personne avec seulement 3% d’erreurs, même si la personne est loin dans l’image et même si les images sont anciennes. En 2015, DeepFace est déployé pour améliorer l’outil d’étiquetage des images de Facebook.

En 2013, les révélations d’Edward Snowden changent à nouveau la donne. D’un coup, les gens sont devenus plus sensibles aux incursions des autorités à l’encontre de la vie privée. Pourtant, malgré les efforts de militants, le Congrès n’arrive à passer aucune loi à l’encontre de la reconnaissance faciale ou de la protection de la vie privée. Seules quelques villes et Etats ont musclé leur législation. C’est le cas de l’Illinois où des avocats vont utiliser le Bipa pour attaquer Facebook accusé d’avoir créer une empreinte des visages des 1,6 millions d’habitants de l’Etat.

Cette rapide histoire, trop lacunaire parfois, semble s’arrêter là pour Hill, qui oriente la suite de son livre sur le seul Clearview. Elle s’arrête effectivement avec le déploiement de l’intelligence artificielle et des réseaux de neurones qui vont permettre à la reconnaissance faciale de parvenir à l’efficacité qu’elle espérait.

Reste que cette rapide histoire, brossée à grands traits, souligne néanmoins plusieurs points dans l’évolution de la reconnaissance faciale. D’abord que la reconnaissance faciale progresse par vague technologique, nécessitant l’accès à de nouvelles puissances de calcul pour progresser et surtout l’accès à des images en quantité et en qualité.

Ensuite, que les polémiques et paniques nourrissent les projets et les relancent plutôt que de les éteindre. Ceux qui les développent jouent souvent un jeu ambivalent, minimisant et dissimulant les capacités des programmes qu’ils déploient.

Enfin, que les polémiques ne permettent pas de faire naître des législations protectrices, comme si la législation était toujours en attente que la technologie advienne. Comme si finalement, il y avait toujours un enjeu à ce que la législation soit en retard, pour permettre à la technologie d’advenir.

(à suivre)

06 February 2025

7:00
Du démantèlement de l’Amérique
sur Dans les algorithmes

« Beaucoup d’entre nous sont consternés par le démantèlement sans précédent de l’État administratif américain. Licenciements massifs. Suppression de sites Web. Suppression des organismes de surveillance. Accès incontrôlé au Trésor public. Tout autour de moi, les gens essaient de relier ce qui se passe à des événements historiques. Est-ce du fascisme ? Une prise de contrôle hostile d’une entreprise ? Un coup d’État ? Les gens veulent un cadre pour comprendre ce qui se passe et pour affronter ce qui va arriver. La plupart des gens que je connais ont également du mal à déterminer où ils peuvent agir », confie danah boyd sur son blog.

La politique est un jeu de Jenga, explique-t-elle. Les conservateurs retirent des pièces de la tour de bois de l’Etat providence, tandis que les libéraux ajoutent de nouvelles pièces au sommet. Mais dans les deux cas, les pressions s’accentuent. Et les fonctionnaires, eux, tentent de faire tenir l’édifice avec du scotch pour éviter qu’il ne s’écroule. Cette configuration est depuis longtemps inquiétante, mais elle nous fait croire que la démolition n’est pas si simple. Lorsque MySpace s’est effondré, rappelle la chercheuse, l’effondrement a été lent jusqu’à devenir explosif. Mais surtout, il est probable que les démocrates ne fassent pas grand-chose pour protéger les fonctionnaires, car ils détestent tout autant l’Etat administratif que les Républicains. Reste que le fait que l’administration Trump ait désormais accès aux systèmes centraux de l’État administratif est très inquiétant. La destruction est désormais un jeu ouvert à ceux qui veulent jouer, et la source de leur pouvoir. « La guerre, la politique et les marchés financiers sont souvent considérés comme des jeux qui attirent toutes sortes de comportements problématiques. L’idée même d’une société est de créer des règles et des garde-fous, des freins et des contrepoids. Mais la logique du jeu a toujours consisté à repousser ces limites, à exploiter les failles et à trouver les passages secrets. Pendant des décennies, nous avons lutté pour contenir les fauteurs de guerre, les politiciens corrompus et les escrocs fraudeurs, même si nous avons eu un succès mitigé. Mais cette équipe de joueurs joue un jeu différent. Nous allons donc avoir besoin d’une toute nouvelle stratégie pour contenir leurs tendances destructrices ». Même constat, accablé, pour Henry Farrell : « Nous assistons à la mise en œuvre du rêve de puissance de la Silicon Valley dans la vie réelle ». Même chez Twitter, rappelle-t-il, Musk a généré beaucoup de destruction et bien peu de création.
L’accès aux systèmes est désormais la clef du pouvoir
La question de savoir si l’accès aux systèmes informatiques relève d’un coup d’Etat, n’est pas qu’une question théorique. Comme en 2016, nombre de sites ont été débranchés, de données ont été supprimées, rapporte Next, notamment des données relatives à la santé, à l’environnement et à la recherche. Le Département de l’efficacité gouvernementale (Doge) a également mis la main sur le système de paiement fédéral et la base de données des agents, ainsi que sur l’agence chargé de la maintenance de l’infrastructure informatique du gouvernement américain, explique encore Martin Clavey dans un autre article de Next. Pour Charlie Warzel de The Atlantic, le démantèlement est très rapide au risque de supprimer des maillons clés de la chaîne bureaucratique qui font fonctionner l’Etat. Cela risque surtout de déclencher beaucoup de contestations judiciaires et de désordres politiques. Mais il n’est pas sûr que ces données là soient dans les indicateurs de réussite du Doge !

Pour Mike Masnick de TechDirt, « un simple citoyen sans aucune autorité constitutionnelle prend effectivement le contrôle de fonctions gouvernementales essentielles ». Et ce alors que la Constitution américaine exige explicitement la confirmation du Sénat pour toute personne exerçant un pouvoir fédéral important – « une exigence que Musk a tout simplement ignorée en installant ses fidèles dans tout le gouvernement tout en exigeant l’accès à pratiquement tous les leviers du pouvoir et en repoussant quiconque se met en travers de son chemin ». Comme l’explique l’article très détaillé de Wired sur la prise de pouvoir des hommes de main de Musk, alors que, normalement, l’accès aux systèmes des agences nécessite que les personnes soient employés par ces agences. Or, en accédant aux systèmes de l’administration générale, c’est l’accès à toutes les données qui est désormais ouvert au plus grand mépris des règlements, procédures et des lois. « Les systèmes de paiement du Trésor, gérés par le Bureau des services fiscaux, contrôlent le flux de plus de 6 000 milliards de dollars par an vers les ménages, les entreprises et plus encore à l’échelle nationale. Des dizaines, voire des centaines de millions de personnes à travers le pays dépendent de ces systèmes, qui sont responsables de la distribution des prestations de sécurité sociale et d’assurance-maladie, des salaires du personnel fédéral, des paiements aux entrepreneurs et aux bénéficiaires de subventions du gouvernement et des remboursements d’impôts, entre des dizaines de milliers d’autres fonctions ». « Nous n’avons aucune visibilité sur ce qu’ils font avec les systèmes informatiques et de données », a déclaré un responsable à Reuters. Un juge a du empêcher l’administration Musk/Trump de mettre à exécution sa tentative d’arrêter de dépenser l’argent alloué par le Congrès, rappelant que la loi fédérale précise comment l’exécutif doit agir s’il estime que les crédits budgétaires ne sont pas conformes aux priorités du président : « il doit demander au Congrès de l’approuver, et non agir unilatéralement ». Musk n’est pas le propriétaire du gouvernement américain. Il n’a pas été élu. Pas même nommé officiellement. « Nous allons vite nous retrouver à regretter l’époque où Musk ne faisait que détruire des réseaux sociaux au lieu des mécanismes de base de la démocratie ».

Pour le financier libéral Mike Brock, ce qui est en train de se passer aux Etats-Unis tient du coup d’Etat, explique-t-il dans plusieurs billets de sa newsletter.  Elon Musk a pris le contrôle des systèmes de paiement du Trésor tandis que les responsables de la sécurité qui suivaient les protocoles étaient mis à la porte. Derrière le moto de « l’efficacité gouvernementale » se cache une prise de contrôle inédite, explique-t-il. Elon Musk a fermé l’USAID, l’agence pour le développement international, et la suspension des programmes a déjà des conséquences très immédiates, alors que cette agence a été créée par une loi adoptée par le Congrès qui n’a pas été abrogée. C’est une attaque contre le principe même de la loi, rappelle-t-il. « Si nous acceptons que le président puisse unilatéralement fermer des agences établies par le Congrès, alors le pouvoir du Congrès de créer des agences perd tout son sens. Si l’autorité exécutive peut outrepasser des mandats statutaires clairs, alors tout notre système de freins et contrepoids s’effondre. » Le risque, c’est le « démantèlement de l’ordre constitutionnel lui-même ». Même chose quand le DOGE obtient l’accès aux systèmes de paiement sans autorisation.  Le message n’est pas subtil et terriblement confus : « respecter la loi est désormais considéré comme un acte de résistance ». « Lorsque Trump menace le Panama au sujet du canal, lorsqu’il impose des tarifs douaniers illégaux au Canada et au Mexique, il ne viole pas seulement les accords internationaux : il nous demande d’accepter que la parole de l’Amérique ne signifie rien. »

« Cet assaut systématique contre la réalité sert un objectif clair : lorsque les gens ne peuvent plus faire confiance à leur propre compréhension du droit et de la vérité, la résistance devient presque impossible. Si nous acceptons que l’USAID puisse être fermée malgré une autorité statutaire claire, que des fonctionnaires puissent être licenciés pour avoir respecté la loi, que des citoyens privés puissent prendre le contrôle des systèmes gouvernementaux, nous avons déjà abandonné le cadre conceptuel qui rend possible la gouvernance constitutionnelle. »

« L’effet le plus insidieux de la distorsion de la réalité est la paralysie de la réponse démocratique. »

« Une résistance efficace à l’effondrement démocratique nécessite trois éléments clés », conclut Brock : « la clarté sur ce qui se passe, le courage de le nommer et une action coordonnée pour l’arrêter ». « Lorsque nous voyons des responsables de la sécurité renvoyés pour avoir protégé des informations classifiées à l’USAID, nous devons appeler cela par son nom : une punition pour avoir respecter la loi. Lorsque nous voyons Musk prendre le contrôle des systèmes du Trésor sans autorisation, nous devons le dire clairement : c’est une saisie illégale de fonctions gouvernementales. Lorsque Trump déclare qu’il n’appliquera pas les lois qu’il n’aime pas, nous devons l’identifier précisément : c’est une violation de son devoir constitutionnel d’exécuter fidèlement les lois. » Et Brock d’inviter les Américains à faire pression sur le Congrès et notamment sur les élus républicains pour le respect de l’Etat de droit. Ce sont les représentants du peuple qui en sont responsables.

En attendant, d’autres décisions judiciaires sont attendues sur ces transformations profondes du fonctionnement de feu, la démocratie américaine. Mais il n’est pas sûr que la justice, seule, suffise à rétablir le droit.

En tout cas, ce qu’il se passe de l’autre côté de l’Atlantique devrait nous inviter à réfléchir sur la protection constitutionnelle des accès aux systèmes. Car au XXIe siècle, le démantèlement de l’Etat de droit consiste désormais à prendre le contrôle des autorisations d’un serveur.

Hubert Guillaud

MAJ du 6/02/2025 : Comme le dit très bien Brian Marchant, les premières décisions du Doge, nous permettent de voir « la logique de l’automatisation » à venir : le contrôle. « Nous voyons ainsi moins d’informations disponibles pour le monde, moins d’options disponibles pour les humains qui travaillent à les fournir, moins d’humains, point final, pour contester ceux qui sont au pouvoir, car ce pouvoir se concentre entre leurs mains ». Tel est le but de l’automatisation du gouvernement fédéral. Doge va droit au but : « il ne s’agit pas d’améliorer la vie professionnelle de qui que ce soit ».

05 February 2025

7:00
Avons-nous besoin d’un nouveau Twitter ?
sur Dans les algorithmes

Non, répond la journaliste J. Wortham dans une belle tribune pour le New York Times, critiquant la fuite des utilisateurs de X vers Bluesky. Non seulement, nous n’avons pas besoin de recréer l’internet du passé, mais surtout, rien n’assure que Bluesky n’évite à l’avenir l’évolution qu’à connu Twitter.

Pourquoi devrions-nous imaginer que Bluesky ne deviendrait pas un autre Twitter ? Pourquoi continuer à essayer de recréer l’Internet du passé ? « Nous sommes officiellement arrivés au stade avancé des médias sociaux. Les services et plateformes qui nous ont enchantés et ont remodelé nos vies lorsqu’ils ont commencé à apparaître il y a quelques décennies ont désormais atteint une saturation et une maturité totales. Appelez cela un malaise. Appelez cela le syndrome de Stockholm. Appelez ça comme vous voulez. Mais à chaque fois qu’une nouvelle plateforme fait son apparition, promettant quelque chose de mieux — pour nous aider à mieux nous connecter, à mieux partager nos photos, à mieux gérer nos vies — beaucoup d’entre nous la parcourent avec enthousiasme, pour finalement être déçus. »

« L’histoire d’Internet est jonchée de pierres tombales virtuelles de services qui ont surgi et disparu au gré des marées d’attention – et d’argent – qui allaient et venaient. »  Désormais, les gens voient à juste titre le X de Musk comme l’emblème de l’emprise excessive de notre technocratie. Ceux qui en partent ne disent pas simplement au revoir à X : ils condamnent le lieu ! « Beaucoup semblent espérer que leur départ ressemblera à une grève générale ou à un boycott, même si cela semble peu probable, car X n’est pas une entreprise rentable et Musk semble surtout satisfait de l’afflux de personnes réactionnaires » que son réseau génère.

Bien sûr, explique la journaliste, je comprends ce que les transfuges recherchent dans un site comme Bluesky : la même chose que nous trouvions dans les premiers forums du net, la profondeur et la vitesse des conversations, des relations, une excitation comme celle que nous avons trouvé au début des médias sociaux. Nous sommes toujours à la recherche de cette utopie qui nous a été promise dès les premiers jours d’internet. « Mais nous aurions tort de penser qu’un site peut résister à la trajectoire (de succès et de déception) que presque tous les autres ont eu tendance à suivre ». Partout, l’impératif de rentabilité a dégradé l’expérience initiale. Et le fléau que nous connaissons actuellement sur X « n’est pas quelque chose qui s’est développé après la prise de contrôle de Musk. Il était là depuis le début ».  L’Internet naissant a été fondé sur l’espoir que le cyberespace serait une force unificatrice pour le bien. On parlait de liberté et d’ouverture… Mais dès le départ, l’industrie technologique et ses produits ont reproduit les inégalités existantes. La technologie a surtout bénéficié à ceux qui l’ont bâti. Dans les années 1990, le capital-risqueur John Doerr a décrit le boom technologique de cette décennie comme « la plus grande création légale de richesse que cette planète ait jamais connue ». Il avait raison, mais il oublié de dire que ces richesses n’étaient pas pour tout le monde. Même les premiers forums en ligne ont rapidement été colonisés par les comportements hostiles d’utilisateurs. Comme l’explique le journaliste Malcolm Harris dans son livre Palo Alto (2023), la politique des produits est liée à l’éthique de leur environnement. Et la Silicon Valley a surtout servi à maintenir les structures de pouvoir en place. « La concurrence et la domination, l’exploitation et l’exclusion, la domination des minorités et la haine de classe : ce ne sont pas des problèmes que la technologie capitaliste résoudra », note Harris. Au contraire, « c’est à cela qu’elle sert ». Au fur et à mesure que les plateformes grandissent – en ajoutant des membres, des investisseurs et des attentes – leurs objectifs évoluent également. Mais pas toujours dans le sens d’une plus grande responsabilité… Si Bluesky aujourd’hui attire, c’est parce que la plateforme est encore toute petite et qu’on n’y trouve pas de publicité, mais nombre d’indicateurs montrent que cela ne pourrait pas durer. Jack Dorsey, le fondateur de Twitter et de Bluesky, a quitté le conseil d’administration en mai en déplorant que l’équipe répétait les mêmes erreurs qu’il a connu à Twitter. La Silicon Valley produit la Silicon Valley. La croissance et le retour sur investissement d’abord.

Depuis 20 ans, le modèle économique est le même : vendre des données et de la publicité. Les comportements négatifs se traduisent par un engagement plus important, ce qui a tendance à profiter à l’essor des comportements virulents. Certes, pour l’instant, Bluesky est plus cordial que X, mais X continue à fournir des informations de premières mains, ce qui explique que malgré son environnement nocif, beaucoup y restent encore. La possibilité de trouver en ligne un espace de rassemblement transformateur demeure une promesse d’internet particulièrement séduisante. Mais ce qui nous tient à cœur dans cet internet-ci, ce n’est pas ce que les entreprises peuvent monétiser. « Aucun service ne nous sauvera, et nous ne devrions pas nous attendre à ce qu’un seul le fasse ».

« La nature même de la technologie est éphémère ». La dégradation est inévitable. Toute plateforme se transformera en ruine.

Et c’est bien dans les ruines des promesses de l’internet où nous devons continuer à tenter de faire notre chemin.

04 February 2025

7:45
Mobiliser le devoir de vigilance
sur Dans les algorithmes

La loi française sur le devoir de vigilance impose aux sociétés de plus de 5000 employés d’identifier chaque année les risques sociaux et environnementaux dans leur chaîne de valeur et de prendre des mesures effectives pour les éviter. Mais dans les plans de vigilance des entreprises, alors qu’elles clament partout utiliser de l’IA, l’IA est nulle part, souligne l’association Intérêt à agir dans un rapport qui invite les représentants du personnel et les organisations de la société civile à se saisir du devoir de vigilance pour mener des actions en justice contre les entreprises, au prétexte qu’elles ne prennent pas suffisamment en considération les risques que les services d’IA qu’elles acquièrent et déploient font peser sur l’environnement et les droits humains des travailleurs. Un levier peut-être plus immédiatement mobilisable que l’IA Act dont les premières mesures entrent à peine en vigueur ?

7:02
O tempora, o mores
sur Dans les algorithmes

L’un des grands usages promu de l’IA générative consiste à l’utiliser pour rédiger des comptes-rendus de réunions. Mais rien n’assure que ces outils fassent de bons comptes-rendus, rappelle l’informaticienne Florence Marininchi dans un billet où elle explique pourquoi elle n’utilise pas ChatGPT. « Une expérience détaillée conduit même à conclure que cet outil ne résume pas, il raccourcit, et c’est très différent ». Quand bien même, elle y arriverait, serait-ce désirable pour autant ?

« Dans le cas des comptes-rendus de réunion, voilà un effet tout à fait probable : une accélération du rythme des réunions. En effet, la contrainte d’avoir à rédiger et diffuser un compte-rendu avant d’organiser la réunion suivante ayant disparu, plus aucune limite naturelle ne s’oppose à organiser une autre réunion très rapprochée de la première. (…) Au cas où cette prévision vous semblerait peu crédible, rappelez-vous comment vous gériez votre temps professionnel il y a 20 ans, avant le déploiement des outils d’emploi du temps en ligne censés nous faire gagner du temps (j’avoue humblement y avoir cru). Quand j’ai pris mon poste de professeure en 2000, mon emploi du temps du semestre tenait sur un bristol glissé dans mon agenda papier format A6, il était parfaitement régulier pendant les 12 semaines d’un semestre. L’agenda ne me servait qu’à noter les déplacements de un à plusieurs jours et les réunions exceptionnelles. Aujourd’hui sans emploi du temps partagé en ligne et synchronisé avec mon téléphone, j’aurais du mal à savoir le matin en me levant où je dois aller dans la journée, pour rencontrer qui, et sur quel sujet. La puissance des outils numériques avec synchronisation quasi-instantanée entre participants pousse à remplir les moindres coins “libres” des journées. Quand il fallait plusieurs jours pour stabiliser un créneau de réunion, c’était nécessairement assez loin dans le futur, le remplissage de l’emploi du temps de chacun n’était pas parfait, et il restait des “trous”. Il n’y a plus de trous. Nous n’avons jamais été aussi conscients de la pression du temps. »

7:00
Luttes américaines
sur Dans les algorithmes

A Sacramento, plus de 200 représentants de syndicats se sont réunis à l’évènement Making Tech Work for Workers, rapporte CalMatters, rassemblant des représentant des dockers, des aides à domicile, des enseignants, des infirmières, des acteurs, des employés de bureau de l’État et de nombreuses autres professions. Les représentants syndicaux ont détaillé les façons dont l’IA menace et transforme ces emplois et ont montré leur détermination à négocier davantage de contrôle sur la manière dont l’IA est déployée dans les entreprises. Les discussions se sont concentrées sur comment protéger les travailleurs des développements technologiques.

Pour Amanda Ballantyne, directrice exécutive de l’AFL-CIO Tech Institute, inclure l’IA dans les négociations collectives est essentiel. Pour Duncan Crabtree-Ireland, directeur exécutif et négociateur en chef de SAG-AFTRA, l’un des grands syndicats des acteurs américain : « nous sommes confrontés aux plus grands intérêts des entreprises et aux plus grands intérêts politiques que vous puissiez imaginer, et travailler ensemble dans l’unité est absolument de là que vient notre pouvoir ». « Nous pouvons utiliser les politiques publiques pour faire avancer les négociations collectives et utiliser les négociations collectives pour faire avancer les politiques publiques ». Pour la présidente de la California Labor Federation, Lorena Gonzalez : l’introduction des technologies d’IA sur les lieux de travail n’est qu’un moyen de renforcer la surveillance des travailleurs, « un vieux patron avec de nouveaux outils », comme nous le disions déjà.

Dans le secteur du jeu vidéo, rapporte Wired, la grande enquête annuelle sur l’état de l’industrie fait part de la grogne des développeurs. A l’heure des fermetures de studio et des licenciements en chaîne, du fait du marasme du secteur, les salariés sont de plus en plus préoccupés par ces transformations liées au déploiement de l’IA. « Près de 30 % des développeurs qui ont répondu à l’enquête ont déclaré avoir une opinion négative de l’IA, contre 18 % l’année dernière ; seuls 13 % pensent que l’IA a un impact positif sur les jeux, contre 21 % en 2024 ». L’enquête montre également que le développement de l’IA, loin de soulager les soutiers du jeu vidéo, a tendance à augmenter les heures de travail, en partie pour compenser les départs. Ceux qui ont déjà été licenciés affirment avoir plus de mal que jamais à retrouver du travail dans le secteur.

MAJ du 04/02/2025 : Le ralliement des patrons des Big Tech à Trump a surtout provoqué la consternation de leurs salariés, mais plutôt que de manifester, la contestation s’organise insidieusement pour lutter contre la tentative d’étouffement des dissidences internes, rapporte le NYTimes. Une dissidence bien silencieuse et des subversions discrètes, voire anecdotiques, qui disent beaucoup de l’exacerbation du climat et qui contraste beaucoup avec les comportements plus virulents qui avaient eu lieu après la première élection de Trump, notamment contre les limitations de l’immigration. Sur les messageries internes des entreprises des messages, même anodins, sont supprimés. La grogne semble s’être retirée dans des groupes sur des applications privées, n’appartenant pas aux entreprises.

03 February 2025

7:00
Vivre dans l’utopie algorithmique
sur Dans les algorithmes

Dans un article de recherche de 2021, intitulé « Vivre dans leur utopie : pourquoi les systèmes algorithmiques créent des résultats absurdes », l’anthropologue et data scientist américain, Ali Alkhatib pointait le décalage existant entre la promesse technicienne et sa réalité, qui est que ces systèmes déploient bien plus de mauvaises décisions que de bonnes. La grande difficulté des populations à s’opposer à des modèles informatiques défectueux condamne même les systèmes bien intentionnés, car les modèles défaillants sèment le doute partout autour d’eux. Pour lui, les systèmes algorithmiques tiennent d’une bureaucratisation pour elle-même et promeuvent un Etat administratif automatisé, autorisé à menacer et accabler ses populations pour assurer sa propre optimisation.

La raison de ces constructions algorithmiques pour trier et gérer les populations s’expliquent par le fait que la modernité produit des versions abrégées du monde qui ne sont pas conformes à sa diversité, à l’image des ingénieurs du XVIIIe siècle, raconté par l’anthropologue James C. Scott dans L’Oeil de l’Etat, qui, en voulant optimiser la forêt pour son exploitation, l’ont rendue malade. Nos modèles sont du même ordre, ils produisent des versions du monde qui n’y sont pas conformes et qui peuvent être extrêmement nuisibles. « Les cartes abrégées conceptuelles que les forestiers ont créées et utilisées sont des artefacts qui résument le monde, mais elles transforment également le monde ». Nous sommes cernés par la croyance que la science et la technologie vont nous permettre de gérer et transformer la société pour la perfectionner. Ce qui, comme le dit Scott, a plusieurs conséquences : d’abord, cela produit une réorganisation administrative transformationnelle. Ensuite, cette réorganisation a tendance à s’imposer d’une manière autoritaire, sans égards pour la vie – les gens qui n’entrent pas dans les systèmes ne sont pas considérés. Et, pour imposer son réductionnisme, cette réorganisation nécessite d’affaiblir la société civile et la contestation.

La réorganisation administrative et informatique de nos vies et les dommages que ces réorganisations causent sont déjà visibles. L’organisation algorithmique du monde déclasse déjà ceux qui sont dans les marges du modèle, loin de la moyenne et d’autant plus éloignés que les données ne les ont jamais représenté correctement. C’est ce que l’on constate avec les discriminations que les systèmes renforcent. « Le système impose son modèle au monde, jugeant et punissant les personnes qui ne correspondent pas au modèle que l’algorithme a produit dans l’intérêt d’un objectif apparemment objectif que les concepteurs insistent pour dire qu’il est meilleur que les décisions que les humains prennent de certaines ou de plusieurs manières ; c’est la deuxième qualité. Leur mépris pour la dignité et la vie des gens – ou plutôt, leur incapacité à conceptualiser ces idées en premier lieu – les rend finalement aussi disposés que n’importe quel système à subjuguer et à nuire aux gens ; c’est la troisième qualité. Enfin, nos pratiques dans la façon dont les éthiciens et autres universitaires parlent de l’éthique et de l’IA, sapant et contrôlant le discours jusqu’à ce que le public accepte un engagement rigoureux avec « l’algorithme » qui serait quelque chose que seuls les philosophes et les informaticiens peuvent faire, agit comme une dépossession du public; c’est la quatrième et dernière qualité. »

Comme les forestiers du XVIIIe, les informaticiens imposent leur utopie algorithmique sur le monde, sans voir qu’elle est d’abord un réductionnisme. Le monde réduit à des données, par nature partiales, renforce sa puissance au détriment des personnes les plus à la marge de ces données et calculs. Les modélisations finissent par se détacher de plus en plus de la réalité et sont de plus en plus nuisibles aux personnes exclues. Ali Alkhatib évoque par exemple un système d’admission automatisé mis en place à l’université d’Austin entre 2013 et 2018, « Grade », abandonné car, comme tant d’autres, il avait désavantagé les femmes et les personnes de couleur. Ce système, conçu pour diminuer le travail des commissions d’admission ne tenait aucun compte de l’origine ou du genre des candidats, mais en faisant cela, valorisait de fait les candidats blancs et masculins. Enfin, le système n’offrait ni voix de recours ni même moyens pour que les candidats aient leur mot à dire sur la façon dont le système les évaluait.

L’IA construit des modèles du monde qui nous contraignent à nous y adapter, explique Ali Alkhatib. Mais surtout, elle réduit le pouvoir de certains et d’abord de ceux qu’elle calcule le plus mal. En cherchant à créer un « monde plus rationnel », les algorithmes d’apprentissage automatique créent les « façons d’organiser la stupidité » que dénonçait David Graeber dans Bureaucratie (voir notre lecture) et ces modèles sont ensuite projetés sur nos expériences réelles, niant celles qui ne s’inscrivent pas dans cette réduction. Si les IA causent du tort, c’est parce que les concepteurs de ces systèmes leur permettent de créer leurs propres mondes pour mieux transformer le réel. « Les IA causent du tort, parce qu’elles nous exhortent à vivre dans leur utopie ». Lorsque les concepteurs de systèmes entraînent leurs modèles informatiques en ignorant l’identité transgenre par exemple, ils exigent que ces personnes se débarrassent de leur identité, ce qu’elles ne peuvent pas faire, comme le montrait Sasha Constanza-Chock dans son livre, Design Justice, en évoquant les blocages qu’elle rencontrait dans les aéroports. Même chose quand les systèmes de reconnaissance faciales ont plus de mal avec certaines couleurs de peau qui conduisent à renforcer les difficultés que rencontrent déjà ces populations. Pour Ali Alkhatib, l’homogénéisation que produit la monoculture de l’IA en contraignant, en effaçant et en opprimant ceux qui ne correspondent pas déjà au modèle existant, se renforce partout où l’IA exerce un pouvoir autoritaire, et ces préjudices s’abattent systématiquement et inévitablement sur les groupes qui ont très peu de pouvoir pour résister, corriger ou s’échapper des calculs. D’autant qu’en imposant leur réduction, ces systèmes ont tous tendance à limiter les contestations possibles.

En refermant les possibilités de contestation de ceux qui n’entrent pas dans les cases du calcul, l’utopie algorithmique des puissants devient la dystopie algorithmique des démunis.

7:00
Hackathon IA générative, 5-6 février
sur Dans les algorithmes

L’année dernière, nous faisions part des difficultés que rencontrait Albert, le chatbot de l’Etat, dans son déploiement. Les informations sur ce grand modèle de langage souverain et open source sont depuis laconiques. Pourtant, le projet phare suit son cours, nous apprend le Journal du Net. Désormais, Albert n’est d’ailleurs plus tant un chatbot qu’un service d’IA générative en train de s’intégrer à nombre d’outils tiers. « Certaines administrations déploient déjà leur propre version d’Albert via son API », permettant de mutualiser les projets au sein de l’administration publique. A défaut de retours sur son impact, les développements continuent. Au programme : produire un graphe de connaissance pour affiner ses réponses, évaluer et améliorer ses réponses via un RAG et ouvrir Albert aux contributions externes…

Signalons que l’Etat organise d’ailleurs un hackathon dédié les 5 et 6 février pour développer des algorithmes à forte valeur ajoutée ou des cas d’usages à forts impacts.

31 January 2025

7:00
Le paradoxe des prévisions
sur Dans les algorithmes

« Voici le problème avec les prévisions : certaines sont exactes, d’autres sont fausses, et lorsque nous découvrons lesquelles, il est trop tard. Cela conduit à ce que nous pourrions appeler le paradoxe des prévisions : le test ultime d’une prévision utile n’est pas de savoir si elle s’avère exacte, mais si elle permet d’inciter à agir à l’avance », explique l’essayiste Tim Harford.

L’exactitude d’une prévision peut aider, mais elle n’est pas déterminante, rappelle Harford, qui se souvient d’une conférence fin 2019 où un orateur avait mis en garde contre le risque d’une pandémie, sans que cela ne déclenche, dans l’auditoire, de réaction appropriée pour s’y préparer. « La prévision était brillante… mais inutile ». L’agence fédérale de gestion des urgences a prévenu depuis longtemps des risques de catastrophes pouvant frapper la Nouvelle-Orléans. En 2004, l’ouragan Ivan, s’est détourné au dernier moment de la ville, sans que les autorités prennent des mesures adaptées. Quand Katrina a dévasté la ville en 2005, les prévisions n’avaient pas été utilisées pour s’y préparer. L’hôpital de Boston n’avait pas prévu l’explosion de bombes lors du marathon de Boston, mais l’hôpital avait organisé 78 exercices d’urgence majeurs, des marées noires aux accidents de train, qui leur a permis d’être réactif quand le pire est advenu.

Dans son livre, Seeing What Others Don’t (2015), le psychologue Gary Klein use du concept de pre-mortem, qui invite à réfléchir aux raisons de l’échec d’un projet avant même de le conduire, plutôt que de seulement faire une analyse une fois que l’échec est patent (post-mortem donc). Dans les années 80, Deborah Mitchell, Jay Russo et Nancy Pennington ont montré que cette perspective aidait les gens à générer davantage d’idées. Derrière cet exercice contre-intuitif, l’idée consiste non pas à rendre l’avenir connaissable, mais à nous rendre plus sages et prévoyants.

Barbara Mellers, Philip Tetlock et Hal Arkes ont eux organisé un tournoi de prévision sur plusieurs mois. Ils ont constaté que la réflexion des participants dans la durée adoucissait les préjugés. De même, « les scénarios de prospective ne sont pas des prévisions car ils ne visent pas à être précis, mais à être utiles. Le paradoxe des prévisions nous dit que ces deux qualités sont très différentes ». L’essentiel n’est donc pas de faire des scénarios prédictifs, mais de regarder ensuite ce que l’exercice transforme. Un bilan qui, semble-t-il, lui, est bien souvent manquant.

30 January 2025

7:00
L’IA générative sera-t-elle l’Excel de la société de la connaissance ?
sur Dans les algorithmes

Dans sa très riche newsletter, le politologue Henry Farrell – dont le dernier livre, co-écrit avec Abraham Newman, L’Empire souterrain, qui traite d’un tout autre thème, vient de paraître en français – explique que, depuis longtemps, le débat sur la forme de l’automatisation se concentre sur les conséquences pour les hommes, par exemple de savoir si elle va automatiser le travail. Mais dans le management, on se demande plutôt comment l’automatisation va remodeler le fonctionnement des organisations. Et ici, le débat est beaucoup moins vif, car il consiste à passer d’un ensemble de technologies qui soudent les organisations entre elles à d’autres, dans une forme de continuité plutôt que de révolution.

Pour les technocritiques radicaux, l’IA générative est inutile disent-ils, tout en craignant que ces technologies deviennent omniprésentes, remodelant fondamentalement l’économie qui les entoure. « Pourtant, il est peu probable que les grands modèles de langages deviennent vraiment omniprésents s’ils sont vraiment inutiles », estime Farrell. Comme d’autres grandes technologies culturelles, « elles se révéleront avoir (a) de nombreuses utilisations socialement bénéfiques, (b) des coûts et des problèmes associés à ces utilisations, et (c) certaines utilisations qui ne sont pas du tout socialement bénéfiques. »
L’IA de l’ennui
Beaucoup de ces utilisations seront des utilisations dans le management. Les LLM sont des moteurs pour résumer et rendre utiles de vastes quantités d’informations.  Et il est probable que ces déploiements soient surtout ennuyeux et techniques, explique pertinemment Farrell. Si les LLM s’avèrent transformateurs, il est possible que ce soit sous la forme assommante du classeur, du mémo ou du tableur, en fournissant de nouveaux outils pour accéder et manipuler des connaissances complexes et résoudre des enjeux de coordination qui sont au cœur de l’activité des grandes organisations.

Pour Farrell, les LLM sont des outils pour traiter des informations culturelles complexes. Ils créent une forme « d’arithmétique culturelle » qui permet de générer, résumer et remixer notre matériel culturel, comme les opérations mathématiques de base permettent d’effectuer des calculs sur des informations quantitatives. Les grandes organisations s’appuient beaucoup sur le matériel écrit et consacrent beaucoup de temps et de ressources à l’organisation et à la manipulation de ces informations. Mais, au-delà d’une certaine taille organisationnelle, nul ne peut savoir ce que toute l’organisation sait. Il y a trop de connaissances et celles-ci sont souvent très mal organisées. « Les grandes organisations consacrent donc beaucoup de ressources humaines et organisationnelles à la collecte d’informations, à leur mélange avec d’autres types d’informations, à leur partage avec les personnes qui en ont besoin, à leur synthèse pour ceux qui n’ont pas le temps de tout lire, à la réconciliation de différents résumés et à leur synthèse à leur tour, à la découverte ex post que des informations cruciales ont été omises et à leur réintégration ou à la recherche d’un substitut tolérable, ou, pire, à ne pas les comprendre et à devoir improviser à la hâte sur place ». En ce sens, les LLM ne sont qu’une nouvelle boîte à outil pour organiser et manipuler les informations. Une boîte à outil imparfaite, mais une boîte à outil tout de même. Les LLM offrent une nouvelle technologie pour gérer la complexité, ce qui est la tâche fondamentale du management.

Pour Farrell, les LLM ont surtout 4 grandes catégories d’utilisation : les micro-tâches, les cartes de connaissances, les moulins à prière et la traduction. L’utilisation pour leur faire accomplir des micro-tâches est certainement la plus courante. Ecrire un court texte, formater une liste ou un fichier. Ils permettent également de créer des cartes de connaissances, certes, très imparfaites. Comme de résumer de grands corpus de textes ou d’extraire des sources, c’est-à-dire de lier vers les ressources que l’IA mobilise. Les LLM sont également des « moulins à prière pour rituels organisationnels« , comme il l’expliquait dans une tribune pour The Economist avec la sociologue Marion Fourcade (dont on avait parlé), c’est-à-dire une machine pour « accomplir nos rituels sociaux à notre place », comme de faire nos lettres de motivation ou rédiger des mails de routine. Enfin, ils ont également un rôle de traduction, pas seulement de traduction d’une langue à une autre bien sûr, mais un rôle de coordination qu’assument beaucoup de personnes dans les grandes organisations et que l’anthropologue David Graeber a assimilé, un peu rapidement selon Farrell, à des bullshits jobs. Par exemple quand ils permettent de transformer un fichier complexe de contraintes en calendrier fonctionnel pour chacun. Les outils d’IA permettent de passer du fichier Excel à son traitement, une activité réservée aujourd’hui aux utilisateurs aguerris d’Excel. Une forme de passage du tableur à son exploitation.

Pour faire avancer les choses, il faut à la fois des protocoles communs et des moyens de traduire ces protocoles dans des termes particuliers que les sous-composantes plus petites de l’organisation peuvent comprendre et mettre en œuvre. Farrell parie que ces innombrables adaptations seront une des grandes utilisations des LLM dans les organisations. Certes, on pourrait dire que les bullshits jobs seront désormais accomplis par la bullshit machine, mais ces travaux de traduction, d’adaptation et d’exploitation sont souvent essentiels pour faire tourner les machines de l’organisation.
Vers une société de la synthèse ?
Farrell en tire trois conclusions. Nous devrions accorder plus d’attention à l’automatisation du management qu’à l’automatisation du travail. Ses évolutions seront aussi ennuyeuses que ses évolutions passées. Mais elles seront déterminantes car l’organisation est l’outil le plus important pour traiter la complexité du monde.

Si les marchés où la politique nous semblent plus importants et plus passionnants, c’est par les évolutions des organisations de routines que nous gérons le monde et c’est cela que l’IA générative va modifier. L’impact des LLM sera plus profond dans les applications les plus courantes de la culture. Les résultats des LLM remplaceront probablement une grande partie de la pseudo littérature que les organisations produisent et contribueront à une meilleure coordination des activités. Plus qu’une société de l’information ou de la connaissance, l’IA générative nous projette dans une société de la synthèse, conclut Farrell. C’est-à-dire non pas une société de l’analyse, mais une société de la cohérence – avec peut-être quelques hallucinations et incohérences au milieu, mais on comprend l’idée…

29 January 2025

7:24
De l’influence des milliardaires
sur Dans les algorithmes

« Plus votre statut est élevé, plus vous pouvez facilement persuader les autres ». Et le statut est de plus en plus lié à votre richesse. « Lorsque le statut est lié à la richesse et que les inégalités de richesse deviennent très importantes, les fondations sur lesquelles repose l’expertise commencent à s’effriter ». « Quels points de vue sur la liberté d’expression ont le plus de poids aujourd’hui, un milliardaire de la technologie ou un philosophe qui s’est longtemps attaqué à la question et dont les preuves et les arguments ont été soumis à l’examen d’autres experts qualifiés ? » Daron Acemoglu

7:00
Pour une souveraineté numérique non-alignée
sur Dans les algorithmes

Dans une tribune pour le journal Le Monde, les économistes Cédric Durand et Cécila Rikap défendent « une souveraineté numérique qui ne repose pas sur un illusoire nationalisme technologique mais sur un empilement numérique public non aligné, résultant de l’effort conjoint de nations décidées à interrompre le processus de colonisation numérique dont elles sont victimes ». Dans un rapport en forme de manifeste, ils défendent, eux aussi, des protocoles plus que des plateformes, pour construire un empilement (stack, référence au livre de Benjamin Bratton) de protocoles numériques publics et libres dans chaque couche technologique.

Comme le synthétise Irénée Régnauld : « Un stack public invite à repenser le rôle de la puissance publique, dans un monde où elle a été réduite à faire émerger des licornes. Les auteurs ne font pas mystère de ce qui peut structurer des alternatives : construire un cloud réellement public (et data centers associés), reliés par des infrastructures également publiques. Une agence des Nations unies pourrait avoir pour rôle de réunir les compétences nécessaires à l’atteinte de cet objectif. Les services sont aussi concernés : moteurs de recherche, plateformes de e-commerce devraient également voir surgir leurs versions publiques, à l’échelle appropriée (internationale, nationale ou locale, comme par exemple, une plateforme ajustée à la taille d’une région). Subventionnées, ces applications auraient pour but de sortir de l’emprise des Big tech aussi vite qu’il est légalement possible de le faire. »

28 January 2025

7:00
Les protocoles de nos libertés
sur Dans les algorithmes

Nous devons imposer des limites à la liberté des puissants plutôt qu’ils ne limitent la nôtre, plaide Jean Cattan, secrétaire général du Cnnum, dans une stimulante tribune pour la lettre du Conseil national du numérique. Pour cela, nous devons défendre la portabilité et l’interopérabilité, explique-t-il, qui sont les seuls moyens de rendre de la liberté aux utilisateurs que les plateformes limitent et capturent.

« De nombreuses personnes ont vilipendé le collectif HelloQuitteX. Mais si ce collectif existe c’est d’abord parce que les textes que nous avons sur la table ne permettent pas de contraindre les entreprises de prendre en charge la portabilité des utilisateurs de réseaux sociaux. Ce collectif, avec son peu de moyen et beaucoup d’énergie, exprime la nécessité de penser la portabilité et montre qu’elle n’est pas hors de portée. Non c’est d’abord une affaire de volonté politique.

Cette portabilité, nous avons su la penser et la construire dans d’autres secteurs. C’est ce qui permet à tout un chacun d’assurer le transfert de son numéro de téléphone d’un opérateur téléphonique à un autre, sans rien avoir à faire d’autre que de souscrire chez son nouvel opérateur et d’indiquer votre RIO. Aujourd’hui, cela se fait dans tous les sens, sans plus de tracas. Pourquoi ? Parce qu’il y a des autorités qui ont forcé la main aux opérateurs alors dominants pour qu’ils laissent partir leurs clients. Le régulateur a organisé ce processus transactionnel, il en a défini les conditions technico-économiques. Sans cette action publique, il n’est pas de liberté de l’utilisateur d’aller d’un opérateur à l’autre. Il n’y a qu’un enfermement des utilisateurs par les opérateurs dominants. »

(…) « Tant que les institutions n’auront pas agi, on ne pourra reprocher à des collectifs de se livrer à ce travail par eux-mêmes pour pallier les défaillances d’une puissance publique qui n’a pas fait son travail ».

(…) « Et c’est le travail de la régulation : construire un espace économique ouvert au service de l’intérêt général beaucoup plus que d’en assurer la surveillance. C’est pourquoi assimiler le DMA et le DSA à de la régulation est un non-sens. Ce sont des règlements qui mettent l’autorité publique en second, voire troisième rideau dans une posture très délicate de surveillance des acteurs économiques. Malheureusement, c’est la notion de régulation qui a ainsi été dévoyée en étant associée à des textes de simple mise en conformité. »

« Des protocoles, pas des plateformes » (Mike Masnick, 2019). Mais au fond, notre principale erreur – et elle est collective – c’est d’avoir fait de la plateforme le modèle dominant d’organisation de notre espace informationnel. La plateforme vient avec de nombreux avantages, c’est certain et ils sont innombrables : commodité, accessibilité, sécurité, effets de réseaux positifs, etc. Mais en ce qu’elle emporte par nécessité une forme de centralisation de la prise de décision, elle devient un problème d’un point de vue économique, entrepreneurial et sociétal. Plus personne n’est libre et tout le monde tombe sous le coup d’un modèle économique donné. Soit qui nous vampirise, soit qui crée des systèmes d’accès à géométrie variable. Si bien que lorsque le théâtre de notre conversation collective tombe sous le contrôle d’un tenancier qui n’a pour ambition que de nous exposer à ses excès, nous nous retrouvons sans moyen d’action. »

(…) « C’est là que le protocole libre et ouvert devient la solution. C’est là qu’ActivityPub intervient. C’est là qu’AT Protocol intervient. C’est là que l’initiative FreeOurFeeds.com est importante. Dans la poursuite des protocoles constituants d’internet, du mail, du RSS, du pair-à-pair, du Web, du Wi-Fi… Nous devons penser le protocole libre pour ce qu’il nous apporte, pour sortir du monde des plateformes fermées. Comme le rappelle Henri Verdier, « l’architecture est politique ». Et quand, pour schématiser, nous sommes passés d’un monde de protocole à un monde de plateformes, nous avons perdu une bataille politique dont nous payons massivement le prix tous les jours depuis plus de 15 ans. Nous payons le prix de la centralisation du pouvoir de décision. N’en déplaise aux hérauts du libéralisme, qui ne sont en réalité que les hérauts d’une forme de domination sur les autres : ils auront besoin d’institutions, émancipatrices cette-fois, et d’efforts collectifs pour assurer la liberté de tous. C’est l’essence du projet européen. »

(…) « En agissant sur les infrastructures et en promouvant des protocoles ouverts, il s’agit de rendre possible, de proposer des fonctionnalités et des services qui se complètent et s’enrichissent les uns les autres. Ce qu’aujourd’hui des personnes comme Musk, Zuckerberg ou d’autres ne font pas. Ces personnes sont des entraves à la possibilité de simplement proposer pour ne penser que leur innovation. Alors même que ce qu’elles emportent comme modèles sont des modèles destructeurs. Des modèles destructeurs de notre environnement, de notre économie et de notre société. Les grandes plateformes ne sont en aucun cas des solutions. Et le comportement de leurs dirigeants, qui cherchent à s’absoudre de l’application du droit en se réfugiant dans les jupons du politique, est absolument pitoyable. »

27 January 2025

7:00
L’ère post-TikTok va continuer de bouleverser la société
sur Dans les algorithmes

En suspendant l’interdiction de TikTok, Trump assure à la plateforme vidéo un court répit, le temps de peaufiner une vente dans une logique de marchandage au service des intérêts de la broligarchie américaine, qui se croit toute puissante. Et il est bien probable que cette logique transactionnelle, soit plus que jamais la logique des années à venir. Dès l’annonce du bannissement de TikTok, nous avions pourtant été prévenus. Que la plateforme soit dépecée ou annihilée, les techbros sont prêts à profiter de l’exode annoncé. Ils avaient d’ailleurs prévus des outils d’éditorialisation vidéo pour accueillir les réfugiés de TikTok, sachant bien, comme le montrait le précédent indien, qui a banni TikTok avant eux, que les grands services américains resteraient les premiers bénéficiaires. Désormais, ils sont assurés de gagner quel que soit la décision finale.

Reste, que TikTok ferme ou soit revendu, le basculement qu’il symbolise vers un internet de vidéos courtes, lui, est là pour rester. Internet est TikTok désormais, rappelle Hana Kiros, même si TikTok disparaît. C’est-à-dire que toutes les grandes plateformes intègrent désormais des vidéos courtes, partout. Tout le monde s’ingéniant à copier le haut niveau d’engagement que le format vidéo qu’à imposé TikTok a produit.

Mais cette transformation n’est pas sans conséquence.
La vidéo plutôt que l’écrit, le charisme plutôt que les faits
“La part des adultes lisant des articles d’actualité en ligne aux États-Unis est passée de 70 à 50 % depuis 2013. La part des Britanniques et des Américains qui ne consomment plus aucun média d’information conventionnel est passée de 8% à environ 30 %. Si le déclin de la presse écrite a surtout été un problème pour les résultats financiers des journaux, le déclin de la consommation de l’information en général est un problème pour la société”, rappelle John Burn-Murdoch pour le Financial Times. Aujourd’hui, les adultes américains de moins de 50 ans sont plus susceptibles de s’informer directement à partir des flux sociaux vidéo que d’un article d’actualité, selon le dernier Digital News Report du Reuters Institute for the Study of Journalism. Des tendances qui sont assez similaires au-delà des seuls Etats-Unis d’ailleurs. Dans un entretien avec le sociologue Dominique Cardon dans le second numéro de la revue de SciencesPo, Comprendre son temps, l’économiste Julia Cagé, rappelait que les bulles de filtres de médias sociaux, ne consistait pas seulement à enfermer les publics à droite ou à gauche, « mais à séparer les publics qui s’intéressent à l’information de ceux qui ne s’y intéressent pas« et à renforcer ainsi le désintérêt de la vie publique des deniers.

Nous sommes passés d’articles à leurs commentaires en 280 caractères, au détriment du compromis, de la subtilité et de la complexité. Désormais, nous sommes en train de passer aux vidéos courtes, qui prennent le pas sur ce qu’il restait de textes sur les réseaux sociaux, rappelle Burn-Murdoch. Ce pivot ne relègue pas seulement le texte, mais change également la chronologie et le rapport à l’information. Être le premier sur l’actu est devenu bien moins important qu’être engageant. Le charisme risque de prendre le pas sur les faits, s’alarme le Financial Times.

Si les médias sociaux ont cannibalisé les sites d’information, les comptes d’information les plus importants sur ceux-ci étaient encore ceux de journalistes ou d’organes de presse grand public, rappelle-t-il. Dans le monde de la vidéo, ce n’est plus le cas, même pour l’information. Or, le monde de l’influence n’est pas neutre, au contraire. D’autant que les influenceurs ont tendance à être plus de droite et sont globalement anti-établissement. Le développement de l’écoute privée, depuis un podcast plutôt que sur la radio par exemple, a tendance à produire des propos plus fragmentés, plus controversés. Le paysage médiatique de 2025 est très différent de celui de 2004. Il y a fort à parier qu’il ait des impacts sur la politique, estime John Burn-Murdoch, qui voit dans le passage de l’écrit à la vidéo un risque de renforcer le populisme.
S’inspirer des recettes des influenceurs pour rétablir la confiance dans l’information ?
Charlie Warzel pour The Atlantic dresse un peu le même constat désabusé. Mais plutôt que de désespérer, il convoque en entrevue la journaliste Julia Angwin qui vient de publier un rapport après avoir passé un an à étudier la crise de confiance du journalisme en observant comment les influenceurs produisent de l’information.

Pour la journaliste, la confiance dans les influenceurs repose sur le fait qu’ils doivent convaincre leur public de leurs capacités, de leur bonne foi et de leur intégrité (même si ces qualités ne sont pas toujours là) quand les médias tiennent cette confiance pour acquise. Ce positionnement différent à un impact sur la façon même de produire du contenu. Les influenceurs vont vous dire qu’ils ont testé 7 fards à paupière pour trouver le meilleur, quand les journalistes disent tout de suite qu’ils ont trouvé le meilleur fard à paupière. “Les créateurs de contenu commencent par la question : lequel est le meilleur ? Et puis ils font leur démonstration aux gens, en énumérant les preuves. Ils ne tirent pas toujours de conclusion, et parfois c’est plus engageant pour un public. Cela renforce la crédibilité.” C’est une sorte de journalisme inversé, semblable à une plaidoirie d’avocat ou à une démonstration scientifique. Sur YouTube, les titres des vidéos comportent souvent des points d’interrogation, relève Angwin. “Ils posent une question, ils n’y répondent pas. Et c’est exactement le contraire de la plupart des titres des rédactions.”

“Je pense que poser des questions et cadrer le travail de cette façon ouvre en fait un espace pour plus d’engagement avec le public. Cela lui permet de participer à la découverte.” Autre point, les influenceurs sont souvent plus en contact avec leurs publics que les journalistes qui ne sont pas encouragés à le faire. Pour Angwin, “le journalisme a placé de nombreux marqueurs de confiance dans des processus institutionnels qui sont opaques pour le public, tandis que les créateurs tentent d’intégrer ces marqueurs de confiance directement dans leurs interactions avec le public”, par exemple en passant du temps à réagir aux premiers commentaires. Les micro-entreprises des influenceurs semblent plus sympathiques que les conglomérats médiatiques. Les fans apprécient les parrainages de marques, pour autant qu’ils soient transparents.

Pour Angwin, le public doit pouvoir comprendre les éléments de confiance qui lui sont proposés, par exemple de comprendre d’où vous parlez ou quelle hypothèse vous explorez et ces éléments doivent être accessibles dans l’article ou la vidéo postée, pas seulement dans la marque. La confiance ne repose pas tant sur la neutralité que sur la transparence, rappelle-t-elle. Soit, mais cette explication de gagner la confiance par la forme n’est pas pleinement convaincante. D’autant que la norme de qualité des contenus que produisent les influenceurs est bien plus abaissée qu’élevée par rapport à celle du journalisme traditionnel.
La technologie n’améliore pas la production d’information de qualité
« Le journalisme lutte pour sa survie dans une démocratie post-alphabétisée« , disait récemment le journaliste Matt Pearce. La vérité disparaît pour des raisons macro-économiques, rappelle-t-il. « Le travail de récolte et de vérification des faits présente un désavantage économique majeur par rapport à la production de conneries, et cela ne fait qu’empirer ». « Les nouvelles technologies continuent de faire baisser le coût de la production de conneries alors que le coût d’obtention d’informations de qualité ne fait qu’augmenter. Il devient de plus en plus coûteux de produire de bonnes informations, et ces dernières doivent rivaliser avec de plus en plus de déchets une fois qu’elles sont sur le marché ». La technologie n’améliore pas la production de l’information de qualité. C’est ce qu’on appelle la loi de Baumol ou maladie des coûts. Dans certains secteurs, malgré une absence de croissance de la productivité, les salaires et les coûts augmentent. Cela s’explique par la hausse de la productivité dans les autres secteurs, qui tirent l’ensemble des coûts vers le haut.

Les consommateurs eux-mêmes sont devenus assez tolérants aux conneries. « Ils exigent des médias d’information traditionnels des normes de comportement éthique et précis bien plus élevées que pratiquement toutes les autres sources d’information qu’ils rencontrent, même lorsqu’ils ont commencé à s’appuyer sur ces autres sources d’information plutôt que sur les médias d’information. C’est une bonne chose que les consommateurs exigent du journalisme des normes élevées. Le problème ici est que la barre est abaissée, et non relevée, pour tout le reste. »

Enfin, et surtout, le journalisme écrit notamment périclite et les plateformes elles-mêmes rendent l’écrit de plus en plus difficile à monétiser. Elles y sont même devenu hostiles, que ce soit en valorisant d’autres types de contenus et d’autres types de publication comme les vidéos courtes bien sûr, en dégradant les hyperliens, en multipliant les contenus de remplissages synthétiques ou en s’appuyant sur les contenus générés par les utilisateurs. « Le temps que vous passez à lire un article de magazine est du temps que vous ne passez pas sur les produits Meta à regarder des publicités numériques et à enrichir Mark Zuckerberg ». L’information devient plus chère : pour quelques dollars par mois vous vous abonnez à une lettre sur Substack pour le prix d’un accès à un média avec plusieurs centaines de journalistes. Enfin, bien sûr, les préférences des consommateurs à lire se dégradent. « La destruction de la patience est l’un des changements culturels les plus spectaculaires que nous connaîtrons probablement de notre vie, et il imprègne tout ». Un professeur d’étude cinématographique se désolait même que ses étudiants ne regardent plus vraiment les films. Et ce n’est d’ailleurs pas qu’un phénomène générationnel, précise Pearce : nous passons tous plus de temps sur les plateformes en concurrence avec d’autres formes médiatiques. Le journaliste Vincent Bevins qui évoquait ses efforts pour retrouver le goût de lire, le résumait parfaitement : « les gens qui arrivent dans un café et posent ensuite un téléphone et un livre ensemble sur la table essaient de battre Satan dans un jeu qu’il a conçu. Il est peut-être possible de gagner, mais je n’ai jamais vu cela se produire ».
Coincés dans le populisme des plateformes
Le résultat de tout cela, conclut Pearce, « c’est une aliénation croissante des consommateurs (…) un retour à une sorte de société de contes populaires mûre pour la manipulation par des démagogues qui promettent la simplicité dans un monde de plus en plus complexe« .

La raison de l’aliénation populiste, elle, semble, claire, explique l’historien Brian Merchant. Quand Elon Musk fait un salut nazi en direct à la télévision, c’est une démonstration de puissance et un signal. Alors que le geste est parfaitement lisible par tous, les médias sont nombreux à être dans l’embarras pour le traiter et ont tous tendance à l’édulcorer pesamment. Et c’est cet embarras même qui est la première victoire de Musk et Trump. Les médias traditionnels sont morts, répète sans cesse Elon Musk sur X, « ce véhicule de propagande qui élimine la presse ». Et effectivement, la presse est exsangue. Les grandes entreprises technologiques se sont appropriées ses revenus publicitaires, dictent les conditions de distribution… Le journalisme lutte pour sa survie, comme l’expliquait Pearce, mais sans armes. Celles-ci sont dans les mains des oligarques de la Tech qui étaient tous au premier rang, lors de l’investiture de Trump. Ils ont gagné. Zuckerberg peut mettre au placard sa politique de modération et Google peut générer autant de déchets synthétique qu’il veut. « Il est difficile d’imaginer une agence Trump sévir si une IA ordonne à quelqu’un de manger un champignon vénéneux ». « L’oligarchie technologique est là, et si satisfaite de son étranglement des médias qu’elle peut, sans honte, pavaner dans sa loyauté affichée à Trump ». « Musk possède la plateforme qui dicte sa propre réalité. Il a à peine eu à se défendre, il l’a à peine nié. Il le fera probablement à nouveau. Qui va l’arrêter ? »

Mais est-ce tant Musk aujourd’hui qu’il faut arrêter que les plateformes et leurs modalités d’amplification devenues problématiques qui donnent aux pires idées une audience qu’elles ne devraient pas avoir ?, comme nous le disions plus tôt. Le journaliste David Dufresne a fait un petit test en tentant de créer un nouveau compte sur X : on a l’impression de s’enregistrer sur une plateforme de propagande.

Au prétexte de maximaliser leurs modèles économiques, les plateformes sont en train de basculer vers le pire. Il est effectivement temps de les fuir et ce d’autant plus que c’est bien leur modèle d’engagement et d’amplification qui les conduit à ces extrémités. Et les micro-vidéo promettent surtout une accélération du populisme des plateformes que leur atténuation.

24 January 2025

7:04
L’âge des Fake Tech
sur Dans les algorithmes

Cela fait au moins dix ans que les bonds technologiques sont censés être imminents, rappelle le journaliste Christophe Le Boucher dans sa nouvelle newsletter, Fake Tech : mais rien n’est advenu. « La ligne séparant les pyramides de Ponzi propres aux cryptomonnaies d’une entreprise à la pointe de l’innovation comme OpenAI apparait plus floue que voudrait nous le faire croire le récit médiatique dominant. Volontairement provocateur, mon concept de “Fake Tech” permet de faire la jonction entre une entreprise frauduleuse dont le modèle économique repose sur le vernis de l’innovation avec le cas d’une technologie ayant simplement échoué à tenir ses promesses, qu’elles eût été fausses ou sincères. Le terme peut être compris à plusieurs niveaux : celui de “fausse technologie” visant à tromper le consommateur et l’investisseur sur ses capacités réelles et celui de “failed tech” ou produit n’ayant pas fonctionné. »

« Le concept de Fake Tech ne s’applique pas uniquement à des innovations et technologies spécifiques, mais à un système tout entier. (…) L’avènement de l’informatique, suivie par celui d’Internet et de l’Intelligence artificielle, n’a pas généré de gain de productivité significatif. C’est la première fois qu’une révolution industrielle s’avère sans effet notable sur l’indicateur principal de progrès économique, à savoir la richesse produite par heure de travail humain fourni. »

7:01
Choix binaires
sur Dans les algorithmes

Choix mortifères. La planète ou l’IA. Le capitalisme ou la démocratie…

7:00
IA nazie
sur Dans les algorithmes

« Peu lui importe le contexte, c’est-à-dire le monde auquel ce geste appartient et se réfère, seul compte l’automatisation de la ressemblance. Finalement, avec un tel traitement de l’information, le logiciel serait capable de générer une image attribuant un salut nazi à n’importe qui, neutraliserait par là même la portée significative d’un tel geste en le diluant dans l’infinité des images générées ». Gregory Chatonsky.

23 January 2025

7:00
La désinformation est terminée !
sur Dans les algorithmes

La panique morale de la désinformation sur les réseaux sociaux serait-elle terminée ? C’est ce que suggère Politico. En 2016, quand Trump a emporté l’élection présidentielle américaine ou quand le Brexit l’a emporté au Royaume-Uni, tout le monde a accusé la désinformation et les réseaux sociaux. “S’en est suivi près d’une décennie d’inquiétude face à la désinformation, les législateurs se demandant quelles idées les plateformes de réseaux sociaux devraient autoriser à se propager et se désolant de voir que tout ce débat rongeait irrémédiablement les fondements de la société”. Pour Kelly McBride, chercheuse en éthique des médias au Poynter Institute, cette fois-ci, “personne n’a été trompé en votant pour Trump” – même si c’est peut-être un peu plus compliqué que cela, la différence de 250 000 voix entre Trump et Harris, pouvant aussi s’expliquer par la grande différence d’amplification des discours conservateurs, comme ceux de Musk et Trump par rapport à Harris. La panique de la désinformation a culminé avec le Covid et l’insurrection du 6 janvier 2021 au Capitole. Depuis 10 ans, la désinformation est devenue une obsession des médias et des élites politiques… Mais ce domaine d’études qui s’est démultiplié ces dernières années, est entré également en crise estime un article de la revue de Harvard consacrée au sujet : désinformés sur la désinformation.
De la difficulté à mesurer la désinformation
Après 10 années de travaux, on a l’impression que l’étude de la désinformation n’arrive toujours pas à répondre à la question fondamentale des impacts réels de la désinformation, comme de ses effets sur les élections ou ses liens avec l’extrémisme et la radicalisation, cinglent les chercheuses, Irene Pasquetto, Gabrielle Lim et Samantha Bradshaw. Une question aussi fondamentale que la définition de la désinformation fait toujours débat et le rôle que joue celle-ci sur la société génère des conversations extrêmement polarisantes. Même la question de savoir si Facebook, X, ou l’ingérence russe ont influencé de manière significative les résultats des élections de 2016 n’est toujours pas tranchée. Pour Kathleen Hall Jamieson, auteure de Cyberwar : How Russian Hackers and Trolls Helped Elect a President: What We Don’t, Can’t, and Do Know (2018), le différentiel de voix dans les Etats clefs entre Clinton et Trump n’était que de 80 000 voix, une différence très faible qui plaide pour que certains messages aient conduits les électeurs démocrates à rester chez eux plutôt que d’aller voter. Pour Thomas Rid, auteur de Active Measures : the secret story of disinformation and political warfare (Mac Millan, 2020), il est peu probable que l’ingérence russe ait eut un effet sur le vote américain. L’étude la plus récente, montre plutôt que l’exposition aux comptes de désinformation russes était fortement concentrée : seulement 1 % des utilisateurs représentaient 70 % des expositions. Que cette concentration a surtout agit sur des comptes républicains que démocrates et que l’exposition aux campagnes d’ingérences russe ne montre pas de changement d’attitude du comportement électoral. Nous serions finalement plus têtus que crédules, comme le disait Hugo Mercier.

Depuis le début la désinformation repose sur le fait que des acteurs malveillants diffuseraient des informations fausses que les gens absorberaient sans le savoir ce qui ferait évoluer leurs croyances et comportements. Depuis le début, l’antidote s’est concentré à corriger les informations, en exerçant une pression sur les médias sociaux pour qu’ils suppriment, signalent ou dépriorisent ces contenus problématiques – sans là non plus apporter beaucoup de preuves que la vérification des faits fonctionne, comme le pointait Nature, en faisant le bilan du fact-checking à l’heure où les plateformes envisagent de l’abandonner (voire également la synthèse qu’en livre le Conseil national du numérique). Le problème était nouveau parce que l’influence des réseaux sociaux était nouveau, explique clairement Politico. Le cœur de la désinformation provenant d’acteurs hostiles, souvent étrangers, polluant le discours public. Les études ont pourtant fini par montrer que la désinformation la plus flagrante n’est généralement consommée que par un petit groupe de personnes très investies et encline au conspirationnisme. La désinformation la plus puissante n’est pas tant diffusée par des trolls anonymes sur Internet, mais provient plus souvent d’acteurs nationaux établis. Enfin, la grande majorité de cette désinformation tient plutôt de bribes de vérité décontextualisées de manière trompeuse et provient bien plus de débats télévisés ou de rassemblements publics que des médias sociaux.
L’absence de modération oriente les discours vers la droite
En fait, explique Politico, les recherches ont donné peu à peu raison aux plus sceptiques sur l’impact de la désinformation. Aux Etats-Unis enfin, les études sur le sujet ont aussi été la cible de poursuites judiciaires nourries, notamment du camp Républicain. Et les grandes plateformes ont peu à peu changé de politique. Alors qu’en 2021 Meta a suspendu le compte de Trump, en 2023, l’entreprise a cessé de supprimer les publications qui reprenaient les déclarations de Trump, avant de rétablir discrètement son profil. En août, Zuckerberg a envoyé une lettre aux Républicains du Congrès exprimant ses regrets que Meta ait cédé à la pression de l’administration Biden pour censurer les contenus liés au Covid-19. “Le dédain d’Elon Musk pour la modération du contenu sur X a également accéléré le changement des normes du secteur et a contribué à ce que d’autres plateformes réduisent la surveillance du contenu.” Tant et si bien que désormais, les rumeurs sans fondements, comme le fait que les immigrants mangeraient des chats, peuvent s’exprimer sans contraintes. “Le discours public du pays s’est déplacé vers la droite, de sorte qu’il n’est plus nécessaire de regarder les espaces marginaux pour entendre des sentiments anti-immigrés, anti-féministes, anti-trans, anti-LGBTQ”, constate Alice Marwick, la directrice de Data & Society. Et le fait de savoir si ce déplacement est dû au réseaux sociaux reste une question ouverte…

A se demander si, plus que d’avoir été résolues, la désinformation et la polarisation ne sont pas devenues plus communes. Déterminer l’impact de la désinformation sur les comportements politiques est une tâche trop ardue, qui ne peut peut-être pas être quantifiée, explique la chercheuse. Pour Marwick, la criminalité des immigrés ou les diffamation sur les femmes qui couchent pour arriver sont des récits qui persistent depuis des millénaires. “Beaucoup de ces choses persistent, non pas parce que l’information elle-même est vraie ou fausse, mais parce qu’elles correspondent à la compréhension commune des gens sur le fonctionnement du monde”. En 2016, l’analyse se concentrait sur les bots russes et la technologie, explique le professeur de journalisme Reece Peck. La persuasion tient bien plus du charisme, estime-t-il après avoir étudié l’impact des médias alternatifs. Le célèbre podcasteur américain Joe Rogan ne peut pas être battu par la qualité de l’information qu’on pourrait lui opposer. L’idée selon laquelle la qualité de l’information et des faits permet de mettre à mal la désinformation ne fonctionne pas.

Sur Tech Policy Press, la jeune chercheuse Sydney Demets, tente de comprendre pourquoi les podcasts conservateurs sont devenus si persuasifs. La voix, la proximité, la confidence, l’authenticité… génèrent une forme d’intimité et de confiance avec les animateurs. Leur longueur permet également de répéter et d’infuser les convictions des animateurs au public, de plaisanter, sur un ton intime et personnel qui paraît plus authentique que les échanges impersonnels et plus courts que l’on trouve à la radio. Même les blagues racistes permettent de donner l’impression d’être plus authentique que les propos policés des médias traditionnels. Malgré les politiques des plateformes, comme Apple ou Spotify, même les podcasts connus pour leur rhétorique violente ne sont pas modérés. En fait, les propos problématiques n’ont aucune répercussions. Le succès des podcasts s’explique certainement bien plus par le fait qu’ils sont un espace où la modération ne s’applique pas. On comprend alors que toutes les autres plateformes oeuvrent à la limiter, pour bénéficier d’une amplification sans frein et des revenus qui vont avec.

Ce n’est pas la désinformation qui est terminée, mais bien les modalités de sa contention. Peut-être qu’en cherchant la vérité à tout crin, nous nous sommes trompés de cible ? La réponse à la question tient peut-être bien plus à limiter l’amplification que produisent les plateformes qu’à contrôler la vérité ! Mais là non plus, nous n’avons pas encore trouvé les éléments pour limiter l’amplification, contraints par des modèles économiques qui ne cessent de la sublimer. De l’amplification des propos les plus polémiques à la fortune des milliardaires, on a décidément beaucoup de mal à limiter la démesure.

Ajout du 24/01/2025 :
« Les technologies à travers lesquelles nous voyons le public façonnent ce que nous pensons qu’il est »
Dans son excellente newsletter, Henry Farrell propose une explication éclairante sur la désinformation dans les médias sociaux. Pour lui, nous avons tendance à penser la démocratie comme un phénomène qui dépend des connaissances et des capacités individuelles des citoyens quand il s’agit avant d’un problème collectif. Nous voulons des citoyens sages, bien informés et disposés à réfléchir au bien collectif. Mais les citoyens individuellement sont partiaux et peu informés, ce qui donne du crédit à une thèse élitiste et anti-démocratique, qui valorise les élites bien informées sur tous les autres, alors qu’ils sont tout aussi partiaux que les autres. Aider les individus à voir les angles morts de leurs raisonnements individuels ne suffira pas. « Ce dont nous avons besoin, ce sont de meilleurs moyens de penser collectivement », comme le défendaient Hugo Mercier, Melissa Schwartzberg et Henry Farrell dans un article de recherche, qui rappelle qu’une grande partie des travaux sur les biais cognitifs humains suggère que les gens peuvent en fait penser beaucoup mieux collectivement qu’individuellement et qui invite à s’intéresser « aux publics démocratiques ». Le problème, c’est que nous ne savons pas ce que tous les citoyens veulent ou croient. D’où le fait que nous ayons recours à des technologies représentatives plus ou moins efficaces, du vote aux sondages. Mais, ces systèmes ne sont pas que des mesures passives : ils rétroagissent sur les publics, c’est-à-dire que les publics sont aussi façonnés par les technologies qui les représentent. « Les technologies à travers lesquelles nous voyons le public façonnent ce que nous pensons qu’il est » et en retour cela façonne notre comportement et notre orientation politique. X ou Facebook sont profondément des outils pour façonner les publics et nos regards sur ceux-ci.

Pour le comprendre, Farrell donne un exemple éclairant. Dans un article de 2019 de Logic Mag, Gustavo Turner évoquait la pornographie sur internet. Il y expliquait que la présentation et la perception que nous avons de la pornographie est façonnée par les algorithmes, mais que ceux-ci sont plus orientés pour valoriser ce pour quoi les publics sont prêts à payer que ce que les gens veulent voir. Les entreprises de pornographie se concentrent sur leurs clients plus que sur le public, et ce sont les goûts des clients qui façonnent les plateformes. Cela a pour résultat de sur-représenter certaines pratiques sur d’autres, non pas parce qu’elles sont les plus populaires auprès des consommateurs, mais parce qu’elles sont plus susceptibles de convertir le public en clients payants. Ce qui, en retour, à des effets sur le public, par exemple les adolescents, leur apportant une vision très déformée de ce qu’on peut considérer comme des pratiques sexuelles communes. Ce qui produit une vision très déformée de leur réalité. L’exemple permet de comprendre que les perspectives collectives qui émergent des médias sociaux – notre compréhension de ce que le public est et veut – sont façonnées de la même manière par des algorithmes qui sélectionnent certains aspects du public tout en en mettant de côté d’autres. « Le changement le plus important concerne nos croyances sur ce que pensent les autres, que nous mettons constamment à jour en fonction de l’observation sociale que nous faisons ». Musk déforme X pour qu’il serve ses intérêts. « Le résultat est que X/Twitter est un Pornhub où tout est tordu autour des défauts particuliers d’un individu spécifique et visiblement perturbé ». Rien de tout cela n’est un lavage de cerveau du public, explique Farrell. Mais on comprend bien comment les orientations économiques façonnent l’amplification.

De même, on peut se demander si la polarisation croissante de genre que l’on constate en France comme ailleurs, n’est pas – aussi – un effet de l’exploitation du genre par les plateformes sociaux-publicitaires, comme le suggérait très pertinemment Melkom Boghossian pour la Fondation Jean Jaurès. « La demande de masculinité et de féminité est extrêmement facile à stimuler une fois qu’elle a été ciblée chez les individus. Elle devient une source inépuisable de suggestions de contenus, de formation de l’image du monde et, à terme, de redéfinition des comportements ». Avec le risque est celui d’un renforcement des représentations de genres à l’heure où beaucoup souhaiteraient s’en libérer, c’est-à-dire qu’il devienne impossible de se libérer des contraintes de genres à mesure que nos outils les exploitent et les renforcent.

22 January 2025

7:00
L’IA sera-elle la tronçonneuse des libertariens ?
sur Dans les algorithmes

Pour TechPolicy Press, Kevin De Liban de TechTonic Justice et Alice Marwick de Data & Society soulignent que l’IA s’apprête à être la tronçonneuse de Musk au département de l’efficacité gouvernementale, puisque c’est grâce à elle que devrait être trouvé les 2000 milliards d’économies promises. C’est l’IA qui doit permettre d’identifier le personnel à licencier pour dégraisser la bureaucratie et c’est elle qui sera chargée d’effectuer leurs tâches une fois le personnel parti (MAJ du 24/01/2025 : Dans le Monde, Pascal Riché souligne très bien que réduire les dépenses américaines n’est pas tant réduire les services publics, quand les 2/3 des dépenses fédérales sont consacrés aux retraites, à la santé et à la Défense).

Bien évidemment, l’IA va surtout réduire la capacité des services publics à accomplir leurs missions, ce qui va éroder la confiance, conduisant à de nouvelles coupes budgétaires… L’IA permet de promettre des solutions rapides à des problèmes complexes. Mais c’est oublier que l’IA a un bilan désastreux dans les utilisations gouvernementales à enjeux élevés, comme le pointait le récent rapport de TechTonic. Opaque, difficile à contester, biaisée et erronée, l’IA dans les services publics n’a pas fait les preuves de ses qualités, au contraire. Même dans le secteur privé, l’impact de l’IA sur la productivité est resté marginal, rappelait récemment The Economist, qui soulignait que l’adoption reste faible, que beaucoup d’entreprises qui s’y sont mises ont mis au rencart leurs projets pilotes. Que la productivité des travailleurs est restée stable et que les marchés du travail n’ont pas connu de bouleversements. « L’IA n’a eu pratiquement aucun impact sur l’économie américaine, le chômage restant très bas et la croissance de la productivité faible ». En fait, l’usage de l’IA en entreprise progresse peu. « Les dépenses d’investissement dans les pays riches restent assez faibles, ce qui suggère que les entreprises n’investissent pas dans les outils qui permettraient à l’IA de leur donner un gros coup de pouce en matière de productivité. La question pour l’année à venir est de savoir combien de temps cette déconnexion entre les marchés financiers et l’économie réelle sur l’utilité de l’IA peut perdurer ».

L’utilisation de l’IA par le secteur privé suggère qu’il est peu probable qu’elle atteigne une efficacité à grande échelle, rappellent De Liban et Marwick. Et l’intégration de l’IA dans le gouvernement ne ferait que rendre le secteur public plus dépendant des riches entreprises technologiques qui la possèdent. « Compte tenu des dommages que l’IA inflige aux communautés les plus vulnérables, utiliser « l’efficacité gouvernementale » comme excuse pour remplacer les décideurs humains par des systèmes mal conçus ne fera qu’aggraver ces dommages, rendant des verdicts opaques et incontestables qui auront un impact profond sur la vie des gens. Pour quiconque croit que les institutions publiques devraient réellement servir le public, il s’agit d’un leurre inacceptable ».

21 January 2025

6:00
L’ubérisation de la santé
sur Dans les algorithmes

Le Roosevelt Institute vient de publier un rapport sur l’ubérisation dans le secteur du soin infirmier. Les applications de travail à la demande proposent désormais aux infirmières et aides-soignantes de postuler aux tarifs les plus bas – plusieurs applications proposent même des enchères inversées pour renforcer la compétition entre les infirmières postulantes. Les prises de postes sont souvent annulées au dernier moment, sans dédommagement et les heures imprévues ne sont pas payées. Toutes les plateformes facturent des frais aux infirmières à chaque prise de poste et ont parfois des frais pour encaissement immédiat des sommes dues. Les infirmières y sont évaluées selon des processus opaques. Les travailleurs du soin rejoignent des établissements à la demande, sans formation ni accompagnement aucun, au risque de défaillances dans la continuité des soins.

Dans The Guardian, Katie Wells du collectif Ground Work Collaborative et co-autrice du rapport, explique que c’est parce que nous ne payons pas bien ces travailleurs qu’ils se tournent vers l’économie du travail à la tâche, pour prendre un semblant de contrôle sur leur propre vie, qu’ils n’ont pas autrement. « Qu’une personne qui ne connaît pas un hôpital, ses patients, ses antécédents médicaux ou ses structures de gestion puisse simplement arriver un jour et reprendre le travail du travailleur précédent qui a terminé son quart de travail aurait été inimaginable il y a seulement quelques années », affirme le rapport. Jacobin dénonce des plateformes créées pour résoudre une pénurie d’infirmières qui n’existe pas vraiment. « La seule pénurie, c’est celle des bons emplois d’infirmières ».

20 January 2025

7:00
L’ogre logistique
sur Dans les algorithmes

Sur la place, deux grands hangars blancs ont été montés pour accueillir le marché de Noël. Mais les marchés sont fermés et la place est plongée dans la nuit. Il faut patauger dans la boue pour atteindre la MJC Fernand Léger de Corbeil-Essonne en ce soir décembre, à la veille des vacances.

Les militants sont déjà là. Dans l’amphithéâtre, ils préparent la sono, mettent une banderole. A l’entrée, un libraire est venu avec quelques livres. Les gens se connaissent, comme un réseau d’acteurs qui se retrouve. A côté de l’entrée, on entend des élèves suivre un cours de guitare. La salle se remplit peu à peu.

Le dernier RER pour Paris est à 21h55 nous prévient-on d’entrée. Le militant qui fait l’introduction ressemble un peu à Marcel Mouloudji. Il explique que la soirée est consacrée à présenter les impacts sociaux et écologiques des entrepôts logistiques qui se déploient partout en France et notamment ici, en Essonne. Ces entrepôts, conséquences directes des modes de production et de consommation génèrent de la pollution, de l’artificialisation des sols… et surtout de la précarité et de la pénibilité pour les centaines de milliers de travailleurs qui s’y épuisent. Ici, le développement des entrepôts a des conséquences concrètes, bien au-delà du travail, et permet d’inter-relier des luttes, locales comme globales, sociales comme politiques, en interrogeant la question du transport et du fret, la transformation de la Seine comme la lutte des travailleurs sans papiers…

Rapidement, la parole est donnée au jeune chercheur David Gaborieau venu évoquer avec simplicité ce que le développement de la logistique, ici, transforme. La logistique n’est plus un secteur invisible, attaque-t-il. On en parle désormais beaucoup et on en a beaucoup parlé, notamment durant la pandémie. On a longtemps pensé qu’Amazon n’était qu’un site internet. Depuis les gens ont découvert que ses entrepôts, eux, n’avaient rien de numérique. Mais si le secteur est mieux connu, nul ne sait ce qu’il se passe à l’intérieur. David Gaborieau a interviewé nombre d’ouvriers du flux, comme on les appelle. Manutentionnaires, préparateurs de commandes, pickers, injecteurs (ceux qui alimentent les tapis roulants), agents de quai, caristes… Selon leurs qualifications, ce sont là les principaux métiers des entrepôts logistiques. Le chercheur explique qu’il a aussi fait de l’intérim dans ces entrepôts pour comprendre ce travail de l’intérieur, pour bien saisir l’objet de ses recherches.
La révolution logistique, infrastructure de la globalisation
Si Amazon est l’emblème du secteur, la logistique va bien au-delà. Carrefour a plus d’entrepôts qu’Amazon, rappelle-t-il… et si le e-commerce a transformé le secteur ces dernières années, la grande distribution et l’industrie sont d’importants moteurs de son développement qui se concentre autour des axes de circulation à proximité des grandes métropoles. On parle d’ailleurs de « révolution logistique » pour dire « qu’elle transforme l’économie contemporaine comme la révolution industrielle a transformé l’économie du XIXe siècle ». La logistique est née avec l’émergence de la grande distribution après la seconde guerre mondiale. D’abord utile au stockage, dans les années 80, elle va progressivement servir la délocalisation de la production, c’est-à-dire qu’elle va permettre « l’accroissement de la distance entre les lieux de production et de consommation ». Efficace et peu coûteuse, elle s’impose comme « l’infrastructure de la globalisation ». « Elle ne sert pas qu’à transporter et stocker des produits, elle gère la distance entre les différents lieux de production ». Un iPhone par exemple passe par plus de 40 unités productives avant d’arriver dans les mains de son propriétaire : il a fait 20 fois le tour du monde avant qu’on ne l’achète ! On comprend alors que cette révolution logistique transforme les systèmes de production, notamment en renforçant la délocalisation et la sous-traitance dont elle est à la fois le moteur et le carburant. La logistique est synonyme d’externalisation : on produit dans un réseau de sous-traitance et la logistique permet de gérer la distance entre tous les points de sous-traitance, lui permettant de s’étendre et se renforcer. Ce qui a bien sûr des impacts politiques, rappelle le chercheur : les grandes usines productives d’autrefois sont désormais éclatées entre sites qui se font concurrence, faisant disparaitre les bastions ouvriers d’antan.

« Avant on disait toujours que la sphère de production était au cœur de l’économie, désormais, elle est bousculée par la sphère de la circulation qui est devenu le cœur de la création de valeur économique »… Tant et si bien que quand un porte-conteneur obstrue le canal de Panama en 2021, c’est toute l’économie mondiale qui ralentie.

Ces transformations ont également des conséquences sur l’emploi. Un quart des ouvriers en France relèvent de la logistique et du transport. Les métiers ouvriers de la chimie, du textile ou de la métallurgie ont diminué au profit de ceux du transport, de la logistique et du déchet. Les ouvriers n’appartiennent plus au monde de l’industrie, mais sont désormais majoritairement des ouvriers du tertiaire : « 50% des ouvriers en France sont des ouvriers du secteur tertiaire ». Ainsi, d’anciens caristes des usines Renault le sont désormais dans des entrepôts logistiques. Ils font le même métier, mais ne relèvent plus du même secteur. « Dans les entrepôts de la logistique, 80% de l’emploi est ouvrier. A l’inverse, dans le secteur automobile, il n’y a plus que 40% d’ouvrier, tout le reste sont des cadres et ingénieurs ». La logistique est devenu le bastion d’un monde ouvrier qui a profondément muté.

Enfin, le secteur de la logistique est particulièrement concentré en Île-de-France, notamment autour de Roissy, d’Orly et de Marne-la-Vallée. « Sur 1 million de personnes qui travaillent dans la logistique en France, l’Île-de-France concentre 350 000 employés ».
Dans les usines à colis
Dans les « usines à colis », on trouve beaucoup de nouvelles technologies qui servent à faire du taylorisme moderne. Gaborieau s’est beaucoup intéressé à la commande vocale (comme l’illustrait une enquête de Cash Investigation de 2017), qui indique aux préparateurs de commande où se rendre dans l’entrepôt pour prendre chaque éléments d’une commande à assembler. Une voix numérique leur donne des indications en continue à laquelle ils doivent obéir en validant d’un OK, plusieurs centaine de fois par jour. « La machine ordonne et les humains continuent de porter les produits à la force des bras ». La manutention s’est moins mécanisée qu’on le pense.

La commande vocale est apparue au début des années 2000, rappelle le sociologue. Elle est très présente dans la grande distribution, alors que le secteur du e-commerce repose lui, plus souvent, sur le Pad, une tablette que les employés portent au bras ou au poignet. Ces outils sont très normatifs. Ils renforcent les cadences. Font perdre beaucoup de savoir-faire ouvriers et individualisent le travail. Pour bien faire son travail, il faut suivre les ordres de la machine. Cela a pour conséquence première d’avoir intensifié le travail. Selon l’INRS, les cadences aurait progressé de 10 à 15% dans le secteur. Une intensification soutenue également par des primes : ceux qui suivent les cadences, qui tiennent les objectifs des machines, reçoivent des primes conséquentes. 250 à 300 euros de primes sur un Smic relève d’une forte incitation. Enfin, ces déploiements techniques produisent un très fort contrôle de l’activité. On sait en continue où sont les ouvriers, leur rythme de travail… « tant et si bien que les cadres se plaignent parfois de n’avoir plus rien à faire », rapporte le sociologue. Il y a d’autres modalités de contrôle dans la logistique, comme le GPS des camions ou désormais le développement des tapis roulants. « La commande vocale a fabriqué les ouvriers spécialisés (OS) des colis ». Mais ceux-ci se déplacent encore. Avec le retour des convoyeurs, on revient aux Temps Modernes de Chaplin, avec un travail posté, très répétitif. Quel que soit ses formes, le travail d’OS est en plein essor dans le secteur.

« Si le secteur parle beaucoup d’automatisation, celle-ci révèle bien plus d’un mirage qu’autre chose », explique David Gaborieau… Un mirage sans cesse répété et renouvelé depuis le début de l’industrialisation. La promesse de la disparition du travail physique n’est pas nouvelle, dans le secteur textile au XIXe siècle, on l’envisageait déjà. Dans la réalité, il y a très peu d’entrepôts entièrement automatisés. L’automatisation coûte chère et ne fonctionne pas toujours très bien. En réalité, la logistique concentre surtout une forte présence du travail manuel, très contrôlé. Et ce n’est pas amené à changer radicalement à l’avenir, estime le sociologue. Derrière les convoyeurs où circulent les colis, il y a d’abord des masses de travailleurs qui travaillent à la chaîne. Qui coûtent bien moins chers que des robots qui tombent trop souvent en panne.

En matière d’emploi, la logistique est l’un des secteurs qui a le plus recours à l’intérim. Le sociologue Lucas Tranchant parle d’ailleurs d’intérim de masse. On compte 25% d’intérimaires dans le secteur, contre 7% il y a 20 ans. L’intérim est structurel et fonctionne comme un système de déqualification. « En fait, quel que soit le temps que vous passez en entrepôt, celui-ci ne permet pas d’évoluer ou de se qualifier. C’est un secteur où il n’y a pas d’évolution professionnelle, pas de formation. Les 80% d’ouvriers du secteur ne peuvent pas accéder aux 20% de postes d’encadrement ». Quant à la dégradation de l’emploi, elle n’est pas très bien répartie. Les femmes sont très minoritaires dans le secteur, mais subissent les emplois les plus dégradés, comme les ouvriers d’origine étrangère. C’est également un secteur qui se masculinise fortement (80% des employés sont des hommes).

« Comment les ouvriers perçoivent-ils tout cela ? », interroge le chercheur. « Ils disent tous à la fois, qu’ils sont devenus des robots et qu’ils ne sont pas des robots. Ce terme est un moyen de désigner la perte d’autonomie et le risque de déshumanisation qu’ils vivent ». « Mais ils ont des problèmes de santé que n’auraient pas les robots ». Les problèmes de santé dans la logistique apparaissent très rapidement quand on est manutentionnaire. Ils apparaissent plus rapidement que dans le secteur automobile par exemple. Dès 4 à 5 ans de travail dans le secteur, contre 8 années dans l’automobile. L’usure accélérée des corps se caractérise par des troubles musculo–squelettiques (TMS) et des lombalgies notamment. Ces problèmes de santé spécifiques arrivent dans d’autres mondes ouvriers. Dans le secteur automobile, les ouvriers peuvent parfois évoluer vers des postes un peu plus protecteurs. Mais dans les entrepôts de la grande distribution alimentaire, où 65% des postes sont des postes de préparateurs de commande, il n’y a pas d’autres fonctions disponibles. Cela explique que, les perspectives professionnelles des OS de la logistique, « c’est d’en sortir », de ne pas rester trop longtemps pour ne pas s’abimer la santé.

Les ouvriers de la logistique n’en ont pas moins une forte contre-culture ouvrière. Dans les entretiens menés, on constate une forte distinction entre « nous et eux », distinguant le monde ouvrier du monde de l’encadrement. Dans les entrepôts, on voit beaucoup de scènes de solidarité, de micro-résistances conflictuelles… On bouscule le chef d’équipe, on se moque de la commande vocale… On trouve même une part importante de vol, relativement tolérée, rapporte le chercheur.
La logistique contre les territoires
Le développement de la logistique a été beaucoup présentée comme une opportunité pour des territoires où les usines disparaissent. Le problème, c’est que les entrepôts du tertiaire sont plus coûteux socialement que les usines. L’emploi y est plus dégradé. Les entrepôts ont un coût plus élevé pour les territoires en termes d’infrastructures routières, de coûts environnementaux, mais également de coûts sociaux et de santé. Mais surtout, « les activités logistiques sont très labiles : elles se déplacent très vites ». Si le cours du pétrole évolue, on peut déplacer un entrepôt bien plus rapidement qu’une usine.

Les entrepôts sont un terrain de lutte très convoité, rappelle Gaborieau. Les Gilets jaunes en ont beaucoup bloqué pour tenter de bloquer les flux. Pour autant, le secteur n’est pas très syndiqué (le taux de syndication est de 4%, contre 10% dans l’ensemble du monde ouvrier) notamment parce que les établissements sont souvent petits, et que la précarité et l’intérim rendent la syndicalisation difficile. D’autant que les syndicats sont parfois à cheval à plusieurs secteurs (commerce, logistique, transport). Reste que la syndicalisation progresse. Les conflits aussi. « Ce secteur est une cocotte-minute qui pourrait déborder à un moment ou autre ». D’autant que les luttes des ouvriers du secteur, viennent en croiser d’autres, écologiques notamment, contre le développement routier et autoroutier, et contre les projets de développement des entrepôts eux-mêmes. Les citoyens se mettent à réfléchir à l’utilité sociale des entrepôts, à l’image de l’opposition contre le projet Greendock qui se présente comme le nouveau corridor logistique sur la Seine. Ces contestations citoyennes et sociales se développent avec le développement de l’emprise urbaine des entrepôts. Chaque année, on construit 2 millions de m2 d’entrepôts en France : autant que de surface de bureaux.

Dans les luttes, un faux paradoxe apparaît, celui de l’emploi. Les entrepôts prennent beaucoup de place mais proposent, proportionnellement, peu d’emploi. L’emploi est d’ailleurs souvent le prétexte que mobilisent élus, promoteurs et responsables d’entreprises pour pousser à leur développement. En vérité, les entrepôts bougent beaucoup. Non seulement ils participent à créer des friches, mais également des dégâts sociaux, car ces déplacements ont un impact sur les ouvriers. La durée de vie d’un entrepôt est assez basse, à Marseille, l’entrepôt ID logistics implanté dans les quartiers Nord, a été déplacé à 135 kilomètres à peine 3 ans après son ouverture. Enfin, ces entrepôts ne sont pas que des usines à colis, ils sont surtout des « usines à camion ». Le fret ferroviaire ou fluvial pourrait paraître comme une solution, mais tant que le fret routier restera si peu cher et disponible, rien ne changera (et ce, alors que le fret ferroviaire est en plein démembrement). Au Havre, le développement du fret ferroviaire volontariste n’a pas pris. « Les coûts logistiques sont si bas qu’ils rendent difficiles de penser la relocalisation à moins de l’encadrer plus sérieusement qu’elle n’est ». Dans les rapprochements entre luttes écologiques et sociales, on voit naître des contre-projets promouvant une logistique utile, comme le contre-projet à Greendock ou le contre-projet à l’A69. Reste que l’Île-de-France ne peut pas se passer d’approvisionnement. Seuls les ouvriers de ces secteurs peuvent aider à créer et penser des contre-projets, conclut le chercheur.
La convergence des luttes par l’exemple
L’un des militants sur scène, rappelle qu’en Essonne, l’emprise logistique s’est accélérée. L’urbanisation galopante à fait fleurir une France moche. Les entrepôts, après avoir conquis le péri-urbain, colonisent désormais le Sud de l’Essonne rurale. Dans son livre, Nos lieux communs, l’écrivain Michel Bussi, dépeint le développement incontrôlé du capitalisme sur les territoires, plus subit qu’accéléré par les responsables politiques locaux. Partout, on bétonne. Partout, on bitume… dans un non-sens écologique qui aggrave les conflits d’usages à toutes les échelles. Avec les agriculteurs comme avec les riverains, avec les salariés, comme avec les écologistes.

Pour Julien conducteur de train et responsable à l’Union syndicale des transports, le démantèlement du fret ferroviaire ne va pas améliorer la situation. Pour lui, il est essentiel de lutter pour améliorer les conditions de travail des travailleurs et défendre la notion de service public pour le transport de marchandise comme de voyageurs. « Nous devrions lutter pour un grand service public des transports et de la distribution multimodale, afin de sortir la logistique de sa logique de profits délétère et répondre aux enjeux écologiques auxquels le capitalisme ne sait pas répondre ».

Anne, de Solidaires Sud Emploi, rappelle que dans le secteur de la logistique, « on voit de moins en moins des emplois. Seulement du travail ». Contrairement à ce qu’on entend, la mécanisation recule et la manutention explose. Le secteur, désormais, recrute via des sociétés d’insertion des gens qui n’ont jamais travaillé. « Ce n’est plus de l’insertion par l’emploi, mais de l’insertion par le travail ». Ils filent à l’entrepôt comme on allait à la mine, sans formation. Les contrats sont très courts. Le secteur abuse des carences, pour permettre aux ouvriers épuisés de se remettre de leurs problèmes de santé entre deux contrats. Les demande de travail handicapé augmentent. Le travail logistique casse physiquement ses salariés et pose la question collective de ce que nous ferons d’eux quand ils ne pourront plus faire ce métier.

Une personne dans le public vient prendre la parole pour l’association des « Vergers vivants de Lieusaint », une association pour défendre les vergers agricoles en Essonne. Longtemps, le Sud de l’Essonne a été considéré comme un territoire vide. Désormais, c’est un territoire qu’il faut valoriser. En 2020 à Saint-Pierre-du-Peray, on a récupéré un verger sans gestionnaire qu’on a tenté d’exploiter avec des bénévoles. Face à des projets de bureaux, nous sommes allés envahir le siège de l’établissement public d’aménagement, explique le défenseur du verger. Pour l’instant, le verger est toujours là du fait de notre résistance locale. Mais fasse au rouleur compresseur de « l’aménagement économique », pour combien de temps ?

Un travailleur de la logistique sans papier témoigne à son tour. Il rappelle que les conditions de travail sont très précaires et très dures : les colis sont bien souvent plus lourds qu’on ne pense. Pour lui, ce secteur ressemble à l’esclavage. On y menace les gens, notamment les plus précaires qui craignent de ne plus pouvoir travailler s’ils défendent leurs droits. Il rigole en évoquant les robots. Pendant un an, ils ont tenté de les mettre dans l’entrepôt où il travaillait : « ça n’a jamais marché ! » Olivier pour la CGT évoque lui aussi l’esclavage en évoquant les conditions de travail du secteur. En 2022, il y aurait eu 1700 déclarations d’accident de travail pour le seul entrepôt d’Amazon à Bretigny-sur-Orge, « même si, Amazon, socialement, c’est peut-être le moins pire ». Le turnover s’envole. Les syndicats n’ont pas même le temps d’installer les choses que tout est à recommencer. A Amazon, l’intérim, n’est plus à 26%, mais à 33% désormais. « Du boulot de merde, il y en a », rappelle le syndicaliste. Et le pire est que bien des gens en ont besoin.

Joseph, salarié d’Amazon et représentant syndical explique que oui, la logistique créé des emplois. « Quand l’entrepôt d’Amazon à ouvert à Bretigny en août 2020, il y avait 600 salariés en CDI. En 2024, ils sont 4700 ». Le reste (soit plus de 2300), ce sont des intérimaires. Le site fonctionne avec 5 équipes qui se relaient 24h/24, semaine et week-end compris. Le Conseil départemental dans son soutien au développement du secteur ne regarde que la création d’emplois, pas ce qu’il se passe à l’intérieur. Amazon a réalisé 4 milliards de bénéfices. La logistique génère beaucoup de richesses, mais pas pour ses ouvriers. Un autre militant évoque le développement d’une formation dédiée, lancée par Amazon, en apprentissage. Mais il est difficile d’envoyer de « la chair à patron » dans ces formations d’exécutants. Comme le rappelait le reportage du magazine Complément d’enquête sur les formations déployées par les grandes enseignes : bien souvent, la formation y est inexistante.

Un représentant de « La voie du village », association d’habitants d’Evry pour améliorer la qualité de vie, rappelle que la Vallée de la Seine est un territoire très convoité, en très forte densification, où l’aménagement est souvent imposé sans concertation. Il dénonce le risque de transformer la Seine en autoroute fluviale, pour acheminer des conteneurs et du vrac depuis Rouen ou Le Havre. « Les bords de Seine ne sont plus considérés comme des espaces naturels, mais des opportunités de dessertes, au détriment du bien-être des habitants ». Pourtant, rappelle-t-il, l’État joue un rôle très important dans ces aménagements, notamment via les établissements publics qu’il met en place pour prélever le foncier tout le long du fleuve. « Les bords de Seine qui sont un endroit gratuit et accessibles à tous, sont menacés de devenir bientôt inaccessibles aux habitants ». Un autre habitant témoigne à son tour : « une politique publique alternative est à construire ». Le problème, c’est que nous n’en prenons pas le chemin. Le démantèlement du fret ferroviaire, la spéculation sur les zones de triage très convoitées pourraient bien durablement interdire toute perspective d’alternative au tout routier.

La grande diversité des témoignages, rappelait la complexité des enjeux. Derrière l’ogre logistique, ce sont nos lieux de vies qui sont menacés. Contrairement à ce que l’on pense souvent, le sort des ouvriers du flux est profondément lié à celui des bourgeois qui vivent sur les bords de Seine. Le développement du territoire impacte la vie de tous.

Hubert Guillaud

17 January 2025

7:00
Spotify, la machine à humeur
sur Dans les algorithmes

Cela fait des années que la journaliste indépendante Liz Pelly observe Spotify. Son essai, Mood Machine: The Rise of Spotify and the Costs of the Perfect Playlist (Simon & Schuster, 2025) estime que la musique est devenue un utilitaire plus qu’un art. Pour les fans de musique, le streaming est, malheureusement, un « produit spectaculaire » : « un jukebox universel et infini ».  Pour les musiciens cependant, Spotify a été une menace plus existentielle que la révolution du partage de fichiers qui l’a précédée, car le streaming, lui, a reçu le vernis de la légitimité, explique le Washington Post dans sa critique du livre. Mais Spotify a surtout détourné les bénéfices de la musique a son profit, tout en préparant le terrain pour remplacer les musiciens par de la musique générée par l’IA. Le secteur d’ailleurs s’y prépare : un récent rapport de la Confédération internationale des sociétés d’auteurs et compositeurs (Cisac) annonce la chute de la rémunération des artistes et le déferlement à venir de la musique générée par IA
La musique, une activité purement fonctionnelle
Liz Pelly rappelle que les origines de Spotify plongent directement dans The Pirate Bay, l’emblème du téléchargement illégal de musique du début des années 2000, notamment parce que le service était une réponse au comportement des gens et à l’envolée du téléchargement illégal. Pour le fondateur de Spotify, la musique a été considérée comme Amazon a considéré les livres : un cheval de Troie pour exploiter les clients. La recette de la suprématie auditive de Spotify a surtout reposé sur les playlists, spécifiques, homogènes et de plus en plus automatisées, descendant monotone de la radio commerciale et des musiques d’ambiance. Nos habitudes d’écoute culturelles ont été peu à peu déformées par la domination de Spotify. « Les auditeurs ont été encouragés à aborder la musique comme une activité purement fonctionnelle – pour dormir, étudier ou meubler un lieu public – sans avoir à fournir aucun investissement particulier dans des artistes individuels et identifiables ». En fait, Spotify vise avant tout à maintenir ses clients dans leur zone de confort. Spotify incarne « un modèle de créativité axé sur le service client qui conduit à une stagnation esthétique », explique Pelly. Le « son Spotify » ressemble à la décoration des appartements sur Airbnb, partout identique.

« À quel moment un système de recommandation cesse-t-il de recommander des chansons et commence-t-il à recommander une idée complète de la culture ? » demande Pelly. Spotify préfère que vous vous engagiez de la manière la plus passive et la plus distraite possible. Comme en politique, les superstructures panoptiques fonctionnent mieux lorsque leurs sujets ne leur accordent pas trop d’attention. Comme l’aurait dit un jour Daniel Ek, le fondateur de Spotify, « notre seul concurrent est le silence ». Dans le New Yorker, le prof de littérature Hua Hsu qui discute du même livre, parle d’un syndrome Spotify comme d’un syndrome de Stockholm. « Tout comme nous entraînons l’algorithme de Spotify avec nos goûts et nos dégoûts, la plateforme semble, elle, nous entraîner à devenir des auditeurs 24 heures sur 24 ». Pelly soutient, en fait, que la plus grande innovation de Spotify a été sa compréhension de l’affect, de la façon dont nous nous tournons vers la musique pour nous remonter le moral ou nous calmer, nous aider à nous concentrer sur nos devoirs ou simplement nous dissocier. Contrairement aux maisons de disque, son but n’était pas de nous vendre un tube dont on se lasse, mais de nous vendre un environnement sonore permanent. Quand on écoutait MTV ou la radio, nous pouvions parfois tomber sur quelque chose de différent ou d’inconnu. Désormais, la personnalisation « laisse présager d’un avenir sans risque, dans lequel nous ne serons jamais exposés à quoi que ce soit que nous ne voudrions pas entendre ». Sur Spotify, « les sons flottent en grande partie sans contexte ni filiation ». Les artistes y sont finalement assez invisibles. La musique décontextualisée de son histoire.

Internet était censé libérer les artistes de la monoculture, en offrant les conditions pour que la musique circule de manière démocratique et décentralisée. Certes, elle circule plus que jamais, mais la monoculture, elle, s’est terriblement renforcée.
Spotify, une ubérisation comme les autres
Dans les bonnes feuilles du livre que publie Harpers, Pelly évoque une autre dimension des transformations qu’a produit la plateforme, non pas sur les utilisateurs et clients, mais sur la musique et les musiciens eux-mêmes. Elle décrit les artistes fantômes de la plateforme, une polémique où les playlists populaires de Spotify semblaient se peupler de musiques de stock et d’artistes qui n’existaient pas. Pelly montre que Spotify avait en fait, malgré ses longues dénégations, bel et bien des accords avec des sociétés de productions pour produire des flux de musique moins chers. Ce programme, baptisé Perfect Fit Content (PFC, que l’on peut traduire par « contenu parfaitement adapté »), offrait des conditions de rémunération moindre et visait clairement à réduire les droits payés par Spotify aux artistes, normalisant des titres bons marchés pour remplir les playlists. « Au milieu des années 2010, le service s’est activement repositionné pour devenir une plateforme neutre, une méritocratie axée sur les données qui réécrivait les règles de l’industrie musicale avec ses playlists et ses algorithmes ». En se rendant compte que de nombreux abonnés écoutaient de la musique en fond sonore, Spotify a opté pour une solution qui lui permettait de réduire les dividendes qu’elle versait au majors (représentant quelques 70% de ses revenus) afin de devenir bénéficiaire. Pour cela, elle a misé sur les recommandations par playlists d’humeur qui se sont peu à peu peuplées de titres PFC – et ce alors que Spotify se défend de faire des placements de chansons dans ses playlists.

De nombreuses entreprises fournissent désormais Spotify en musique libre de droits à petits budgets, au détriment d’artistes indépendants. Loin d’être la plateforme de la méritocratie musicale qu’elle prétend être, Spotify, comme bien des entreprises, « manipule secrètement la programmation pour favoriser le contenu qui améliore ses marges ». Pour les musiciens précarisés qui produisent ces musiques, cela ressemble surtout à une ubérisation à marche forcée, avec des enregistrements à la chaîne et des musiques écrites sur un coin de table pour correspondre à un style précis, qui signent des contrats avec des droits réduits. « La musique de fond est à certains égards similaire à la musique de production, un son produit en masse sur la base d’un travail à la demande, qui est souvent entièrement détenu par des sociétés de production qui le rendent facilement disponible pour la publicité, la sonorisation de magasin, la production de films… » Ce que l’on appelle « la musique de production » est d’ailleurs en plein essor actuellement, explique Pelly, notamment pour créer des fonds sonores aux micro-contenus vidéo de Youtube, Insta ou TikTok, afin d’éviter des accords de licences compliqués voire la suppression de contenus lié à la violation du droit d’auteur. Pour ces entreprises qui produisent de la musique à la chaîne, comme Epidemic Sound, la musique n’est rien d’autre qu’une « activité de données », aplanissant les différences entre les musiques, produisant un brouillage des frontières esthétiques.

Les musiciens de l’Ivors Academy, une organisation britannique de défense des auteurs-compositeurs, affirment que les « frictions » que des entreprises comme Epidemic cherchent à aplanir sont en fait des protections industrielles et de droit d’auteur durement gagnées. Nous sommes entrés dans une course au moins disant, explique un producteur. Quand ces morceaux décollent en audience, ils génèrent bien plus de revenus pour Spotity et les labels fantômes que pour leurs auteurs, par contrat. « Ce traitement de la musique comme rien d’autre que des sons de fond – comme des pistes interchangeables de playlists génériques et étiquetées en fonction de l’ambiance – est au cœur de la dévalorisation de la musique à l’ère du streaming. Il est dans l’intérêt financier des services de streaming de décourager une culture musicale critique parmi les utilisateurs, de continuer à éroder les liens entre les artistes et les auditeurs, afin de faire passer plus facilement de la musique à prix réduits, améliorant ainsi leurs marges bénéficiaires. Il n’est pas difficile d’imaginer un avenir dans lequel l’effilochage continu de ces liens érode complètement le rôle de l’artiste, jetant les bases pour que les utilisateurs acceptent la musique créée à l’aide de logiciels d’IA générative. » Epidemic Sound a déjà prévu d’autoriser ses auteurs à utiliser les outils d’IA pour générer des pistes musicales. Et Spotify, pour sa part, a fait part ouvertement de sa volonté d’autoriser la musique générée par l’IA sur la plateforme.

L’exploitation de l’IA par Spotify ne s’arrête pas là. Elle est toujours corrélée à des initiatives pour réduire les coûts, rappelle Pelly, en évoquant par exemple le Discovery Mode, un programme de promotion automatique où les artistes qui acceptent d’y participer acceptent également une redevance inférieure. Bien sûr,  Discovery Mode a attiré l’attention des artistes, des organisateurs et des législateurs et il est probable que PFC attise également les critiques… Mais « les protestations pour des taux de redevance plus élevés sont plus difficiles quand les playlists sont remplies d’artistes fantômes ».
La couverture du livre de Liz Pelly, Mood Machine.
MAJ du 27/01/2025 : Liz Pelly est en interview dans le Monde.

16 January 2025

7:00
Ralentir la traduction ?
sur Dans les algorithmes

Dans un passionnant article pour la revue Traduire, la traductrice indépendante Laura Hurot explique comment le secteur de la traduction a changé ces dernières années, sous la forme d’une ubérisation silencieuse.

Nombre d’agences de traduction imposent de travailler sur des plateformes dotées d’un système de chronométrage intégré qui évalue la productivité des traductrices et traducteurs. Mais cette accélération n’affecte pas seulement la phase traductionnelle : des agences recourent également à des systèmes de révision et de contrôle qualité en partie automatisés reposant sur des outils de catégorisation des erreurs. Ces changements conduisent à une accélération de la productivité et à une perte d’autonomie, des savoir-faire et du bien-être des traducteurs indépendants plateformisés. D’ailleurs, on ne parle plus de traduction, mais de post-édition, pour désigner une correction de traduction automatique, dont la conséquence première est de lisser les tarifs de traduction vers le bas.

Dans un article plus récent de la même revue, le collectif en chair et en os, qui défend une traduction humaine contre la généralisation des machines, souligne que dans l’édition, la traduction automatique touche d’abord certains genres littéraires dont la langue n’est pas plus facile à prendre en charge par la machine, mais des genres qui sont périphériques dans la hiérarchie culturelle et où la précarité est depuis longtemps plus forte (les secteurs de la romance, des livres pratiques, des livres pour les jeunes ou des sciences humaines sociales sont également des secteurs où les rémunérations sont moindres et les statuts plus précaires… et ils se sont précarisés avec la forte féminisation du secteur depuis les années 80). Et les auteurs de rappeler qu’“un outil développé puis déployé à des fins d’économie n’est pas qu’un outil : il est l’élément d’un système”. Et de rappeler que la traduction automatique n’a pas été conçue à des fins professionnelles mais pour produire une traduction moins chère et suffisante. Pour les acteurs de la tech, traduire un texte consiste en effet à le transposer en miroir, dans une vision purement mathématique, en remplaçant simplement un mot par un autre mot, même si désormais ces agencements sont largement statistiques. Ce n’est pourtant pas si simple, surtout quand les textes sont complexes et les langues rares, comme le pointent les limites à l’utilisation croissante d’outils de traduction automatiques pour accomplir des tâches trop complexes pour eux, comme pour remplir des formulaires de demandes d’asiles sans maîtrise de la langue, conduisant à des erreurs multiples et aux rejets massives des demandes.

Il n’y a pas que la traduction depuis des langues rares qui se révèle complexe, dans leur numéro de décembre, les Cahiers du Cinéma revenaient, à la suite d’une tribune de l’Association des traducteurs et adaptateurs de l’audiovisuel (Ataa), sur la perte de qualité des sous-titres des films, trop souvent réalisés automatiquement. Le problème n’est pas seulement économique et lié au fait que le sous-titrage ou le doublage viennent en bout de chaîne de la production, qui échappe souvent à la production, que de savoir à qui elle incombe : producteur, distributeur, diffuseur… Un conflit de responsabilité qui permet de justifier la perte de qualité. Le plus fascinant pourtant est de constater combien la traduction automatique échoue sur des phrases assez simples, même depuis l’anglais. Ainsi cet « How’s my room? » traduit par « Comment va ma chambre? » au lieu de « Où en est ma chambre?« , nous montrant toutes les limites de l’approche de la traduction statistique, qui se révèle bien moins performante qu’on ne le pense souvent.

L’observatoire de la traduction automatique rappelait récemment que sa tribune de 2023 demandant la transparence réelle des données d’entraînements de l’IA générative, la possibilité de refuser que le travail de traduction serve à l’entraînement des machines qui détruisent le métier, que les aides publiques soient exclusivement réservées aux créations humaines ou que les produits culturels créés avec de l’IA soient obligatoirement signalés… n’avait toujours reçu aucune réponse des autorités.

Signalons enfin que le 10e numéro de la revue Contrepoint, la revue du Conseil européen des associations de traducteurs littéraires, est entièrement consacré à la question de la traduction sous IA. Pour Damien Hansen, qui rappelle que la traduction automatique reste incapable de comprendre le texte, “le problème n’est pas tant l’outil en soi que le fait qu’on l’impose aux professionnels et qu’on l’emploie pour des raisons purement économiques”. Plutôt que de venir aider et soutenir le traducteur, la traduction automatique est produite pour le contraindre voire le faire disparaître. L’utilisation de l’IA comme outil de contrôle montre à nouveau que leur orientation vers des outils de contrainte plutôt que d’assistance, contrairement à ce qui nous est asséné, risque de devenir une limite forte à son développement.

Dans son article, Laura Hurot, rappelle, à la suite du livre du spécialiste de la cognition, Olivier Houdé, L’intelligence humaine n’est pas un algorithme (Odile Jacob, 2019), que la clé de l’intelligence réside certainement bien plus dans le ralentissement de la pensée plutôt que dans son accélération. A l’heure où la vitesse est une idole indétrônable, il faudrait pouvoir mieux mesurer ce qu’elle nous fait perdre.

MAJ du 26/01/2025 : Dans un passionnant article sur un secteur assez proche, le Monde revient sur les transformations du secteur du doublage et le péril imminent de l’IA. Le journal rappelle qu’aux Etats-Unis, la grève des acteurs et scénaristes de l’automne 2023 a négocié des contreparties financières en cas d’utilisation de leur image ou de leurs œuvres par une IA générative, mais pas pour le doublage vocal, qui est resté l’angle mort des négociations.

En France, les doubleurs s’inquiètent, explique l’association de défense de la profession, Les Voix. Les acteurs s’interrogent : « l’IA risque de dénaturer totalement l’énergie du jeu, née de la proximité de plusieurs comédiens dans une même pièce », lors du doublage. « Le risque économique lié à l’avènement de l’IA dans le doublage concerne directement 15 000 personnes dans l’Hexagone, dont 5 000 comédiens, le personnel de 110 studios de doublage, donc des ingénieurs du son, des assistants de production, ainsi que 2 500 auteurs-adaptateurs ». Les syndicats réclament des protections pour interdire l’utilisation du travail de doublage pour entraîner les systèmes. Mais, « pour l’heure, rien n’empêche les studios étrangers, notamment américains, de proposer des films doublés directement en français grâce à l’IA, en clonant, par exemple, les voix des acteurs américains ». L’article rappelle enfin que les protections juridiques existent… mais seront-elles suffisantes face aux contraintes économiques qu’imposent les studios ?

15 January 2025

7:01
Moraliser les machines
sur Dans les algorithmes

« L’éthique de l’IA, à l’image de l’IA, ne peut se réduire à une application de règles et de principes, elle doit se confronter aux situations vécues », rappellent les chercheurs Carlo Andrea Tassinari, Sara De Martino et Yann Ferguson dans un article de recherche sur les limites de la moralisation des machines. Les chercheurs observent les questionnements éthiques que posent des développements concrets de l’IA et montrent qu’ils sont très éloignés des enjeux universalistes et moraux que l’on retrouve le plus souvent dans les préconisations éthiques. Ils sont au contraire situés et discutés.

Comme le soulignaient déjà Antoinette Rouvroy et Manuel Zacklad dans leur article sur l’éthique située, c’est la possibilité de contester les décisions des machines qui est seule à même d’assurer leur robustesse et leur légitimité. La valeur morale n’est pas tant immanente que située et nécessite un public pour la discuter. « Une démarche éthique doit s’assurer de contribuer à la puissance d’agir des communautés concernées, c’est-à-dire garantir les modalités de leur participation aux décisions techniques qui sont aussi toujours des décisions politiques – qui les concernent », comme le dit Joëlle Zask à la suite de John Dewey. « La transcription ou l’enregistrement de la réalité sociale sous forme de données numériques ne la purge bien évidemment pas des inégalités mais les « naturalise », faisant passer les données pour des « faits » en faisant oublier que les « faits » sont toujours produits, et que les données ne traduisent jamais que les « effets » des rapports de force et des phénomènes de domination », rappellent Rouvroy et Zacklad. Les problèmes de qualité des données et d’explicabilité sont inhérents au fonctionnement de l’IA et n’ont pas de correctifs. Quant aux valeurs, les décisions à fort impact humain et social ne peuvent être réduites à des principes sous-traités à des dispositifs. Pour Rouvroy et Zacklad, l’éthique ne devrait pas viser pas à atténuer l’impact d’une technologie, mais consiste à remettre en cause les présupposés de scientificité qui justifient le recours à la technologie, par et avec le public.

7:00
Re-centralisation
sur Dans les algorithmes

« L’IA est un projet idéologique visant à déplacer l’autorité et l’autonomie des individus vers des structures de pouvoir centralisées ». Ali Alkhatib

14 January 2025

7:00
Nous avons besoin de bases partagées de ce que les modèles censurent
sur Dans les algorithmes

Le nom du professeur de droit Jonathan Zittrain fait partie des quelques noms qui sont censurés de ChatGPT. Pour The Atlantic, Zittrain explique que cette exclusion, grossière, pour laquelle il n’a pas reçu d’explication convaincante d’OpenAI, permet de saisir les enjeux du contrôle des modèles. Les interventions et les réglages de modération des modèles devraient être accessibles, car ils peuvent « représenter des jugements sociaux et moraux plutôt que de simples jugements techniques ». Nous pourrions pour se faire nous fonder sur ce qui se pratique déjà comme La base de données Lumen du Berkman Klein Center qui sert depuis longtemps de référentiel unique en temps quasi réel des modifications apportées à Google Search en raison d’exigences juridiques en matière de droits d’auteur et autres. Ou encore comme PhotoDNA , la base de données d’images pédopornographiques initiée par Microsoft en 2009 et gérée par le Centre national pour les enfants disparus et exploités (NCMEC)… Ou encore la base de données de contenus terroristes créée en 2016 par Microsoft, Youtube, Facebook et Twitter pour les identifier et faciliter leurs pratiques de modération automatisée et gérée par le Global Internet Forum to Counter Terrorism.

Si un chatbot ne dit rien de ce qu’il s’est passé sur la place Tiananmen en 1989, nous devons pouvoir comprendre pourquoi, défend Zittrain. « Ceux qui construisent des modèles ne peuvent pas être les arbitres silencieux de la vérité des modèles. »

13 January 2025

7:00
Vers un internet plein de vide ?
sur Dans les algorithmes

Sur la plupart des réseaux sociaux vous avez déjà du tomber sur ces contenus génératifs, pas nécessairement des choses très évoluées, mais des contenus étranges, qui n’ont rien à dire, qui hésitent entre développement personnel creux, blague ratée ou contenu sexy. Des vidéos qui ânonnent des textes qui ne veulent rien dire. Les spécialistes parlent de slop, de contenus de remplissages, de résidus qui peu à peu envahissent les plateformes dans l’espoir de générer des revenus. A l’image des contenus philosophiques générés par l’IA que décortique en vidéo Monsieur Phi.
IA slop : de la publicité générative à l’internet zombie
Pour l’instant, ces contenus semblent anecdotiques, peu vus et peu visibles, hormis quand l’un d’entre eux perce quelque part, et en entraîne d’autres dans son flux de recommandation, selon la logique autophagique des systèmes de recommandation. Pour l’analyste Ben Thompson, l’IA générative est un parfait moteur pour produire de la publicité – et ces slops sont-ils autre chose que des contenus à la recherche de revenus ? Comme le dit le philosophe Rob Horning : « le rêve de longue date d’une quantité infinie de publicités inondant le monde n’a jamais semblé aussi proche ». Pour Jason Koebler de 404 Media, qui a enquêté toute l’année sur l’origine de ce spam IA, celui-ci est profondément relié au modèle économique des réseaux sociaux qui rémunèrent selon l’audience que les créateurs réalisent, ce qui motive d’innombrables utilisateurs à chercher à en tirer profit. Koebler parle d’ailleurs d’internet zombie pour qualifier autant cette génération de contenu automatisée que les engagements tout aussi automatisés qu’elle génère. Désormais, ce ne sont d’ailleurs plus les contenus qui sont colonisés par ce spam, que les influenceurs eux-mêmes, notamment par le biais de mannequins en maillots de bains générés par l’IA. A terme, s’inquiète Koebler, les médias sociaux pourraient ne plus rien avoir de sociaux et devenir des espaces « où le contenu généré par l’IA éclipse celui des humains », d’autant que la visibilité de ces comptes se fait au détriment de ceux pilotés par des humains. Des sortes de régies publicitaires sous stéroïdes. Comme l’explique une créatrice de contenus adultes dont l’audience a chuté depuis l’explosion des mannequins artificiels : « je suis en concurrence avec quelque chose qui n’est pas naturel ».

Ces contenus qui sont en train de coloniser les réseaux sociaux n’ont pas l’air d’inquiéter les barons de la tech, pointait très récemment Koebler en rapportant les propose de Mark Zuckerberg. D’autant que ces contenus génératifs semblent produire ce qu’on attend d’eux. Meta a annoncé une augmentation de 8 % du temps passé sur Facebook et de 6 % du temps passé sur Instagram grâce aux contenus génératifs. 15 millions de publicités par mois sur les plateformes Meta utilisent déjà l’IA générative. Et Meta prévoit des outils pour démultiplier les utilisateurs synthétiques. Le slop a également envahi la plateforme de blogs Medium, explique Wired, mais ces contenus pour l’instant demeurent assez invisibles, notamment parce que la plateforme parvient à limiter leur portée. Un endiguement qui pourrait ne pas résister au temps. A terme, les contenus produits par les humains pourraient devenir de plus en plus difficile à trouver sur des plateformes submergées par l’IA.

On voudrait croire que les réseaux sociaux puissent finir par s’effondrer du désintérêt que ces contenus démultiplient. Il semble que ce soit l’inverse, l’internet zombie est en plein boom. Tant et si bien qu’on peut se demander, un an après le constat de l’effondrement de l’information, si nous ne sommes pas en train de voir apparaître l’effondrement de tout le reste ?
Les enjeux du remplissage par le vide
Dans sa newsletter personnelle, le chercheur et artiste Eryk Salvaggio revient à son tour sur le remplissage par l’IA, dans trois longs billets en tout point passionnants. Il souligne d’abord que ce remplissage sait parfaitement s’adapter aux algorithmes des médias sociaux. Sur Linked-in, les contenus rédigés par des LLM seraient déjà majoritaires. Même le moteur de recherche de Google valorise déjà les images et les textes générés par IA. Pour Salvaggio, avec l’IA générative toute information devient du bruit. Mais surtout, en se jouant parfaitement des filtres algorithmiques, celle-ci se révèle parfaitement efficace pour nous submerger.
Jesus Schrimp, image symbolique des eaux troubles de l’IA produisant son propre vide.
Salvaggio propose d’abandonner l’idée de définir l’IA comme une technologie. Elle est devenue un projet idéologique, c’est-à-dire que « c’est une façon d’imaginer le monde qui devient un raccourci pour expliquer le monde ». Et elle est d’autant plus idéologique selon les endroits où elle se déploie, notamment quand c’est pour gérer des questions sociales ou culturelles. « L’optimisation de la capacité d’un système à affirmer son autorité est une promesse utopique brillante des technologies d’automatisation ». « L’un des aspects de l’IA en tant qu’idéologie est donc la stérilisation scientifique de la variété et de l’imprévisibilité au nom de comportements fiables et prévisibles. L’IA, pour cette raison, offre peu et nuit beaucoup au dynamisme des systèmes socioculturels ». Les gens participent à l’idéologie de l’IA en évangélisant ses produits, en diffusant ses résultats et en soutenant ses avancées pour s’identifier au groupe dominant qui l’a produit.

La production par l’IA de contenus de remplissage nécessite de se demander à qui profite ce remplissage abscons ? Pour Salvaggio, le remplissage est un symptôme qui émerge de l’infrastructure même de l’IA qui est elle-même le résultat de l’idéologie de l’IA. Pourquoi les médias algorithmiques récompensent-ils la circulation de ces contenus ? Des productions sensibles, virales, qui jouent de l’émotion sans égard pour la vérité. Les productions de remplissage permettent de produire un monde tel qu’il est imaginé. Elles permettent de contourner tout désir de comprendre le monde car elle nous offre la satisfaction immédiate d’avoir un « sentiment sur le monde ». « L’AI Slop est un signal vide et consommé passivement, un symptôme de « l’ère du bruit », dans lequel il y a tellement de « vérité » provenant de tant de positions que l’évaluation de la réalité semble sans espoir. »
Notre désorientation par le vide
Eryk Salvaggio se demande même si le but de l’IA n’est pas justement de produire ce remplissage. Un remplissage « équipé », « armé », qui permet d’essaimer quelque chose qui le dépasse, comme quand l’IA est utilisée pour inonder les réseaux de contenus sexuels pour mieux essaimer le regard masculin. Les productions de l’IA permettent de produire une perspective, un « regard en essaim » qui permet de manipuler les symboles, de les détourner. « Les images générées par l’IA offrent le pouvoir de façonner le sens dans un monde où les gens craignent l’impuissance et l’absence de sens en les invitant à rendre les autres aussi impuissants et dénués de sens qu’eux ». Ces images « diminuent la valeur de la réalité », suggère brillamment Salvaggio. Elles créent « une esthétisation », c’est-à-dire rend la représentation conforme à un idéal. La fonction politique de ce remplissage va bien au-delà des seules représentations et des symboles, suggère-t-il encore. L’IA appliquée aux services gouvernementaux, comme les services sociaux, les transforme à leur tour « en exercice esthétique ». Notre éligibilité à une assurance maladie ou à une couverture sociale n’est pas différente de l’IA Slop. C’est cette même infrastructure vide de sens qui est pointée du doigt par ceux qui s’opposent à l’algorithmisation de l’Etat que ceux qui fuient les boucles de rétroactions délétères des médias sociaux.

Le projet DOGE d’Elon Musk, ce département de l’efficacité gouvernementale qui devrait proposer un tableau de bord permettant aux internautes de voter pour éliminer les dépenses publiques les plus inutiles, semble lui-même une forme de fusion de médias sociaux, d’idéologie de l’IA et de pouvoir pour exploiter le regard en essaim de la population et le diriger pour harceler les fonctionnaires, réduire l’État providence autour d’une acception de l’efficacité ultra-réductrice. Au final, cela produit une forme de politique qui traite le gouvernement comme une interface de médias sociaux, conçue pour amplifier l’indignation, intimider ceux qui ne sont pas d’accord et rendre tout dialogue constructif impossible. Bienvenue à la « momusocratie« , le gouvernement des trolls, de la raillerie, explique Salvaggio, cette Tyrannie des bouffons chère à l’essayiste Christian Salmon.

Mais encore, défend Salvaggio, le déversement de contenus produit par l’IA générative promet un épuisement du public par une pollution informationnelle sans précédent, permettant de perturber les canaux d’organisation, de réflexion et de connexion. « Contrôlez le filtre permet de l’orienter dans le sens que vous voulez ». Mais plus que lui donner un sens, la pollution de l’information permet de la saturer pour mieux désorienter tout le monde. Cette saturation est un excellent moyen de garantir « qu’aucun consensus, aucun compromis, ou simplement aucune compréhension mutuelle ne se produise ». Cette saturation ne vise rien d’autre que de promouvoir « la division par l’épuisement ». « Le remplissage est un pouvoir ».

« L’idéologie de l’IA fonctionne comme une croyance apolitique trompeuse selon laquelle les algorithmes sont une solution à la politique » qui suppose que les calculs peuvent prendre les décisions au profit de tous alors que leurs décisions ne sont qu’au profit de certains, en filtrant les données, les idées, les gens qui contredisent les résultats attendus. Alors que l’élection de Trump éloigne les enjeux de transparence et de régulation, l’IA va surtout permettre de renforcer l’opacité qui lui assure sa domination.
Vers un monde sans intérêt en boucle sur lui-même
Dans la dernière partie de sa réflexion, Salvaggio estime que le remplissage est un symptôme, mais qui va produire des effets très concrets, des « expériences désintéressées », c’est-à-dire des « expériences sans intérêt et incapables de s’intéresser à quoi que ce soit ». C’est le rêve de machines rationnelles et impartiales, omniscientes, désintéressées et qui justement ne sont capables de s’intéresser à rien. Un monde où l’on confie les enfants à des tuteurs virtuels par soucis d’efficacité, sans être capable de comprendre tout ce que cette absence d’humanité charrie de délétère.

L’IA s’est construite sur l’excès d’information… dans le but d’en produire encore davantage. Les médias sociaux ayant été une grande source de données pour l’IA, on comprend que les contenus de remplissage de l’IA soient optimisés pour ceux-ci. « Entraînée sur du contenu viral, l’IA produit du contenu qui coche toutes les cases pour l’amplification. Le slop de l’IA est donc le reflet de ce que voient nos filtres de médias sociaux. Et lorsque les algorithmes des médias sociaux en reçoivent les résultats, il les reconnaît comme plus susceptibles de stimuler l’engagement et les renforce vers vers les flux (générant plus d’engagement encore). »  Dans le tonneaux des Danaïdes de l’amplification, l’IA slop est le fluidifiant ultime, le contenu absurde qui fait tourner la machine sans fin.

Combattre ce remplissage par l’IA n’est une priorité ni pour les entreprises d’IA qui y trouvent des débouchés, ni pour les entreprises de médias sociaux, puisqu’il ne leur porte aucun préjudice. « Les contenus de remplissage de l’IA sont en fait la manifestation esthétique de la culture à médiation algorithmique » : « ils sont stylisés à travers plus d’une décennie d’algorithmes d’optimisation qui apprennent ce qui pousse les gens à s’engager ».

Face à ces contenus « optimisés pour performer », les artistes comme les individus qui ont tenté de partager leur travail sur les plateformes sociales ces dernières années ne peuvent pas entrer en concurrence. Ceux qui ont essayé s’y sont vite épuisés, puisqu’il faut tenir d’abord le rythme de publication infernal et infatigable que ces systèmes sont capables de produire.
Dépouiller les symboles de leur relation à la réalité
« Les images générées par l’IA peuvent être interprétées comme de l’art populaire pour servir le populisme de l’IA ». Elles visent à « dépouiller les symboles de leur relation à la réalité » pour les réorganiser librement. Les gens ne connaissent pas les films mais ont vu les mèmes. Le résultat de ces images est souvent critiqué comme étant sans âme. Et en effet, le texte et les images générés par l’IA souffrent de l’absence du poids du réel, dû à l’absence de logique qui préside à leur production.

« L’ère de l’information est arrivée à son terme, et avec elle vient la fin de toute définition « objective » et « neutre » possible de la « vérité ». » L’esthétique du remplissage par l’IA n’est pas aléatoire, mais stochastique, c’est-à-dire qu’elle repose sur une variété infinie limitée par un ensemble de règles étroites et cohérentes. Cela limite notre capacité à découvrir ou à inventer de nouvelles formes de culture, puisque celle-ci est d’abord invitée à se reproduire sans cesse, à se moyenniser, à s’imiter elle-même. Les images comme les textes de l’IA reflètent le pouvoir de systèmes que nous avons encore du mal à percevoir. Ils produisent des formes de vérités universalisées, moyennisées qui nous y enferment. Comme dans une forme d’exploitation sans fin de nos représentations, alors qu’on voudrait pouvoir en sortir, comme l’expliquait dans une note pour la fondation Jean Jaurès, Melkom Boghossian, en cherchant à comprendre en quoi les algorithmes accentuent les clivages de genre. Comme s’il devenait impossible de se libérer des contraintes de genres à mesure que nos outils les exploitent et les renforcent. Cet internet de contenus absurde n’est pas vide, il est plein de sens qui nous échappent et nous y engluent. Il est plein d’un monde saturé de lui-même.

A mesure que l’IA étend son emprise sur la toile, on se demande s’il restera encore des endroits où nous en serons préservés, où nous pourrons être mis en relation avec d’autres humains, sans que tout ce qui encode les systèmes ne nous déforment.
Du remplissage à la fin de la connaissance
Dans une tribune pour PubliBooks, la sociologue Janet Vertesi estime que les recherches en ligne sont devenues tellement chaotiques et irrationnelles, qu’elle a désormais recours aux dictionnaires et encyclopédies papier. « Google qui a fait fortune en nous aidant à nous frayer un chemin sur Internet se noie désormais dans ses propres absurdités générées par elle-même ». Nous voici confrontés à un problème d’épistémologie, c’est-à-dire de connaissance, pour savoir ce qui est réel et ce qui ne l’est pas. Au XXe siècle, les philosophes ont définis la connaissance comme une croyance vraie justifiée. La méthode scientifique était le moyen pour distinguer la bonne science de la mauvaise, la vérité du mensonge. Mais cette approche suppose souvent qu’il n’y aurait qu’une seule bonne réponse que nous pourrions connaître si nous adoptons les bonnes méthodes et les bons outils. C’est oublier pourtant que la connaissance ne sont pas toujours indépendantes de l’expérience. Ludwig Wittgenstein a utilisé la figure du canard-lapin pour montrer comment des personnes rationnelles pouvaient en venir à avoir des points de vue irréconciliablement différents sur une même réalité. Les épistémologues se sont appuyés sur cette idée pour montrer que les personnes, selon leurs positions sociales, ont des expériences différentes de la réalité et que la connaissance objective ne pouvait naître que de la cartographie de ces multiples positions. Les sociologues de la connaissance, eux, examinent comment différents groupes sociaux en viennent à légitimer différentes manières de comprendre, souvent à l’exclusion des autres. Cela permet de comprendre comment différents faits sociaux circulent, s’affrontent ou se font concurrence, et pourquoi, dans les luttes pour la vérité, ceux qui détiennent le pouvoir l’emportent si souvent… Imposant leur vérités sur les autres.

Mais ces questions ne faisaient pas partie des préoccupations de ceux qui ont construit internet, ni des systèmes d’IA générative qui s’en nourrissent. Depuis l’origine, internet traite toutes les informations de manière égale. Le réseau ne consiste qu’à acheminer des paquets d’informations parfaitement égaux entre eux, rappelle la sociologue. A cette neutralité de l’information s’est ajoutée une autre métaphore : celle du marché des idées, où chaque idée se dispute à égalité notre attention. Comme dans le mythe du libre marché, on a pu penser naïvement que les meilleures idées l’emporteraient. Mais ce régime épistémique a surtout été le reflet des croyances de l’Amérique contemporaine : un système de connaissance gouverné par une main invisible du marché et entretenue par des conservateurs pour leur permettre de générer une marge bénéficiaire.

« Pourtant, la connaissance n’est pas une marchandise. La « croyance vraie justifiée » ne résulte pas non plus d’une fonction d’optimisation. La connaissance peut être affinée par le questionnement ou la falsification, mais elle ne s’améliore pas en entrant en compétition avec la non-connaissance intentionnelle. Au contraire, face à la non-connaissance, la connaissance perd. »  L’interrogation du monde par des mécanismes organisés, méthodiques et significatifs – comme la méthode scientifique – peut également tomber dans le piège des modes de connaissance fantômes et des impostures méthodologiques. « Lorsque toute information est plate – technologiquement et épistémologiquement – il n’y a aucun moyen d’interroger sa profondeur, ses contours ou leur absence ». En fait, « au lieu d’être organisé autour de l’information, l’Internet contemporain est organisé autour du contenu : des paquets échangeables, non pondérés par la véracité de leur substance. Contrairement à la connaissance, tout contenu est plat. Aucun n’est plus ou moins justifié pour déterminer la vraie croyance. Rien de tout cela, au fond, n’est de l’information. »

« En conséquence, nos vies sont consumées par la consommation de contenu, mais nous ne reconnaissons plus la vérité lorsque nous la voyons. Et lorsque nous ne savons pas comment peser différentes vérités, ou coordonner différentes expériences du monde réel pour regarder derrière le voile, il y a soit une cacophonie, soit un seul vainqueur : la voix la plus forte qui l’emporte. »

Contrairement à Wikipédia, encore relativement organisé, le reste du Web est devenu la proie de l’optimisation des moteurs de recherche, des technologies de classement et de l’amplification algorithmique, qui n’ont fait que promouvoir le plus promouvable, le plus rentable, le plus scandaleux. « Mais aucun de ces superlatifs n’est synonyme de connaissance ». Les systèmes qui nous fournissent nos informations ne peuvent ni mesurer ni optimiser ce qui est vrai. Ils ne s’intéressent qu’à ce sur quoi nous cliquons. Et le clou dans le cercueil est enfoncé par l’intelligence artificielle qui « inonde Internet de contenu automatisé plus rapidement que l’on ne peut licencier une rédaction ». Dans ce paysage sous stéroïdes, aucun système n’est capable de distinguer la désinformation de l’information. Les deux sont réduits à des paquets de même poids cherchant leur optimisation sur le marché libre des idées. Et les deux sont ingérés par une grande machinerie statistique qui ne pèse que notre incapacité à les distinguer.

Aucun système fondé sur ces hypothèses ne peut espérer distinguer la « désinformation » de « l’information » : les deux sont réduites à des paquets de contenu de même valeur, cherchant simplement une fonction d’optimisation dans un marché libre des idées. Et les deux sont également ingérées dans une grande machinerie statistique, qui ne pèse que notre incapacité à les discerner. Le résultat ne promet rien d’autre qu’un torrent indistinct et sans fin, « où la connaissance n’a jamais été un facteur et d’où la connaissance ne peut donc jamais émerger légitimement ». « Sans topologie de l’information, nous sommes à la dérive dans le contenu, essayant en vain de naviguer dans une cascade d’absurdités sans boussole ».

« Il est grand temps de revenir à ces méthodes et à ces questions, aux milliers d’années de gestion de l’information et d’échange de connaissances qui ont transmis non seulement des faits ou du contenu, mais aussi une appréciation de ce qu’il faut pour faire émerger des vérités », plaide Vertesi. « Il n’est pas nécessaire que ce soit un projet colonial ou réductionniste. Les connaissances d’aujourd’hui sont plurielles, distribuées, issues de nombreux lieux et peuples, chacun avec des méthodes et des forces d’ancrage uniques. Cela ne signifie pas non plus que tout est permis. Le défi consiste à s’écouter les uns les autres et à intégrer des perspectives conflictuelles avec grâce et attention, et non à crier plus fort que les autres ».

« Alors que nos vies sont de plus en plus infectées par des systèmes d’IA maladroits et pilleurs et leurs flux hallucinatoires, nous devons apprendre à évaluer plutôt qu’à accepter, à synthétiser plutôt qu’à résumer, à apprécier plutôt qu’à accepter, à considérer plutôt qu’à consommer ».

« Notre paysage technologique contemporain exige de toute urgence que nous revenions à une autre des plus anciennes questions de toutes : « Qu’est-ce qui est vraiment réel ? » »

10 January 2025

8:05
Pour une IA favorable aux travailleurs
sur Dans les algorithmes

« Lorsqu’une technologie ne permet pas encore d’améliorer significativement la productivité, son déploiement massif en remplacement des travailleurs humains aboutit à tous les inconvénients, sans aucun avantage. » Daron Acemoglu

8:00
Internet n’explique rien
sur Dans les algorithmes

« Internet est plus doué pour raconter des histoires que pour donner du sens ». « Notre quête d’un motif, d’une explication, ne va bien souvent nulle part ». Charlie Warzel « Nous avons atteint la fin d’Internet en tant que système d’information ». Ian Bogost.

7:30
Les avantages sociaux du privé… ne durent pas
sur Dans les algorithmes

Le monde de la tech a longtemps été célèbre pour ses avantages sociaux extravagants et tape à l’œil, comme les cantines exotiques ou les salons de massages. Des commodités fantaisistes, luxueuses ou pro-sociales généreuses. Mais discrètement, ces avancées ont partout reculé, rapporte le New York Times. Netflix a toujours un congé parental généreux, mais l’entreprise a invité ses employés à moins l’utiliser. Les cuisines exotiques et artisanales de Google ont fermé. Même le télétravail a reflué. Et avec les licenciements massifs du secteur (254 000 emplois en 2023, 100 000 en 2022), les travailleurs de la technologie ont peut-être perdu leur plus grand avantage : la sécurité de l’emploi.

7:00
De notre éblouissement
sur Dans les algorithmes

Ce que le passage aux phares LED a changé.

09 January 2025

7:00
L’IA n’est qu’un miroir
sur Dans les algorithmes

Dans son livre, The AI mirror (Oxford university press, 2024), la philosophe Shannon Vallor de l’Edinburgh Futures Institute, compare l’IA au Cloud Gate, cette sculpture monumentale de l’artiste Anish Kapoor qui se trouve à l’extérieur, dans la ville de Chicago, et qui ressemble à un miroir en forme de haricot géant. Quand on regarde le monde depuis ce miroir, tout y est déformé, selon l’endroit d’où on regarde. Parfois les choses sont agrandies, d’autres fois rétrécies ou tordues. Cela rappelle l’apprentissage automatique, « reflétant les modèles trouvés dans nos données, mais d’une manière qui n’est jamais neutre ou « objective » », explique la spécialiste de l’IA. Une métaphore qui est devenue la base de ses cours et de son livre, rapporte Fast Company. « Les miroirs de l’IA nous ressemblent beaucoup parce qu’ils reflètent leurs entrées et leurs données d’entraînement, avec tous les biais et particularités que cela implique. Et alors que d’autres métaphores pour désigner l’IA peuvent donner l’impression que nous sommes confrontés à une intelligence vivante (comme les perroquets stochastiques), celle du miroir semble plus approprié parce qu’elle montre que l’IA n’est pas sensible, juste une surface plane et inerte, nous captivant avec ses illusions de profondeur délirantes ». Avec le risque, que comme Narcisse, notre propre humanité soit sacrifiée à ce reflet. « Les systèmes d’IA peuvent refléter une image du comportement ou des valeurs humaines, mais, ils ne connaissent pas plus l’expérience vécue de la pensée et du sentiment que nos miroirs de chambre à coucher ne connaissent nos maux et nos douleurs intérieures ». Nos machines n’optimisent que l’efficacité et le profit, au risque de perdre de vue toutes les autres valeurs.

Dans Vox, la philosophe expliquait que le risque existentiel de l’IA n’est pas qu’elle nous submerge, mais qu’elle nous manipule et nous fasse renoncer à notre propre pouvoir, à notre autonomie et notre liberté, qu’on pense que nous devrions confier notre avenir à l’IA parce qu’elle serait plus rationnelle ou objective. Le problème fondamental du sens de l’existence c’est que nous devons le créer nous-mêmes, l’autofabriquer disait le philosophe José Ortega y Gasset. Or, la rhétorique autour de la puissance de l’IA nous invite à renoncer à notre liberté. La technologie ne peut pas nous servir à tomber dans un profond anti-humanisme. « Il y a une sorte de vide dans le transhumanisme en ce sens qu’il ne sait pas ce que nous devons souhaiter, il souhaite juste avoir le pouvoir de créer autre chose – de créer la liberté de dépasser notre corps, la mort, nos limites. Mais il s’agit toujours de liberté de, mais jamais de liberté pour. Liberté pour quoi ? Quelle est la vision positive vers laquelle nous voulons nous diriger ? (…) Pour moi, cette abstraction – l’idée d’une morale universelle pure selon laquelle des créatures qui sont complètement différentes de nous pourraient d’une manière ou d’une autre faire mieux que nous – je pense que cela ne fait que méconnaître fondamentalement ce qu’est la moralité. »

« Nous devons reconstruire notre confiance dans les capacités des humains à raisonner avec sagesse, à prendre des décisions collectives », explique-t-elle encore dans une interview pour Nautil.us. « Nous ne parviendrons pas à faire face à l’urgence climatique ou à la fracture de la démocratie si nous ne parvenons pas à réaffirmer notre confiance dans la pensée et le jugement humains, alors que toute la pensée de l’IA va à l’encontre de cela ». L’IA n’est que le miroir de la performance humaine, pas son dépassement. Elle est très douée pour faire semblant de raisonner.

Geoffrey Hinton a suggéré qu’un LLM peut avoir des sentiments. Mais il n’y parvient qu’en supprimant le concept d’émotion et en le transformant en simple réaction comportementaliste. « À partir de là, il devient très facile d’affirmer une parenté entre les machines et les humains, car vous avez déjà transformé l’humain en une machine sans esprit. » L’intelligence n’est pas ce que nous faisons, rappelle Vallor. Pour Sam Altman, l’AGI est une machine qui peut effectuer toutes les tâches économiquement utiles que les humains font. « Tout ce que nous avons comme objectif de l’IA générale, c’est quelque chose par lequel votre patron peut vous remplacer », ironise la philosophe. « Il peut être aussi insensé qu’un grille-pain, à condition qu’il puisse faire votre travail. Et c’est ce que sont les LLM : ce sont des grille-pain insensés qui font beaucoup de travail cognitif sans réfléchir ».

« Ce qui nous déroute, c’est que nous pouvons ressentir des émotions en réponse à une œuvre d’art générée par l’IA. Mais ce n’est pas surprenant, car la machine renvoie des permutations des modèles que les humains ont créés (…) et notre réponse émotionnelle n’est pas codée dans le stimulus, mais construite dans nos esprits ». Mais en tant qu’humains, nous ne sommes pas enfermés dans les modèles que nous avons ingérés, nous pouvons par exemple affirmer de nouvelles revendications morales.

Dans la Silicon Valley, l’efficacité est une fin en soi. Mais il n’y a pas de solution efficace au problème de la justice, rappelle la philosophe. Les thuriféraires de l’IA cherchent surtout à justifier le fait de priver les humains de leur capacité à se gouverner eux-mêmes. Le risque, c’est que par leurs excès, ils encouragent surtout les humains à s’éloigner de la technologie et à en provoquer le rejet. « Les outils ont été des instruments de notre libération, de notre création, de meilleures façons de prendre soin les uns des autres et des autres formes de vie sur cette planète, et je ne veux pas laisser passer cela, pour renforcer cette division artificielle entre l’humanité et les machines. La technologie, à la base, peut être une activité aussi humaine que n’importe quelle autre. Nous venons de perdre ce lien. »
La couverture du livre de Shannon Vallor, AI mirror.

08 January 2025

7:00
Pour une IA coopérative
sur Dans les algorithmes

Aujourd’hui, presque toutes les étapes du développement des modèles d’IA, de l’infrastructure de calcul aux données de formation, sont contrôlées par une poignée de grandes entreprises technologiques, rappelle la chercheuse Sarah Hubbard dans une tribune pour le Ash Center pour la gouvernance démocratique et l’innovation de Harvard. Pour que l’IA serve mieux l’intérêt public, il nous faut penser une propriété alternative et des structures de gouvernance plus partagées, défend-t-elle, en proposant de mieux explorer le modèle coopératif. A l’heure où la concentration des infrastructures est toujours plus forte, nous devrions promouvoir des alternatives pour rétablir de la concurrence, à l’image des projets coopératifs  Coop-Cloud ou Common Cloud… voir défendre, comme le proposaient Nathan Sanders, Bruce Schneier et Norman Eisen, une IA publique, ou, comme le proposaient les chercheurs Tejas Narechania et Ganesh Sitaraman, des alternatives d’IA coopératives, voire encore des coopératives de données, comme Superset ou Aya, ou encore la possibilité de créer des modèles coopératifs pour que les travailleurs des données deviennent propriétaires des systèmes d’IA qu’ils contribuent à créer. Pour Sarah Hubbard nous devrions « explorer davantage les modèles opérationnels qui donnent aux utilisateurs finaux, en tant que parties prenantes, un pouvoir de décision sur les systèmes d’IA ».

De plus en plus d’initiatives de la société civile plaident en faveur d’une IA gouvernée collectivement. Le Collective Intelligence Project organise des assemblées d’alignement qui visent à intégrer la contribution du public dans le développement des systèmes d’IA. D’autres efforts sont déployés, comme les assemblées citoyennes que nous avions évoquées, ou encore les « sorties vers la communauté », c’est-à-dire les propositions pour que les entreprises du numérique passent sous contrôle coopératif de la communauté, comme Nathan Schneider l’avait envisagé pour Twitter ou comme l’avait proposé le milliardaire Franck McCourt pour TikTok.

Face à des entreprises surpuissantes, la piste coopérative peut sembler une alternative incapable de passer à l’échelle. La démocratisation de la technologie reste pourtant la seule voie pour rétablir de la confiance et de la décentralisation face à l’avenir technologique qui s’annonce.

07 January 2025

7:00
Les agents IA, moteurs de manipulation
sur Dans les algorithmes

Pour Wired, Kate Crawford estime que les assistants personnels sous IA que nous nous apprêtons à intégrer dans nos vies vont nous donner un sentiment de confort lié à l’illusion que nous nous engageons avec quelque chose qui semble humain, qui nous comprend trop bien parce que nous lui donnons accès à toutes nos données et aux services qu’on utilise. Pourtant, ces agents vont rester des systèmes qui servent des priorités industrielles qui ne sont pas nécessairement en phase avec nos propres priorités.

Nous allons surtout donner plus de pouvoir à ces priorités industrielles pour qu’elles décident pour nous de ce que nous achetons, de là où nous allons, de ce à quoi nous accédons. Ils sont conçus pour nous faire oublier leur véritable allégeance. Ce sont des « moteurs de manipulation commercialisés » qui se présentent comme des amis « pour nous rendre plus vulnérables à leur manipulation ». Le philosophe Daniel Dennett le répétait pourtant : les systèmes d’IA qui imitent les humains nous font courir un grave danger, celui d’accepter notre propre soumission. Les agents IA promettent un contrôle cognitif qui va au-delà de la publicité comportementale, puisqu’ils proposent de façonner les contours de la réalité à laquelle nous accédons. Pour Crawford, cette influence ouvre un régime psychopolitique parce qu’elle s’inscrit au coeur de notre intimité, de notre subjectivité. Alors que les formes traditionnelles de contrôle idéologique reposaient sur des mécanismes manifestes (censure, propagande, répression), désormais, elles promettent d’internaliser ces logiques, sans plus aucun moyen pour les contester, puisque leur commodité est la raison même de notre aliénation.

« Dans ce jeu de l’imitation, en fin de compte, c’est nous qui sommes joués ».

Sur les agents IA, voire également notre veille mise à jour.

06 January 2025

7:00
Réguler la surveillance au travail
sur Dans les algorithmes

Comme nous le disions dans la précédente partie de notre dossier sur la surveillance au travail, les technologies numériques ont permis une expansion sans précédent du volume et du type de données collectées sur les travailleurs. La capacité à les analyser permet aux employeurs de tirer d’innombrables conclusions sur la productivité de leurs salariés…

Pourtant, concrètement, ces analyses sont bien souvent problématiques quand ce n’est pas défaillantes. En rendant fonctionnelles les statistiques, les indicateurs rétroagissent sur les comportements. La granularité et l’individualisation des métriques permettent de multiplier et d’accroître les pressions au travail, tous les dysfonctionnements étant renvoyés aux pratiques individuelles, « faisant peser toutes les contraintes sur le plus petit et le plus faible maillon de la chaîne », comme l’explique la sociologue Karen Levy dans son livre. Enfin, parce que dans le contexte du travail, les connaissances acquises par les données réorganisent et renforcent d’abord des déséquilibres de pouvoirs majeurs. La régulation de la surveillance n’arrive pas à limiter la recherche de l’amélioration de la production que la surveillance vise à faire advenir. Nous sommes confrontés à une surveillance qui se démultiplie sans parvenir à renforcer les protections légales des travailleurs, seules à même de les protéger d’une exploitation renforcée.
La lutte contre la surveillance devrait nous mobiliser
« Des caméras alimentées par l’IA qui suivent l’attention des camionneurs aux scanners portables qui surveillent la vitesse d’emballage et de tri des colis des employés des entrepôts d’Amazon, en passant par les logiciels de vidéoconférence qui surveillent les conversations des employés pendant les réunions, dans de nombreux secteurs les entreprises utilisent de plus en plus d’outils automatisés pour collecter des données sur les travailleurs, puis utilisent ces données pour prendre des décisions automatisées sur les tâches et les horaires des travailleurs, les salaires, les promotions, la discipline et même les licenciements », explique le politologue Alexander Hertel-Fernandez sur le blog du LPE Project. Hertel-Fernandez est l’auteur d’une étude sur le management automatisé et la surveillance des travailleurs qui montre que les 2/3 des travailleurs Américains sont sous surveillance sur leur lieu de travail. Cette surveillance est désormais aussi commune pour les cols bleus que pour les cols blancs. Bien qu’elle soit souvent invisible, masquée sous les outils numériques que tous utilisent au quotidien, elle n’est pas sans conséquences : elle a un impact sur la santé et la sécurité des travailleurs.

Pour le chercheur, la montée de la surveillance nécessite d’établir des protections adaptées qui devraient recevoir du soutien de tous les travailleurs, tant celle-ci transcende les classes sociales, les professions et les secteurs. Les organisations du travail ont largement documenté comment cette surveillance érode les droits à l’action collective, intensifie les rythmes de travail, discrimine les femmes, les travailleurs âgés ou les travailleurs handicapés. Le problème pourtant, c’est que le régulateur manque de données sur cette surveillance, d’où l’importance de son enquête. Celle-ci montre d’ailleurs, que le facteur prédictif principal de l’adoption de la surveillance électronique est la taille de l’entreprise : plus l’entreprise est grande, plus la surveillance est intense et variée. L’étude montre également que plus les travailleurs sont soumis à une surveillance intensive, plus l’anxiété grimpe, notamment parce que l’intensité de la surveillance signifie d’abord une intensification des cadences. Ce couplage intensification/anxiété se retrouve dans tous les secteurs, et pas seulement les plus documentés, comme la logistique ou l’industrie. Enfin, les effets négatifs sur la santé et le bien être sont plus forts là où la surveillance est mobilisée pour renforcer la discipline et limiter l’expression. Pour le chercheur, ces résultats suggèrent que ce n’est pas nécessairement la surveillance qui est problématique, mais la manière dont elle est utilisée par le management. Parmi les mesures à prendre pour rétablir l’équilibre, le politologue suggère d’améliorer la transparence de la surveillance, des indicateurs de productivité et des quotas. Mais si le problème est l’intensité de la surveillance, la documenter ne suffira pas à la faire refluer.
L’impossible transparence de la surveillance
Pourtant, c’est à l’exact inverse que l’on assiste. La surveillance et ses indicateurs relèvent partout d’une opacité qui ne cesse de se renforcer, comme pour toujours mieux s’invisibiliser, à l’image des calculs d’Uber qui ne cessent d’évoluer pour échapper à la documentation comme à la régulation. En 2020, les livreurs de la plateforme Shipt, qui appartient à la chaîne de grande distribution américaine Target, ont vu leurs salaires s’effondrer. Ils ont alors créé un outil pour comprendre l’évolution de l’algorithme, expliquait la chercheuse Dana Calacci pour IEEE Spectrum, qui rappelle que l’asymétrie d’information est un moyen de contrôle (et ce d’autant que ces travailleurs indépendants, par contrat, n’ont pas de droits sur les données). Les livreurs ont utilisé les résultats de l’Observatoire des algorithmes des travailleurs, qui corroboraient l’effondrement de rémunération constaté, pour appuyer leurs revendications pour un salaire minimum garanti. Dans un rapport, le Worker Info Exchange estime que les applications de covoiturage et de livraisons devraient être contraintes de publier des données sur la charge de travail des chauffeurs et les rémunérations, d’autant que le déficit de données actuel pourrait même dissimuler d’importants vols de salaires (et pas seulement des pourboires). Des exemples qui rappellent qu’il n’y a pas d’alternative à la transparence des données, ce qui n’empêche pas celle-ci de continuer à échapper à tous. Accéder aux données reste le premier levier pour observer la surveillance et la limiter.
Image : Page d’accueil de l’observatoire algorithmique des travailleurs.
L’année dernière, le LPE Project avait publié plusieurs articles pour questionner les limites de la surveillance. La chercheuse Karen Levy y montrait que non seulement la surveillance s’opacifie, mais que les autorités en favorisent l’extension, plutôt que de chercher à la contraindre et à la limiter. La sociologue parle d’ailleurs « d’interopérabilité de la surveillance » pour pointer la compatibilité des différentes formes de surveillance, que ce soit celle des autorités de contrôle, comme celle des employeurs ou celle des tiers auxquels les employeurs accordent des accès.

L’extension, l’intensification et l’élargissement de la surveillance se fait au détriment des employés, pris en tenaille par de nouvelles injonctions liées aux objectifs multiples et contradictoires de tous ceux qui ont accès aux données produites par ces surveillances. Les surveillances “gouvernementales, patronales et commerciales” se superposent pour créer de nouvelles rigidités au travail. Le problème est que cette conjonction d’objectifs complémentaires laisse peu d’espace aux travailleurs pour résister à ces pressions concomitantes, pour résister à “un régime de surveillance supérieur à la somme de ses parties”. La surveillance est d’autant plus opaque qu’elle sert les intérêts de trop d’acteurs pour devenir transparente. Cette surveillance alimente en données des acteurs avec lesquels les entreprises ont des partenariats commerciaux, comme leurs clients. Mais pas seulement. Outre la police et les services sociaux, de plus en plus d’intermédiaires de données tentent d’en tirer profit, à l’image de services de crédits qui proposent des avances sur salaires aux employés.
La surveillance produit les cadences, modifie les conditions d’emploi
La spécialiste de l’économie des plateformes, Sarrah Kassem , auteure de Work and Alienation in the Platform Economy: Amazon and the Power of Organization, expliquait quant à elle que les travailleurs des entrepôts d’Amazon sont dépendants d’un « régime de productivité algorithmique », qui les pousse à respecter des taux « d’unités par heure », c’est-à-dire rien d’autre que des cadences, imposées par les tâches, les volumes, et les moyennes productives des autres employés auxquelles chacun est comparé. Si les solidarités collectives et les résistances sont possibles, elles sont rendues très difficiles, du fait des innombrables types de contrats qui se rencontrent dans les entrepôts (fixes, intérimaires, sous-traitants, indépendants… avec des horaires fluctuants…) et des manœuvres anti-syndicales d’Amazon.

Dans les chaînes de production numériques hyper-taylorisées du Mechanical Turk d’Amazon par contre, la surveillance, elle, est totale. La grande précarité du travail et l’absence de relation avec les autres travailleurs rend l’organisation collective encore plus compliquée, même si, à l’initiative des travailleurs, des espaces alternatifs de solidarité et de lutte ont parfois réussi à émerger. Pour le chercheur Reed Shaw, qui s’est lui aussi intéressé aux entrepôts d’Amazon, la surveillance modifie les conditions d’emploi. Si le taux de blessure y est deux fois supérieur à la moyenne nationale, c’est que l’unité de mesure du travail d’Amazon, focalise sur le temps pendant lequel les travailleurs sont inactifs entre deux colis scannés. Le nombre d’unités traitées par heure favorise l’intensification du travail qui génère en réponse une augmentation du risque de blessure et d’accident. Pour Shaw, c’est l’intensification que le taylorisme numérique produit le coupable : c’est donc sur la régulation des cadences qu’il faut pouvoir agir. D’autant que les systèmes de mesures ne s’adaptent pas à certains types d’employés, comme les femmes enceintes ou les travailleurs handicapés, qui sont encore plus sévèrement punis par les systèmes qui évaluent les cadences sans aménagements. Pour Shaw, “la surveillance généralisée des employés devrait être considérée comme modifiant le contexte de l’emploi d’une manière qui menace un large éventail de lois et de protections du droit du travail”.
Vers une surveillance sans échappatoire
Pour le professeur de droit Matthew Bodie, co-auteur de Reconstructing the Corporation: From Shareholder Primacy to Shared Governance, la surveillance des employés procède d’une nouvelle collecte de données et propose une nouvelle création de valeur permettant aux employeurs de tirer une nouvelle valeur de la relation de travail, explique-t-il, sans qu’il n’y ait de recours ni de droits pour les travailleurs fournisseurs de données, ni de modalités pour exercer leur pouvoir collectifs sur ces données. Pour Bodie, la frontière traditionnelle entre les informations de travail et les informations personnelles, est en train de devenir totalement floue. Toutes sortes d’informations personnelles peuvent désormais être convoquées comme “pertinentes” pour évaluer la performance individuelle au travail : notre santé, nos relations avec nos collègues, nos opinions politiques, notre consommation de caféine, notre disposition au conflit… (sans que cette “pertinence” ne soit jamais évaluée, comme le soulignaient les chercheurs Mona Sloane, Rumman Chowdhury et Emmanuel Moss dans un excellent article qui dénonçait la prétention à la connaissance des systèmes). La réponse instinctive à ce problème consisterait à renforcer la protection de la vie privée sur les lieux de travail, mais cette réponse ne convainc pas Bodie, notamment parce qu’il suffit d’un pseudo consentement imposé dans une relation de travail par nature déséquilibrée pour vider ce renforcement de sa substance.

“La relation aux données ne cesse de devenir de plus en plus déséquilibrée”, constate le chercheur. C’est par les données sur les chauffeurs et leurs clients que les entreprises de covoiturage fixent les prix et affectent les chauffeurs, sans que les conducteurs puissent avoir la main sur ce qui leur est soustrait. Bodie est pessimiste : désormais, “la relation de travail nécessite un flux de données trop important pour espérer ne jamais l’arrêter”. Selon lui, les travailleurs ont besoin de plus de droits sur leurs données et leur utilisation, à l’image de ceux que déploient le RGDP en Europe (comme le droit de limitation des finalités ou les droits d’opposition à certains types de prise de décision automatisée). Reste pourtant à trouver les modalités d’action collectives. Ici, Bodie dresse un comparatif avec l’hypersurveillance des athlètes de haut niveau, qui, malgré la démultiplication d’information sur leurs performances, gardent des droits sur leurs données voire des voix collectives pour négocier la portée de la collecte de données par les équipes. Les organisations syndicales devraient avoir la capacité de négocier avec les employeurs par l’accès aux données et leur partage – mais seulement 6% des employés du secteur privé sont syndiqués aux États-Unis. Les travailleurs sans représentation collective n’ont donc aucune perspective de pouvoir collectif sur la collecte. D’autres structures organisationnelles pourraient également faire levier, allant de l’actionnariat salarié aux coopératives de plateformes, en passant par la codétermination… et invite à imaginer des “conseils de données” habilitées à examiner toute collecte ou utilisation de données des employés. “Nous devons donner aux travailleurs la possibilité d’avoir leur mot à dire dans la gestion des données et les droits sur les données qu’ils fournissent.” Oui ! Mais là encore la contribution ne trouve pas le levier de cette activation.

On pourrait croire à lire ces billets, que le RGPD est l’alpha et l’omega de la solution. C’est oublier pourtant, comme le rappelle son intitulé complet, que celui-ci n’est pas qu’une protection vis-à-vis du traitement des données à caractère personnelles, mais qu’il organise également leur libre circulation, sous conditions.
Les calculs sont surtout opaques pour invisibiliser leurs incohérences et renforcer leur opacité
Ce que ces billets disent assez imparfaitement, c’est ce que change cette surveillance, ses impacts et les modalités de cet impact. Ce qui se joue dans le renforcement de la surveillance au travail est pourtant très fort au niveau RH et plus encore au niveau de la question salariale. Les données sont de plus en plus utilisées pour produire des indicateurs de performances souvent problématiques sur de plus en plus d’employés, comme s’en émouvait un article du Washington Post prédisant l’arrivée du licenciement algorithmique. La surveillance a un impact direct sur l’employabilité, le recrutement et sur la rémunération. C’est ce qu’expliquait dans un autre billet du LPE Project la professeure de droit Veena Dubal. Dans le monde des plateformes de livraison ou de transport, la rémunération n’est pas fixe. Elle est à la fois “imprévisible, variable et personnalisée”. En cas de forte demande par exemple, les prix des courses vont augmenter et les revenus des coursiers également. Mais il n’y a pas que cette tension entre l’offre et la demande qui explique les variations, et même quand c’est cette explication qui domine, les variations demeurent incohérentes. En fait, la rémunération algorithmique n’est pas du tout une forme applicative et parfaite du marché, comme elle voudrait nous le faire croire. Au contraire.

Les incohérences sont nombreuses, explique Dubal. Parfois vous pouvez obtenir une prime si vous acceptez un trajet supplémentaire, mais bien souvent cette prime n’est pas proposée à un collègue qui a le même historique de circulation. La modularité des incitations de ce type varie sans arrêt, sans que les travailleurs ne parviennent à comprendre leur logique. A l’inverse, vous pouvez attendre ce trajet et cette prime liée à un certain nombre de courses à accomplir, sans que l’algorithme ne vous donne de course, alors que d’autres conducteurs en obtiennent. Le problème, c’est que tout cela n’est pas une question de marché, de malchance ou de hasard, mais bien le résultat d’un calcul. La manipulation des données des conducteurs permet de leur faire croire que les variations de leurs rémunérations tiennent d’un Casino, expliquait dans Fortune Stephanie Vigil, conductrice pour DoorDash, qui rappelle par exemple que les pourboires que les clients donnent ne sont pas attribués directement à leurs livreurs, mais obscurcies par les plateformes pour que les chauffeurs ne privilégient pas les courses avec pourboire. Pour elle, les conducteurs doivent récupérer l’accès à leurs données, comme le défend l’association DriverRights. Les bas salaires et les pourboires sont devenus la règle chez les plateformes de livraison de nourriture, rappelait Inayat Sabhikhi de One Faire Wage dans Points, l’année dernière, rappelant qu’elles ont toutes pratiqué le vol de pourboires et que toutes les organisations réclament désormais la transparence sur ceux-ci… sans l’obtenir.
La surveillance pour produire des discriminations
De plus en plus de travailleurs du transport et de la logistique sont confrontés à un salaire constamment fluctuant lié à la gestion algorithmique du travail, explique encore Dubal. “Dans le cadre de ces nouveaux régimes de rémunération, les travailleurs perçoivent des salaires différents – calculés à l’aide de formules opaques et en constante évolution reflétant l’emplacement, le comportement, la demande, l’offre et d’autres facteurs de chaque conducteur – pour un travail globalement similaire.” Le problème de ces situations, n’est pas seulement celui d’une rémunération variable basée sur la performance, mais la conjonction de cette variabilité avec une autre : celle de la répartition du travail basée non seulement sur le comportement des travailleurs, mais également sur d’autres critères liés eux à la profitabilité que le calcul opère pour l’entreprise entre tous les critères. Elle produit une “discrimination salariale algorithmique” (voir également son papier de recherche) qui permet aux entreprises de personnaliser et différencier les salaires d’une manière inconnue à ceux que ce calcul impacte, en les payant pour qu’ils se comportent de la manière dont l’entreprise le souhaite, à la limite de ce qu’ils sont disposés à accepter. L’asymétrie d’information laisse à l’entreprise toute latitude d’ajustement. Enfin, “la discrimination salariale algorithmique crée un marché du travail dans lequel des personnes qui effectuent le même travail, avec les mêmes compétences, pour la même entreprise, en même temps, peuvent percevoir une rémunération horaire différente”, le tout via un système obscur qui ne permet ni de prédire ni de comprendre sa rémunération.

Pourtant, rappelle la chercheuse, les lois internationales du travail rappellent qu’à travail égal salaire égal, et que les entreprises ne peuvent pas introduire de règles nouvelles ou opaques pour obscurcir le calcul du salaire. “Si un mineur devait être payé en fonction de la quantité de charbon qu’il extrayait, la société minière ne pouvait pas peser le charbon après l’avoir fait passer à travers un tamis”. Pourtant, c’est ce que font les calculs algorithmiques. Ils ruinent les logiques d’équité, notamment parce que le salarié ne peut pas connaître les critères que l’entreprise a déterminé pour évaluer son travail ou le planifier, et que le calcul rend le salaire de chaque personne différent, même si le travail est le même au même moment, comme c’est le cas entre les conductrice et les conducteurs d’Uber : les femmes gagnant 7% de moins que les hommes.

En plus de saper l’équité salariale, la rémunération algorithmique est sans cesse changeante, ce qui fait que des pratiques rémunératrices peuvent ne plus le devenir d’une manière qui semble aléatoire au travailleur, alors qu’elles sont calculées. Les conducteurs parlent d’une “mécanique de casino”. Pour la chercheuse, le fait de reconnaître les coursiers comme des salariés ou de fixer des prix planchers pourraient améliorer les choses bien sûr. Mais la rémunération variable automatisée nécessite, elle, une réglementation supplémentaire. La contre-collecte de données (organisés par les travailleurs indépendants pour documenter les algorithmes auxquels ils n’ont pas accès, à l’image de ce que le Worker Info Exchange a mis en place pour et avec les chauffeurs d’Uber) ou les appels à une plus grande transparence des calculs oeuvrent dans le bon sens, mais sont également insuffisants. La chercheuse invite à aller plus loin via une “abolition de l’extraction de données au travail”. L’extraction de données au travail n’est pas nécessaire à la gestion du travail, rappelle-t-elle en invitant à en finir avec le calcul algorithmique au travail. Radical !
Réguler le croisement de données
Sans être aussi radical qu’elle, il me semble que le problème, ici, tient du fait que nous sommes en train d’autoriser des croisements de données qui ne devraient pas l’être. A l’ère de l’Intelligence artificielle, les entreprises ont intégré l’idée que pour améliorer leurs calculs, elles devaient disposer de toujours plus de données et que de leurs croisements sortiront des indicateurs de performance toujours plus optimaux. Mais on ne s’est jamais posé la question de savoir si certains croisements n’étaient pas souhaitables, voire contraires à l’esprit du droit du travail. Que se passe-t-il quand le calcul du salaire est corrélé au planning afin d’optimiser les deux, voire l’un plus que l’autre, comme le montrait le scandale Orion à la SNCF, où dans les entrepôts du hub logistique néerlandais, où les informations de planning sont corrélées avec le calcul de primes, pour les limiter. C’est typiquement ce que montre Veena Dubal quand elle souligne que la prime devient inaccessible à un chauffeur parce que son obtention vient en conflit avec l’objectif de réduction des coûts que programme également le système d’Uber. Pour ma part, il me semble qu’à l’heure où l’on promet de pouvoir croiser toutes les données les unes avec les autres, il est temps de se demander quelles données RH ne doivent pas être croisées entre elles. Pour poser la question des limites à la surveillance, il est nécessaire de regarder ce que produit l’interconnexion de ces données et de montrer qu’il y a des croisements de données, des calculs qui ne devraient pas être possibles. A l’heure où les entreprises partent du principe que toutes les données sont associables pour produire de meilleurs calculs et de meilleurs indicateurs, la piste qui n’est jamais évoquée dans cette libération des calculs, c’est la régulation de leurs croisements. Peut-être que certains croisements ne devraient pas être rendus possibles, parce qu’ils transforment profondément l’esprit de la loi qui régit le code du travail. En tout cas, à l’heure où tous les croisements de données sont autorisés, nous interroger sur ce qui ne devrait pas être corrélé est assurément un exercice qui pêche par son absence.
Pas de transparence sans lutte sociale
En fait, les appels à la transparence se démultiplient sans être suivis d’effets, d’abord parce que le régulateur n’incite pas à la transparence, mais surtout, parce qu’à elle-seule, la transparence ne suffit pas à produire le progrès social.

En septembre, la Stanford Social Innovation Review publiait un dossier sur les questions de technologies au travail. Parmi les contributions, celle de Christina Colclough et Kate Lappin revenait sur la nécessité de se mobiliser pour que le développement technique au travail soit plus maîtrisé qu’il n’est (on avait déjà rencontré les stimulantes réflexions de Christina Colclough en défense de l’algogouvernance). « Les systèmes numériques au travail sont souvent présentés comme augmentant l’efficacité et la productivité et rendant les décisions plus neutres, en supprimant la subjectivité humaine. Mais trop souvent, les algorithmes reproduisent et intensifient les inégalités et les préjugés, conduisent à une demande croissante de productivité des travailleurs et utilisent les données des employés de manière à la fois opaque et abusive. Aujourd’hui, les travailleurs n’ont aucune idée des données qui sont collectées par devers eux ni de la manière dont elles sont utilisées pour évaluer leurs performances, alors que des jugements sont souvent effectués par des systèmes automatisés tiers, dont les fonctionnements ne sont jamais explicités ». Alors que les cas problématiques documentés sont nombreux, la même cause produit les mêmes effets : « lorsque les travailleurs n’ont pas accès aux algorithmes utilisés par les employeurs, il est presque impossible de prouver qu’il y a eu discrimination ». La transparence en matière de salaires et de conditions de travail est censée être la règle, mais les systèmes numériques propriétaires sapent ce principe.
Construire des syndicats puissants pour dominer le bossware de l’IA.
Pour l’améliorer, plusieurs initiatives sont mobilisables, comme la formation en négociation sur la numérisation dispensée par le syndicat Public Service International ou encore le guide de la gouvernance des systèmes algorithmiques au travail du Why Not Lab, le cabinet de conseil de Colclough, qui permet aux syndicats d’adresser des questions aux directions sur les systèmes utilisés ou encore la clause du droit d’entrée numérique que les syndicats proposent d’introduire dans les conventions collectives, afin que les technologies utilisées par les employeurs soient mieux documentées. Les deux autrices défendent une gouvernance inclusive des systèmes avec ceux qui sont affectés par eux. Le Community and Public Sector Union australien qui représente les travailleurs qui gèrent le système de protection sociale a négocié avec succès un ensemble de clauses dans sa nouvelle convention collective pour permettre aux travailleurs sociaux de dénoncer des utilisations d’algorithmes contraire à l’éthique, afin qu’à l’avenir un scandale comme celui du robot-dette (un programme gouvernemental qui a envoyé des demandes de remboursement de dettes à plus de 400 000 bénéficiaires de prestations sociales) ne puisse plus être possible. Reste, rappellent les deux chercheuses et militantes, qu’aucun des progrès obtenus par des travailleurs n’a été obtenu facilement : tous sont le résultat d’une lutte soutenue, et celle-ci doit désormais se faire jusqu’aux outils numériques !

Un autre article sur la surveillance des lieux de travail, explique que celle-ci n’a plus du tout comme enjeu le déploiement de caméras de surveillance. La surveillance des cadences et des comportements est désormais l’objet d’innombrables dispositifs embarqués… La pandémie a favorisé l’essor de systèmes de surveillance, comme le montrait un rapport de Data & Society sur « le patron perpétuel ». Le rapport de Coworker sur le déploiement des « petites technologies de surveillance », mais omniprésentes (qu’on évoquait dans cet article) rappelait déjà que c’est un essaim de solutions qui se déversent désormais sur les employés. A l’image des outils de surveillance des postures comme StrongArm ou Modjul qui commencent à coloniser les entrepôts de Walmart et d’Amazon et qui transforment la question de la sécurité au travail en score que les employés doivent respecter.
Le patron perpétuel, un rapport de Data & Society
Les conséquences sont diverses : augmentation de la discrimination, de la surveillance, atteintes à la vie privée et aux droits d’organisation collective, marchandisation des données, impossibilité de se déconnecter… « La surveillance n’est pas simplement une pratique commerciale invasive, mais un principe opérationnel visant à contrôler les travailleurs et à optimiser les profits ».
Le Bossware : « une pratique commerciale déloyale »
Avec sa verve à nulle autre pareille, Cory Doctorow explique que les logiciels du patronat sont aussi défaillants que l’a été la gestion scientifique du travail inventée par « l’escroc » Frederic Taylor. Taylor a fait croire aux riches industriels qu’il pouvait augmenter la productivité des ouvriers en « transformant leur travail en une sorte de kabuki de l’obéissance ». Les employés n’étaient pas plus efficaces, mais avaient l’air plus obéissants, ironise-t-il, à la plus grande satisfaction de leurs patrons. Les employeurs ont pourtant bien remarqué que leurs revenus ne s’amélioraient pas avec le taylorisme, mais Taylor leur a fait croire que c’était parce que cette gestion scientifique n’était pas encore assez aboutie. « Plus ses conseils étaient mauvais, plus il y avait de raisons de le payer pour plus de conseils ». « Le taylorisme est une arnaque parfaite pour les riches et les puissants. Il alimente leurs préjugés et leur méfiance envers leurs employés, et leur confiance mal placée en leur propre capacité à comprendre le travail de leurs employés mieux que leurs employés. »

Ce management scientifique du travail est désormais disponible sous formes d’innombrables applications, explique Doctorow. C’est ce qu’on appelle le « bossware », le matériel du patron. « Les travailleurs indépendants sont au cœur du bossware ». Alors que le travailleur indépendant rêve de devenir son propre patron, il est en fait totalement dépendant d’un téléphone qui le surveille et le discipline en continue. Et l’IA vient renouveler cette bulle du bossware, qui continue à venir convaincre les patrons que l’IA va pouvoir faire votre travail à votre place, comme il a été convaincu que la gestion scientifique du travail allait améliorer la productivité.

Pour Alvaro Bedoya, commissaire à la Commission fédérale du travail américaine (FTC) qui s’intéresse à la protection des travailleurs, cette gestion algorithmique du travail devrait être considérée comme illégale, explique-t-il dans une stimulante défense. En moyenne, rappelle ce dernier, un employé d’un centre d’appels est soumis à au moins 5 formes de surveillance qui pèsent sur lui, le dénigrent et ne tolèrent aucune discussion. A savoir, une surveillance vidéo sous IA, une surveillance vocale sous IA qui prétend mesurer leur empathie, une IA qui chronomètre leurs appels, une autre qui analyse les sentiments durant l’appel et une dernière qui évalue la réussite des employés à atteindre des objectifs arbitraires. Bedoya estime que ces surveillances pourraient être qualifiées de pratiques commerciales déloyales… Prouver une pratique commerciale déloyale nécessite de démontrer qu’elle cause un « préjudice substantiel », qu’elle ne peut pas être « raisonnablement évitée » et qu’elle n’est pas corrigée par un « avantage compensatoire ». Dans son discours, Bedoya fait valoir que la gestion algorithmique du travail satisfait à ces trois critères… et que la FTC qui est chargée de réguler les pratiques commerciales déloyales devrait être capable d’agir. Par exemple, il est clair que l’augmentation des cadences que produit le bossware conduit à des préjudices sur la santé des employés. Que l’autoritarisme des applications de surveillance des chauffeurs-livreurs ne peut pas être évité. Enfin, elles ne proposent aucun avantage compensatoire, au contraire. La gestion algorithmique du travail produit surtout des sanctions arbitraires, comme quand les opérateurs de centres d’appels qui ont un accent, du Sud des Etats-Unis ou des Philippines, sont évalués négativement par les IA qui sont chargés de détecter leur émotion. « Les travailleurs devraient avoir le droit de savoir quelles données les concernant sont collectées, par qui elles sont partagées et comment elles sont utilisées. Nous devrions tous avoir ce droit. »

« Les gens riches peuvent rester irrationnels plus longtemps que vous ne pouvez rester solvables. Les marchés ne résoudront pas ce problème, mais le pouvoir des travailleurs le peut », conclut Doctorow.

Reste que démontrer l’arbitraire et pire encore l’absurdité des calculs reste extrêmement difficile.

Dans un autre billet, l’infatigable Doctorow revient sur le travail d’un groupe de chercheurs et de hackers européens, Reversing Works (une division spécialisée du collectif AI Forensics, ex-Tracking Exposed), qui ont contribué à un travail d’ingénierie inversée sur l’application de livraison italienne Glovo/Foodinho, multicondamnée par les autorités italiennes pour atteinte à la vie privée. Dans un rapport publié par l’Institut syndical européen en novembre 2023, on apprenait que l’application démultipliait l’utilisation de données problématiques, surveillait les travailleurs au-delà de leurs heures de travail, utilisait un score de notation des travailleurs et envoyait d’innombrables informations confidentielles à des tiers. Pour Doctorow, ce mode d’enquête et de révélation présente un réel potentiel pour les organisations syndicales qui cherchent à protéger les travailleurs et promet également de développer des outils d’action directe qui permettent aux travailleurs de retrouver du pouvoir. « Ce n’est qu’en s’emparant des moyens de calcul que les travailleurs et les syndicats peuvent renverser la situation face au système de domination, à la fois en modifiant directement les conditions de leur emploi et en produisant les preuves nécessaires à ces démonstrations. Autant d’outils que les régulateurs pourraient également utiliser pour forcer les employeurs à rendre ces changements permanents. » Comme l’expliquait le collectif dans un communiqué, le RGPD est insuffisamment utilisé par les syndicats, notamment parce que « la vie privée est un droit individuel qui n’est pas considéré comme un outil de lutte des travailleurs », alors qu’il permet de contester nombre de pratiques déloyales.

Reste que la production de « contre-données » – comme l’ont fait Reversing Works avec Glovo, le Worker Info Exchange ou le Stop-Club au Brésil ou encore Driver’s seat, une coopérative de chauffeurs qui aide les conducteurs à utiliser leurs données pour optimiser leurs revenus – n’est pas si simple. Le problème, bien sûr, c’est que ces collectes sont compliquées et fragiles à mettre en place et leurs résultats pas toujours assurés. En 2021 par exemple, des livreurs de Doordash avaient mis au point un outil pour observer les pourboires qu’ils recevaient sur l’application pour veiller à ce que l’entreprise ne les accapare pas… jusqu’à ce que l’entreprise ferme l’accès aux données. Sans compter que bien souvent, le législateur ne permet pas aux employés de produire des données en parallèle de celles de l’employeur.

Pas plus qu’il n’oblige les entreprises au partage de données à leurs employés et à leurs représentants… Le problème, c’est que le RGPD en consacrant exclusivement un droit aux données personnelles a oublié d’armer le droit aux données collectives. C’est bien souvent au prétexte que les données mobilisées par les entreprises sont personnelles que les collectifs de travail et les syndicats ne peuvent y avoir accès, alors que leur traitement collectif, lui, est possible pour les entreprises.
Limiter les cadences comme on lutte contre le morcellement des horaires
Autre piste d’action pour limiter la surveillance au travail : mettre des seuils aux cadences que la convergence des systèmes de surveillance numérique tentent d’optimiser ! La réponse consiste alors pour le régulateur à poser des limites aux cadences (à l’image d’une récente loi californienne et de la décision de la Cnil contre Amazon Logistic) tout comme il intervient parfois pour définir des limites aux morcellement horaires du travail en définissant par exemple des durées minimales de travail journalier.

Reste que légiférer pour faire que les outils de contrôle du travail rendent des comptes est difficile, comme le montre l’échec de la loi new-yorkaise à imposer des audits aux outils d’embauches automatisés qui continuent à proposer peu de recours et de garantie aux chercheurs d’emplois (voir notre article sur la question, qui pointait les limites de la régulation des outils de recrutement automatisés).

Autre risque : le caractère discrétionnaire et opaque des promotions et avantages, à l’image du titre de « Master » qu’Amazon attribue à certains travailleurs du Mechanical Turk selon un score de confiance confidentiel : une forme de plafond de verre algorithmique que dénonçait la chercheuse Lilly Irani. Même chose quand Amazon finalement note les travailleurs de ses entrepôts selon leur rapidité d’exécution ou leur taux d’erreur, sans prendre en compte les particularités de ses employés, indifférent aux situations, au genre, au handicap… ou au taux d’accident provoqué. Ajoutez à cela le fait que les données permettent de fixer des objectifs dynamiques, des performances changeantes et opaques… et vous avez un cocktail de paramètres opaques qui vient directement impacter et fragiliser le droit du travail.
Il n’y aura pas de limites à la surveillance sans consacrer un droit d’accès aux données pour les travailleurs
Qui décide de la signification que les traitements produisent depuis les données ? Telles sont les questions que pose un intéressant travail sur la dataification du travailleur réalisé par la chercheuse Alexandra Mateescu pour Data & Society. La chercheuse y rappelle simplement que le management algorithmique ne peut pas remplacer les règles qui garantissent des droits équitables, comme le pointait déjà l’AI Now Institute. Quant à l’information des salariés sur la collecte et le traitement des données les concernant, elle est bien souvent insuffisante pour remédier aux problèmes. Le management algorithmique ne peut pas remplacer les droits des travailleurs, bien au contraire, il les sape.

Pour dépasser ces problèmes, nombre de travailleurs tentent de s’organiser pour reprendre la main sur leurs données, explique Alexandra Mateescu. Mais ces tentatives nécessitent de leur part une organisation, une expertise et des moyens dont ils ne disposent pas toujours.

Les syndicats sont néanmoins de plus en plus conscients de l’impact des données et tentent de plus en plus souvent d’inclure des dispositions relatives à celles-ci dans leurs négociations, comme le montrait la chercheuse Lisa Kresge dans un rapport pour le Labor Center de Berkeley. Une coalition de syndicats de services publics européens a mis en place un espace de ressource (en français) pour faciliter les négociations sur les enjeux numériques. Reste que la question des données et de leur accès demeure trop souvent secondaire dans les négociations syndicales. On le comprend. Mais il n’y aura pas de limites à la surveillance sans consacrer un droit d’accès et de traitement pour les travailleurs et leurs représentants.

Hubert Guillaud

23 December 2024

7:00
Off
sur Dans les algorithmes

Comme beaucoup d’entre vous, Danslesalgorithmes.net fait une petite pause pour les fêtes de fin d’année. Pour ne pas vous laisser esseulés pendant ce moment, nous vous invitons à redécouvrir nos 45 articles publiés depuis mai. Par exemple, notre dossier sur le recrutement automatisé, celui sur l’IA open-source, celui sur la participation, le marketing numérique ou la surveillance au travail… qui sont les plus anciens et que nos nouveaux lecteurs et abonnés n’ont peut-être pas vu passer. N’hésitez pas à les recommander autour de vous ! Un petit média comme le nôtre n’existe que si vous le partagez.

En guise de cadeau, nous allons vous recommander nos 6 podcasts incontournables, si vous ne les connaissez pas. Il y a bien sûr Le code a changé de Xavier de la Porte pour France Inter, qui demeure la référence indétrônable. On vous recommande très chaudement également IA qu’a m’expliquer de Grégoire Barbey pour Le Temps. L’excellent Algorithmique de Mathilde Saliou pour Next et enfin Zéro Virgule de Denis Migot pour Arte Radio, qui lui parle assez peu des questions numériques, mais a reçu en une quarantaine d’émissions les meilleurs invités pour réfléchir aux transformations du travail.

En anglais, on adore le podcast de Paris Marx, Tech won’t save us, ainsi que le bien moins connu Sunday Show de Tech Policy Press.

Ils sont à découvrir sur toutes les plateformes. De quoi élargir notre espace entre les deux oreilles.

Très bonnes fêtes de fin d’année à tous !

PS : il n’y aura pas de lettre le 24 et le 31.

19 December 2024

7:07
Machines à mèmes
sur Dans les algorithmes

« L’IA générative est le lubrifiant de machines algorithmiques cassées », comme le sont devenus les médias sociaux. Damon Beres.

18 December 2024

7:00
Quand la dématérialisation réduit les droits
sur Dans les algorithmes

Dans un rapport particulièrement sévère, le Défenseur des droits dresse un réquisitoire nourrit de la plateforme dématérialisée pour les demandes de titres de séjour des ressortissants étrangers produite par l’Administration numérique des étrangers en France (ANEF). Les problèmes liés à cette plateforme représentent désormais un tiers des réclamations que reçoit le Défenseur. Non seulement les candidats au titre de séjour ne parviennent pas à accomplir leurs démarches, mais surtout ils ne reçoivent pas de réponses dans les délais, y compris pour un renouvellement de titre de séjour, ce qui les plonge dans l’irrégularité car ils ne peuvent pas produire de preuve de leur droit au séjour. Pour le Défenseur, l’ampleur et la gravité des atteintes au droit nécessitent des mesures urgentes.

Le Défenseur rappelle d’ailleurs dans son rapport que ce n’est pas la première fois que la dématérialisation conduit à des ruptures de droits. Cela a été longtemps le cas avec les demandes de permis de conduire et les certificats d’immatriculation par exemple. Quant au problème spécifique de l’accès aux préfectures pour les demandes de titres de séjour, on rappellera que le problème est sur la table depuis le rapport de la Cimade en 2016, et que le Défenseur des droits a plusieurs fois pointé les dysfonctionnements depuis sans amélioration réelle.

Très concrètement, le rapport souligne que les choix de conception de l’outil mis en place renforce les difficultés, en empêchant de réaliser simultanément plusieurs démarches, par exemple de signaler un changement de lieu de résidence quand une démarche est en cours. L’outil ne permet pas non plus de conserver un historique des démarches et des échanges, ni ne permet de gérer des démarches pour le compte de plusieurs ressortissants.

Le Défenseur des droits propose plusieurs solutions, comme de pouvoir rectifier et modifier ses demandes bien sûr et recevoir des informations précises sur l’évolution de l’instruction des demandes. Il recommande également d’améliorer les moyens des services des préfectures dédiés au droit des étrangers pour accélérer le traitement, parce que les contentieux liés aux retards et dysfonctionnements explosent. Mediapart rapporte ainsi que les tribunaux administratifs sont de plus en plus engorgés par les recours liés à ces dysfonctionnements, notamment de personnes conduites à la précarisation par la perte du droit au séjour et qui éprouvent des difficultés à travailler, à accéder aux soins, aux études, des pertes d’emplois ou de logement ou un arrêt du versement des prestations sociales parce que leur demande ou leur renouvellement n’est pas produit dans les temps.

Un rapport qui montre, très concrètement, que la manière dont sont conçus les outils du service public ont des répercussions on ne peut plus réelles sur les gens. Et qui invite à les réformer en s’appuyant sur les problèmes que font remonter les publics qui y sont confrontés.

17 December 2024

7:00
Ce que la surveillance change au travail
sur Dans les algorithmes

Cette semaine, avant de revenir à nouveau sur ce que transforme la surveillance au travail, on republie un article de fond, publié en janvier 2023, une lecture du livre de la sociologue américaine Karen Levy qui a observé comment la surveillance a transformé le monde des routiers américains. La grande force du livre, c’est qu’on observant un secteur particulier, Karen Levy nous explique les conséquences de la surveillance, bien au-delà du monde de la route. En voiture !

Dans son livre, Data Driven : Truckers, Technology and the new workplace surveillance (Princeton University Press, 2023, non traduit), la sociologue Karen Levy a enquêté sur les routiers américains à l’époque où leur a été imposé les systèmes de surveillance électronique (Electronic logging devices, ELD, devenus obligatoires depuis 2017 ; en France on parle de chronotachygraphes numériques, devenus obligatoires dans les camions neufs depuis 2006). Ces systèmes électroniques (qui ressemblent à des autoradio), capturent des données sur l’activité des camions et donc des routiers. Ils poursuivent une longue histoire de la régulation du transport, qui depuis les années 30, d’abord avec des journaux papiers que les conducteurs étaient censés tenir, tente de tracer le travail des routiers pour mieux le contrôler. C’est donc très tôt, dès le développement du transport routier, que le régulateur a cherché à s’attaquer à la fatigue et au surtravail des routiers. L’introduction du numérique ici, utilise un des grands arguments de sa légitimation : l’infalsifiabilité !
Le numérique commande, le numérique surveille, le numérique punit
Le livre de Karen Levy s’intéresse à comment la surveillance numérique transforme le lieu de travail et la nature du travail des routiers. Son titre s’amuse de la formule très usitée de Data Driven, qui évoque les entreprises où toutes les approches sont “conduites par la donnée”, c’est-à-dire pilotées par les technologies et l’analyse de données. Ici, l’enjeu est de regarder comment les données conduisent désormais les camions et le sens de ce changement de pilote, de cette transformation par le numérique. Ce qui change avec les données, c’est la manière dont elles mettent en application les métriques qu’elles produisent, dont elles les imposent pour gouverner la réalité. L’enjeu est d’interroger comment « l’exécution numérique » (traduction très imparfaite du digital enforcement, c’est-à-dire l’usage de la technologie pour imposer et faire respecter les règles) repose sur un ensemble de directives légales et organisationnelles qui bouleversent l’autonomie traditionnelle des conducteurs routiers. Ici, le numérique joue un rôle particulier et qu’on lui prête souvent : celui d’imposer, de commander, d’ordonner. Il est le garant de l’application des règles, il est le moyen pour contraindre et soumettre l’individu aux commandements légaux et hiérarchiques dont il dépend. Il est à la fois l’outil de mesure et de contrôle. Il assure un calcul dont l’humain sera tenu pour responsable.

Pourtant, « les règles ne sont pas toujours des règles », rappelle Karen Levy. Elles sont bien souvent façonnées par des réalités sociales, culturelles et économiques et ne sont jamais aussi simples qu’elles paraissent : même une limitation de vitesse engendre des formes de tolérances. Les pratiques de travail s’ajustent plus ou moins aux règles et obligations qui leurs incombent, certaines étant plus strictes que d’autres, plus réprimées, plus surveillées. Le problème, c’est que ce respect sélectif des règles est le lieu de l’arbitraire et des discriminations. Et quand une autorité décide de renforcer une disposition réglementaire par la technologie sans prendre en compte le fossé des pratiques, elle perturbe l’ordre social.
Image : la couverture du livre de Karen Levy.
La technologie est de plus en plus convoquée pour réduire le fossé entre la loi et la pratique, comme si ce fossé pouvait se réduire par un simple renforcement, une boîte de Skinner pour altérer nos comportements, à l’image des rats de laboratoires qu’on dresse à coups de récompenses et de décharges électriques. Elle est souvent convoquée pour rendre les règles plus strictes, plus difficiles à briser. Pourtant, estime Karen Levy, les technos n’empêchent pas les comportements déviants. Elle permet parfois de mieux les détecter, les documente et oblige ceux qui y ont recours à devoir en rendre compte. Elle permet peut-être de dissuader les comportements sanctionnés, de les réprimer, mais certainement bien plus de les déporter et de les transformer.

Nos représentations de l’avenir du travail balancent entre un futur ou nous disposons de plus d’autonomie, aidés par les machines, et son exact inverse, celui où le moindre de nos comportements est scruté, prédit et optimisé par la machine. La vérité est que le futur du travail ressemble surtout aux pratiques d’aujourd’hui et aux pratiques d’hier, rappelle avec raison la sociologue. L’avenir du travail reste construit sur les mêmes fondations : à savoir « la motivation, l’efficacité, la minimisation des pertes, l’optimisation des process et l’amélioration de la productivité ». Et pour atteindre ces différents objectifs, la stratégie la plus commune reste la surveillance accrue des travailleurs. Qu’importe si elle marche assez mal…

Ce qui change avec la surveillance numérique, c’est qu’elle est capable de s’introduire dans de nouveaux types d’espaces (et la cabine du chauffeur routier en est un bon exemple). Elle est capable de produire de nouveaux types de données, plus granulaires, depuis de nouveaux capteurs (biométriques notamment) pour produire toujours plus de métriques… qui permettent de produire de nouvelles analyses qui impactent la gestion des travailleurs en temps réel et de manière prédictive. Des analyses bien souvent produites via des systèmes opaques et asymétriques, conçus d’abord au bénéfice exclusif des employeurs. Enfin, cette surveillance produit de nouveaux enchevêtrements, par exemple quand le télétravail capture des données relatives à la vie privée ou à la santé… qui posent de nouveaux enjeux en termes de sécurité ou de vie privée.

Si les chauffeurs routiers ont longtemps eu plus de liberté et d’autonomie que bien des travailleurs en cols bleu, cela a bien changé, raconte la chercheuse. Certes, la route est restée avant tout une identité, où règne une culture d’appartenance très marquée, éminemment viriliste, très libertarienne. Mais la surveillance électronique a réduit l’autonomie des routiers – et c’est bien souvent ce qu’elle produit, partout où elle s’impose : elle produit de nouvelles régulations de l’autonomie, de nouvelles négociations autour de la liberté. Pour Karen Levy, les technologies déstabilisent bien plus les relations de pouvoir qu’elles ne renforcent l’autorité du surveillant. Son livre est une très bonne parabole des transformations du monde du travail par la technologie, qui font écho à d’autres travaux, par exemple, à ceux du sociologue David Gaborieau sur le monde de la logistique transformée par la commande vocale et les PDA.
Le business dégradé de la route
En 2018, aux Etats-Unis, 37 millions de camions sont enregistrés dans un but commercial, accomplissant des milliards de kilomètres chaque année pour transporter 20 milliards de tonnes de fret. Cette industrie emploi 8 millions de personnes, dont 3,6 millions de chauffeurs, dont 2 millions sont chargés du transport longue distance. Comme nombre d’industrie, le transport est une industrie contrôlée et les prix y sont assez standardisés. Pourtant, le secteur a connu plusieurs chocs de dérégulation depuis la fin des années 70. Dans les années 80, les tarifs d’expédition se sont effondrés de 25% alors que de nouveaux transporteurs entraient sur le marché. Des centaines de camionneurs ont connu la crise et perdus leurs jobs. Pour les autres, leurs salaires ont chuté de 44% (entre 1977 et 1987). Pour compenser cette perte de salaire, les camionneurs ont dû allonger leurs heures de travail. La dérégulation des années 80 a été un cataclysme, explique la sociologue. Dans les années 80 un camionneur pouvait se faire 110 000 $ par an, quand il n’en gagne en moyenne plus que 47 000 aujourd’hui. Bas salaires et surtravail ont transformé le transport en « atelier clandestin sur roue ».

Les routiers sont les plus tués ou blessés des travailleurs américains : 1 travailleur sur 6 tué au travail aux Etats-Unis est un camionneur, et ce chiffre se dégrade malgré le déploiement de toujours plus de mesure de sécurité (sans compter les autres problèmes de santé qui les touchent particulièrement, comme le fait qu’ils fassent peu d’exercice qui conduit la profession à avoir la plus forte incidence de taux d’obésité du pays, comme une forte pratique médicamenteuse, et les déplacements incessants qui rendent difficiles l’accès à un médecin, pour une population qui vieillit plus qu’elle ne rajeunit : l’âge moyen est de 46 ans et augmente. 2/3 des conducteurs sont blancs, même si la proportion de conducteurs noirs et latinos augmente…). Si conduire un camion est l’un des jobs le plus courant dans la plupart des États américains, le turnover y est phénoménal. Chez les grands transporteurs, il est de 100% sur l’année et chez les petits, il est très élevé également. Pour les entreprises, qui en ont pris leur parti, il est devenu plus simple de s’adapter au turnover que de chercher à traiter le problème. 90% des entreprises ont au maximum 6 camions, et un grand nombre de routiers (10%) sont indépendants, c’est-à-dire sont les propriétaires de leur propre camion. Pourtant, le marché est surtout détenu désormais par de très grandes entreprises : 20% des entreprises de transport contrôlent 80% des actifs de l’industrie. Derrière cette description, on voit que la figure du camionneur, chevalier solitaire des autoroutes, tient désormais plus d’une représentation que d’une réalité.

Le surtravail des routiers est le résultat direct de la façon dont ils sont payés, rappelle Levy. Ils sont payés au kilomètres : à l’origine, c’était bien sûr pour aligner leurs objectifs à ceux de leurs entreprises, les pousser à maximiser le temps de conduite. Pourtant, depuis toujours les routiers ne font pas que conduire… Ils inspectent et réparent leur camion, ils remplissent le réservoir, font des pauses, se coordonnent avec les expéditeurs et les réceptionneurs, et surtout passent beaucoup de temps à attendre lors des chargements et déchargements de leurs cargaisons (les conducteurs parlent de « temps de détention »). Mais les routiers ne gagnent pas d’argent sur ces moments. Avant la dérégulation des années 80, un grand nombre de routiers étaient payés à l’heure pour les tâches où ils ne conduisaient pas, mais la concurrence a fait disparaître ces petits avantages. Alors que les syndicats ont été un puissant levier de la profession pendant longtemps (au début des années 70, le transport était la plus syndiquée des industries américaines, avec plus de 80% de travailleurs syndiqués… En 2000, ce taux n’est plus que de 25%, et il est à moins de 10% aujourd’hui), ils sont désormais un repoussoir. Politiquement, les routiers sont surtout majoritairement libertariens. La route est devenue un mauvais métier, mais est resté un métier avec une identité, une fierté et une empreinte culturelle forte, particulièrement masculiniste.
Plus de surveillance, plus de pression !
Si la régulation est de retour, plus que de s’intéresser aux conditions de travail, elle s’est surtout intéressée au contrôle des véhicules. Concernant les employés, elle s’est concentrée sur un seul aspect : le temps consacré à la conduite. Le surtravail et le manque de sommeil sont endémiques dans une profession payée au kilomètre. Les semaines de 65 heures ou plus sont nombreuses, les nuits de 5 heures sont courantes. Chaque année, les accidents de la route impliquant des camions tuent 5 000 personnes et blessent 150 000 personnes.

Pour résoudre ces problèmes, les autorités ont cherché à réguler la durée de travail, en imposant des pauses et des durées de conduites, des limites. Restait à en assurer le contrôle. Dès les années 40, les autorités ont imposés aux conducteurs de tenir un journal de bord où ils devaient consigner leur temps de travail, sous la forme d’un graphe (des documents soigneusement et uniquement destinés au contrôle, pas à la paye !). Ce contrôle souvent documenté a posteriori a longtemps été assez permissif, permettant beaucoup d’arrangements pour tenir les délais imposés par les employeurs. Mais plus qu’imposer une solution économique, le régulateur a imposé une solution technique afin de rendre plus difficile aux routiers de falsifier l’enregistrement de leur temps de travail. Envisagée dès 2003, l’imposition des ELD électroniques sera longue et progressive. Annoncée dès 2012, elle sera effective et obligatoire en décembre 2017 seulement (permettant aux employeurs de se préparer : en 2016, 80% des grands transporteurs s’étaient déjà équipés contre seulement 30% des petits).
Image : un chronotachygraphe numérique.
Cette obligation a été bien sûr très contestée. Pour les routiers, ces objets sont avant tout un affront à leur vie privée, à leur dignité, à leur indépendance… Pour eux, ces objets et la surveillance qu’ils imposent, les considère comme des criminels ou des enfants. Pourtant, rappelle Karen Levy, le problème n’est pas qu’ils falsifiaient leurs journaux de bords papiers (assez marginalement visiblement), mais que l’industrie soit tout entière orientée pour leur demander de contourner les règles. Le renforcement du contrôle s’impose alors sur le moins puissant de la chaîne industrielle du transport : le chauffeur. Il est considéré comme un menteur dont le comportement doit être redressé, plutôt que comme un professionnel qui doit faire face à des injonctions contradictoires. Surtout, plutôt que de résoudre le problème de la paye au kilomètre, la surveillance l’entérine, sans s’intéresser par exemple au temps d’attente sur les docks (63% des camionneurs rapportent qu’ils peuvent y passer plus de 3 heures).

Pour finir, rapporte Levy, la surveillance n’a pas résolue le problème qu’elle était censée résoudre. La surveillance rend-t-elle les routes plus sures ? Certes, les appareils ont amélioré la conformité des conducteurs aux règles. Avant l’obligation des appareils, les violations du nombre d’heures de travail étaient constatées lors de 6% des contrôles quand elle est descendue à 2,9% depuis. Le gain est notable, mais le problème n’était pas si prégnant que le clame le discours des autorités. Les études n’ont pas trouvé non plus que les appareils électroniques permettaient de réduire le nombre d’accidents (au contraire, les accidents ont tendance à augmenter, notamment chez les petits transporteurs). Les appareils n’ont pas permis de résoudre le temps d’attente des routiers, qui est bien souvent la source d’une prise de risque supplémentaire pour tenir ses délais et ne pas dépasser des horaires qu’ils doivent plus strictement respecter. En fait, l’inflexibilité qu’introduit la surveillance électronique a surtout généré plus de pression sur les conducteurs : les infractions pour conduite dangereuse ont augmenté de 35%.
Derrière la régulation, la gestion : un contrôle social étendu pour aligner les travailleurs aux objectifs des organisations
Les appareils, imposés par le régulateur et pour la régulation, n’ont pas été que des outils de régulation, mais sont vite devenus des outils de gestion. Alors que les camions ont longtemps été immunisé d’une surveillance étroite par les managers, les appareils ont changé cela. « La surveillance numérique conduit à deux importantes dynamiques de changement dans la façon dont les routiers sont gérés par leurs entreprises. D’abord, la surveillance résume les connaissances organisationnelles, les extrait de leurs contextes locaux ou biophysiques (c’est-à-dire ce qu’il se passe sur la route, dans le corps et autour du conducteur) pour les agréger dans des bases de données qui fournissent aux managers de nouveaux indicateurs pour évaluer le travail des routiers. » Ces indicateurs permettent aux managers de construire un contre-narratif de celui de leurs employés, une autre interprétation qui peut venir contredire l’employé, permettant de surveiller la réalité de ses déclarations en regardant sur le GPS où il se trouve précisément. Ensuite, « les entreprises resocialisent les données de surveillance abstraites en les réinsérant dans des contextes sociaux et en créant des pressions sociales sur les camionneurs pour qu’ils se conforment aux exigences organisationnelles. » Par exemple en encourageant une comparaison entre conducteurs sur celui qui conduit le mieux ou celui qui conduit en dépensant le moins de carburant. Le but, ici, clairement, est d’ajouter de nouvelles pressions sur le conducteur pour qu’il se conforme à ses tâches.

La surveillance des travailleurs n’est pas nouvelle. La techno permet aux employeurs d’avoir une meilleure visibilité sur les tâches et par là de mieux discipliner les travailleurs. Les nouveaux outils ont pour but de capturer des informations toujours plus fines et de nouvelles informations (comme les données biométriques) en abaissant le coût de cette surveillance. Ce faisant, la surveillance rationalise le travail : le découpe en microprocessus, le décontextualise, et convertit le travail en pratiques objectivables et calculables. En fait, les ELD se sont révélés plutôt intéressantes pour les employeurs qui ont déployés avec ces outils des systèmes de management de flotte qui leur permettent d’avoir des informations plus précises sur l’activité des routiers, de connaître en temps réel la géolocalisation des camions, mais aussi d’avoir des informations sur leurs modes de conduites (freinage, consommation de carburant…) ainsi que des informations sur la maintenance et le diagnostic du véhicule. Ces systèmes ont renforcé la communication entre le camionneur et son employeur. Enfin, ces données permettent également de faire de la prédiction de risque.

Les entreprises se servent de ces données pas seulement pour elles, mais également pour d’autres. Ces données sont souvent rendues visibles ou accessibles à leurs clients, pour renforcer la fluidité de la chaîne logistique et prévoir l’arrivée des cargaisons. En fait, ces outils sont utilisés pour aller au-delà de ce que proposait la loi (ainsi, celle-ci n’impose un enregistrement de la localisation qu’une fois toutes les 60 minutes, alors que les dispositifs procèdent à un enregistrement en continu). Les dispositifs ont changé la nature de qui détenait l’information. Désormais, les conducteurs n’ont plus l’exclusivité de l’information contextuelle, ce qui modifie leur relation avec leurs employeurs et donc leur indépendance. Les firmes ont même à leur disposition de nouvelles informations dont les conducteurs ne disposent pas, comme des informations sur leur conduite (freinages intempestifs, consommation d’essence…). Les outils permettent enfin une surveillance et une communication plus intensive et plus fréquente, et également plus immédiate, en temps réel, par exemple en informant immédiatement d’une durée de conduite trop longue par rapport à son stricte cadre horaire. Avec le déploiement de la technologie, c’est souvent l’autonomie qui recule : les employés devant répondre et être pénalisés pour chaque problème qui remonte des pipelines informationnels.

Ces nouveaux flots d’information conduisent à de nouvelles stratégies de gestion des hommes, que ce soit par l’évaluation des performances des conducteurs comme leur comparaison entre eux. Les données sont ainsi « resocialisées », c’est-à-dire que les métriques sur les conducteurs sont partagées entre eux pour créer une pression sociale pour les pousser à se conformer aux règles. Beaucoup de gestionnaires de flotte postent ou classent les conducteurs selon leur score de conduite pour créer une pression sociale comparative et pousser les conducteurs à s’améliorer. Certaines entreprises les couplent avec de petites primes financières. Parfois, ces incitations dépassent le cadre de l’entreprise : quelques rares entreprises procèdent à des cérémonies ou des banquets, invitant les familles des conducteurs ou remettant la prime à leurs femmes pour renforcer cette pression sociale. Pour Karen Levy « le contrôle social basé sur les données dépend toujours beaucoup du fait qu’il se situe dans des forces sociales “douces” comme les soins familiaux – contrairement au récit courant selon lequel la gestion basée sur les données est abstraite et impersonnelle ».
Image d’un tableau de bord pour gérer une flotte de camion via OverDriveOnline.
Les dispositifs de contrôle des chauffeurs ne sont donc pas qu’une technologie de conformité réglementaire. Ils sont avant tout des outils de contrôle organisationnel qui visent à aligner les incitations pour que les travailleurs se conforment aux objectifs de profits des organisations.
Nouvelles données, nouveaux profits
La production de nouvelles données nécessite qu’elles soient rendues productives. Elles sont donc vendues ou partagées bien au-delà de l’entreprise. Avec les clients par exemple, mais aussi avec d’autres acteurs, comme les assureurs pour réduire le montant des primes. Elles peuvent également permettre de générer de nouveaux revenus, comme c’est le cas de tout un écosystème d’applications numériques dédiées à la conduite. Désormais, les routiers peuvent réserver des places dans des parking dédiés, via des applications comme Trucker Path. Sur la même application d’ailleurs, des entreprises vendent des correspondances de chargement, pour remplir les camions sur des segments de disponibilités, à la manière des chauffeurs sur Uber. D’autres utilisent ces données pour prédire de la maintenance, détecter l’état des routes, ou améliorer les délais de chargement/déchargement et les temps d’attente, comme Motive. Cette surveillance et ces nouvelles métriques pour améliorer la productivité ont bien plus profité aux gros transporteurs qu’aux petits, estime Karen Levy.

Mais surtout, la surveillance imposée par les autorités et celles des entreprises sont « profondément interopérables », même si elles accomplissent des buts différents. Elles sont « profondément compatibles », et l’une facilite le développement de l’autre. En fait, la collecte de données est elle-même au croisement des intérêt des autorités, des entreprises et d’acteurs tiers qui vont la faire fructifier. Les usages des données se chevauchent et s’entretiennent dans un ensemble d’intérêts légaux, socioculturels, économiques et techniques. « Ces synergies rende les systèmes de surveillance publics et privés pragmatiquement inséparables. La superposition d’intérêts de surveillance par le biais de systèmes interopérables se traduit par une plus grande capacité de surveillance nette que celle que l’État ou la société pourraient atteindre par eux-mêmes, créant un assemblage hybride de régimes de surveillance qui s’appliquent mutuellement. »

Karen Kelly a ensuite un long développement sur la manière dont les dispositifs changent le travail des officiers chargés du contrôle des temps de travail des camionneurs, soulignant combien ce qui devait être facilité est en fait devenu plus difficile. Les inspections sont devenues difficiles, notamment parce qu’il est plus dur pour les inspecteurs de recueillir les données depuis une multitude d’appareils et de formats différents nécessitant des manipulations parfois complexes, dans des situations où ils ne sont pas mis en situation d’autorité (il leur faut pénétrer dans les cabines des conducteurs et bien souvent recevoir leur aide), les conduisant finalement à des inspections moins poussées et moins rigoureuses qu’avant. Sans surprise, les dispositifs qui devaient d’abord améliorer le contrôle par les autorités ne l’a pas vraiment rendu possible. Il a plutôt déporté le contrôle ailleurs et autrement.
Résister à la surveillance ?
La chercheuse évoque également la résistance des routiers au déploiement des appareils. La littérature sur les formes de résistances est nourrie, que ce soit sur l’évitement, l’obfuscation en passant par la surveillance inversée pour surveiller les dispositifs de surveillance, voir le sabotage… Chez les conducteurs, Levy note qu’on trouve des procédés pour tenter d’altérer l’enregistrement des données (mettre du scotch sur une caméra, tenter de créer des interférences avec le système, ou par l’utilisation de dispositifs de brouillages de GPS…), la manipulation des données (qui nécessite souvent la complicité de l’entreprise, mais qui est difficile car les logiciels des dispositifs signalent les données éditées), les tentatives pour exploiter les limites techniques des systèmes (en s’appuyant sur ce que les dispositifs ne savent pas mesurer ou détecter, par exemple en se connectant au dispositif depuis un compte fantôme ou celui d’un autre utilisateur quand le conducteur a atteint sa limite de conduite, ou encore en jouant sur le travail non enregistré, comme les temps d’attente de chargement ou de repos) et la résistance sociale et organisationnelle (comme de quitter les firmes qui déploient des systèmes trop invasifs ou des grèves contre le déploiement des dispositifs – mais qui n’ont pas été très suivies -… d’autres formes d’oppositions aux contrôles se sont développées comme de ne pas présenter d’autres documents exigés, ou de collecter des factures de péage ou d’essence sans dates pour dérouter les contrôleurs).

Mais nombre de stratégies sont rapidement éventées et rendues impossibles par l’évolution des systèmes. Karen Levy concède qu’il est plus difficile de briser les règles avec des appareils électroniques de surveillance. Les stratégies de résistance collectives sont défaites par les outils de mesures individuels. Et les stratégies de résistance individuelle relèvent d’un « microluddisme sans grand effet », comme je le disais ailleurs. Pour Karen Levy, les routiers sont pris dans des injonctions contradictoires qui renforcent la pression qu’ils rencontrent. Leurs employeurs les poussent à tricher alors que les systèmes rendent la triche moins accessible. En fait, quand ils en arrivent à conduire avec un faux compte de conducteur, ou quand ils n’enregistrement pas correctement les heures de non-conduite, les routiers renforcent surtout les structures économiques qui les exploitent. Les routiers qui résistent s’autorisent surtout à travailler plus longtemps et donc plus dangereusement. En fait, derrière la résistance, il faut comprendre contre qui et contre quoi on résiste, au bénéfice de qui ? Le routier qui roule en s’enregistrant sur l’ELD depuis un compte fantôme ne s’oppose pas à la loi, il négocie sa relation avec son employeur qui lui fournit les ressources pour ce subterfuge. Dans le monde de la route, résister, c’est faire appelle à une identité d’indépendance, qui n’est plus mise au service du conducteur, mais bien de l’entreprise. L’autorité est déplacée : ce n’est plus l’autorité de régulation qui est injuste ou l’employeur qui est autoritaire, mais la machine dont il faut se défier. Pour Levy, la résistance dans le monde des transports est surtout un exercice d’auto-exploitation, une victoire fantôme qui donne l’illusion qu’on est encore maître de la relation de pouvoir qui s’impose au conducteur. Le routier s’oppose désormais à la machine plutôt qu’aux injonctions impossibles de son supérieur.
La promesse de l’autonomisation masque toujours la réalité de la surveillance
Levy livre ensuite un excellent chapitre sur la menace de l’autonomisation, à savoir la perspective de déploiement de véhicules autonomes. La chercheuse souligne que la menace de l’autonomisation et la disparition à terme des conducteurs humains est très exagérée : nous en sommes très loin. Nous sommes loin d’une « apocalypse robotique » sur nos routes. Le risque d’une transformation et d’une dégradation de l’emploi des routiers est bien plus certain que leur disparition.

L’automatisation de la conduite oublie que le travail du routier ne consiste pas seulement à conduire un camion d’un endroit à un autre. Il est là également pour inspecter et maintenir le véhicule, protéger son chargement, charger et décharger, parler aux clients… L’automatisation menace certaines tâches, plus qu’elle n’est appelée à remplacer des emplois entiers. James Bessen nous a montré que si remplacement il y a, il prend du temps. Les guichets distributeurs d’argents n’ont pas remplacé les guichetiers des banques tout de suite, c’est seulement une fois la vague d’automatisation passée que l’emploi dans le secteur bancaire s’est réduit et transformé. L’avenir consiste bien plus en une démultiplication de technologies d’assistances que dans une automatisation radicale (à l’image des 5 niveaux de l’autonomie des véhicules, qui permettent, comme le dit d’une manière très imagée la chercheuse : de lever le pied, de lever les mains, de lever les yeux puis de lever le cerveau avant de lever l’être humain du siège du conducteur…). Le risque à terme du déploiement de véhicules autonomes devrait surtout permettre de précariser plus encore la profession. Si demain les chauffeurs n’ont rien à faire en cabine ou s’ils pilotent des camions à distance, ce sont des gens moins expérimentés que l’on pourra embaucher pour cela. La seule promesse de l’automatisation reste toujours d’améliorer les gains de productivité.

Enfin, rappelle la chercheuse, l’ironie de l’automatisation ne doit pas oublier le paradoxe qu’elle génère : les compétences se détériorent lorsqu’elles ne sont pas utilisées, tout le contraire de ce qu’on attend de l’humain face à la machine. Les humains sont très mauvais à devoir rester attentifs sans agir : « si vous construisez des véhicules où les conducteurs sont rarement obligés de prendre les commandes, alors ils répondront encore plus rarement encore lorsqu’ils devront prendre les commandes ». Pour le dire autrement, enlever ce qui est facile à accomplir d’une tâche par l’automatisation peut rendre plus difficile l’accomplissement des tâches plus difficiles. Enfin, les promesses de l’autonomisation des véhicules tiennent surtout d’un fantasme. Il y a 10 ans, dans la Technology Review, Will Knight nous avertissait déjà que les voitures autonomes ne sont pas pour demain (j’en parlais là). 10 ans plus tard et malgré plus 100 milliards d’investissements, elles ne vont toujours nulle part, expliquait récemment Max Chafkin pour Bloomberg. Contrairement à ce qu’on nous a raconté, les humains sont de très bons conducteurs par rapport aux robots. Une voiture autonome panique devant un pigeon sur la route. Aucune démo en condition réelle ne s’est avérée concluante, pas même chez Tesla. Pour l’un des pontes du domaine, le sulfureux Anthony Levandowski, le pape de la voiture autonome : “Vous auriez du mal à trouver une autre industrie qui a investi autant de dollars dans la R&D et qui a livré si peu”. La voiture du futur est dans l’impasse. Comme le dit Paris Marx dans son livre, Road to Nowhere (Verso, 2022, non traduit), ou dans d’excellentes interviews, les échecs dans l’innovation dans le transport sont majeures. Voiture autonome, covoiturage, services de micromobilité, voiture électrique, hyperloop… n’ont rien transformés ! Karen Levy rappelle qu’en 2018, Uber a fini par fermer sa division qui travaillait sur le camion autonome. L’idée de créer des réseaux de véhicules sur des voies spécifiques conduit par des humains à distance a fait également long feu : Ford a fermé sa division quand après des essais, le constructeur a constaté qu’il perdait facilement le signal des camions rendant leur pilotage à distance impossible. Quel que soit l’angle par lequel on la prend, l’autonomisation demeure surtout une promesse qui n’engage que ceux qui souhaitent y croire.
En route vers l’hypersurveillance !
Dans les années 60, Manfred Clynes et Nathan Kline ont lancé le terme et l’idée de cyborg, un hybride de robot et d’humain qui devait permettre aux corps de s’adapter aux contraintes du voyage spatial. L’idée était de modifier le corps humain pour qu’il s’adapte à des environnements hostiles. Plus qu’une modification ou même une augmentation des capacités par des systèmes qui se portent (wearables), l’avenir de l’automatisation semble résider bien plus dans une surveillance continue et de plus en plus intime des individus. Caméras, capteurs et habits viennent mesurer en continue les données biologiques des conducteurs pour évaluer leur niveau de stress ou de fatigue (les projets sont innombrables : comme ceux de SmartCap, Rear View Safety, Optalert, Maven Machines, Actigraph…). Outre ces outils, on voit fleurir aussi des caméras pointées vers le conducteur pour surveiller son regard et sa fatigue (Seeing Machine ou Netradyne). Il est probable que ces systèmes s’imposent rapidement, estime la chercheuse, via des obligations légales comme celles qui ont imposées les ELD, ou comme des fonctions additionnelles aux outils de gestion de flotte (à l’image des fonctions qui analyses les comportements de conduite chez Blue Tree Systems). Récemment, le National Transportation Safety Board américain, l’organisme de régulation du transport, a jugé que le système d’autopilote de Tesla n’était pas suffisant pour assurer l’engagement du conducteur et a suggéré de lui ajouter un système de surveillance du regard des conducteurs. L’Europe a exigé que des systèmes de surveillance des conducteurs soient installés dans tous les véhicules neufs vendus dès 2026 et une législation similaire est en discussion aux Etats-Unis. Le renforcement de la surveillance est en marche.

Ces machines ne serviront pas seulement à l’alerte, à la détection de la fatigue, mais également comme preuve en cas d’accident, et surtout comme outils pour renforcer encore l’intensification du travail et le contrôle de l’attention. Pour Karen Levy, nous sommes sur la pente glissante des technologies, dont le seul avenir consiste à entrer dans le cerveau des conducteurs pour vérifier qu’ils ne pensent pas à autre chose qu’à conduire ! « Il y a quelque chose de viscéralement agressif lié au micro-management permis par ces technologies ».

L’enjeu de l’IA dans le transport consiste surtout à pointer les faiblesses humaines, via une surveillance constante, intime, viscérale. Si la menace du remplacement des chauffeurs par des robots est lointaine, celle d’une « hybridation forcée », une invasion intime de la technique dans le travail et le corps des routiers, semble bien plus réaliste. « L’IA dans le transport aujourd’hui, ne vous fout pas dehors de la cabine, il envoie des textos à votre boss et à votre femme, envoie une lumière dans vos yeux et vous fout des coups de pieds au cul ». Les conducteurs sont toujours dans la cabine, mais avec des systèmes qui les surveillent, transformant la relation entre le travailleur et la machine en un ensemble conflictuel.

En fait, estime Levy, l’automatisation et la surveillance sont complémentaires. L’un ne se substitue pas à l’autre. « L’automatisation n’est pas la solution pour diminuer la surveillance », au contraire, elle la renforce. Les camions devraient continuer à être conduits par des humains pour longtemps, mais ceux-ci risquent d’être de plus en plus en conflit avec la technique, à défaut de pouvoir l’être avec leurs donneurs d’ordres. Avec la technique, quelques emplois disparaissent, d’autres s’améliorent, mais la plupart deviennent pire qu’ils n’étaient avant. La technologie a tendance à les rendre moins pénible, certes, mais bien plus intenses qu’ils n’étaient. Avec les outils numériques, le travailleur est surveillé d’une façon « plus intime et plus intrusive » qu’auparavant – à l’image de systèmes qui observent tout l’habitacle, et donc le comportement des autres passagers également. La techno surveille, harcèle et impose une responsabilité supplémentaire à ceux sur qui elle s’abat, qui doivent répondre de la moindre de leur défaillance que relèvent les indicateurs qui les monitorent. Certes, ces systèmes peuvent être déjoués. Même les systèmes qui surveillent la position du regard peuvent l’être avec des lunettes, mais ces détournements ne peuvent être que circonscrits.

A nouveau plus d’automatisation implique d’abord plus de surveillance. Reste que la grande question qui n’est jamais débattue est de savoir jusqu’où la surveillance doit aller ? Le storytelling de l’automatisation promet toujours que nous allons être libérés des tâches les plus ingrates pour nous concentrer sur les plus intéressantes. Mais ce n’est pas la réalité, rappelle la chercheuse. En réalité, les routiers font face à une double menace des technologies. La première, c’est leur déplacement, qui est plus lent et graduel que prévu, mais qui est bien réel, et ce déplacement est d’abord celui d’une précarisation qui prévoit qu’à terme n’importe qui pourra faire ce travail pour bien moins cher qu’aujourd’hui. De l’autre, c’est l’intensification de la surveillance, et avec elle, la dégradation de la qualité, de l’autonomie et de la dignité du travail.
De l’exécutabilité du travail
Dans Against Security (Princeton University Press, 2014, non traduit), le sociologue Harvey Molotch explique que trop souvent on impose des solutions top-down aux problèmes sociaux. Ces solutions sont basées sur comment certains pensent que le monde fonctionne. Trop souvent, « on efface les mécanismes tacites et les modes de contournements que les gens utilisent pour que les choses soient faites », explique-t-il. On impose un ordre apparent au détriment de l’ordre réel. En renforçant les règles par la surveillance numérique, on renforce cet ordre apparent, et on ignore les causes sociales, économiques et politiques des problèmes. Les dispositifs numériques introduits dans les camions supposent qu’on ne peut pas faire confiance aux conducteurs et que la seule solution consiste à limiter leur autonomie, plutôt que de la renforcer. Les dispositifs de surveillance n’ont rien changé à ce qui motive les routiers à contourner les règles, ils n’ont rien fait bouger des problèmes de l’industrie du transport, à savoir le manque de protections des travailleurs, les problèmes liés à la façon dont le paiement est structuré… Au mieux, ils empêchent quelques abus, mais il reste possible aux routiers et à leurs employeurs d’exploiter les limites des outils de surveillance – en renforçant encore et toujours la responsabilité des routiers. Pour Karen Levy, s’il y a des solutions aux problèmes du transport, elles ne sont pas technologiques. La technologie n’est qu’une façon superficielle de masquer un problème qui ne s’adresse jamais à ses causes profondes. L’enjeu devrait être bien plus de regarder la structuration économique du transport pour rendre sa décence au travail des routiers. Le premier enjeu pour mettre fin à ces « ateliers clandestins sur roue » consiste à payer les routiers pour leur travail, et non pas seulement pour les kilomètres qu’ils abattent, en prenant en compte et en payant les temps d’attente et de services. On en est loin. Les réponses technologiques semblent partout plus simples à déployer que les réponses sociales et économiques… et ce d’autant plus que les déploiement techniques ne remettent jamais en cause les infrastructures de pouvoir existantes, au contraire.

Karen Levy suggère qu’on pourrait utiliser les données produites par les systèmes de surveillance pour mieux adresser les problèmes, comme la question du temps de détention. Pour elle, nous devrions réorienter la collecte de données pour passer d’outils de contrôle individuels à des moyens de réforme collective, même si, rappelle-t-elle, assigner des chiffres ne créée pas d’une manière magique la volonté politique d’en adresser l’enjeu. Les preuves ne suffisent pas toujours, comme le disait très justement Mimi Onuoha en parlant de l’immense documentation existante sur le racisme et la discrimination. Sans accompagnement social, économique, culturel et légaux, les mesures ne produisent rien. « Si nous construisons des outils qui permettent aux patrons de surveiller l’activité des travailleurs, nous devrions les accompagner de protections légales renforcées pour ces travailleurs », explique très justement Karen Levy, et « nous soucier de leur intégration dans la culture du travail ». Or, cette culture n’est pas la même partout.

Une intéressante étude a montré que les routiers ne répondaient pas tous de la même manière à la publication de leurs performances mesurées par les systèmes. Dans les entreprises où la culture au travail est très individualiste, ces publications tendent à favoriser la compétition entre employés. Dans les entreprises où la culture du travail est plus collectiviste, ces performances ont l’effet opposé et poussent le collectif à limiter la compétition. Le but de la démonstration n’est pas de montrer que les entreprises devraient se défier des cultures du travail coopératives, que de montrer que les effets de la surveillance ne sont pas uniformes, qu’ils privilégient un mode de rapport au monde sur d’autres, une culture et une idéologie sur d’autres. Sévir sur la rupture des règles sans reconnaître que les travailleurs sont contraints de le faire, consiste seulement à les conduire à des situations intenables dont ils seront tenus pour seuls responsables. C’est un peu comme si finalement ce type de régulation technique n’avait pour but que d’absoudre le régulateur (le politique) et l’organisation (l’économique) pour faire peser toutes les contraintes sur le plus petit et plus faible maillon de la chaîne : l’individu. Au final, celui-ci n’a plus d’autres choix que d’enfreindre la règle de sa responsabilité, sous la pression de la loi, de la technique, de la chaîne économique. « La meilleure façon de penser au changement technologique n’est pas de se concentrer uniquement sur la technologie, mais de renforcer les institutions sociales et les relations qui l’entourent », conclut Levy. Certes. Mais dans la perspective d’une amélioration de la productivité sans limite, il est finalement plus simple pour toute la société, de renvoyer toutes les injonctions contradictoires et les responsabilités sur le dernier maillon de la chaîne de responsabilité. Au final, c’est au routier de gérer toutes les contradictions que la société lui impose. Et dans tous les cas, il perd !

*

La monographie de Karen Levy est une belle illustration des contradictions où s’enferme le monde du travail moderne. Elle montre que dans ces transformations, le travailleur n’a aucun levier sur les conséquences du développement du numérique au travail. Partout, le numérique réduit ses marges de manœuvre pour résister à l’intensification, pour garder de l’autonomie, pour limiter le contrôle et lutter contre la précarisation. Le travailleur est renvoyé à un conflit solitaire avec la machine, au détriment d’un conflit avec ceux qui les exploitent et les déploient et au détriment de toute collectivisation du conflit. Même le simple enjeu d’arriver à limiter le niveau de surveillance, pour qu’elle reste proportionnelle, est débordée par les capacités de la technique. Avec une surveillance qui vise à repousser les injonctions contradictoires entre le légal et l’économique sur les épaules des seuls individus plutôt qu’au niveau de la société, la technologie fait reculer la justice, et donc avec elle, notre possibilité même de faire société.

Hubert Guillaud

A propos du livre de Karen Levy, Data Driven, Truckers, Technology, and the new workplace surveillance, Princeton University Press, 2023.

16 December 2024

7:30
Comment les IA sont-elles corrigées ?
sur Dans les algorithmes

OpenAI vient de publier un document qui entr’ouvre ses méthodologies de contrôle éthique. Le document en question vise surtout à mettre en avant le fait que ses derniers modèles sont plus performants que les plus anciens, mais ce n’est pas là l’information la plus intéressante de l’article. On y découvre surtout la liste des procédures qu’OpenAI applique à ses modèles pour les évaluer.

Si les modalités de ces évaluations ne sont pas détaillées, cette liste nous montre que l’entreprise produit plusieurs indicateurs pour tenter de mesurer les biais des réponses de ces modèles, afin d’évaluer par exemple si le modèle à tendance à générer du contenu non autorisé. Ainsi en matière d’évaluation de contenus non autorisés, OpenAI évalue ses modèles pour savoir quel est leur taux de réponse à des demandes préjudiciables, en principe limitées, comme le fait de donner des conseils médicaux, juridiques ou criminels. L’entreprise calcule également le taux de refus de réponses et des réactions à des grappes d’actions spécifiques. Les modèles sont également évalués pour connaître leur résistance aux jailbreaks connus ou encore sur la régurgitation des données d’entraînements, ou encore sur leur capacité à halluciner… Il y a également une évaluation sur l’équité et les biais, depuis des invites pour poser des questions en modifiant l’âge, l’origine ethnique ou le genre du locuteur, afin de voir si le modèle fait des réponses différentes. Il y a même une mesure de la « surveillance de la tromperie », consistant à évaluer quand les « modèles fournissent sciemment des informations incorrectes à un utilisateur, ou en omettant des informations cruciales qui pourraient les amener à avoir une fausse croyance ». Enfin, OpenAI travaille avec des équipes externes qui ont pour mission de trouver d’autres lacunes et de briser ses mesures de sécurité – ce qu’on appelle le red teaming.

Cependant, comme le souligne le chercheur Gabriel Nicholas pour Foreign Policy, la difficulté pour les équipes chargées du red teaming reste d’accéder à l’information. Si les entreprises d’IA mettent plus facilement leurs produits à la disposition des chercheurs, aucune ne partage de données sur la façon dont les gens utilisent leurs produits. Il est donc difficile de savoir à l’encontre de quels préjudices les chercheurs devraient orienter leurs contre-mesures. Les chercheurs n’ont également aucun moyen d’évaluer l’efficacité avec laquelle les entreprises appliquent leurs propres politiques. Ainsi, OpenAI peut interdire l’utilisation de son programme GPT-4 pour des conseils juridiques, des décisions d’embauche ou pour mener une campagne politique, mais le public n’a aucun moyen de savoir à quelle fréquence l’entreprise réussit – ou même essaie – de bloquer de telles tentatives. Non seulement les entreprises d’IA ne partagent pas les données d’entraînement de leurs modèles, mais elles ne partagent pas non plus de données sur la manière dont les gens utilisent leurs modèles, ou comment elles produisent leurs indicateurs spécifiques ou construisent les barrières morales de leurs modèles (comme l’auto-censure sur certains sujets), comme le montre l’index de transparence des modèles de fondation.

L’accès aux données demeure à nouveau crucial. Le grand problème pour le régulateur consiste à accéder à de l’information fiable sur comment les modèles sont utilisés et comment ils sont corrigés sont deux enjeux forts pour améliorer le contrôle.

*

Quant aux nouveaux modèles o1 d’OpenAI, The Atlantic explique assez bien qu’ils ne sont pas tant capables de raisonner ou de réfléchir comme on l’entend partout (en reprenant les éléments de langage d’OpenAI), que capables de tester en parallèle des milliers de réponses pour les améliorer. Encore une fois, le but est de faire un progrès par force brute et par puissance de calcul. Bien évidemment, ces nouveaux modèles se révèlent encore plus gourmands en énergie que les précédents… Mais l’alerte sur les limites écologiques ne semble pour l’instant dissuader personne à les produire ou les utiliser.

13 December 2024

7:30
La pseudo-ouverture, condition de domination
sur Dans les algorithmes

Nous avions déjà souligné la difficulté à qualifier d’ouverts des systèmes d’IA qui ne le sont pas vraiment. Dans Nature, David Widder, Meredith Whittaker et Sarah Myers West enfoncent le clou : à mesure que tout le monde parle d’ouverture de l’IA, force est de constater qu’elle se réalise de moins en moins.

En fait, la rhétorique sur l’IA open source a été largement construite par les entreprises d’IA elles-mêmes, comme un moyen pour s’exempter des contraintes réglementaires, alors même que le flou de ce que recouvre l’IA vient perturber la notion d’ouverture. En fait, on projette des conceptions conventionnelles du libre et de l’open source sur des systèmes d’IA dont la complexité nécessiterait des redéfinitions de l’ouverture. Or, rappellent les chercheurs, l’open source logicielle ne désigne pas seulement des modèles réutilisables, mais d’abord des écosystèmes pour créer de la domination de diverses manières, que ce soit pour s’opposer aux concurrents privés, pour obtenir l’hégémonie sur des marchés voire capitaliser et intégrer des idées développées à l’extérieur sans avoir bourse à délier.

Mais l’ouverture dans le domaine de l’IA n’est pas de même niveau ni ne porte les mêmes enjeux que dans le monde du logiciel libre. Elle n’est pas qu’une question d’accès à des interfaces de programmation ou à des données d’entraînements. Et surtout, l’accès aux grands modèles dits ouverts, ne crée pas une perturbation des caractéristiques du marché, mais renforce les grands acteurs. Dans la pratique, l’ouverture n’offre parfois guère plus qu’un accès à des API ou à un modèle qui porte de nombreuses restrictions d’utilisation. Dans ces cas-là, nous sommes clairement dans de l’openwashing. Les grands modèles d’IA pseudo-ouverts « façonnent toutes les trajectoires et les conditions » de ce qui peut être construit à partir d’eux.

Contrairement au monde du logiciel libre, l’IA dite ouverte ne change pas les conditions de concurrence. Au contraire. Les conditions d’accès aux marchés restent contraintes et limitées. Même des acteurs avec du capital ne peuvent les atteindre sans s’associer aux seigneurs de l’IA, à l’image de Mistral contraint de s’associer à Microsoft.

En réalité, les modèles d’IA n’ont d’ouvert que le nom. Ils ne documentent pas leurs données de formation, publient peu de résultats et encore moins depuis des processus d’évaluation scientifique. Les modèles sont mêmes devenus si concurrentiel et si vastes, que désormais, la taille des données d’entraînement mobilisées n’est même plus indiquée. En fait, les données sont bien souvent « l’élément fermé des offres d’IA qui se présentent comme ouvertes ». Leur production extractiviste et colonialiste interroge. « Lorsque les ensembles de données ne sont pas mis à disposition pour examen, ou lorsqu’ils sont d’une taille insondable, il devient très difficile de vérifier si ces ensembles de données blanchissent la propriété intellectuelle d’autrui ou utilisent commercialement des données qui ne devraient pas l’être ». Ces systèmes reposent fondamentalement sur l’exploitation du travail d’autrui, que ce soit par les données qu’ils exploitent, pour étiqueter, produire et classer les données, pour étalonner les modèles, pour la modération comme pour la maintenance. Autant de domaines sur lesquels, l’ouverture et l’information sont inexistantes, autrement que via le travail de journalistes, de travailleurs ou de chercheurs, dont les travaux seuls permettent de comprendre les limites des systèmes.

Enfin, l’économie de l’IA repose aussi sur des cadres de développement interopérables et des développements open sources populaires qui vont servir à la construction des modèles et à leurs interconnexion, depuis des méthodes et pratiques standardisées. Ce sont notamment PyTorch et TensorFlow, tous deux créés au sein de grandes entreprises technologiques commerciales, Meta et Google. Ils permettent notamment à Meta et à Google et à ceux qui pilotent le développement de ces cadres de normaliser la construction de l’IA, et de rendre les résultats compatibles avec leurs propres plateformes d’entreprise, « garantissant que leur cadre conduit les développeurs à créer des systèmes d’IA qui, comme des Lego, s’emboîtent dans leurs propres systèmes d’entreprise ». Ces cadres de développement ne sont pas que des cadres de standardisation, ils permettent de créer « des rampes d’accès » vers d’autres services, notamment les offres de calcul en nuage et l’intégration aux autres outils logiciels. « L’entreprise qui propose ces cadres obtient un pouvoir indirect substantiel au sein de l’écosystème », puisque cette standardisation lui permet de former les développeurs et les chercheurs et donc à terme lui permet de capturer les développements de l’IA. Enfin, l’accès à la puissance de calcul pour développer les modèles est on ne peut plus restreinte et très largement propriétaire.

Pour les chercheurs, l’IA dépend de quelques très grands acteurs qui contrôlent l’industrie. Contrairement à son apport dans le monde logiciel, l’ouverture de l’IA, elle, repose sur un ensemble de couches plus complexes, dont les modalités d’ouverture et de transparence minimales ne sont pas construites. L’ouverture ne conduira pas à elle seule à produire un écosystème plus diversifié, responsable ou démocratique. Pour l’instant, les grandes entreprises utilisent l’avantage que leur procure la pseudo-ouverture qu’elles proclament pour éloigner les réglementations qui les menacent, notamment les accusations de produire des monopoles.

En vérité, l’IA est d’abord contrôlée de bout en bout par quelques acteurs géants. La transparence, la documentation sont bien sûr précieux pour améliorer la responsabilisation des acteurs et leur contrôle, mais pour l’instant nous sommes surtout confrontés à des systèmes opaques qui concentrent le pouvoir bien plus qu’ils ne le disséminent. Mobiliser pour élargir l’ouverture des modèles, seule, ne sera probablement pas très bénéfique, notamment parce qu’elle ne suffit pas à renverser la concentration du pouvoir à l’œuvre. Derrière l’ouverture, l’enjeu n’est pas seulement de rendre les modèles réutilisables, ou plus transparents, mais de lutter contre l’accaparement de toutes les formes de production de calcul par quelques entités. Et pour cela, l’ouverture ne suffit pas.

12 December 2024

7:30
Teratologie machinique
sur Dans les algorithmes

De prime abord, à en croire son titre – Persistance du merveilleux : le petit peuple de nos machines (Premier Parallèle, 2024) – le nouveau livre du sociologue et anthropologue Nicolas Nova promet une exploration enchantée de nos machines. On s’attend à lire des récits curieux de nos rapports à nos machines, une balade savante à la manière des encyclopédies de l’elficologue Pierre Dubois, pour nous présenter on ne sait quelle magie qui peuplerait nos machines, pour nous proposer une improbable typologie, comme il le faisait dans Smartphones (2020), capable de jouer du décalage entre nos activités numériques ordinaires et les symboles dont nos rapports médiatisés sont chargés. On s’attendrait à une forme de complément ou de de contre-point au sombre Bestiaire de l’anthropocène que le prolifique chercheur a publié l’année dernière (avec le collectif Disnovation – et qui vient d’ailleurs de paraître en français) cet atlas de créatures étranges, hybrides, allant des chiens-robots au gazon artificiel, qui interrogeait le monde post-naturel dans lequel nous vivons. Il n’en est rien. Persistance du merveilleux est un titre trompeur ou un chemin de traverse. Il n’y a aucune bonne fée, aucun lutin gentil dans nos machines, bien peu d’enchantement finalement. Aucune féérie. Nicolas Nova s’intéresse surtout aux monstruosités qui naissent de nos machines et des rapports que nous avons avec elles. Persistance du merveilleux tient bien plus d’une tératologie machinique que d’une légende dorée.
Ménagerie numérique
La ménagerie numérique que le chercheur convoque tient beaucoup de la rencontre entre deux fonctionnements différents : celui des machines et celui des utilisateurs. Comme si l’étrangeté du comportement de nos machines produisait nécessairement de la friction. Comme si l’utilisateur était toujours renvoyé à une relation conflictuelle avec des systèmes qu’il ne maîtrise pas, qui ne se comportent pas dans une langue ou une grammaire qu’il peut vraiment comprendre.

Dans la typologie de notre rapport compliqué aux machines qu’il tente de dresser, l’anthropologue distingue d’abord, les « démons », ces petits programmes qui effectuent les tâches nécessaires au bon fonctionnement de nos outils et qui se rendent visibles dès qu’ils dysfonctionnent. Ces programmes qui roulent en tâche de fond, qui assurent des mises à jour, qui détectent ce qui doit l’être… Des programmes souvent rudimentaires, dont nous n’avons pas conscience, qui agissent sans qu’on ait besoin de les lancer, comme autant de concierges qui feraient très bien leur métier… jusqu’à ce que ce ne soit plus le cas. Car la ménagerie numérique, à l’image du bug, se révèle surtout quand elle ne fonctionne pas telle qu’elle le devrait, quand elle n’agit plus de manière coordonnée, telle qu’elle a été programmée. Comme si ce bestiaire de monstres naissait de notre interprétation lacunaire des défaillances de la programmation. C’est pourtant quand les programmes défaillent que les monstres se libèrent, qu’ils se révèlent pour ce qu’ils sont : des programmes simplistes, intrusifs et infantilisants, des programmes qui relèvent leurs comportements excessifs, à l’image de l’infernal Clippy de Microsoft. C’est la manière même dont ces programmes sont programmés qui nous tourmente. C’est parce qu’ils ont un comportement très différent du nôtre qu’ils nous harcèlent, nous obsèdent, nous persécutent.

D’autres créatures nous tourmentent encore. Nova distingue par exemple les fantômes, des choses qui s’enregistrent et qui subsistent, qui réapparaissent à l’occasion, comme des « traces agissantes », à l’image d’appels en provenance d’individus décédés, d’enregistrements de joueurs dans un jeu, de personnages non joueurs aux comportements erratiques, de fichiers qui réapparaissent alors qu’on les a effacés… Nova rappelle le caractère spectrale des premières machines à communiquer comme la radio ou le téléphone. Grésillements, écrans qui se figent, comportements irréguliers… Ici, c’est aussi nous, utilisateurs, qui faisons apparaître ces fantômes, qui créons des légendes qui se propagent comme pour donner une épaisseur qui les dépasse à nos technologies, comme pour révéler le mystère qui les entoure, le personnifier, l’incarner, donner de l’épaisseur à notre relation aux machines. Là encore, ces traces que nous ne maîtrisons pas soulignent le « caractère envahissant lié à la complexité de nos artefacts », qu’il nous faut interpréter, auquel nous sommes sommés de donner sens.

Une autre catégorie du bestiaire est celle des virus, malware et autres trolls, à savoir les créatures numériques qui ne naissent pas tant des machines ou de notre rapport avec elles que des comportements des autres utilisateurs, eux-mêmes parfois malfaisants, et dont la malfaisance passe désormais par les machines pour nous toucher. Alors que ces attaques sont souvent volontaires, c’est la fatalité qui est ici souvent convoquée. Le virus comme le troll nous replacent dans une relation subie avec nos machines, face auxquelles nous ne pourrions nous immuniser. Nous sommes confrontés à des attaques inévitables, face auxquelles nous ne pouvons être que désarmés, à l’image du troll, celui qui vient perturber les discussions, mais dont on ne peut endiguer la présence. Ou encore bien sûr, le bug, le pur dysfonctionnement.

Enfin, l’anthropologue distingue encore toute une série d’espèces compagnes, avec lesquelles nous apprenons à interagir ou faire semblant, comme les Personnages non joueurs des jeux vidéo ou les agents conversationnels avec qui nous devons interagir, malgré leurs limites à s’exprimer. Là encore, nous tissons des relations avec des programmes, avec des êtres qui produisent « des effets de personnes », avec lesquelles nous devons créer des sociabilités nouvelles, mi-machiniques mi-humaines. Machines parlantes. Machines qui semblent avoir des comportements humains ou plutôt qui nous le font croire. Simulateurs de relations. L’anthropologue parle assez justement d’une « avatarisation généralisée » (l’expression est d’Etienne Amato et Etienne Perény) où tout semble anthropomorphisé pour mieux nous subvertir, pour mieux jouer de notre propre état mental et émotionnel. C’est parfois nous-mêmes qui nous incarnons à l’écran, entre substitution et sublimation, comme disait Antonio Casilli. Cernés par des « compagnons programmés » qui déploient un pouvoir de suggestion et d’immersion, souvent imparfaits, mais qui nous submergent parce qu’ils parviennent, malgré leur caractère frustre, à singer nos modes relationnels et à susciter en nous des émotions. Les PNJ avec lesquels nous interagissons facilitent notre investissement affectif. C’est nous qui sommes joués de ces outils souvent simplistes. C’est nous qui sommes hallucinés, c’est nous qui croyons en leurs effets, qui sommes bluffés affectivement, manipulés. Comme si les PNJ finalement étaient le grand-père des IA génératives avec lesquelles nous discutons, ancêtres de relations sociales sans société, simulées. Des relations avatarisées et scriptées, appauvries oui, car créées pour nous duper. Avec le risque que ces modalités « appauvrissent les situations relationnelles ou les rendent plus homogènes », qu’elles produisent une forme commerciale des relations affectives : des monstres relationnels. C’est avec cette dernière catégorie des montres de l’IA que se clôt le bestiaire moderne de Nicolas Nova. Des IA conversationnelles (les perroquets) au maximiseur de trombones, nous sommes confrontés à des êtres difficiles à appréhender. Nous avons du mal à comprendre leur puissance comme leurs limites. C’est nous mêmes qui semblons perdus, désarçonnés par ces entités « gargantuesques » que peuvent être ChatGPT et ses clones. Les IA incarnent de nouveaux monstres, encore plus étranges que tous ceux qui peuplent déjà cette vallée de l’étrange, encore plus étranges que leurs productions mêmes, que ce soit ces images si brillantes et si moyennes que ces textes, si écrits et si vides.
Persistance du monstrueux
Comme toujours avec les textes de Nicolas Nova, il faut se préparer à être décalé, à devoir prendre la tangente. L’anthropologue s’amuse autant des mèmes qui renforcent son bestiaire, que des petites histoires des utilisateurs qu’il mêle à une archéologie étymologique qui montre que les noms des créatures magiques, eux aussi, tiennent bien moins d’une longue lignée du merveilleux que de réinventions. Nova souligne très bien la dimension narrative forte de ce bestiaire, de ses effets, de leurs enjeux, construisant des imaginaires fonctionnels, qui nécessitent de prendre des mesures adaptées comme de s’en protéger. Tout ce bestiaire révèle surtout la plaie que représente encore l’informatique pour l’utilisateur. Ces monstres finalement sont autant de marqueurs du fait que l’utilisateur ne maîtrise pas le processus qu’il utilise, que celui-ci le dépasse, que la machine le dépasse. Finalement, l’intentionnalité qu’on prête aux machines est surtout le reflet de notre dépossession. Nova ne décrit pas tant un monde merveilleux, qu’une inquiétude sourde, un monde avec lequel nous sommes peu ou prou en conflit, comme si la complexité nous submergeait toujours. « Sans diminuer l’importance de toutes ces menaces, il semble néanmoins important de constater que la difficulté à comprendre et expliquer le mode opératoire de toute cette ménagerie ainsi que le degré de sophistication technique générale dans lequel elles opèrent contribuent à les nimber d’une aura légendaire ».

Pour Nova, ces récits fonctionnent comme des avertissements sur nos limites à comprendre les machines comme sur ce qu’elles font vraiment. Leurs manifestations signalent d’abord le désordre, nous montrent que ce monde ne marche pas si bien. Dans son petit livre, Nicolas Nova dresse bien surtout une tératologie des machines qu’il nous faut affronter pour être humains. Prouver que l’on est humain, n’est pas qu’une case à cocher sur un captcha, c’est désormais apprendre à interagir avec ces entités, apprendre à vivre avec ce folklore que nous avons participé à bâtir. Très justement, il conclut en pointant que ce bestiaire n’est pas tant une survivance d’un folklore que sa réappropriation pour nous aider comprendre des modes de relations nouveaux avec des entités qui ne sont pas humaines. Comme si nous avions à construire une diplomatie nouvelle avec nos machines, comme dirait le philosophe Baptiste Morizot. Sauf qu’ici, nous ne sommes pas beaucoup maîtres des règles relationnelles, mais nous devons apprendre à construire cette géopolitique des relations. Nous sommes plongés dans un milieu où ne se déploient pas que des êtres imaginaires d’ailleurs, mais avec eux, des relations, des comportements, des politiques, des logiques idéologiques qu’ils incarnent et orientent. Nova le dit. Ces métaphores monstrueuses ne sont pas que la marque d’une méconnaissance ou d’une persistance d’un imaginaire (le cheval de Troie n’a pas grand chose à voir avec l’histoire d’Homère), mais bien le reflet d’une « relation asymétrique entre concepteurs et utilisateurs ». Le bestiaire auquel nous sommes confrontés tient bien plus d’un portrait de Dorian Gray que du petit peuple des bois. Il est l’envers de la magie dont se pare trop souvent la technologie. Nos métaphores « structurent ce que nous percevons ». Elles embarquent avec elles « un point de vue sur le monde ». Cette ménagerie de monstres ne révèle rien d’autre finalement que l’assujettissement où nous tiennent ceux qui produisent les machines. Nos monstres sont les leurs que nous tentons de dompter et d’apprivoiser.
Couverture du livre Persistance du merveilleux de Nicolas Nova.

11 December 2024

7:45
Surveiller et sauver
sur Dans les algorithmes

Aux Etats-Unis, nombre d’ordinateurs fournis aux élèves sont désormais sous surveillance. Ils sont non seulement bardés de filtres pour les empêcher d’accéder à certains sites, mais aussi de plus en plus bardés de mouchards qui surveillent ce qu’ils y écrivent, rapporte un reportage glaçant du New York Times. Quand les élèves tapent des mots liés au suicide, des alertes sont désormais déclenchées et conduisent au déplacement de policiers jusqu’aux domiciles des élèves pour procéder à des vérifications.

Pour Laura Erickson-Schroth, directrice d’une organisation sur la prévention du suicide, il est pour l’instant impossible d’éclairer l’efficacité de ces filtrages automatisés, car ils ne sont accessibles qu’aux entreprises qui les ont créées et les interventions qu’aux responsables des districts scolaires. Certes, elles permettent parfois d’intervenir à des moments critiques, mais elles semblent aussi avoir des conséquences importantes à l’égard des élèves, même quand l’alerte se révèle infondée. Plusieurs parents ont déclaré que les alertes avaient incité les écoles à réagir de manière excessive, par exemple en arrêtant la scolarisation de certains d’entre eux, quand bien même ils étaient suivis psychologiquement par ailleurs. Pour les parents qui signent pourtant un accord d’intervention lors de la livraison du matériel, le fait que ce soit la police qui se déplace plutôt qu’un travailleur social interroge également.

Les alertes sont souvent reçues par un responsable de l’école qui doit les analyser et les trier. Les fausses alertes sont nombreuses, mais beaucoup de personnes impliquées dans ces chaînes ont tendance à penser que les faux négatifs ne sont pas graves s’ils permettent de sauver des jeunes en difficulté au moment où ils l’expriment. Alors que certains systèmes sont débranchés en-dehors des heures de cours ou pendant les vacances, nombres d’écoles s’y refusent, introduisant une surveillance omniprésente. Comme le souligne un élève, cette surveillance omniprésente ressemble certainement à l’avenir. Elle rappelle que la police de la pensée chère à Orwell ne s’impose pas pour affirmer une vérité, mais pour nous protéger.

7:30
Comment la surveillance renforce nos exigences
sur Dans les algorithmes

« Est-ce que je surveille mon bébé parce que c’est utile ou simplement parce que c’est disponible ? » Kristen Radtke

10 December 2024

7:30
L’IA générative, nouvelle couche d’exploitation du travail
sur Dans les algorithmes

« Comme pour d’autres vagues d’automatisation, le potentiel supposé de l’IA générative à transformer notre façon de travailler a suscité un immense engouement ». Mais pour comprendre comment cette nouvelle vague va affecter le travail, il faut dépasser la dichotomie entre l’IA qui nous augmente et l’IA qui nous remplace, estiment les chercheuses de Data & Society Aiha Nguyen et Alexandra Mateescu dans un nouveau rapport sur l’IA générative et le travail. La rhétorique de l’IA générative répète qu’elle va améliorer l’efficacité du travail et automatiser les tâches fastidieuses, dans tous les secteurs, du service client aux diagnostics médicaux. En réalité, son impact sur le travail est plus ambivalent et beaucoup moins magique. Ce qu’elle affecte est bien l’organisation du travail. Et cette dichotomie ne propose aux travailleurs aucun choix autre que le renforcement de leur propre exploitation.

Le battage médiatique autour de l’IA générative permet de masquer que l’essentiel de ses applications ne seront pas récréatives, mais auront d’abord un impact sur le travail. Il permet également d’exagérer sa capacité à reproduire les connaissances et expertises des travailleurs, tout en minimisant ses limites, notamment le fait que l’intelligence artificielle soit d’abord un outil d’exploitation des zones grises du droit. Mais surtout, l’IA nous fait considérer que le travail humain se réduit à des données, alors même que l’IA est très dépendante du travail humain. Or, pour le développement de ces systèmes, ce n’est plus seulement la propriété intellectuelle qui est exploitée sans consentement, mais également les données que produisent les travailleurs dans le cadre de leur travail. Dans les centres d’appels par exemple, les données conversationnelles des opérateurs sont utilisées pour créer des IA conversationnelles, sans que les travailleurs ne soient rémunérés en plus de leur travail pour cette nouvelle exploitation. Même problème pour les auteurs dont les éditeurs choisissent de céder l’exploitation de contenus à des systèmes d’IA générative. Pour l’instant, pour contester « la marchandisation non rémunérée de leur travail », les travailleurs ont peu de recours, alors que cette nouvelle couche d’exploitation pourrait avoir des conséquences à long terme puisqu’elle vise également à substituer leur travail par des outils, à l’image de la prolifération de mannequins virtuels dans le monde de la mode. Il y a eu dans certains secteurs quelques avancées, par exemple l’association américaine des voix d’acteurs a plaidé pour imposer le consentement des acteurs pour l’utilisation de leur image ou de leur voix pour l’IA, avec des limites de durée d’exploitation et des revenus afférents. Reste, rappellent les chercheuses que « les asymétries majeures de pouvoir et d’information entre les industries et les travailleurs restent symptomatiques » et nécessitent de nouveaux types de droits et de protection du travail.

Dans les lieux de travail, l’IA apparaît souvent de manière anodine, en étant peu à peu intégrée à des applications de travail existantes. Dans la pratique, l’automatisation remplace rarement les travailleurs, elle automatise très partiellement certaines tâches spécifiques et surtout reconfigure la façon dont les humains travaillent aux côtés des machines. Les résultats de l’IA générative nécessitent souvent beaucoup de retravail pour être exploitées. Des rédacteurs sont désormais embauchés pour réhumaniser les textes synthétiques, mais en étant moins payé que s’ils l’avaient écrit par eux-même sous prétexte qu’ils apportent moins de valeur. Les chatbots ressemblent de plus en plus aux véhicules autonomes, avec leurs centres de commandes à distance où des humains peuvent reprendre les commandes si nécessaire, et invisibilisent les effectifs pléthoriques qui leur apprennent à parler et corrigent leurs discours. La dévalorisation des humains derrière l’IA occultent bien souvent l’étendue des collaborations nécessaires à leur bon fonctionnement.

Trop souvent, l’utilisation de l’IA générative génère des simplifications problématiques. En 2023, par exemple, la National Eating Disorders Association a licencié son personnel responsable de l’assistance en ligne pour le remplacer par un chatbot qu’elle a rapidement suspendu après que celui-ci ait dit aux personnes demandant de l’aide… de perdre du poids. De même, l’utilisation croissante d’outils de traduction automatiques plutôt que d’interprètes humains dans le système d’immigration américain pour accomplir des demandes d’asiles a conduit à des refus du fait d’erreurs de traduction manifestes, comme des noms transformés en mois de l’année, des délais incorrectes. Si la traduction automatique permet de réduire les coûts, elle est trop souvent utilisée dans des situations complexes et à enjeux élevés, où elle n’est pas pertinente. Enfin, rappellent les chercheuses, l’IA générative vient souvent remplacer certains profils plus que d’autres, notamment les postes juniors ou débutants, au détriment de l’a formation l’apprentissage de compétences essentielles… (sans compter que ces postes sont aussi ceux où l’on trouve le plus de femmes ou de personnes issues de la diversité.

Le recours à l’IA générative renforce également la surveillance et la datafication du lieu de travail, aggravant des décisions automatisées qui sont déjà très peu transparentes aux travailleurs. Automatisation de l’attribution des tâches, de l’évaluation des employés, de la prise de mesures disciplinaires… Non seulement le travail est de plus en plus exploité pour produire des automatisations, mais ces automatisations viennent contraindre l’activité de travail. Par exemple, dans le domaine des centres d’appels, l’IA générative surveille les conseillers pour produire des chatbots qui pourraient les remplacer, mais les réponses des employés sont également utilisées pour générer des scripts qui gèrent et régulent leurs interactions avec les clients, restreignant toujours plus leur autonomie dans des boucles de rétroaction sans fin.

En fait, présenter les chatbots et les déploiements d’IA générative comme des assistants plutôt que comme des contrôleurs occulte le renforcement de l’asymétrie de pouvoir à l’oeuvre, estiment très justement Aiha Nguyen et Alexandra Mateescu. Ce discours permet de distancier l’opacité et le renforcement du contrôle que le déploiement de l’IA opère. En fait, soulignent-elles, « l’évaluation critique de l’intégration de l’IA générative dans les lieux de travail devrait commencer par se demander ce qu’un outil particulier permet aux employeurs de faire et quelles incitations motivent son adoption au-delà des promesses d’augmentation de la productivité ». Dans nombre de secteurs, l’adoption de l’IA générative est bien souvent motivée dans une perspective de réduction des coûts ou des délais de productions. Elle se déploie activement dans les outils de planification de personnels dans le commerce de détail, la logistique ou la santé qui optimisent des pratiques de sous-effectifs ou d’externalisation permettant de maximiser les profits tout en dégradant les conditions de travail. Le remplacement par les machines diffuse et renforce partout l’idée que les employés sont devenus un élément jetable comme les autres.

Pour les chercheuses, nous devons trouver des modalités concrètes pour contrer l’impact néfaste de l’IA, qui comprend de nouvelles formes de contrôle, la dévaluation du travail, la déqualification, l’intensification du travail et une concurrence accrue entre travailleurs – sans oublier les questions liées à la rémunération, aux conditions de travail et à la sécurité de l’emploi. « Considérer l’IA générative uniquement sous l’angle de la créativité occulte la réalité des types de tâches et de connaissances qui sont automatisées ».

L’IA générative est souvent introduite pour accélérer la production et réduire les coûts. Et elle le fait en extrayant la valeur des travailleurs en collectant les données de leur travail et en les transférant à des machines et à des travailleurs moins coûteux qui vont surveiller les machines. A mesure que les travailleurs sont réduits à leurs données, nous devons réfléchir à comment étendre les droits et les protections aux données produites par le travail.

09 December 2024

7:30
De la conformité de la modération
sur Dans les algorithmes

La juriste Daphne Keller évoque les limites de l’essor de la conformité de la modération de contenus sur les plateformes, où l’important est désormais de mesurer la modération à l’oeuvre, au risque que des discours légaux soient modérés, que les modalités deviennent très uniformes, ou que le délai de traitement, plus facile à quantifier, deviennent la principale mesure des pratiques de modération. La modération est une pratique complexe et sans indicateurs standardisés. Le risque est de les bricoler sans faire progresser la liberté et l’équité d’expression. La production d’indicateurs pertinents est encore à construire…

06 December 2024

7:30
France Contrôle : encore un algorithme problématique
sur Dans les algorithmes

Dans le cadre de son programme France Contrôle, un programme de documentation des systèmes de gestion algorithmiques de la population française, la Quadrature du net publie une analyse du score de risque de fraude développé par l’Assurance maladie pour contrôler les foyers bénéficiant de la Complémentaire Santé Solidaire gratuite (C2SG). Comme c’était déjà le cas dans l’analyse que l’association de défense des libertés numériques avait faite des algorithmes utilisés par la Caf ou France Travail, la Quadrature pointe à nouveau l’iniquité des calculs et montre que le fait d’être une jeune mère isolée génère un surcontrôle. L’enquête montre également que l’Assurance maladie souhaiterait améliorer son scoring en ayant recours à des données de santé, au risque de renforcer le contrôle des plus précaires. Pour l’association, « l’absence de transparence vis-à-vis du grand public quant aux critères de ciblage de l’algorithme permet de masquer la réalité des politiques de contrôles » et permet d’imposer aux contrôleurs des modalités de contrôles auxquelles ils seraient réticents.

Pour l’association, « ces algorithmes ne servent qu’un seul objectif : faciliter l’organisation de politiques de harcèlement et de répression des plus précaires, et ce grâce à l’opacité et au vernis scientifique qu’ils offrent aux responsables des administrations sociales.«

05 December 2024

7:30
La responsabilité ne suffit pas
sur Dans les algorithmes

Comme à son habitude, danah boyd pose une question très pertinente en nous invitant à distinguer le risque du préjudice.

Savoir si l’usage des réseaux sociaux par les adolescents relève d’un risque ou cause un préjudice est une distinction importante. Le préjudice induit une nature causale. En droit, les avocats cherchent des préjudices pour les imputer aux acteurs qui les causent ou les réglementer. Quand une personne cause un préjudice à une autre, nous souhaitons que cette personne soit tenue pour responsable. La difficulté consiste à prouver le lien entre le préjudice subi et l’intentionnalité du concepteur.

Le risque, lui, nécessite qu’on les identifie et qu’on les gère. « Certains environnements introduisent davantage de risques potentiels et certaines actions les réduisent ». Si la réglementation peut être utilisée pour les réduire, elle ne peut pas les éliminer. Ce qui fait que la réduction du risque se retourne parfois contre les utilisateurs, les tenants responsables de ce qu’ils partagent alors que les effets d’amplification ne sont pas nécessairement de leurs faits.
Concevoir, éduquer, socialiser et prendre soin : piliers de la réduction des risques
Le ski par exemple est une pratique risquée, explique danah boyd, qui nécessite beaucoup d’éducation, de messages de prévention, et des mesures pour limiter les risques que les gens prennent. Tous les environnements sociaux sont risqués. Traverser la rue l’est également. L’un des éléments clés de la socialisation de l’enfance à l’âge adulte est d’apprendre à évaluer et à réagir aux risques inhérents à l’existence. Nous savons apprendre aux plus jeunes à traverser la rue. Et nous savons également aménager la rue pour diminuer les risques. Pour limiter les risques nous avons donc 3 leviers : agir sur l’environnement, éduquer et socialiser.

Les médias sociaux peuvent être dangereux pour les plus jeunes. Nous pouvons améliorer leur conception pour qu’ils le soient moins, bien sûr. Le problème, c’est que nous ne savons pas toujours comment améliorer leur conception pour qu’ils soient moins dangereux et ces interventions peuvent se révéler pires qu’on le pense. Cela ne signifie pas qu’on doive renoncer à les améliorer, bien au contraire, mais qu’on ne peut peut-être pas cimenter leur conception dans la loi pas plus que nous ne sommes capables de gérer les risques uniquement en améliorant la conception. Ainsi, nous focaliser sur une meilleure conception de la ville est inutile si nous ne faisons aucun travail pour socialiser et éduquer ceux qui partagent l’espace public… et si nous n’avons aucun dispositif pour venir en aide aux personnes en difficultés.

Alors oui, des personnes subissent des préjudices sur les médias sociaux, notamment du fait d’autres utilisateurs de ces médias sociaux qui doivent en être tenus responsables (et parfois du fait de la conception même des plateformes). Mais l’on ne peut pas concevoir un système qui permette aux gens d’interagir sans subir jamais de préjudices. Le problème cependant consiste à faire la part entre la responsabilité des utilisateurs et celle des concepteurs de médias sociaux. Il consiste à savoir si certaines formes de conception rendent les préjudices et les risques plus probables.

Les chercheurs ont largement mis en évidence que le harcèlement scolaire est plus fréquent à l’école que sur les réseaux sociaux, même s’il est plus visible sur ces derniers. Nombre d’écoles agissent en déployant des interventions pour éduquer et socialiser les élèves à ces problèmes. Ces programmes font souvent bien plus pour résoudre le harcèlement que l’amélioration de la conception des bâtiments, ironise la chercheuse – tout en suggérant de taxer les réseaux sociaux pour financer ces interventions dans le domaine scolaire. Bien sûr, les préjudices que subissent les gens sur les réseaux sociaux pourraient être atténués en améliorant le respect de la vie privée des utilisateurs, et pas seulement des plus jeunes d’ailleurs. « Mais même si vous pensez que les enfants sont particulièrement vulnérables, j’aimerais souligner que même si les enfants peuvent avoir besoin d’un siège d’appoint pour que la ceinture de sécurité fonctionne, tout le monde serait mieux loti si nous mettions en place des ceintures de sécurité pour la vie privée plutôt que de dire simplement que les enfants n’ont pas leur place dans les voitures. » Or, les projets de lois visant à exclure les plus jeunes des réseaux sociaux ne proposent de mettre en place aucune ceinture de sécurité, mais seulement de ne pas les accueillir dans les véhicules au risque qu’ils ne puissent plus se déplacer.

Pourtant, rappelle la chercheuse, il est difficile d’imputer à la technologie la responsabilité des préjudices sociétaux, même si celle-ci amplifie très fortement nos plus mauvais penchants, comme l’intimidation, le harcèlement, le racisme, le sexisme, l’homophobie… Et il est naïf de croire que ces préjudices puissent être réparés par la seule technologie. Nous ne pouvons pas protéger nos enfants des maux de la société, tout comme les parents noirs ne peuvent empêcher leurs enfants d’être victimes du racisme. D’où l’importance d’éduquer les enfants blancs pour voir et résister au racisme. Nous devons aider nos enfants à voir la laideur du monde pour qu’ils deviennent les agents du changement. Les réseaux sociaux rendent nos travers sociaux plus visibles… servons-nous en. Mais éviter les réseaux sociaux ne les fera pas disparaître. Et boyd de noter que souvent, ceux là même qui propagent la haine souhaitent empêcher leurs enfants d’accéder à la technologie, certainement bien plus par peur que les exposer à la différence ne les rende plus tolérants.

Il ne fait aucun doute que les médias et notamment les réseaux sociaux nous exposent à un monde plus vaste, plus diversifié et plus complexe. « Au début des réseaux sociaux, rappelle la chercheuse, je pensais que le simple fait d’exposer les gens aux autres augmenterait fondamentalement notre tolérance collective. J’ai appris depuis que ce n’était pas si simple et que l’exposition seule ne suffit pas. Mais isoler les gens ou interdire aux plus jeunes d’accéder aux réseaux sociaux, ne nous aidera pas non plus et n’aidera pas nos enfants à acquérir les compétences nécessaires pour vivre ensemble », conclut-elle, faisant écho à l’enjeu que nous avons, collectivement, à prendre soin de la construction du tissu social, comme elle nous y invitait déjà, il y a quelques années, dans un remarquable article.
Vérification d’âge : quels murs construisons-nous ?
Cette tribune s’inscrit dans un débat plus large autour du Kids online Safety Act (Kosa), un projet de loi américain très controversé pour protéger les mineurs sur les médias sociaux. Une bonne synthèse des enjeux est résumé dans un rapport dirigé par la chercheuse Alice Marwick (qui est également la directrice de la recherche de Data & Society, le groupe de recherche de Microsoft fondé par danah boyd il y a 10 ans) qui montre les limites de la proposition de loi et notamment le fait que celle-ci puisse permette d’augmenter la censure des contenus en donnant plus de pouvoir aux plateformes sans aider les jeunes qui sont en difficulté sur les médias sociaux. Le cœur du renforcement de la protection repose sur un dispositif de vérification d’âge, compliqué à mettre en œuvre. De nombreux pays l’envisagent, mais aucun n’a pour l’instant trouvé une méthode convaincante. En France où une vérification d’âge doit être mise en place pour l’accès aux sites pornographiques, la Cnil défend le recours à un vérificateur tiers indépendant et le double anonymat… Une solution qui n’a pour l’instant pas d’opérationnalité technique à l’efficacité démontrée.

Lors d’un débat sur les implications de l’introduction de systèmes de vérification d’âge prévu notamment par ce projet de loi, danah boyd rappelait déjà que nous devrions aider les jeunes plutôt que de construire des murs autour d’eux. Sarah Forland co-auteure d’un rapport sur le sujet pour l’Open Technology Institute du think tank New America estime que la vérification d’âge doit toujours proposer des alternatives, que ces outils doivent maximiser la confidentialité et permettre aux utilisateurs de rester maître des modalités, alors qu’ils introduisent un risque de censure plus fort que jamais. Une réglementation de l’accès à internet selon l’âge semble à beaucoup une mauvaise réglementation mais elle est malgré tout préférable à l’absence de réglementation actuelle. Forland rappelle que si la vérification d’âge est une technologie controversée c’est parce qu’elle est difficile à mettre en œuvre.

Dans le monde réel, d’ailleurs, contrairement à ce qu’on en dit souvent, elle marche très mal, rappelle boyd. Aux Etats-Unis, la consommation d’alcool est interdite aux moins de 21 ans, mais le pays a l’un des taux le plus élevé de consommation excessive d’alcool des plus jeunes. Si les plus jeunes ont un problème de consommation excessive, c’est parce que l’interdiction a transformé l’alcool en preuve que vous étiez adulte ce qui a généré une socialisation particulièrement malsaine. Voulons-nous faire la même chose ? Les enfants regardent leurs parents plongés toute la journée sur leur téléphones et on est en train de leur dire qu’ils ne pourront y avoir accès avant 18 ans ! En fait, on fait tout pour ne pas interroger les processus de socialisation et leurs limites.

Les barrières d’âge n’aident en rien, disait déjà la chercheuse en 2011 ! Pour boyd, il y a d’un côté une crise de fragilité mentale des plus jeunes que nous devons aborder avec des programmes et des centres d’aides où le numérique n’a pas de rôle à jouer. De l’autre, il nous faut réglementer l’industrie technologique, hors de contrôle, ce qui est un tout autre problème qui nécessite de renforcer la confidentialité de tous, pour mieux protéger tout le monde et pas seulement les plus jeunes. boyd rappelle que lorsqu’elle étudiait la Coppa, la loi sur la protection de la vie privée des enfants en ligne, qui a introduit des protections pour les moins de 13 ans, plus de la moitié des parents mentaient sur l’âge de leurs enfants pour leur permettre d’accéder aux services web auxquels ils n’avaient plus droits.

Pour la sociologue, on cherche à nouveau à répondre à un problème social par une solution technique qui ne le résoudra pas. Pour elle, nous avons bien plus besoin de structures de soins et d’accompagnement pour les plus jeunes que de dispositifs techniques. Nous avons besoin d’être capables d’apporter de l’aide à ceux qui en ont besoin avec des structures ouvertes et discrètes. « Nous devons être capables de prêter attention aux jeunes qui crient à l’aide plutôt que d’essayer de trouver des moyens de les rendre plus invisibles aux yeux des gens qui les entourent. » Pour l’avocat du Digital Trust & Safety Partenership, David Sullivan, c’est comme le filtrage de contenus dans les écoles qui, sous prétexte de protéger les enfants, semble faire bien plus de dégats qu’autre chose, en les empêchant d’accéder à des contenus essentiels. Pour danah boyd : lorsque nous nous concentrons sur la vérification d’âge, nous nous concentrons sur une réponse technique à un problème social, donc sur la technologie plutôt que sur les jeunes. Plutôt que de chercher à refabriquer de la socialisation, nous sommes en plein « solutionnisme techno-légal ».
Le risque : croire que le code peut se substituer à la loi
Dans leur article de recherche, où elles développent ce concept, danah boyd et Maria Angel rappellent que le devoir de diligence que Kosa impose aux plateformes est ambiguë. Il tient les entreprises responsables de ne pas avoir pris de mesures raisonnables pour prévenir ou atténuer des risques complexes, comme l’intimidation, l’anxiété ou la dépression, pour lesquels les experts n’ont pas vraiment de solutions. Si la façon dont sont conçus les médias sociaux peuvent parfois donner lieu à des expériences sociales malsaines, déterminer les conséquences des effets de conception n’est pas toujours simple. Or, la diligence dans la modération qu’on demande aux plateformes est profondément ancrée dans une vision déterministe de la technique que les chercheuses appellent « solutionnisme techno-juridique ». C’est la façon même dont le législatif tente de pousser les plateformes à être diligentes qui pose problème. Le cadre réglementaire n’énonce pas d’exigences de conception spécifiques que les plateformes devraient éviter et n’observent que les résultats qu’elles doivent atteindre. « Cela équivaudrait à exiger des constructeurs automobiles qu’ils s’assurent que les conducteurs ne soient jamais distraits par des tiers et que tous les accidents soient évités plutôt que de les obliger à mettre en place des ceintures de sécurité. »

Pour le grand public, l’allégation consistant à penser que les médias sociaux sont nocifs pour les plus jeunes est très répandue. Les décideurs politiques ne se contentent pas d’affirmer que les plateformes de médias sociaux sont le lieu du problème : ils considèrent également la technologie comme le lieu de la solution. « Si les caractéristiques de conception sont le problème, exiger une bonne conception peut faire disparaître les préjudices », estiment ces règlements. Le risque est de fournir une solution technique à une panique morale. « Lorsque Lessig a soutenu pour la première fois que « le code est la loi », il entendait signaler comment la conception du logiciel joue un rôle régulateur en rendant certains résultats plus ou moins probables. L’une des erreurs commises par les décideurs politiques est de réinterpréter ses propos pour adopter une vision techno-déterministe selon laquelle le code peut agir comme un substitut à la loi pour dicter l’avenir. » « Le problème, c’est que les entreprises technologiques seront obligées par la loi de concevoir leurs systèmes pour des résultats sociaux qu’elles ne peuvent pas contrôler. » Et rien ne prouve qu’une appréciation par les objectifs aidera réellement les jeunes en situation de vulnérabilité ni n’accomplira une meilleure conception. Au contraire. Il est probable qu’une telle politique encourage les entreprises à atteindre leurs objectifs en matière de sécurité en renforçant les logiques solutionnistes, tout en nous détournant d’autres approches fondées sur des preuves.

Tout le monde répète que les médias sociaux seraient la cause de tous les maux… Mais « quel est l’impact de l’utilisation des médias sociaux sur la santé mentale des jeunes ? », questionnent les deux chercheuses. Les réponses des chercheurs à cette question ne sont pas tranchées. Ceux-ci ont plutôt montré que les problèmes sociaux et psychologiques en ligne ont des racines dans la dynamique sociale hors ligne, comme le harcèlement. Comme le montrait danah boyd dans son livre, C’est compliqué, la technologie est rarement la cause des problèmes des adolescents, mais est souvent l’endroit vers lequel ils se tournent lorsqu’ils sont en difficulté. Pour elle, les médias sociaux permettent de rendre visible les problèmes des jeunes plus qu’ils n’en sont la cause. En fait nous sommes là, face à une question très polarisée, comme l’a montré le journaliste du New York Times, Ezra Klein, en interviewant Jean Twenge qui pense que les médias sociaux ont des effets négatifs sur la santé mentale des jeunes et Lisa Damour qui montre qu’il n’y en est rien. Le lien entre les médias sociaux et la santé mentale des jeunes demeure complexe.

Les entreprises de la tech sont en mesure de concevoir leurs plateformes afin que les jeunes ne soient pas exposés à certains contenus ni ne participent à certaines activités. Mais les entreprises ne pourront jamais contrôler précisément la manière dont les comportements « autorisés » sur leurs plateformes affectent l’expérience et le bien être. Pour le dire plus simplement : les plateformes peuvent certes être mieux conçues, mais elles ne peuvent pas faire que les enfants ne soient pas rejetés par leurs pairs, ou que l’actualité ne provoque pas d’anxiété. En obligeant les plateformes à concevoir des « résultats positifs », les autorités semblent ignorer le caractère émergent du social. Si les entreprises peuvent ne pas montrer certaines publicités, exiger qu’elles produisent des résultats sociétaux positifs suppose qu’elles pourraient avoir un contrôle total sur les comportements sociaux. Le risque est que la réglementation crée des attentes irréalistes sur ce que le design peut faire pour les enfants.

Or, dans un contexte où des livres ou même la justice raciale sont interdits dans nombre d’écoles américaines, la question de savoir ce qui a un impact négatif sur les jeunes est devenue une question éminemment politique. Les risques d’abus du projet de loi Kosa ont déclenché l’inquiétude de la communauté LGBTQ d’autant que les conservateurs ont plusieurs fois affirmé que le projet de loi avait pour but de protéger les mineurs de l’endoctrinement politique. La politisation des contenus est pourtant bien ce qui se déroule. Après les élections de 2016, les entreprises de médias sociaux ont un temps pris la question de la désinformation au sérieux. Le problème, c’est que la désinformation n’est pas la même pour tous, chacun souhaitant la définir en fonction de ses objectifs politiques. Mais surtout, en demandant aux entreprises technologiques d’améliorer leurs conceptions pour éviter les résultats négatifs, les décideurs politiques renforcent la rhétorique déterministe et solutionniste qui rend l’industrie technologique toxique en premier lieu. Pourtant, ce que les gens font avec une technologie donnée n’est pas déterminé par la conception seule, mais par les choix que les gens font en exploitant ces outils. Comme le disait Morozov lui-même, « en promettant des résultats presque immédiats et beaucoup moins chers, les solutions rapides peuvent facilement saper le soutien à des projets de réforme plus ambitieux, plus stimulants intellectuellement, mais aussi plus exigeants ». Le risque, c’est que le solutionnisme efface les problèmes sociaux d’abus, de pauvreté, d’inégalité… qui sont bien souvent à l’origine des problèmes que les législateurs voudraient atténuer. On ne fera pas disparaître les causes en nettoyant les symptômes !, rappellent les chercheuses. L’accès à des soins pour la santé mentale, la mise en œuvre de programmes d’éducation ont plus de chance de faire bouger les choses que de masquer des contenus sur les réseaux sociaux.

Les législateurs ont raison d’exiger que les entreprises de médias sociaux cessent d’utiliser une conception manipulatrice pour exploiter les vulnérabilités décisionnelles du public. Tout comme ils l’ont fait avec d’autres formes de médias, les décideurs politiques peuvent et doivent se pencher sur les types de publicité et de fonctionnalités qui devraient être autorisés. Les décideurs politiques devraient réfléchir à ce qui pourrait constituer une « ceinture de sécurité numérique » et l’imposer. Cependant, si les décideurs politiques veulent réellement aider les jeunes à faire face aux difficultés sociales auxquelles ils sont confrontés, ils doivent adopter une approche écologique face à un problème qui a de multiples paramètres. Il n’existe pas de solution miracle. Tenir les entreprises technologiques responsables du bien-être des jeunes est politiquement attrayant, mais cela n’aidera pas les jeunes en situation de vulnérabilité.
L’aporie de la gouvernance par les risques
Le risque, c’est de croire qu’on peut gouverner les risques depuis les calculs… et que toute régulation ne repose que sur la régulation par le risque, comme l’expliquait Irénée Régnauld, qui dénonce également cette approche paternaliste par le risque et explique que la gestion des risques ne peut pas constituer à elle seule un mode de gouvernement, au risque de verser dans un éternel monitoring ex post de systèmes n’ayant jamais fait l’objet d’aucune débats démocratiques.

boyd semble bien confiante tout de même. Les entreprises pilotent et orientent à leur gré l’architecture de leurs plateformes, laissant bien peu d’espace à l’éducation et à la socialisation puisqu’on ne peut apprendre des comportements à tenir dans des usines où les convoyeurs changent sans arrêt, comme c’est le cas de leurs algorithmes d’amplification sociale. Les modalités de conception ont bien des effets, que les entreprises savent mesurer et orienter au bénéfice de leurs modèles d’affaires plus que du bien-être des utilisateurs ou de la valeur de leur recommandation pour la société, comme le montrait le chercheur Arvind Narayanan, Pour le dire dans le langage de boyd, les modalités de socialisation changent sans arrêt ce qui limite également nos capacités d’éducation, puisqu’il est bien difficile de comprendre les modulations algorithmiques. Les entreprises ne sont pas vertueuses et peu de choses les poussent à l’être. Bien sûr, les autorités ont des exigences toujours plus fortes de modération renforçant les biais de modération des plateformes, au risque de rendre certains sujets impossibles, et non des moindres. En renforçant le droit à la modération des réseaux sociaux, le risque est que les médias sociaux décident de quelles violences la société peut discuter, expliquait très pertinemment Alizée Vincent pour Arrêt sur Images, en montrant que la censure automatisée conduisait à confondre les violences policières ou sexuelles, avec leur dénonciation.

TikTok comme Meta par exemple connaissent très bien les effets qu’ont leurs architectures de recommandation sur les gens et notamment sur les plus jeunes. Mark Zuckerberg lui-même convenait d’ailleurs que les utilisateurs ne contrôlent plus leurs flux de médias sociaux. La maîtrise totale de nos flux par les grandes plateformes pourrait avoir pour conséquence de les tenir plus responsables que jamais des risques qu’ils sont censés limiter, explique la journaliste Julia Angwin pour le New York Times. Quand ce à quoi nous accédions était la conséquence des décisions des utilisateurs, il était plus facile pour les entreprises de ne pas être tenues responsables des conséquences. Mais c’est devenu de moins en moins vrai. « Si les plateformes technologiques façonnent activement nos expériences, après tout, peut-être devraient-elles être tenues responsables de la création d’expériences qui nuisent à nos corps, à nos enfants, à nos communautés et à notre démocratie ». Aux Etats-Unis, plusieurs décisions de justice viennent de reconnaître que les plateformes ne pouvaient pas s’abriter derrière le fait qu’elles n’étaient pas responsables des contenus quand leurs algorithmes les orientent d’une manière aussi déterminante. Si le tribunal tient les plateformes responsables de leurs amplifications algorithmiques, cela pourrait les inciter à limiter la distribution de contenus nocifs mais également les conduire à renforcer la censure.

Qu’en sera-t-il ? L’élection de Trump vient de rebattre profondément les cartes de ce débat. A terme, il semble certain que ce ne sont pas les utilisateurs qui vont avoir la main.
David Rotschild, chercheur au Penn Media Accountability Project et co-auteur d’une étude pour Nature qui dénonce l’instrumentation de la désinformation en ligne, explique sur Undark que dire que « les réseaux sociaux sont le problème » propose une solution très simple et facile à appliquer, qui consiste à corriger les algorithmes. Et cela évite la question la plus difficile – celle que nous ne voulons généralement pas aborder – sur la nature humaine. Or la violence ou le racisme… n’ont pas été inventés par les réseaux sociaux. Quand bien même les réseaux sociaux les instrumentisent plus que jamais. Nous ne gouvernerons pas nos disputes sociales seulement en régulant les réseaux sociaux.

03 December 2024

7:30
IA, réducteur culturel : vers un monde de similitudes
sur Dans les algorithmes

Dans sa newsletter, Programmable Mutter, le politiste Henry Farrell – qui a publié l’année dernière avec Abraham Newman, Underground Empire (qui vient d’être traduit chez Odile Jacob sous le titre L’Empire souterrain) un livre sur le rôle géopolitique de l’infrastructure techno-économique mise en place par les Etats-Unis – estime que le risque de l’IA est qu’elle produise un monde de similitude, un monde unique et moyen.

Comme le disait la professeure de psychologie, Alison Gopnick, dans une tribune pour le Wall Street Journal, les LLM sont assez bons pour reproduire la culture, mais pas pour introduire des variations culturelles. Ces modèles sont « centripètes plutôt que centrifuges », explique Farrell : « ils créent des représentations qui tirent vers les masses denses du centre de la culture plutôt que vers la frange clairsemée de bizarreries et de surprises dispersées à la périphérie ».

Farrell se livre alors à une expérience en générant un podcast en utilisant NotebookLM de Google. Mais le bavardage généré n’arrive pas à saisir les arguments à discuter. Au final, le système génère des conversations creuses, en utilisant des arguments surprenants pour les tirer vers la banalité. Pour Farrell, cela montre que ces systèmes savent bien plus être efficaces pour évoquer ce qui est courant que ce qui est rare.

« Cela a des implications importantes, si l’on associe cela à la thèse de Gopnik selon laquelle les grands modèles de langues sont des moteurs de plus en plus importants de la reproduction culturelle. De tels modèles ne soumettront probablement pas la culture humaine à la « malédiction de la récursivité », dans laquelle le bruit se nourrit du bruit. Au contraire, ils analyseront la culture humaine avec une perte qui la biaise, de sorte que les aspects centraux de cette culture seront accentués et que les aspects plus épars disparaîtront lors de la traduction ». Une forme de moyennisation problématique, une stéréotypisation dont nous aurons du mal à nous extraire. « Le problème avec les grands modèles est qu’ils ont tendance à sélectionner les caractéristiques qui sont communes et à s’opposer à celles qui sont contraires, originales, épurées, étranges. Avec leur généralisation, le risque est qu’ils fassent disparaître certains aspects de notre culture plus rapidement que d’autres ».

C’est déjà l’idée qu’il défendait avec la sociologue Marion Fourcade dans une tribune pour The Economist. Les deux chercheurs y expliquaient que l’IA générative est une machine pour « accomplir nos rituels sociaux à notre place ». Ce qui n’est pas sans conséquence sur la sincérité que nous accordons à nos actions et sur les connaissances que ces rituels sociaux permettent de construire. A l’heure où l’IA rédige nos CV, nos devoirs et nos rapports à notre place, nous n’apprendrons plus à les accomplir. Mais cela va avoir bien d’autres impacts, explique encore Farrell, par exemple sur l’évaluation de la recherche. Des tests ont montré que l’évaluation par l’IA ne ferait pas pire que celle par les humains… Mais si l’IA peut aussi bien que les humains introduire des remarques génériques, est-elle capable d’identifier et d’évaluer ce qui est original ou nouveau ? Certainement bien moins que les humains. Pour Farrell, il y a là une caractéristique problématique de l’IA : « plus une caractéristique culturelle est inhabituelle, moins elle a de chances d’être mise en évidence dans la représentation de la culture par un grand modèle ». Pour Farrell, ce constat contredit les grands discours sur la capacité d’innovation distribuée de l’IA. Au contraire, l’IA nous conduit à un aplatissement, effaçant les particularités qui nous distinguent, comme si nous devenions tous un John Malkovitch parmi des John Malkovitch, comme dans le film Dans la peau de John Malkovitch de Spike Jonze. Les LLM encouragent la conformité. Plus nous allons nous reposer sur l’IA, plus la culture humaine et scientifique sera aplanie, moyennisée, centralisée.

28 November 2024

14:30
Pourquoi les projets échouent-ils ?
sur Dans les algorithmes

Le site ressource de l’école d’affaires de l’université de Colombie britannique est une mine d’or qui recense les catastrophes industrielles et documente d’exemples, leurs échecs. Il rappelle que les dépassements de calendriers et de budgets sont des symptômes plus que des causes de raisons plus profondes, erreurs et problèmes structurels, et que la prise de décision dysfonctionnelle est plus courante qu’on le pense. On y découvre, par exemple, que les 2 ans de retard dans la construction de l’Airbus A380 était dû au fait que les équipes de conception utilisaient 2 versions différentes du logiciel de conception. Le site recense 101 causes courantes de fiasco. Instructif.

7:30
Les enjeux de l’IA
sur Dans les algorithmes

Sur son blog, le prof de philo Serge Cospérec a traduit et adapté l’une des conférences vidéo de Melanie Mitchell, auteure de l’excellent Intelligence artificielle, triomphes et déceptions. C’est souvent clair, trop complet, plutôt pédagogique : 1, 2, 3, 4 et 5.

27 November 2024

13:59
« Il nous reste environ 30 ans de numérique devant nous »
sur Dans les algorithmes

« On devrait se poser sérieusement la question de ce qui va se passer quand les écrans s’éteindront et commencer à anticiper le monde d’après le numérique ». Corinne Morel Darleux.

7:30
Les agents IA arrivent
sur Dans les algorithmes

Ces dernières semaines, des avancées significatives ont été réalisées dans le domaine des agents IA capables d’utiliser des ordinateurs, des services web ou certaines de leurs fonctionnalités de manière autonome. Anthropic a lancé une fonction dédiée. OpenAI préparerait Operator et ChatGPT s’interface déjà avec des applications. Google travaillerait à Jarvis. L’enjeu est de faire sortir l’IA des fenêtres de discussion où elle est assignée, explique Dharmesh Shah, le cofondateur de HubSpot dans sa lettre d’information sur l’IA, Simple.ai. Désormais, elles vont pouvoir accomplir des actions concrètes, sans même avoir besoin d’API dédiées : ces agents vont pouvoir faire ce que chacun d’entre nous peut faire depuis un ordinateur (prendre un rendez-vous, commander quelque chose à notre place, interconnecter des services entre eux…). Pour les développeurs et entrepreneurs, cela signifie que les feuilles de routes de produits IA à venir doivent dès à présent intégrer ces nouvelles capacités, explique l’entrepreneur à ses pairs, qui a déjà lancé une plateforme d’agents IA, prêtes à l’emploi.

Dans sa newsletter, One Useful Thing, le professeur de management et d’innovation, Ethan Mollick, auteur du livre Co-Intelligence, analyse également la promesse des agents intelligents après avoir testé Claude, l’IA d’Anthropic. Que se passe-t-il quand on confie une souris à une IA ? Mollick a fait jouer Claude au jeu du trombone en lui demandant simplement de gagner. Pour Mollick, l’expérience illustre les forces et faiblesses des agents actuels. D’un côté, l’agent a été capable de jouer, de développer une stratégie et de l’exécuter. De l’autre, l’agent se montre facilement têtu, très sensible aux erreurs et au final peu perspicace. Il faut bien plus le guider que laisser en autonomie.

MAJ du 06/12/2024 : Sur son blog, Fred Cavazza revient également sur la nouvelle promesse de l’économie de l’agentivité… en rappelant qu’elle permet de renouveler la promesse des chatbots et de l’IA générative, en perte de vitesse. En faisant le point sur le paysage et ses acteurs, il en souligne également les limites. A savoir, que l’automatisation annoncée va nécessiter l’accord des plateformes et des applications pour que les robots puissent accéder aux services, ce qui n’est pas assuré. Ensuite, que malgré les promesses de simplification, pour l’instant, il n’est pas sûr que la programmation des agents se destine au grand public.

26 November 2024

7:30
Réinventer le mérite
sur Dans les algorithmes

Notre façon de mesurer le mérite est problématique. Dans son petit livre éponyme (Mérite, Anamosa, 2021), la sociologue Annabelle Allouch rappelait que celui-ci est d’abord un mode de justification de l’ordre social et des inégalités, dénonçant sa transformation en métrique qui masquent leurs biais sous leur fausse objectivité. Elle y invitait déjà à repolitiser le mérite. Dans Le talent est une fiction (JC Lattès, 2023), la neuroscientifiique Samah Karaki dénonçait à son tour la fiction du talent : “Croire que notre mérite découle de nos talents et de notre travail personnel encourage l’égoïsme, la discrimination et l’indifférence face au sort des autres”, écrivait-elle. Le philosophe Michael Sandel dans La tyrannie du mérite (Albin Michel, 2021) invitait également à le défaire notamment parce qu’il nous rend aveugle « aux causes et influences sociales qui échappent pourtant au contrôle individuel ».

Le mérite n’est pas unique. Or, la façon dont nous le promouvons, l’instrumentons tend à saper la diversité des talents dont nous avons besoin. Ces auteurs soulignent tous que la façon dont nous concevons et instrumentons le mérite ne fonctionne pas.

C’est également le constat que dresse le journaliste américain David Brooks dans un passionnant article fleuve pour The Atlantic : la méritocratie ne fonctionne plus, observe avec dépit le journaliste américain, en proposant des pistes particulièrement stimulantes pour la réinventer.
Image : l’article de David Brooks pour The Atlantic. La méritocratie, un idéal déçu
Dans son article, Brooks rappelle que jusque dans les années 50, l’idéal méritocratique était d’abord un idéal bourgeois qui s’appuyait sur la seule reproduction sociale des élites entre elles. C’était l’âge des privilèges sociaux, où les élèves des grandes universités élitaires n’étaient pas les meilleurs élèves du pays, mais les descendants des élites en place. C’est dans le recrutement universitaire que les choses ont bougé, notamment par l’influence de James Conant, président de Harvard de 1933 à 1953, qui a dénoncé cette « aristocratie héréditaire » et son « féodalisme industriel ». Conant a fait bouger les critères d’admission pour privilégier l’intelligence, révélée par la réussite scolaire. C’est lui qui va introduire des tests d’admission à Harvard qui vont devenir le SAT, cet examen standardisé utilisé par toutes les universités américaines. « En modifiant ainsi les critères d’admission, il espérait réaliser le rêve de Thomas Jefferson d’une aristocratie naturelle des talents, en sélectionnant les personnes les plus intelligentes de toutes les couches de la société. Conant voulait créer une nation avec plus de mobilité sociale et moins de conflits de classes ». Il incarnait une époque où les gens avaient une foi inébranlable dans les projets d’ingénierie sociale et la planification centralisée.

La société s’est très vite adaptée à cette « maximisation » du talent. L’école et l’université sont devenues des systèmes de tri, censés produire une classe dirigeante variée et diverse. « L’ère de l’homme bien élevé était révolue. L’ère de l’élite cognitive était arrivée. » L’effet a été transformateur, souligne Brooks. La société a changé. Les parents ont essayé de produire le type d’enfants qui pourraient entrer dans les universités sélectives, certains y arrivant tout de même mieux que d’autres, notamment ceux dotés eux-mêmes de diplômes, pratiquant une « culture concertée » comme l’explique la sociologue Annette Lareau dans son livre, Unequal Childhoods, c’est-à-dire en apportant à leurs enfants les activités qui sont valorisées par la sélection. Toute l’éducation s’est adaptée à cette évolution. Dans les écoles primaires et secondaires, les temps consacrés à la récréation, aux arts plastiques ou au bricolage ont été réduits…

Le problème, c’est que la maximisation de l’intelligence a eu des effets de bords. L’évaluation permanente conduit à orienter les élèves de plus en plus tôt. Alors que les élèves méritants sont canalisés vers les bonnes écoles, les autres, dès 9 ou 10 ans, savent déjà que l’école ne veut pas d’eux.

La structure des opportunités aux Etats-Unis a également évolué en regard. Il est devenu de plus en plus difficile d’obtenir un bon emploi si vous n’avez pas un diplôme universitaire, en particulier un diplôme d’une université d’élite. « Lorsque j’ai commencé dans le journalisme, dans les années 1980, des journalistes âgés de la classe ouvrière parcouraient encore les salles de rédaction. Aujourd’hui, le journalisme est une profession réservée presque exclusivement aux diplômés de l’université, en particulier de l’élite. Une étude de 2018 a révélé que plus de 50 % des rédacteurs du New York Times et du Wall Street Journal avaient fréquenté l’une des 34 universités ou collèges les plus prestigieux du pays. Une étude plus vaste, publiée dans Nature cette année, a examiné les meilleurs éléments de diverses professions – avocats, artistes, scientifiques, chefs d’entreprise et dirigeants politiques – et a constaté le même phénomène : 54 % avaient fréquenté les mêmes 34 institutions d’élite. » Les entreprises d’élites de la finance, du conseil ou du droit sont également obsédées par le recrutement de prestige, explique la sociologue Lauren Rivera, qui montre que passé une poignée d’écoles d’élites, elles, ne regardent plus les candidatures provenant d’ailleurs.

Cette réforme méritocratique aurait dû conduire à un âge d’or à une société plus juste. Et c’est ce qui s’est en partie passé. La classe dirigeante américaine est devenue plus diversifiée et plus intelligente. « Mais nous n’avons pas produit une relation plus saine entre notre société et ses élites ». Nombre de diplômés de ces écoles ont mis leur talent au service d’un emploi bien rémunéré. Certes, cette élite a produit le New Deal, la paix et la prospérité américaine, mais elle a aussi produit les bourbiers militaires, la crise financière, l’essor des réseaux sociaux toxiques et notre actuel dysfonctionnement politique, estime Brooks. « Aujourd’hui, 59 % des Américains pensent que le pays est en déclin, 69 % pensent que l’élite politique et économique ne se soucie pas des travailleurs, 63 % pensent que les experts ne comprennent pas leur vie et 66 % pensent que l’Amérique a besoin d’un dirigeant fort pour reprendre le pays aux riches et aux puissants », estime une enquête Ipsos sur le populisme. En bref, sous la direction de notre classe méritocratique actuelle, la confiance dans les institutions a chuté au point que « une grande masse d’électeurs a fait un gros doigt d’honneur aux élites en votant pour Donald Trump ».
Les 6 péchés capitaux de la méritocratie
Brooks confesse qu’il a passé une grande partie de sa vie à fréquenter cette élite et à enseigner dans ces universités d’élites. « Ce sont des institutions impressionnantes remplies de personnes impressionnantes », mais qui restent coincées dans le système que Conant a mis en place avant les années 50. Nous sommes prisonniers de ce système de tri. « Les étudiants ne peuvent pas se concentrer sur les matières académiques qui les passionnent, car les dieux de la moyenne générale exigent qu’ils aient toujours des A partout ». Le piège sélectif s’est refermé sur chacun.

Pour David Brooks, la méritocratie est coincée dans ses 6 péchés capitaux qui en pointent les contradictions insolubles :

1. Le système surestime l’intelligence et ses indicateurs spécifiques, qu’ils aient la forme de tests standardisés ou de tests de QI. « Le QI – malgré toutes ses déficiences – est devenu la mesure non pas de ce que vous faites, mais de qui vous êtes », explique l’historien Nathaniel Comfort. Certes, l’intelligence est importante, mais elle ne fait pas tout. Une étude sur les jeunes mathématiciens précoces, à 12 ou 13 ans, montre que leurs résultats sont corrélés à une plus forte probabilité d’obtenir des doctorats ou de déposer des brevets. Cependant, l’intelligence est moins signifiante qu’on le pense. A partir des années 1920, le psychologue Lewis Terman – qui est l’un des inventeurs du test de QI – et ses collègues de Stanford ont suivi environ 1500 enfants à QI élevé tout au long de leur vie. Le groupe a obtenu 97 doctorats, 55 doctorats en médecine et 92 diplômes en droit… Mais aucun génie n’est sorti du groupe. Ces jeunes gens brillants ont occupé des emplois parfaitement respectables en tant que médecins, avocats et professeurs, mais il n’y a pas eu de figures transformatrices, pas de changeurs de monde ou de lauréats du prix Nobel. Les jeunes prodiges ne sont pas devenus des adultes prodiges. Comme l’a conclu le journaliste scientifique Joel Shurkin, qui a écrit un livre sur l’étude Terman, le QI ne mesure pas la créativité. En 2019, les chercheurs de l’université Vanderbilt ont étudié 677 personnes dont les scores SAT à 13 ans les situaient dans le top des 1%. 12% de ces adolescents ont atteint une « éminence » (c’est-à-dire le fait d’atteindre le sommet dans son domaine, comme de devenir professeur dans une grande université, PDG d’une entreprise Fortune 500, juge, écrivain primé…) dans leur carrière à 50 ans. C’est un pourcentage important, mais cela signifie que 88% d’entre eux n’ont pas atteint ce niveau de réussite. Faire passer un test standardisé à quelqu’un permet d’apprendre quelque chose d’important sur lui, mais ne permet pas de faire une prédiction sur le fait qu’il contribuera utilement à la société.

« L’intelligence n’est pas la même chose que l’efficacité », rappelle Brooks. Le psychologue cognitif Keith E. Stanovich a inventé le terme de dysrationalité pour décrire le phénomène qui conduit des personnes intelligentes à prendre des décisions stupides ou irrationnelles. « Être intelligent ne signifie pas que vous êtes prêt à essayer des points de vue alternatifs, ou que vous êtes à l’aise avec l’incertitude, ou que vous pouvez reconnaître vos propres erreurs. Cela ne signifie pas que vous avez une vision claire de vos propres préjugés. En fait, les personnes à haut QI sont peut-être meilleures que les autres pour se convaincre que leurs propres opinions erronées sont vraies », cingle Brooks.

2. La réussite scolaire n’est pas la même chose que la réussite dans la vie… notamment parce que l’école n’est pas vie. « La réussite scolaire consiste à franchir les obstacles que les adultes mettent devant vous quand la réussite dans la vie implique surtout de tracer sa propre voie ». À l’école, une grande partie de la réussite est individuelle. Dans la vie, les réussites sont souvent bien plus collectives et nécessitent de savoir travailler à plusieurs, ce que les tests évaluent assez mal. « Les notes révèlent qui est persévérant, autodiscipliné et docile, mais elles ne révèlent pas grand-chose sur l’intelligence émotionnelle, les compétences relationnelles, la passion, la capacité de leadership, la créativité ou le courage ». Le mérite est non sequitur. Les étudiants sont classés dans un domaine, puis on les place dans des domaines qui ont peu à voir avec ce pour quoi ils ont été entraînés. Pour le psychologue Adam Grant, « l’excellence académique n’est pas un bon indicateur de l’excellence professionnelle. Dans tous les secteurs, les recherches montrent que la corrélation entre les notes et les performances professionnelles est modeste la première année après l’université et insignifiante au bout de quelques années », expliquait-il dans une tribune pour le New York Times. Dans une étude portant sur 28 000 jeunes étudiants, ceux qui fréquentaient des universités de rang supérieur n’ont obtenu des résultats professionnels dans le conseil que très légèrement supérieurs à ceux qui fréquentaient des universités de rang inférieur. Pire, les étudiants des universités et collèges les mieux classés, étaient plus susceptibles de ne pas accorder suffisamment d’attention aux relations interpersonnelles et, dans certains cas, d’être « moins amicaux », « plus enclins aux conflits » et « moins susceptibles de s’identifier à leur équipe ». Enfin, souligne Brooks, à l’ère de l’IA, qui est déjà capable de rédiger des articles permettant d’obtenir un A à Harvard, ces étudiants ont désormais des talents qui pourraient bientôt se révéler obsolètes.

3. La méritocratie est truquée. Elle ne trie pas les gens selon leurs capacités innées, mais prend en compte la richesse de leurs parents, notamment parce que les parents aisés investissent très massivement dans l’éducation de leurs enfants pour qu’ils puissent gagner la course aux admissions. Selon le professeur de droit Daniel Markovits, auteur de The Meritocracy Trap, les familles plus riches consacrent énormément d’argent à l’éducation de leurs enfants. Les étudiants issus de familles appartenant au 1% des plus riches, ont 77 fois plus de chances de fréquenter une université d’élite que les étudiants de familles gagnant 30 000 dollars par an. Un enfant de 3 ans qui grandit avec des parents gagnant plus de 100 000 dollars par an a environ deux fois plus de chances d’aller à l’école maternelle qu’un enfant de 3 ans dont les parents gagnent moins de 60 000 dollars. Et ces écarts se sont creusés de 40 à 50% au cours des dernières décennies. Selon les données des résultats d’admissions les plus récents, au moment où les étudiants postulent à l’université, les enfants de familles gagnant plus de 118 000 dollars par an obtiennent 171 points de plus au SAT que les étudiants de familles gagnant entre 72 000 et 90 000 dollars par an, et 265 points de plus que les enfants de familles gagnant moins de 56 000 dollars. Comme l’a noté Markovits, l’écart académique entre les riches et les pauvres est plus grand que l’écart académique entre les étudiants blancs et noirs dans les derniers jours des lois instituant la ségrégation raciale américaine. Conant imaginait un monde où les universités ne seraient pas seulement pour les enfants des riches, rappelle Brooks. Ce n’est plus le cas. Les écoles d’élites se sont refermées sur les enfants riches. En 1985, selon l’écrivain William Deresiewicz, 46 % des étudiants des 250 universités les plus sélectives venaient du quart supérieur de la distribution des revenus. En 2000, ce chiffre était de 55 %. En 2006, il était de 67 %.

La méritocratie intellectuelle a « rétabli l’ancienne hiérarchie fondée sur la richesse et le statut social ». « Mais les nouvelles élites ont une plus grande arrogance, car elles croient que leur statut a été gagné par le travail acharné et le talent plutôt que par la naissance ». Elles ont le sentiment qu’elles méritent leur succès, qu’elles ont obtenu le droit d’en tirer les fruits. Le talent n’est pas aussi inné qu’on l’a longtemps pensé. Le talent comme l’effort, comme l’a observé le professeur de droit Joseph Fishkin n’est pas isolé des circonstances de naissances.

4. La méritocratie a créé un système de castes. « Après des décennies de ségrégation cognitive, un gouffre sépare les personnes instruites des moins instruites ». « Le diplômé du secondaire moyen gagnera environ 1 million de dollars de moins au cours de sa vie que le diplômé moyen d’un cursus universitaire de quatre ans. La personne moyenne sans diplôme universitaire de quatre ans vit environ huit ans de moins que le diplômé moyen d’un cursus universitaire de quatre ans. Trente-cinq pour cent des diplômés du secondaire sont obèses, contre 27 pour cent des diplômés d’un cursus universitaire de quatre ans. Les diplômés du secondaire ont beaucoup moins de chances de se marier, et les femmes diplômées du secondaire ont environ deux fois plus de chances de divorcer dans les dix ans suivant leur mariage que les femmes diplômées de l’université. Près de 60 pour cent des naissances chez les femmes diplômées du secondaire ou moins surviennent hors mariage, ce qui est environ cinq fois plus élevé que le taux des femmes titulaires d’au moins une licence. Le taux de mortalité par opioïdes chez les personnes titulaires d’un diplôme du secondaire est environ dix fois plus élevé que chez celles titulaires d’au moins une licence. » Les écarts sociaux sont plus forts que jamais. « Selon une étude de l’American Enterprise Institute, près d’un quart des personnes ayant un diplôme d’études secondaires ou moins déclarent ne pas avoir d’amis proches, alors que seulement 10 % de celles ayant un diplôme universitaire ou plus le disent. Ceux dont l’éducation ne s’étend pas au-delà du lycée passent moins de temps dans les espaces publics, moins de temps dans les groupes de loisirs et les ligues sportives. Ils sont moins susceptibles d’accueillir des amis et de la famille chez eux. » Pire, souligne Brooks, les avantages d’une éducation supérieure d’élite se multiplient au fil des générations. « Des parents aisés et bien éduqués se marient entre eux et confèrent leurs avantages à leurs enfants, qui vont ensuite dans des universités prestigieuses et épousent des personnes comme eux. Comme dans toutes les sociétés de castes, la ségrégation profite aux ségrégateurs. Et comme dans toutes les sociétés de castes, les inégalités impliquent des inégalités non seulement de richesse mais aussi de statut et de respect. » La méritocratie dans son ensemble est un système de ségrégation. Et cette ségrégation par l’éducation a tendance à se superposer à la ségrégation par la race et à y contribuer, un problème qui ne fait que s’aggraver depuis la disparition de la discrimination positive en 2023. Les Noirs constituent environ 14 % de la population américaine, mais seulement 9 % de la classe de première année actuelle de Princeton. En 2024, le MIT a constaté que le nombre de Noirs dans sa classe de première année est passé de 15 % à 5 %.

Depuis environ 50 ans, l’élite cognitive s’est retirée de l’engagement avec le reste de la société américaine. Depuis 1974 environ, comme l’a noté la sociologue de Harvard Theda Skocpol, les Américains diplômés de l’enseignement supérieur ont quitté les organisations sociales où ils côtoyaient les personnes des classes sociales peu éduquées pour rejoindre des organisations où ils se côtoient seulement entre eux. Les classes sociales se sont contractées et se sont refermées sur elles-mêmes, comme l’explique le journaliste David Goodhart dans son livre La tête, la main et le cœur qui dénonce la toute puissance d’une classe cognitive, avec des conséquences sociales délétères : une désillusion massive parmi la jeunesse diplômée et une frustration chez celle qui ne l’est pas.

5. La méritocratie a endommagé la psyché de l’élite américaine. « La méritocratie est un gigantesque système de récompenses extrinsèques. Ses gardiens – les éducateurs, les recruteurs d’entreprise et les superviseurs sur le lieu de travail – imposent une série d’évaluations et d’obstacles aux jeunes. Les étudiants sont formés pour être de bons franchisseurs d’obstacles ». Nous couvrons d’approbation ou de désapprobation ceux qui franchissent ou pas les obstacles des admissions. Ceux qui ne réussissent pas à franchir les critères sociaux que nous avons mis en place s’effondrent. Certains jeunes sont submergés par la pression qui s’impose à eux. D’autres apprennent à trouver les astuces pour franchir les obstacles. « Les personnes élevées dans ce système de tri ont tendance à devenir réticentes au risque, consumées par la peur qu’un seul échec les fasse chuter définitivement ». La réussite professionnelle est devenue le seul critère du jeu.

6. Mais surtout, explique Brooks, cette « méritocratie a provoqué une réaction populiste qui déchire et fracture la société ». Le psychologue Robert Rosenthal et la directrice d’école Leonore Jacobson ont étudié dans les années 60 « l’effet Pygmalion » montrant que les enseignants se comportent différemment envers les élèves qu’ils considèrent comme intelligents. Des années de recherche ont montré qu’ils sourient et hochent la tête plus souvent à ces enfants, leur offrent plus de commentaires, leur accordent plus de temps pour poser des questions… Les autres par contre, eux, se rendent vite compte que ce système n’est pas pour eux. « Beaucoup de personnes qui ont perdu la course au mérite ont développé un mépris pour l’ensemble du système et pour les personnes qu’il élève. Cela a remodelé la politique nationale. Aujourd’hui, la fracture politique la plus importante se situe au niveau de l’éducation : les personnes moins instruites votent républicain, et les personnes plus instruites votent démocrate ». En 1960, John F. Kennedy a perdu le vote des diplômés universitaires blancs par deux contre un et est arrivé à la Maison Blanche grâce à la classe ouvrière. En 2020, Joe Biden a perdu le vote de la classe ouvrière blanche par deux contre un et est arrivé à la Maison Blanche grâce aux diplômés de l’enseignement supérieur. Le problème, c’est que des dirigeants populistes exploitent et rallient désormais les moins instruits et les déclassés, à l’image de Trump. « Ces dirigeants comprennent que la classe ouvrière en veut plus à la classe professionnelle qui sait tout et qui a de beaux diplômes qu’aux magnats de l’immobilier milliardaires ou aux riches entrepreneurs. Les dirigeants populistes du monde entier se livrent à des exagérations grossières, à des généralisations grossières et à des mensonges éhontés, tous destinés à dire à la classe instruite, en substance : « Allez vous faire foutre ! » »

« Lorsque le niveau de revenu est la division la plus importante d’une société, la politique est une lutte pour savoir comment redistribuer l’argent. Lorsque la société est davantage divisée par l’éducation, la politique devient une guerre de valeurs et de culture ». « Dans un pays après l’autre, les gens diffèrent en fonction de leur niveau d’éducation sur l’immigration, les questions de genre, le rôle de la religion sur la place publique, la souveraineté nationale, la diversité et la confiance que l’on peut accorder aux experts pour recommander un vaccin. »

« Alors que les électeurs de la classe ouvrière se sont déplacés vers la droite, le progressisme est devenu un signal élitaire ». En 2023, 65 % des étudiants de dernière année de Harvard, l’école la plus riche du monde, se sont identifiés comme progressistes ou très progressistes.

« James Conant rêvait de construire un monde de mélange de classes et de courtoisie sociale ; nous nous sommes retrouvés avec un monde de lignes de castes rigides et de guerre culturelle et politique à tous les étages. Conant rêvait d’une nation dirigée par des dirigeants brillants. Nous nous sommes retrouvés avec le président Trump. »
Comment changer la méritocratie ?
Régulièrement, des gens de gauche proposent de démanteler la méritocratie actuelle, de se débarrasser des admissions sélectives, proposent que les écoles aient toutes les mêmes ressources… Mais pour Brooks, c’est peut-être oublier que toutes les sociétés humaines ont été hiérarchisées, même la Russie soviétique et la Chine maoïste. « Ce qui détermine la santé d’une société n’est pas l’existence d’une élite, mais l’efficacité de l’élite, et le fait que les relations entre les élites et tous les autres soient mutuellement respectueuses. »

« Nous devons toujours trouver et former les personnes les mieux équipées pour devenir des physiciens nucléaires et des chercheurs en médecine. Si la méritocratie américaine ne parvient pas à identifier les plus grands jeunes génies et à les former dans des universités comme Caltech et MIT, la Chine – dont la méritocratie utilise depuis des milliers d’années des tests standardisés pour sélectionner les plus brillants – pourrait nous dépasser dans la fabrication de puces électroniques, l’intelligence artificielle et la technologie militaire, entre autres domaines. Et malgré tous les défauts du système éducatif américain, nos universités d’élite font de la recherche pionnière, génèrent des avancées considérables dans des domaines tels que la biotechnologie, propulsent des étudiants brillants dans le monde et stimulent une grande partie de l’économie américaine. Nos meilleures universités continuent de faire l’envie du monde. »

« Le défi n’est pas de mettre fin à la méritocratie », estime Brooks, « mais de l’humaniser et de l’améliorer ». Un certain nombre d’événements récents rendent cette tâche encore plus urgente – tout en rendant peut-être le moment politiquement propice à une vaste réforme (ou à son délitement dans une idiocratie qui pourrait être le point terminal de la méritocratie, pourrait-on ajouter, dans une perspective plus pessimiste).

Tout d’abord, la fin de la discrimination positive par la Cour suprême a limité la capacité des universités à accueillir des étudiants issus de milieux moins favorisés, estime Brooks. Désormais, pour intégrer des enfants de milieux sous-représentés, elles devront trouver de nouveaux moyens d’y parvenir. Deuxièmement, la concurrence intellectuelle de l’IA nécessite de trouver la manière pour détecter et former les personnes créatives, capables de faire ce que l’IA ne sait pas faire. Enfin, les universités sont confrontées à une crise de valeur lié au conflit Israélo-Palestinien que les Républicains instrumentisent pour intensifier leur guerre contre l’enseignement supérieur. Pour Brooks, cela invite les universités à reposer leurs principes et leurs valeurs. Enfin, le déclin démographique oblige les universités à réformer et réinventer leurs modalités d’inscriptions pour ne pas devenir exsangues.

Mais la première étape consiste à changer la définition du mérite. Nous devons trouver les moyens d’élargir la définition de Conant. Et Brooks de proposer de commencer par pointer les limites de la définition. « Lui et ses pairs travaillaient à une époque où les gens étaient optimistes quant à la possibilité de résoudre les problèmes sociaux grâce à l’application rationnelle des connaissances dans des domaines tels que les statistiques, l’économie, la psychologie, la théorie de la gestion et l’ingénierie. Ils admiraient les techniciens qui valorisaient la quantification, l’objectivation, l’optimisation et l’efficacité. Ils avaient une grande foi dans la puissance cérébrale brute et ont naturellement adopté une vision rationaliste de l’être humain : la raison est distincte des émotions. » Le problème, c’est que l’ingénierie sociale et ses planifications rationalistes, des grands ensembles sociaux à la planification économique, ont échoué. « Et ils ont échoué pour la même raison : les rationalistes partaient du principe que tout ce qui ne peut être compté et mesuré n’a pas d’importance. Ce n’est pas le cas. Les plans rationalistes échouent parce que la vie est trop complexe pour leurs méthodes de quantification. »

Dans L’Oeil de l’Etat, l’anthropologue James C. Scott raconte l’industrialisation de la forêt allemande et son échec. En cherchant à éliminer le désordre organique de la forêt, le cycle nutritif des arbres s’est déréglé. « En se concentrant uniquement sur les parties de la forêt qui semblaient essentielles à leurs usages, les planificateurs n’ont pas réussi à voir la forêt dans sa globalité. En essayant de standardiser et de contrôler le processus de croissance, les planificateurs ont en fait assassiné les arbres. »

« La méritocratie moderne méconnaît les êtres humains de la même manière que les rationalistes allemands méconnaissaient les arbres ». Pour rendre les gens lisibles par le système de tri, les chercheurs établissent une distinction entre ce qu’ils appellent les compétences « cognitives » et « non cognitives » (on dirait plutôt entre compétences académiques, mesurées par les résultats scolaires et les autres, NDT). Les compétences cognitives sont les compétences « dures » qui peuvent être facilement mesurées, comme le QI et les résultats à un test d’algèbre. Les compétences non cognitives sont des choses plus floues et plus difficiles à quantifier, comme la flexibilité émotionnelle, le courage, l’agilité sociale et les qualités morales (et ce sont aussi des compétences cognitives, rappelle bien sûr Brooks). « Ce que cette méthode de catégorisation révèle, c’est à quel point les rationalistes se soucient peu des capacités qui vont au-delà du QI ». La méritocratie moderne traite ce qui ne relève pas du QI ou de ses substituts, comme les résultats scolaires, comme négligeables, alors que ces autres compétences sont certainement plus essentielles qu’on ne le pense. « Avoir un processeur mental rapide est une bonne chose, mais d’autres traits peuvent jouer un rôle plus important pour déterminer votre contribution à la société : Faites-vous des efforts ? Pouvez-vous établir des relations ? Êtes-vous curieux ? Êtes-vous digne de confiance ? Comment réagissez-vous sous pression ? » En ne regardant que les résultats scolaires, la méritocratie actuelle semble favoriser certaines formes de personnalités sur d’autres, à savoir des personnalités plus égocentriques, plus manipulatrices, plus imbues d’elles-mêmes.

Pourtant, les caractéristiques non cognitives sont manifestes. L’économiste Raj Chetty et ses collègues ont tenté de comprendre ce qui caractérise les bons enseignants par exemple. Ce qui les distingue, c’est qu’ils semblent transmettre plus efficacement des compétences générales, comme s’entendre avec les autres, rester concentré. « Les chercheurs ont découvert que ces compétences générales, lorsqu’elles sont mesurées vers 9-10 ans, sont 2,4 fois plus importantes que les résultats en mathématiques et en lecture pour prédire le revenu futur d’un élève ». L’expert en leadership organisationnel Mark Murphy a découvert quelque chose de similaire lorsqu’il a étudié les raisons pour lesquelles les gens sont licenciés. Dans son ouvrage Hiring for Attitude, Murphy indique que seulement 11 % des personnes qui ont échoué dans leur travail (c’est-à-dire qui ont été licenciées ou ont obtenu une mauvaise évaluation de performance) l’ont été à cause d’un manque de compétences techniques. Pour les 89 % restants, les échecs étaient dus à des traits sociaux ou moraux qui ont affecté leur performance au travail (humeur maussade, difficulté à être coaché, faible motivation, égoïsme…). Ils ont échoué parce qu’ils manquaient des compétences non cognitives adéquates. Près de 50% des recrues démissionnent ou sont remerciées dans les 18 mois suivant leur embauche. Les effets du défaut de compétences non cognitives est cataclysmique.

« Pourquoi avons-nous une vision si déformée et incomplète de ce qui constitue les capacités humaines ? »
Les 4 qualités d’une méritocratie humaniste
« Pour repenser la méritocratie, nous devons prendre davantage en compte ces caractéristiques non cognitives », estime Brooks. « Nous devons cesser de traiter les gens comme des cerveaux sur un bâton et prêter davantage attention à ce qui les motive ».

Pour Leslie Valiant, professeur d’informatique à Harvard et spécialiste de la cognition, ce qui compte le plus pour le progrès humain n’est pas l’intelligence mais l’éducabilité, c’est-à-dire la capacité à apprendre de l’expérience. C’est là le cœur des qualités que nous devrions chercher à développer pour une méritocratie humaniste.

Pour Brooks, il faudrait redéfinir le mérite autour de 4 qualités cruciales :

La curiosité. Les enfants naissent curieux, rappelle-t-il. Une étude d’observation a noté que les enfants entre 14 mois et 5 ans posaient en moyenne 107 questions par heure… puis ils vont à l’école et n’en posent plus. La psychologue Susan Engel, dans son livre, The Hungry Mind a montré qu’en maternelle les enfants exprimaient leur curiosité seulement 2,4 fois toutes les 2 heures de cours. A 10-11 ans, ce chiffre tombe à 0,48 fois. La productivité que l’on demande à l’enseignement empêche les élèves de poser des questions. « Notre méritocratie actuelle décourage la curiosité au profit d’une simple accumulation de contenu dans le but d’améliorer les résultats aux tests ». Le problème, c’est que lorsque les enfants ont perdu leur curiosité, vers l’âge de 11 ans, estime Engel, ils ont tendance à rester incurieux pour le reste de leur vie. Dans son étude sur les grandes personnalités de l’histoire, le psychologue Frank Barron estime que la curiosité constante est essentielle à leur réussite, c’est elle qui les aide à rester « flexibles, innovants et persévérants ». Notre système méritocratique encourage les gens à se concentrer étroitement sur les tâches cognitives, mais la curiosité exige du jeu et du temps libre non structuré. Si vous voulez comprendre à quel point quelqu’un est curieux, regardez comment il passe son temps libre, comme le recommandent dans leur livre, Talent : How to Identify Energizers, Creatives, and Winners Around the World, le capital-risqueur Daniel Gross et l’économiste Tyler Cowen.

Un sens de la motivation et de la mission. Alors qu’il était emprisonné dans les camps de concentration nazis, le psychiatre autrichien Viktor Frankl remarqua que ceux qui survivaient le plus longtemps étaient des personnes qui s’étaient engagés. Comme il le montra dans son livre Découvrir un sens à sa vie (1988), la vie avait un sens pour eux, avant les camps, et ce sentiment les a soutenus dans les circonstances les plus déshumanisantes qui soient. Les personnes qui ont une perception du sens de la vie ou d’un engagement vont là où se trouvent les problèmes, estime Brooks. Certaines personnes sont motivées par des émotions morales, comme l’indignation face à l’injustice, la compassion pour les faibles, l’admiration pour un idéal. « Elles ont un fort besoin d’une vie qui ait un sens, le sentiment que ce qu’elles font compte vraiment ». Ce sentiment transcendant, cette cause qu’ils portent et les dépasse, les pousse à aller de l’avant et leur donne une cohérence interne.

L’intelligence sociale. Lorsque Boris Groysberg, professeur de comportement organisationnel à la Harvard Business School, a examiné les carrières de centaines de spécialistes de l’investissement qui avaient quitté une société financière pour travailler dans une autre, il a Il a découvert quelque chose de surprenant : « Dans l’ensemble, les performances professionnelles de ceux qui ont changé d’entreprises ont chuté de manière spectaculaire et ils ont continué à souffrir pendant au moins cinq ans après avoir changé d’entreprise », explique-t-il dans Chasing Stars : The Myth of Talent and the Portability of Performance. Ces résultats suggèrent que parfois, le talent est inhérent à l’équipe, pas à l’individu. Dans une méritocratie efficace, nous voudrions trouver des personnes qui sont de fantastiques bâtisseurs d’équipe, qui ont d’excellentes compétences en communication et en cohésion. En sport, les facilitateurs sont des joueurs qui ont une capacité ineffable à rendre une équipe plus grande que la somme de ses parties. Pour l’économiste David Deming, ces compétences sociales sur le lieu de travail sont un fort prédicateur de la réussite professionnelle. Des recherches ont montré que ce qui rend certaines équipes spéciales n’est pas principalement l’intelligence de ses membres les plus intelligents, mais plutôt la façon dont ses dirigeants écoutent, la fréquence à laquelle ses membres prennent la parole, la façon dont ils s’adaptent aux mouvements des autres, la façon dont ils construisent la réciprocité.

L’agilité. Dans des situations chaotiques, la puissance cérébrale brute peut être moins importante que la sensibilité de perception. Les grecs parlaient de la métis ou ruse de l’intelligence pour désigner cette capacité à synthétiser tous les aspects d’une situation pour la comprendre, une forme d’agilité qui permet l’anticipation. Les tests SAT comme l’apprentissage par les connaissances ne permettent pas d’acquérir cette capacité prédictive. Le psychologue et politologue de l’Université de Pennsylvanie Philip E. Tetlock a découvert que les experts sont généralement très mauvais pour faire des prédictions sur les événements futurs. En fait, il a découvert que plus l’expert est éminent, moins ses prédictions sont précises. Tetlock explique que cela est dû au fait que les opinions des experts sont trop figées : ils utilisent leurs connaissances pour soutenir des points de vue erronés. Les personnes agiles, au contraire, peuvent changer d’état d’esprit et expérimenter des perspectives alternatives jusqu’à ce qu’elles trouvent celle qui s’applique le mieux à une situation donnée. L’agilité vous aide à prendre de bonnes décisions en temps réel. Le neuroscientifique John Coates était un trader financier. Pendant les poussées haussières des marchés qui ont précédé les gros krachs, Coates a remarqué que les traders qui ont ensuite subi d’énormes pertes étaient devenus trop confiants. L’émotion fausse leur jugement, explique Coates dans The Hour Between Dog and Wolf. Ceux qui évitent les pertes dans ces situations ne sont pas ceux qui ont un meilleur QI, mais ceux qui sont capables de comprendre la signification des émotions qui les saisissent. Comme l’explique Leonard Mlodinow dans son livre Emotional: How Feelings Shape Our Thinking, « le contrôle et la connaissance de son état émotionnel sont ce qui est le plus important pour la réussite professionnelle et personnelle ».

Reconstruire la méritocratie
Si nous pouvons orienter notre méritocratie autour d’une définition des capacités humaines qui prend davantage en compte des traits tels que la motivation, la générosité, la sensibilité et la passion, alors nos écoles, nos familles et nos lieux de travail se réajusteront de manière fondamentale veut croire David Brooks.

Dans leur livre, In Search of Deeper Learning, les spécialistes de l’éducation Jal Mehta et Sarah Fine ont montré que dans bon nombre d’écoles, la plupart des élèves passent la majeure partie de leur journée à s’ennuyer, à se désintéresser et à ne pas apprendre. Mehta et Fine n’ont pas constaté beaucoup d’engagement passionné dans les salles de classe. Mais ils les ont observé dans les cours optionnels : le club de théâtre et autres activités parascolaires. Dans ces activités là, les élèves dirigeaient leur propre apprentissage, les enseignants faisaient office de coachs et les progrès étaient réalisés en groupe. Les élèves avaient plus d’autonomie et ressentaient un sentiment d’appartenance et de communauté.

« Plusieurs types d’écoles essaient de faire en sorte que la journée entière ressemble davantage à des activités parascolaires – où la passion est éveillée et le travail d’équipe est essentiel. Certaines de ces écoles sont centrées sur « l’apprentissage par projet », dans lequel les élèves travaillent ensemble sur des projets du monde réel. Les relations professeur-étudiant dans ces écoles ressemblent davantage à celles d’un maître et d’un apprenti qu’à celles d’un professeur et d’un auditeur. Pour réussir, les élèves doivent développer des compétences de leadership et de collaboration, ainsi que des connaissances bien sûr. Ils apprennent à se critiquer les uns les autres et à échanger des commentaires. Ils s’enseignent les uns aux autres, ce qui est une manière puissante d’apprendre. » Dans leur livre, Mehta et Fine documentent ces écoles que l’on retrouve également dans le documentaire Most Likely to Succeed et soulignent que dans ces programmes d’apprentissage par projets, les élèves ont plus d’autonomie. Ces écoles permettent aux élèves de faire des erreurs, de se sentir perdus et en difficulté, un sentiment qui est le prédicat de la créativité. « L’échec occasionnel est une caractéristique de cette approche ; elle cultive la résilience, la persévérance et une compréhension plus profonde. Les élèves font également l’expérience de la maîtrise et de la confiance en soi qui accompagne une réussite tangible ».

« Plus important encore, les élèves apprennent à s’engager pleinement dans un projet avec d’autres. Leurs journées d’école ne sont pas consacrées à la préparation d’examens standardisés ou à des cours magistraux, ce qui stimule leur curiosité, et non l’éteint ». Pour Brooks, cet apprentissage par projet nécessite bien sûr d’investir dans la formation des enseignants. Les données suggèrent en tout cas que les élèves de ces écoles ont tendance à réussir mieux que leurs pairs, même aux tests standardisés, et sans passer tout leur temps à s’y préparer.

« Construire un système scolaire axé sur la stimulation de la curiosité, de la passion, de la générosité et de la sensibilité nous obligera à changer la façon dont nous mesurons les progrès des élèves et repérons leurs capacités. Aujourd’hui, nous vivons dans un monde de cours magistraux et de relevés de notes : mais un relevé de notes ne vous dit pas si un élève peut mener un dialogue avec les autres, ou s’il est ouvert ou fermé d’esprit ».

Aux Etats-Unis, quelques 400 lycées font désormais partie d’une organisation appelée Mastery Transcript Consortium, qui utilise des mécanismes d’évaluation alternatifs. Alors qu’un bulletin scolaire standard indique ce qu’un élève sait par rapport à ses camarades de classe à une date donnée, le relevé de maîtrise montre avec beaucoup plus de précision dans quelle mesure l’élève a progressé vers la maîtrise d’un domaine de contenu ou d’un ensemble de compétences donné. Le rapport de maîtrise comprend également des compétences de vie plus larges : quel élève est bon dans l’établissement de relations, qui est bon dans les solutions créatives…

« Aucune évaluation ne peut à elle seule prédire parfaitement le potentiel d’une personne. Le mieux que nous puissions faire est de combiner des techniques d’évaluation ». Notes, portfolios de réalisations de projets, tests de mesures de compétences non cognitives, comme l’échelle de courage imaginée par la psychologue Angela Duckworth, le questionnaire de caractère moral, les évaluations d’apprentissage social et émotionnel, l’indicateur de trait à haut potentiel…

L’enjeu est de comprendre les personnalités, pas de les classer, estime Brooks. En Australie, par exemple, certaines écoles utilisent le Big Picture Learning Credential, qui évalue les traits que les étudiants ont développés en classe et en dehors : compétences en communication, définition d’objectifs, responsabilité, conscience de soi.. La création d’un réseau de centres d’évaluation indépendants dans ce pays qui utilisent de tels outils pourraient aider les étudiants à trouver l’université ou le programme de formation le mieux adapté à leurs intérêts fondamentaux. Ces centres pourraient aider les responsables des admissions à l’université à trouver les étudiants qui conviennent à leur établissement. Ils pourraient aider les employeurs à trouver les bons candidats. En bref, ils pourraient aider tous les membres de la méritocratie à prendre des décisions plus éclairées.

« Ces méthodes d’évaluation seraient inévitablement moins « objectives » qu’un score au SAT, mais c’est en partie là que réside l’intérêt. Notre système actuel est construit autour de la standardisation. Ses concepteurs voulaient créer un système dans lequel tous les êtres humains pourraient être placés sur une seule échelle, soigneusement disposés le long d’une seule courbe en cloche ». Comme l’écrit le spécialiste de l’éducation Todd Rose dans The End of Average, le système méritocratique actuel est construit sur « l’hypothèse paradoxale selon laquelle on peut comprendre les individus en ignorant leur individualité ». L’ensemble du système dit aux jeunes : « Vous devriez être comme tout le monde, mais en mieux ». La réalité est qu’il n’existe pas d’échelle unique que nous puissions utiliser pour mesurer le potentiel humain ou la capacité à diriger efficacement. Nous avons besoin d’un système d’évaluation qui valorise l’individu d’une manière plus complète et plus diverse qu’un relevé de notes. Les gardiens d’une méritocratie plus efficace ne se poseraient pas seulement les questions « Devrions-nous accepter ou rejeter ce candidat ? » ou « Qui sont les meilleurs ? » mais d’abord « En quoi chaque personne est-elle excellente et comment pouvons-nous l’amener à un poste approprié ? »

Pour améliorer et rendre plus juste la méritocratie, nous devons combiner ces mesures avec une refonte de ce que Joseph Fishkin appelle la « structure des opportunités ». À l’heure actuelle, la structure des opportunités de l’Amérique est unitaire. Pour atteindre des sommets, il faut obtenir d’excellentes notes au lycée, obtenir de bons résultats aux tests standardisés, aller à l’université et, dans la plupart des cas, obtenir un diplôme d’études supérieures de préférence dans les meilleures écoles. En chemin, il faut naviguer à travers les différents canaux et goulets d’étranglement qui vous guident et vous limitent.

Historiquement, lorsque les réformateurs ont essayé de rendre les voies d’accès à l’élite plus équitables, ils ont tenu pour acquis la structure des opportunités existante, essayant de donner un coup de pouce à certains individus ou groupes d’individus. Comme l’a proposé la discrimination positive. Pour Fishkin c’est la structure même des opportunités qu’il faut changer, qu’il faut rendre plurielle. « L’objectif doit être de donner aux gens accès à un plus large éventail de voies qu’ils peuvent suivre », écrit Fishkin, afin de donner un choix plus riche à chacun.

Avec un plus grand pluralisme des opportunités, les gardiens auront moins de pouvoir et les individus qui s’efforcent de s’épanouir au sein de la structure en auront plus. « Si la méritocratie avait plus de canaux, la société ne ressemblerait plus à une pyramide, avec un pic minuscule et exclusif au sommet ; elle ressemblerait à une chaîne de montagnes, avec de nombreux pics. »

« Dans une telle société, la reconnaissance serait plus largement distribuée, ce qui diminuerait le ressentiment populiste et rendrait la cohésion culturelle plus probable ».

Pour atteindre cet idéal, il faudra une stratégie à multiples facettes, en commençant par la redéfinition fondamentale du mérite lui-même. « Certains des leviers politiques que nous pourrions actionner incluent la relance de l’enseignement professionnel, l’obligation du service national, la création de programmes de capital social et le développement d’une politique industrielle plus intelligente », estime encore Brooks.

De 1989 à 2016, tous les présidents américains ont pris des mesures pour réformer l’enseignement professionnel et mieux préparer les élèves aux emplois du futur. Mais cela s’est surtout traduit par un recours accru aux tests standardisés, alors que l’enseignement technique dépérissait. La conséquence est que nous n’avons plus assez de travailleurs qualifiés pour faire fonctionner les usines.

Si le retour du service national peut paraître un cliché de la mobilisation sociale, Raj Chetty a montré que les amitiés entre classes sociales stimulent considérablement la mobilité sociale, en cela, la diversité que permet le service national peut être un moteur qui ne devrait pas être négligé (même s’il peut s’obtenir bien différemment et plus efficacement, me semble-t-il, en créant des écoles plus diverses socialement qu’elles ne sont).

Pour Brooks, nous devrions également chercher à réduire l’importance de l’école dans la société. Nombre de recherches ont montré pourtant que les relations de quartiers, les pairs et le contexte familial ou amical, peuvent avoir une plus grande influence sur la réussite scolaire que la qualité d’une école. Nous devrions investir davantage dans les organisations communautaires non scolaires.

Enfin, Brooks estime que pour vivre dans une économie qui récompense la diversité des compétences, il faut soutenir des politiques économiques qui stimulent le secteur industriel afin d’offrir des voies alternatives à tous. « Si nous trions les gens uniquement en fonction de leur intelligence supérieure, nous les trions en fonction d’une qualité que peu de gens possèdent ; nous créons inévitablement une société stratifiée et élitiste. Nous voulons une société dirigée par des gens intelligents, certes, mais aussi sages, perspicaces, curieux, attentionnés, résilients et engagés envers le bien commun. Si nous parvenons à trouver comment sélectionner la motivation des gens à grandir et à apprendre tout au long de leur vie, alors nous trierons les gens en fonction d’une qualité qui est distribuée de manière plus démocratique, une qualité que les gens peuvent contrôler et développer, et nous nous retrouverons avec une société plus juste et plus mobile. » Nous avons besoin d’une méritocratie qui valorise l’initiative et l’énergie. « Notre QI n’est pas la chose la plus importante pour nous ». Le plus important, ce sont nos désirs, ce qui nous intéresse, ce que nous aimons. C’est cela que la méritocratie devrait promouvoir.

25 November 2024

7:30
« La biométrie comme fonctionnalité »
sur Dans les algorithmes

En Europe on ne connait pas très bien Clear Secure, l’entreprise américaine de gestion d’identité, qui permet à ses 27 millions de clients de ne pas faire la queue à l’aéroport pour les contrôles d’identité, pas plus qu’à l’entrée des stades. Mais la plateforme d’identification sans friction veut désormais s’étendre bien au-delà, rapporte la Technology Review. Sa PDG, Caryn Seidman Becker a déclaré que Clear avait pour objectif de n’être rien de moins que la « plateforme d’identité universelle » du monde physique, une sorte de compte Google pour la vie réelle. Pour elle, « la biométrie n’est pas le produit… c’est une fonctionnalité ». Mais cette désintermédiation de l’identité par une entreprise privée pose d’innombrables problèmes. D’abord, l’entreprise n’est pas sans avoir connu des défaillances. Une enquête de l’autorité des transports suite à plusieurs incidents a montré par exemple « près de 50 000 photos utilisées par Clear pour inscrire des clients ont été signalées comme non concordantes par le logiciel de reconnaissance faciale de l’entreprise ». Ensuite, Clear a plusieurs fois exploité ses données sans le consentement de ses clients. Enfin, l’entreprise a connu plein de problèmes de vérification d’identité défaillante. Reste que Clear fait partie des entreprises qui pousse à l’intégration de la biométrie partout où elle est possible, comme une commodité, alors que les contrôle d’identité ont tendance à s’étendre à de plus en plus de lieux. Clear participe activement à la normalisation et à l’extension de la surveillance. Enfin, le risque est grand que Clear devienne un système de reconnaissance VIP, une surveillance de luxe, pour ceux qui peuvent se payer l’abonnement. D’ailleurs ses clients commencent à se plaindre d’être parfois trop nombreux et de devoir attendre dans les coupe-files.

22 November 2024

7:30
L’IA inéluctable
sur Dans les algorithmes

TechTonic Justice est une nouvelle initiative américaine pour combattre l’injustice algorithmique. Leur premier rapport explique que les personnes à faible revenu subissent plus que les autres des décisions basées sur l’IA et voient un aspect fondamental de leur vie décidée par l’IA. Pour eux, l’IA est déjà inéluctable. Elle restreint les opportunités des personnes à faible revenu dans tous les aspects fondamentaux de la vie : à la maison, au travail, à l’école, dans les bureaux gouvernementaux et au sein des familles… Aux Etats-Unis, ce sont « 92 millions de personnes à faible revenus qui ont un aspect fondamental de leur vie déterminé par l’IA ».

L’association, a été fondée par Kevin De Liban, qui l’a créé après avoir travaillé pendant 12 ans à l’assistance légale de l’Arkansas, où il a représenté des clients handicapés qui ont poursuivi le Département des services sociaux de l’État pour avoir réduit leurs services de soins à domicile en raison d’un système informatisé défectueux. « Le problème n’est pas que l’automatisation soit intrinsèquement mauvaise, a déclaré De Liban. Le problème est que les systèmes sont trop souvent conçus pour privilégier la réduction des prestations sociales plutôt que de garantir que les personnes puissent y accéder. Et ils sont utilisés comme un substitut moins coûteux à un examen plus minutieux et mené par des humains », rapporte le Washington Post. « Tous ces outils de prise de décision basés sur l’IA, finissent par éliminer des personnes qui devraient être éligibles aux programmes d’aides sociales ».

21 November 2024

7:30
A quoi sert l’innovation si elle ne fonctionne pas pour tout le monde ?
sur Dans les algorithmes

A quoi sert l’innovation si elle ne fonctionne pas pour tout le monde ? interrogent, dans un essai provocateur, Rachel Coldicutt et Matt Dowse. La politique d’innovation au Royaume-Uni (mais c’est également le cas bien au-delà) se concentre sur deux priorités que sont la croissance des entreprises et l’amélioration de la recherche. Des perspectives qui négligent le monde réel de l’innovation, celle qui se déploie au quotidien, alimentée par l’ingéniosité, l’expérimentation et l’adaptation des technologies existantes. Pourtant, l’innovation communautaire a un impact plus local, une application plus disparate et une intention plus régénératrice que de nombreuses grandes technologies et percées primées – ce qui signifie qu’elle est également plus difficile à classer dans des tableaux ou à traduire en gros titres accrocheurs. En tant que telle, elle est moins visible pour les décideurs politiques.

« Pourtant, l’innovation communautaire – qui permet la résolution de problèmes contextuels, le développement d’infrastructures sociales et la création de biens communs de la connaissance – se produit partout au Royaume-Uni, souvent avec peu ou pas de soutien. Nous pensons que soutenir et encourager l’innovation locale et indépendante est essentiel pour relancer l’économie de l’innovation au Royaume-Uni de manière à ce qu’elle profite à davantage de personnes à travers le pays. Cela permettra de développer des compétences, des capacités et des équipements locaux qui ne dépendent pas d’un petit nombre d’entreprises de la Silicon Valley, de construire une infrastructure sociale solide et de créer de nouvelles opportunités pour davantage de personnes, dans davantage d’endroits – en fin de compte, de construire une économie de l’innovation plus diversifiée avec des niveaux plus élevés d’avantages publics et de participation ».
Changer d’échelle
Les technologies à plus petite échelle sont pourtant un élément essentiel de la résilience à long terme, en particulier dans le contexte de l’urgence climatique.

« Plutôt que de faire profiter un petit groupe d’innovateurs appartenant à l’élite sociale, une économie de l’innovation véritablement moderne doit chercher à créer des opportunités plus plurielles et équitables, accessibles au-delà des grandes institutions de recherche et des grandes entreprises technologiques, qui privilégient la régénération plutôt que l’extraction, et qui élèvent et autonomisent les personnes et les communautés dans leur diversité ».

Petite dans ce cas ne signifie pas un manque d’ambition. Des technologies à plus petites échelles signifient des technologies peu concentrées et plurielles, c’est-à-dire des technologies qui puissent apporter une alternative à la nature intensive en ressources des technologies modernes à grande échelle. La question écologique rend ce changement d’échelle urgent, et il est probable qu’un passage à des approches informatiques à plus petite échelle et plus distribuées deviendra un impératif au cours de la prochaine décennie. C’est particulièrement vrai des technologies d’IA, comme le rappelaient récemment Gael Varoquaux, Alexandra Sasha Luccioni et Meredith Whittaker dans un article, soulignant que l’IA a développé un « goût malsain pour l’échelle », excluant structurellement les petits acteurs. Nous devons œuvrer à ce que le passage à grande échelle ne soit pas la solution universelle à tous les problèmes et nous concentrer plutôt sur des modèles qui peuvent être exécutés sur du matériel largement disponible, à des coûts modérés. « Cela permettra à davantage d’acteurs de façonner la manière dont les systèmes d’IA sont créés et utilisés, offrant une valeur plus immédiate dans des applications allant de la santé aux services aux entreprises, tout en permettant une pratique plus démocratique de l’IA ».

Pour y parvenir, estiment Coldicutt et Dowse, il est nécessaire d’opter pour un changement de culture et un changement de discours, afin que l’innovation à petite échelle et à long terme qui construit l’infrastructure sociale, cultive les compétences et autonomise les personnes et les communautés puisse être célébrée, recevoir des investissements et jouer un rôle actif. Les deux auteurs estiment que pour cela, il faut modifier l’investissement technologique, pour donner la priorité aux rendements sociaux à long terme plutôt qu’aux profits à court terme. Qu’il faut produire des infrastructures pour favoriser les investissements à long terme en faveur de sociétés équitables, plutôt que de soutenir les rendements d’un petit nombre d’entreprises et d’investisseurs de la Silicon Valley. Cela nécessite également de réfléchir à adapter nos modalités d’organisation pour faciliter cette autre économie de l’innovation. « Faisons en sorte que la technologie fonctionne pour 8 milliards de personnes et non pour 8 milliardaires ».
Des technologies pour tous dans une économie du soin
L’enjeu est de favoriser des technologies qui améliorent la qualité de vie, la santé, le bien être, le travail, les loisirs, les relations sociales et les opportunités économiques pour tous, partout. Nous devons passer d’une innovation top-down à une innovation communautaire, comme le propose Careful Trouble, l’initiative que Coldicutt a lancé, à la fois cabinet de conseil et entreprise sociale communautaire – rappelons que Rachel Coldicutt a été longtemps l’animatrice de DotEveryone, le think tank britannique dédié au développement de technologies responsables, dont les activités ont été continuées par l’Ada Lovelace Institute et l’Open Data institute. Carfeul Trouble vient soutenir des personnes et des communautés qui gèrent des coopératives d’énergie responsables, des collectifs de soins sociaux, des pubs et des bibliothèques communautaires, des studios de technologie et des centres artistiques, des programmes de rénovation de logements et des entreprises de médias locaux. Autant d’exemples et d’initiatives qui servent à renforcer le réseau technologique communautaire et qui montrent que les technologies peuvent être utilisées pour renforcer les liens sociaux, la résilience et créer de la valeur économique de proximité, s’ils ne manquaient pas de soutiens et d’investissements (à New York également, Community Tech propose de reconstruire la technologie pour bâtir des communautés, en développant également une autre approche et un autre rapport à la technologie).

Coldicutt et Dowse rappellent que la population reste pessimiste quant à l’impact actuel des technologies. Et elle a raison : les opportunités créées par l’innovation technologique, telle qu’on la pratique, ne sont pas réparties équitablement, bien au contraire. Pour résoudre ce problème, il est nécessaire de repenser les normes d’innovation, ce qui ne se fera pas simplement par des investissements accrus dans les grandes entreprises ou dans l’innovation de pointe. « Si l’on ne peut pas compter sur un petit nombre d’entreprises pour créer la prospérité pour tous, il faut alors promouvoir un autre modèle d’innovation », plus inclusif, défendent-ils.

Bien sûr, il reste difficile de traduire la nécessité d’un pluralisme d’innovation en politique. Dans le domaine technologique, on considère que l’innovation ne se déroule que dans un contexte capitaliste, déconnecté des contextes sociaux, économiques et politiques où les technologies opèrent. Le passage à l’échelle et le rendement financier sont partout les principaux indicateurs de réussite et ne bénéficient qu’à un petit nombre d’initiatives. A l’inverse, les approches sociotechniques plus complexes reçoivent relativement peu de soutien, ce qui signifie qu’elles sont plus susceptibles de rester au stade pilote ou de démonstrateur, ou d’être reclassées comme des initiatives « Tech for Good » à faibles enjeux qui dépendent du financement caritatif. Mis en concurrence avec des investissements technologiques de plusieurs milliards visant à fournir des solutions universelles à grande échelle, l’innovation communautaire peut sembler pittoresque et quelque peu amateur, avec peu de portée ou d’impact ; cependant, cela est simplement dû au cadrage que nous portons sur l’innovation – « une grande partie de la vie réelle, en ligne et hors ligne, se déroule dans le plurivers des relations plutôt que dans des transactions ou des bilans d’entreprises, et les technologies que nous développons et utilisons devraient refléter et améliorer cela ».

Il n’existe pas de solution miracle, de modèle, de pilote ou d’innovation qui puisse résoudre les défis systémiques qui sont devant nous, rappellent les auteurs. Le changement de système nécessite de multiples innovations transformatrices à différents moments et niveaux.

Mais, fondamentalement, soutenir un modèle mixte d’innovation signifie s’éloigner d’une tendance à faire de gros paris sur une seule technologie ou un seul mécanisme réglementaire et s’engager à gérer une variété d’interventions à des vitesses et des rythmes différents, comme le disent l’ethnographe Vanessa Lefton et la designer Alex Fleming du Policy Lab. Pour Hilary Cottam, auteure de Radical Help (Virago, 2018), une société florissante ne peut pas être atteinte en maintenant une vision économique du monde figée et unique, expliquait-elle dans une tribune : « Nous avons besoin d’un code de conception – les valeurs et les paramètres qui permettent aux petites solutions à échelle humaine de se développer dans un cadre national. Il s’agit d’un processus d’élaboration des politiques qui repose sur une vision claire, des réseaux et des relations humaines. Il est à l’opposé du processus actuel d’élaboration des politiques de commandement et de contrôle industriel. Les paramètres définiront de nouvelles formes de mesures et de réglementation, au sein d’une culture dans laquelle nos relations les uns avec les autres sont ce qui compte le plus. Cela nécessite à son tour un nouveau cadre économique : une économie du soin.«

Les technologies et l’innovation n’existent pas seulement comme des intensificateurs économiques. « Les interventions communautaires sont essentielles pour concevoir et créer des infrastructures qui reflètent notre vie réelle au-delà des exigences de la croissance économique ; pour réaliser le plein potentiel des initiatives existantes et cultiver les conditions nécessaires à un changement plus axé sur la communauté, l’innovation communautaire doit être visible, avec une place à la table des grandes entreprises, avec un investissement proportionnel et un soutien politique ».

Pour y parvenir, Coldicutt et Dowse proposent de rediriger une partie significative de l’investissement et du soutien politique vers ces autres formes d’innovation. « Une bonne croissance nécessite les bonnes conditions pour prendre racine. L’innovation communautaire est un excellent compost, mais elle a besoin de la lumière du soleil des investissements et d’une bonne politique pour s’épanouir et se développer. »

20 November 2024

9:53
Vers l’IA « physique »
sur Dans les algorithmes

L’IA transforme la façon dont les robots apprennent à se déplacer et à naviguer dans les environnements. Ils acquièrent des compétences plus rapidement que jamais et s’adaptent d’une manière que l’on pensait auparavant impossible. Le Financial Times fait le point sur les progrès de l’IA robotique, celle qui comprend les lois de la physique pour travailler avec nous. Des robots qui tournent les pages d’un livre ou qui mettent des tee-shirts sur un cintre. L’article explique, très graphiquement, que la méthode utilisée pour que l’IA génère des images ou du texte, est désormais utilisée pour produire des actions. « Cela signifie que les robots peuvent apprendre une nouvelle tâche, comme utiliser un marteau ou tourner une vis, puis l’appliquer dans différents contextes ». Le problème pour l’instant reste encore de passer d’une tâche à l’autre, mais pour cela l’espoir consiste à construire des Large Action Models, c’est-à-dire de très grands modèles d’actions et de produire les données pour y parvenir.

De là à avoir des robots domestiques capables d’évoluer dans nos environnements complexes, il y a encore quelques progrès à faire. Mais l’idée d’un robot capable de faire le ménage dans nos intérieurs semble plus près de se réaliser qu’hier.

7:30
Où est passée la grande désinformation de l’IA ?
sur Dans les algorithmes

L’effondrement de l’information a-t-il eu lieu ? En tout cas, la submersion des contenus par l’IA générative qu’annonçaient de nombreux médias au début de la campagne électorale américaine n’a semble-t-il pas eu lieu, ou pas comme on l’a escompté, explique Matteo Wong pour The Atlantic. C’est ce qu’explique un trio de chercheurs de l’université de Purdue, Christina Walker, Daniel Schiff et Kaylyn Jackson Schiff, qui ont collecté les images et vidéos politiques générées par l’IA depuis juin 2023. Les contenus générés par l’IA durant la campagne électorale ont été nombreux, mais ils ont surtout été utilisés sous forme de satire ou de divertissement que comme outils de désinformation. Leur usage a été bien plus transparent qu’attendue. Les images étaient fausses mais ne faisaient pas semblant d’être vraies.

Reste qu’on mesure mal l’impact de ces partages, modèrent les chercheurs. « Ces images et vidéos générées par l’IA sont instantanément lisibles et ciblent explicitement le partage d’émotions plutôt que les informations (…). » Ces images ont peut-être finalement très bien accompagné la disparition des faits, du consensus et de la rationalité. Elles ont d’abord permis de faire primer l’émotion sur la rationalité dans un moment où la vérité était particulièrement malmenée… mais d’abord par les discours politiques eux-mêmes.

MAJ du 21/11/2024 : « L’IA semble avoir moins contribué à façonner la façon dont les gens ont voté et bien plus à éroder leur foi dans la réalité », rapporte le Washington Post. Elle a été plus utilisée pour consolider les croyances partisanes que pour influencer les mentalités, brouillant la réalité. Des chercheurs de l’Institute for Strategic Dialogue ont constaté que les utilisateurs croyaient plus souvent que le contenu authentique était généré par l’IA que l’inverse. Nous sommes bien plus dans une crise de la réalité que dans une crise de désinformation.

19 November 2024

7:30
L’État artificiel : la vie civique automatisée
sur Dans les algorithmes

Le philosophe Rob Horning rapporte que des chercheurs de Google ont publié un article décrivant un projet de « Machines d’Habermas » – hommage au philosophe et à sa théorie de l’espace public – décrivant des machines permettant de faciliter la délibération démocratique. L’idée consiste à utiliser des IA génératives pour générer des déclarations de groupes à partir d’opinions individuelles, en maximisant l’approbation collective par itération successive. Le but : trouver des terrains d’entente sur des sujets clivants, avec une IA qui fonctionne comme un médiateur.
Vers des machines pour délibérer à notre place
Dans leur expérimentation, les chercheurs rapportent que les participants ont préféré les déclarations générées par les IA à celle des humains. Pour Horning, cela signifie peut-être que les gens « sont plus susceptibles d’être d’accord avec une position lorsqu’il semble que personne ne la défende vraiment qu’avec une position articulée par une autre personne ». Effectivement, peut-être que le fait qu’elles soient artificielles et désincarnées peut aider, mais peut-être parce que formulées par la puissance des LLM, ces propositions peuvent sembler plus claires et neutres, comme le sont souvent les productions de l’IA générative, donc plus compréhensibles et séduisantes. Les chercheurs mettent en avant l’efficacité et la rapidité de leur solution, par rapport aux délibérations humaines, lentes et inefficaces – mais reconnaissent que les propositions et les synthèses faites par les outils nécessiteraient d’être vérifiées. 404 media rapportait il y a peu le développement d’une IA pour manipuler les réseaux sociaux permettant de cibler les messages selon les discours politiques des publics. Pas sûr effectivement qu’il y ait beaucoup de différence entre les machines d’Habermas de Google et ces outils de manipulation de l’opinion.

Ces efforts à automatiser la sphère publique rappellent à Horning le livre de Hiroki Azuma, General Will 2.0 (2011) qui défendait justement l’utilisation de la surveillance à grande échelle pour calculer mathématiquement la volonté générale de la population et se passer de délibération. « Nous vivons à une époque où tout le monde est constamment dérangé par des « autres » avec lesquels il est impossible de trouver un compromis », expliquait Azuma, en boomer avant l’heure. Il suffit donc d’abandonner la présomption d’Habermas et d’Arendt selon laquelle la politique nécessite la construction d’un consensus par le biais de discussions… pour évacuer à la fois le compromis et les autres. D’où l’idée d’automatiser la politique en agrégeant les données, les comportements et en les transformant directement en décisions politiques.

Rob Horning voit dans cette expérimentation un moyen de limiter la conflictualité et de lisser les opinions divergentes. Comme on le constate déjà avec les réseaux sociaux, l’idée est de remplacer une sphère publique par une architecture logicielle, et la communication interpersonnelle par un traitement de l’information déguisé en langage naturel, explique-t-il avec acuité. « Libérer l’homme de l’ordre des hommes (la communication) afin de lui permettre de vivre sur la base de l’ordre des choses (la volonté générale) seule », comme le prophétise Azuma, correspond parfaitement à l’idéologie ultra rationaliste de nombre de projets d’IA qui voient la communication comme un inconvénient et les rencontres interpersonnelles comme autant de désagréments à éviter. « Le fantasme est d’éliminer l’ordre des humains et de le remplacer par un ordre des choses » permettant de produire la gouvernance directement depuis les données. Les intentions doivent être extraites et les LLM – qui n’auraient aucune intentionnalité (ce qui n’est pas si sûr) – serviraient de format ou de langage permettant d’éviter l’intersubjectivité, de transformer et consolider les volontés, plus que de recueillir la volonté de chacun. Pour Horning, le risque est grand de ne considérer la conscience de chacun que comme un épiphénomène au profit de celle de la machine qui à terme pourrait seule produire la conscience de tous. Dans cette vision du monde, les données ne visent qu’à produire le contrôle social, qu’à produire une illusion d’action collective pour des personnes de plus en plus isolées les unes des autres, dépossédées de la conflictualité et de l’action collective.

Mais les données ne parlent pas pour elles-mêmes, nous disait déjà danah boyd, qui dénonçait déjà le risque de leur politisation. La perspective que dessinent les ingénieurs de Google consiste à court-circuiter le processus démocratique lui-même. Leur proposition vise à réduire la politique en un simple processus d’optimisation et de résolution de problèmes. La médiation par la machine vise clairement à évacuer la conflictualité, au cœur de la politique. Elle permet d’améliorer le contrôle social, au détriment de l’action collective ou de l’engagement, puisque ceux-ci sont de fait évacués par le rejet du conflit. Une politique sans passion ni conviction, où les citoyens eux-mêmes sont finalement évacués. Seule la rétroaction attentionnelle vient forger les communautés politiques, consistant à soumettre ceux qui sont en désaccord aux opinions validées par les autres. La démocratie est réduite à une simple mécanique de décisions, sans plus aucune participation active. Pour les ingénieurs de Google, la délibération politique pourrait devenir une question où chacun prêche ses opinions dans une application et attend qu’un calculateur d’opinion décide de l’état de la sphère publique. Et le téléphone, à son tour, pourrait bombarder les utilisateurs de déclarations optimisées pour modérer et normaliser leurs opinions afin de lisser les dissensions à grande échelle. Bref, une sorte de délibération démocratique sous tutelle algorithmique. Un peu comme si notre avenir politique consistait à produire un Twitter sous LLM qui vous exposerait à ce que vous devez penser, sans même s’interroger sur toutes les défaillances et manipulations des amplifications qui y auraient cours. Une vision de la politique parfaitement glaçante et qui minimise toutes les manipulations possibles, comme nous ne cessons de les minimiser sur la façon dont les réseaux sociaux organisent le débat public.

Dans le New Yorker, l’historienne Jill Lepore dresse un constat similaire sur la manière dont nos communications sont déjà façonnées par des procédures qui nous échappent. Depuis les années 60, la confiance dans les autorités n’a cessé de s’effondrer, explique-t-elle en se demandant en quoi cette chute de la confiance a été accélérée par les recommandations automatisées qui ont produit à la fois un électorat aliéné, polarisé et méfiant et des élus paralysés. Les campagnes politiques sont désormais entièrement produites depuis des éléments de marketing politique numérique.

En septembre, le Stanford Digital Economy Lab a publié les Digitalist papers, une collection d’essais d’universitaires et surtout de dirigeants de la Tech qui avancent que l’IA pourrait sauver la démocratie américaine, rien de moins ! Heureusement, d’autres auteurs soutiennent l’exact inverse. Dans son livre Algorithms and the End of Politics (Bristol University Press, 2021), l’économiste Scott Timcke explique que la datafication favorise le néolibéralisme et renforce les inégalités. Dans Théorie politique de l’ère numérique (Cambridge University Press, 2023), le philosophe Mathias Risse explique que la démocratie nécessitera de faire des choix difficiles en matière de technologie. Or, pour l’instant, ces choix sont uniquement ceux d’entreprises. Pour Lepore, nous vivons désormais dans un « État artificiel », c’est-à-dire « une infrastructure de communication numérique utilisée par les stratèges politiques et les entreprises privées pour organiser et automatiser le discours politique ».
Une société vulnérable à la subversion
La politique se réduit à la manipulation numérique d’algorithmes d’exploration de l’attention, la confiance dans le gouvernement à une architecture numérique appartenant aux entreprises et la citoyenneté à des engagements en ligne soigneusement testés et ciblés. « Au sein de l’État artificiel, presque tous les éléments de la vie démocratique américaine – la société civile, le gouvernement représentatif, la presse libre, la liberté d’expression et la foi dans les élections – sont vulnérables à la subversion », prévient Lepore. Au lieu de prendre des décisions par délibération démocratique, l’État artificiel propose des prédictions par le calcul, la capture de la sphère publique par le commerce basé sur les données et le remplacement des décisions des humains par celles des machines. Le problème, c’est qu’alors que les États démocratiques créent des citoyens, l’État artificiel crée des trolls, formule, cinglante, l’historienne en décrivant la lente montée des techniques de marketing numérique dans la politique comme dans le journalisme.

À chaque étape de l’émergence de l’État artificiel, les leaders technologiques ont promis que les derniers outils seraient bons pour la démocratie… mais ce n’est pas ce qui s’est passé, notamment parce qu’aucun de ces outils ne sont démocratiques. Au contraire, le principal pouvoir de ces outils, de Facebook à X, est d’abord d’offrir aux entreprises un contrôle sans précédent de la parole, leur permettant de moduler tout ce à quoi l’usager accède. Dans l’État artificiel, l’essentiel des discours politiques sont le fait de bots. Et X semble notamment en avoir plus que jamais, malgré la promesse de Musk d’en débarrasser la plateforme. « L’État artificiel est l’élevage industriel de la vie publique, le tri et la segmentation, l’isolement et l’aliénation, la destruction de la communauté humaine. » Dans sa Théorie politique de l’ère numérique, Risse décrit et dénonce une démocratie qui fonctionnerait à l’échelle de la machine : les juges seraient remplacés par des algorithmes sophistiqués, les législateurs par des « systèmes de choix collectifs pilotés par l’IA ». Autant de perspectives qui répandent une forme de grande utopie démocratique de l’IA portée par des technoprophètes, complètement déconnectée des réalités démocratiques. Les Digitalist Papers reproduisent la même utopie, en prônant une démocratie des machines plutôt que le financement de l’éducation publique ou des instances de représentations. Dans les Digitalists Papers, seul le juriste Lawrence Lessig semble émettre une mise en garde, en annonçant que l’IA risque surtout d’aggraver un système politique déjà défaillant.
La grande difficulté devant nous va consister à démanteler ces croyances conclut Lepore. D’autant que, comme le montre plusieurs années de problèmes politiques liés au numérique, le risque n’est pas que nous soyons submergés par le faux et la désinformation, mais que nous soyons rendus toujours plus impuissants. « L’objectif principal de la désinformation n’est pas de nous persuader que des choses fausses sont vraies. Elle vise à nous faire nous sentir impuissants », disait déjà Ethan Zuckerman. Dans une vie civique artificielle, la politique devient la seule affaire de ceux qui produisent l’artifice.

15 November 2024

17:41
« Musk n’est pas notre projet »
sur Dans les algorithmes

« La régulation est le prolongement de la démocratie et un moyen d’en assurer la défense », rappelle Jean Cattan, secrétaire général du Conseil national du numérique. « L’approfondissement de la portabilité des données, des contacts, graphes sociaux, historiques, préférences, etc. devrait être la priorité de la Commission européenne dans la mise en œuvre du règlement sur les marchés numériques à l’heure de la bascule des réseaux sociaux dominants dans un environnement politique potentiellement hors de contrôle. En soutien et en parallèle à l’élaboration de ce cadre, encourageons le déploiement des outils de portabilité. Certains existent, d’autres doivent encore être développés. » Et Cattan d’inviter à déployer des alternatives aux Big Tech libres et ouvertes, à repenser le panorama médiatique et à miser sur la proximité.

14 November 2024

11:09
Ciblage publicitaire : l’atténuation ne suffit pas
sur Dans les algorithmes

Très intéressant article de recherche sur l’usage de variables de substitution pour le ciblage publicitaire politique. Les chercheurs rappellent que les plateformes ont déployé ces dernières années des politiques d’atténuation pour limiter l’accès aux attributs de ciblage jugés problématiques, tels que l’orientation politique, la religion ou l’origine ethnique. Mais les annonceurs les ont largement contourné par le recours à des substituts, comme le fait d’apprécier certaines personnalités ou certains sports (le tir, la chasse…), des marques de voitures ou d’alcool – voir également l’analyse des catégories utilisées par les annonceurs qu’avait détaillé The Markup et dont nous parlions en analysant l’ouvrage de Tim Hwang. Les chercheurs proposent de mieux mesurer les biais de ciblage en observant la popularité des critères de ciblage utilisées par les annonceurs. Ils démontrent que les politiques mises en place par les plateformes sont inefficaces et constatent que les proxies utilisés par les annonceurs, eux, sont efficaces pour déterminer l’affiliation politique ou l’origine ethnique. Pour les chercheurs, l’étude montre qu’il est nécessaire de restreindre encore le ciblage publicitaire à des paramètrages larges et « sûrs » et invitent les plateformes à mettre en place des alertes de ciblage problématiques à l’attention des utilisateurs et des annonceurs. Une autre piste consisterait à réduire la visibilité des interactions des utilisateurs avec les contenus payants afin qu’il ne soit pas visibles aux autres utilisateurs. L’enquête est en tout cas assez éclairante sur les enjeux de granularité qu’offre la publicité numérique.

13 November 2024

14:52
Registre citoyen des algos publics
sur Dans les algorithmes

« Seuls 4% des algorithmes répertoriés dans l’inventaire ont fait l’objet d’une évaluation interne diffusée publiquement. Il est également presque impossible de savoir combien ces systèmes ont coûté (3 projets seulement sur 72 ont diffusé un budget), sur quelles données ils ont été entrainés, ou pourquoi un algorithme a été choisi plutôt qu’un autre ». L’Observatoire (citoyen) des algorithmes publics est en ligne !

11:59
Défenseur des droits : pour une maîtrise de l’intervention humaine et une transparence effective des algorithmes
sur Dans les algorithmes

Les risques algorithmiques sont invisibles, notamment parce que « les citoyens contestent davantage les résultats des décisions dont ils sont l’objet que le processus qui y conduit », rappelle le Défenseur des droits dans un rapport très juridique sur algorithmes, IA et services publics qui défend le respect des droits des usagers. Le rapport constate « l’algorithmisation de l’administration » et tente de dresser un bilan des garanties offertes aux usagers, notamment en observant la maîtrise de l’intervention humaine dans la décision et dans son atténuation. Le Défenseur des droits rappelle que faire valider une décision d’un système sans vérification, ne peut pas être considérée comme une intervention. Et le Défenseur de constater que l’exclusion par le calcul automatique de dossiers de candidats dans Parcoursup ou dans Affelnet est à ce sens problématique (tout comme le sont également les corrections auxquelles procède l’algorithme central qui redistribue les dossiers pour prendre en compte les quotas hors Académie et de boursiers, sans que les Commissions d’examen aient leurs mots à dire, pourrait-on faire remarquer).

Sur la question de la transparence des décisions, le Défenseur des droits rappelle qu’elle est un élément clef et un prérequis pour assurer la loyauté des traitements et qu’elle est un enjeu d’intelligibilité de l’action administrative. Le rapport invite les autorités à mettre en place des sanctions en cas de non publication des règles de traitements et à produire des modèles de demande d’information pour les usagers.

7:30
IA aux impôts : vers un « service public artificiel » ?
sur Dans les algorithmes

Les publications syndicales sur l’IA sont nombreuses. Souvent, elles sont assez généralistes… et peu spécifiques. C’est-à-dire qu’elles interrogent la place des technologies dans les transformations à venir, font des recommandations pour améliorer les modalités de gouvernance, mais ne regardent pas toujours ses déploiements concrets, préférant poser un cadre général pour en comprendre les effets, comme le montrait, parmi les plus récents, le Plaidoyer pour un dialogue social technologique de FO, les réflexions de la CGT sur le sujet ou celles de la CFE-CGC (voir également le manifeste commun de plusieurs organisations syndicales qui défend un dialogue social technologique ainsi que le tout récent site dédié DIAL-IA).

C’est un peu l’inverse que propose Solidaires Finances Publiques dans le court livre que le syndicat publie aux éditions Syllepse, L’IA aux impôts. Les syndicalistes y évoquent d’abord ce que le déploiement de l’intelligence artificielle change pour les agents et les usagers à la Direction générale des finances publiques (DGFIP), l’une des administrations françaises pionnières dans le développement des outils numériques et de l’IA.
L’opacité comme principe, la désorganisation comme résultat
L’IA y est déployée depuis 2014 notamment pour évaluer les risques et les schémas de fraude en modélisant les fraudes passées. Solidaires rappelle d’ailleurs les limites de ces schémas, qui peinent à détecter les fraudes atypiques et ses nouvelles modalités. Mais l’IA à la DGFIP, c’est d’abord de très nombreux projets que le syndicat lui-même ne parvient pas à recenser.

Ce sont d’abord des outils pour détecter la fraude des entreprises et des particuliers, notamment en repérant des anomalies ou des incohérences déclaratives depuis les déclarations de revenus, les comptes bancaires, les données patrimoniales et les informations provenant d’autres administrations, via le projet CFVR (« Ciblage de la fraude et valorisation des requêtes »). C’est également le projet Signaux faibles, pour détecter et identifier les entreprises en difficulté qui produit un score de risque depuis des données financières économiques et sociales des entreprises provenant de plusieurs services publics, afin d’évaluer leur rentabilité, leur endettement, leur niveau d’emploi, leurs difficultés à régler leurs cotisations sociales. C’est aussi un projet pour prédire les difficultés financières des collectivités locales à partir d’indicateurs comme l’endettement des communes. Un autre projet encore vise à estimer la valeur vénale et locative des biens immobiliers exploitant les données de transaction immobilières pour produire de meilleures estimations. Le projet Foncier innovant, lui, vise à détecter depuis des images aériennes, les piscines et bâtiments non déclarés par les contribuables (voir la très bonne synthèse sur ce programme réalisé par le projet Shaping AI). Le projet TAAP (« Traitement d’analyse auto prédictive ») vise à contrôler les dépenses à risques que l’Etat doit payer à ses fournisseurs afin d’accélérer ses règlements. Enfin, on trouve là aussi un voire des projets de chatbot pour répondre aux demandes simples des usagers sur impots.gouv.fr… (l’administration fiscale reçoit chaque année 12 millions de demandes par mail des contribuables, cependant une première expérimentation de réponses automatisées sur les biens immobiliers a produit 70% de réponses erronées ou fausses).

La liste n’est pourtant pas exhaustive. De nombreux autres projets sont en phase d’expérimentations, même si leur documentation fait bien souvent défaut, à l’image de l’utilisation des réseaux sociaux pour lutter contre la fraude (que beaucoup affublent du doux nom de Big Brother Bercy), dont le bilan est très limité, mais qui a pourtant été accéléré, comme l’évoquait Le Monde. Lors d’une récente cartographie des systèmes d’intelligence artificielle en cours de déploiement au ministère des finances, les premiers échanges auraient révélé que l’administration avait du mal à recenser tous les projets.

Même sur les principaux projets qu’on vient d’énumérer, l’information disponible est très lacunaire, non seulement au grand public mais également aux agents eux-mêmes. L’IA publique se déploie d’abord et avant tout dans la plus grande opacité.

Pour Solidaires, cette opacité est entretenue. L’omerta a une composante politique, nous expliquent les représentants du personnel. Elle permet de désorganiser les luttes des personnels. Les nouveaux agents, qu’ils soient contractuels ou statutaires, sont privés de la connaissance de leurs missions, ils ont moins de compréhension de la chaîne de travail, ils ne savent pas pourquoi ils font ce qu’on leur dit de faire. « Le travail automatique empêche la conscientisation du service public, comme du travail. Il place les agents dans une routine qui les noie sous des canaux informatiques de dossier à traiter », nous expliquent-ils. L’IA permet de faire le job, sans avoir de connaissance métier. Il suffit de traiter les listes d’erreurs, de valider des informations. « Le risque, c’est de ne plus avoir d’agents qualifiés, mais interchangeables, d’un service l’autre ». Mis en difficultés par les objectifs de productivité, par des formations très courtes quand elles ne sont pas inexistantes, ils ne peuvent comprendre ni résister au travail prescrit.
L’IA : des projets venus d’en haut
Le développement de l’IA à la DGFIP « part rarement d’un besoin « terrain » », constatent les syndicalistes, c’est-à-dire que les agents sont rarement associés à l’expression des besoins comme à la réalisation des projets. Ceux-ci sont surtout portés par une commande politique et reposent quasi systématiquement sur des prestataires externes. Pour lancer ces projets, la DGFIP mobilise le Fonds pour la transformation de l’action publique (FTAP), lancé en 2017, qui est le catalyseur du financement des projets d’IA dans l’administration. Pour y prétendre, les projets doivent toujours justifier d’économies prévisionnelles, c’est-à-dire prédire les suppressions de postes que la numérisation doit produire. Dans l’administration publique, l’IA est donc clairement un outil pour supprimer des emplois, constate le syndicat. L’État est devenu un simple prestataire de services publics qui doit produire des services plus efficaces, c’est-à-dire rentables et moins chers. Le numérique est le moteur de cette réduction de coût, ce qui explique qu’il soit devenu omniprésent dans l’administration, transformant à la fois les missions des agents et la relation de l’usager à l’administration. Il s’impose comme un « enjeu de croissance », c’est-à-dire le moyen de réaliser des gains de productivité.
Intensification et déqualification
Pour Solidaires, ces transformations modifient les missions des personnels, transforment l’organisation comme les conditions de travail des personnels, changent « la façon de servir le public ». Le déploiement de l’IA dans le secteur public n’est pas capacitante. « L’introduction de l’IA émane de choix centralisés » de la seule direction, sans aucune concertation avec les personnels ou ses représentants. Les personnels (comme les publics d’ailleurs) ne reçoivent pas d’information en amont. La formation est rare. Et la transformation des métiers que produit l’intégration numérique consiste surtout en une intensification et une déqualification, en adéquation avec ce que répètent les sociologues du numérique. Ainsi par exemple, les agents du contrôle des dépenses de l’État sont désormais assignés à leurs écrans qui leur assènent les cadences. Les nouvelles dépenses à contrôler passent au rouge si elles ne sont pas vérifiées dans les 5 jours ! Les agents procèdent de moins en moins à leurs propres enquêtes, mais doivent valider les instructions des machines. Ainsi, les agents valident les dépenses, sans plus contrôler les « conditions de passation de marché public ». Même constat au contrôle fiscal, rapportent les représentants du personnel : les agents doivent accomplir les procédures répétitives et peu intéressantes que leurs soumettent les machines. Les personnels sont dessaisis de la connaissance du tissu fiscal local. Ils ne peuvent même plus repérer de nouveaux types de fraudes. « On détecte en masse des fraudes simples, mais on délaisse les investigations sur la fraude complexe ». Les erreurs demandent des vérifications chronophages, puisque nul ne sait plus où elles ont lieu. Le risque, prévient Solidaires, c’est de construire un « service public artificiel », ou la modernisation conduit à la perte de compétences et à la dégradation du service. Où l’administration est réduite à une machine statistique. Le risque, comme s’en prévenait le Conseil d’Etat, c’est que la capacité à détecter les erreurs soit anesthésiée.

Cette déqualification ne touche pas que les agents, elle touche aussi les administrations dans leur capacité même à mener les projets. Les investissements sont transférés au privé, à l’image du Foncier innovant, confié à Capgemini et Google. Les projets d’IA sont largement externalisés et les administrations perdent leurs capacités de maîtrise, comme le notaient très bien les journalistes Matthieu Aron et Caroline Michel-Aguirre dans leur livre, Les infiltrés. Certains projets informatiques ont un taux d’externalisation supérieur à 80% explique Solidaires – quand la Dinum estime qu’un taux supérieur à 70% constitue déjà un risque de défaillance majeur.

Enfin, la numérisation éloigne les administrés de l’administration, comme le pointait la sociologue Clara Deville. Les agents estiment que les risques d’inexactitudes augmentent avec le remplissage automatique des déclarations de revenus. Avant, quand les agents recevaient les déclarations remplies par les usagers, ils pouvaient parfois détecter des erreurs manifestes, par exemple le fait de mettre des enfants mineurs en occupant de propriétés générant une taxe d’habitation à leur destination. Désormais, les données ne sont plus vérifiées. Les contribuables ne sont plus en obligation de reremplir leur déclaration s’il n’y a pas eu de changement de revenus ou de situation. Si le contribuable ne renvoie rien, on reprend les éléments fournis automatiquement. Le risque c’est de ne plus voir les défaillances de déclaration ou les difficultés que peuvent avoir certains publics, sans revenir vers eux. L’automatisation peut devenir un piège pour certains usagers.
Ce que produit l’automatisation des contrôles
Mais surtout, répètent les militants de Solidaires, les personnels sont confrontés à une opacité totale des projets. L’absence d’information sur les projets est d’abord le signe d’un dialogue social inexistant, particulièrement problématique. Mais l’opacité à d’autres conséquences, notamment une déqualification des agents. Les dépenses à contrôler sont désormais sélectionnées par la machine, mais les agents ignorent sur quels critères. « Pourquoi certaines dépenses insignifiantes qui n’étaient jamais contrôlées auparavant, le sont à présent, alors que d’autres sont validées en masse quand elles étaient scrupuleusement regardées avant l’IA. »

« Le TAAP a pour but d’améliorer les délais de paiement de l’Etat, un objectif louable. Il vise à alléger la sélection des dépenses à contrôler », nous expliquent en entretien les responsables de Solidaires Finances Publiques. Le problème, c’est que le critère n’est plus l’importance, mais le risque. Alors que les agents avaient toute latitude pour contrôler les dépenses qu’ils jugeaient problématiques ou prioritaires, le système leur impose désormais de regarder certaines dépenses plutôt que d’autres. C’est ainsi que des agents se sont vus par exemple devoir contrôler les dépenses d’essence des ambassades qui étaient jusqu’à présent des dépenses à faibles enjeux. La détermination des contrôles par les algorithmes est désormais organisée par en haut. Les data scientists en centrale fournissent aux agents des « listes Data Mining », c’est-à-dire des fichiers avec des listes d’entreprises ou des contribuables à contrôler et vérifier selon des axes de recherche, par exemple des listes d’entreprises soupçonnées de minorer leur TVA ou des listes de particuliers soupçonnés de faire une déclaration de valeur immobilière qui n’est pas au niveau du marché… Le risque, c’est qu’on pourrait dévoyer ces listes pour contrôler certaines catégories de populations ou d’entreprises, préviennent les syndicalistes, qui mettent en garde contre l’absence de garde-fous que produit cette centralisation du contrôle, qui pourrait demain devenir plus politique qu’elle n’est.

Les listes Data Mining sont générées par les data scientist du service central depuis des croisements de données. Ce sont des listes d’entreprises ou de particuliers à regarder. Ces listes doivent d’abord être apurées par les agents… Quand ils reçoivent des listes d’entreprises qui feraient trop de provisions par exemple (ce qui qui pourrait être un moyen de faire baisser leurs bénéfices), ils doivent les trier, par exemple sortir les compagnies d’assurances, qui, par nature, sont des entreprises qui font plus de provisions que d’autres. Dans ces listes, les anomalies détectées ne sont pas toutes compréhensibles aux agents chargés du contrôle et parfois le critère de recherche détecté par l’IA ne donne rien. Mais si l’agent trouve un autre axe de recherche de fraude, le dossier est statistiquement compté comme relevant d’une réussite du data mining. Ce qui a pour but d’augmenter les résultats que produit la recherche de fraude automatisée, alors qu’elle demeure bien souvent le résultat d’un travail spécifique des agents plutôt que le produit d’une liste fournie par les machines.

Le contrôle fiscal automatisé représente aujourd’hui 50% du contrôle, mais les résultats notifiés (et non pas recouvrés) eux n’ont pas beaucoup progressé depuis l’expansion de l’automatisation. Ils stagnent à 13-14%, c’est-à-dire environ 2 milliards d’euros, quand le contrôle fiscal atteint environ 13 milliards. Réaliser 50% de contrôle automatisé est devenu un objectif, nous expliquent les syndicalistes. Si un service n’arrive pas à l’atteindre, les agents doivent prioriser le traitement des listes Data mining plutôt que de réaliser des contrôles d’initiatives. La vérification de ces listes produit surtout un travail fastidieux et chronophage, que les agents jugent souvent bien peu intéressant et qui ne produit pas beaucoup de résultats.

Le grand problème, estime encore Solidaires, c’est que le contrôle automatisé n’est pas très efficace sur la fraude complexe. A la direction de l’international qui s’occupe des fraudes les plus difficiles, il y a très peu d’utilisation de l’IA par exemple. Pour parvenir à mieux détecter les fraudes les plus évoluées, il faudrait que les agents de terrain qui en sont souvent les meilleurs observateurs, soient mieux associés aux orientations du contrôle centralisé des data-scientists. Ce n’est pas le cas. Alors que les outils pourraient venir aider les agents à faire leur travail, trop souvent, ils proposent surtout de le faire à leur place.

La DGFIP soutient qu’elle n’aurait pas mis en place de score de risque sur le contrôle fiscal… mais « certains agents rapportent que le traitement de listes Data mining fait ressortir régulièrement certains types de contribuables ». On peut malgré tout douter de cette absence de scoring, puisque le fait de lister des contribuables ou des entreprises selon des critères consiste bien à produire des listes classées selon un score.

Les personnels de la DGFIP sont inquiets, rapporte Solidaires. Pour eux, les outils d’IA ne sont pas aussi fiables qu’annoncés. Les contrôles engagés suite à des problèmes détectés « automatiquement » ne sont pas si automatiques : il faut des humains pour les vérifier et les traiter. Bien souvent, c’est l’enrichissement de ces dossiers par les services qui va permettre de donner lieu à une notification ou à un recouvrement. Enfin, le taux de recouvrement lié à l’automatisation est bien faible. L’IA peut s’avérer probante pour des fraudes ou des erreurs assez simples, mais ne sait pas retracer les fraudes élaborées.

Dans la surveillance des finances communales, les indicateurs remplacent les relations avec les personnels de mairie. Solidaires dénonce une industrialisation des procédés et une centralisation massive des procédures. L’IA change la nature du travail et génère des tâches plus répétitives. La DGFiP a perdu plus de 30 000 emplois depuis sa création, dénonce le syndicat. L’IA amplifie les dysfonctionnements à l’œuvre et prolonge la dégradation des conditions de travail. Quant au rapport coût/bénéfice des innovations à base d’IA, le syndicat pose la question d’une innovation pour elle-même. Dans le cadre du projet Foncier Innovant, la mise en oeuvre à coûté 33 millions. La maintenance s’élève à quelques 2 millions par an… Alors que le projet aurait rapporté 40 millions de recettes fiscales. Le rapport coût bénéfice est bien souvent insuffisamment documenté.
Couverture du livre, l’IA aux impôts, par Solidaires Finances Publiques. Face à l’IA, réinventer les luttes
Pour Solidaires, ces constats invitent à réinventer le syndicalisme. Le syndicat estime qu’il est difficile de discuter des techniques mobilisées, des choix opérés. Solidaires constate que l’administration « s’exonère » de la communication minimale qu’elle devrait avoir sur les projets qu’elle déploie : coûts, bilans des expérimentations, communication sur les marchés publics passés, points d’étapes, documentation, rapports d’impacts… Pour Solidaires, l’omerta a bien une composante politique. Faire valoir le dialogue social technologique est une lutte constante, rapporte Solidaires. Trouver de l’information sur les projets en cours nécessite de mobiliser bien des méthodes, comme de surveiller le FTAP, les profils Linkedin des responsables des administrations, leurs interventions… mais également à mobiliser la CADA (commission d’accès aux documents administratifs) pour obtenir des informations que les représentants des personnels ne parviennent pas à obtenir autrement.

Ce patient travail de documentation passe aussi par le travail avec d’autres organisations syndicales et militantes, pour comprendre à quoi elles sont confrontées. Pour Solidaires, l’omerta volontaire de l’administration sur ses projets organise « l’obsolescence programmée du dialogue social » qui semble avoir pour but d’exclure les organisations syndicales du débat pour mieux externaliser et dégrader les services publics.

Pourtant, les personnels de terrains sont les mieux à même de juger de l’efficacité des dispositifs algorithmiques, insiste Solidaires. La difficulté à nouveau consiste à obtenir l’information et à mobiliser les personnels. Et Solidaires de s’inquiéter par exemple de l’expérimentation Sicardi, un outil RH qui vise à proposer une liste de candidats pour des postes à pourvoir, automatiquement, au risque de rendre fonctionnel des critères discriminatoires. Solidaires observe comme nombres d’autres organisations les dysfonctionnements à l’œuvre dans l’administration publique et au-delà. « Aujourd’hui, Solidaires Finances Publiques n’a aucun moyen pour confirmer ou infirmer que les algorithmes auto-apprenants utilisés dans le contrôle fiscal sont vierges de tout biais. À notre connaissance, aucun mécanisme n’a été institué en amont ou en aval pour vérifier que les listes de data mining ne comportaient aucun biais ».

Avec le déploiement de l’IA, on introduit un principe de rentabilité du contrôle fiscal, estiment les représentants du personnel. Ce souci de rentabilité du contrôle est dangereux, car il remet en cause l’égalité de tous devant l’impôt, qui est le principal gage de son acceptation.

Solidaires conclut en rappelant que le syndicat n’est pas contre le progrès. Nul ne souhaite revenir au papier carbone. Reste que la modernisation est toujours problématique car elle vient toujours avec des objectifs de réduction massive des moyens humains. Dans l’administration publique, l’IA est d’abord un prétexte, non pour améliorer les missions et accompagner les agents, mais pour réduire les personnels. Le risque est que cela ne soit pas un moyen mais un but. Faire que l’essentiel du contrôle fiscal, demain, soit automatisé.

« L’apparente complexité de ces outils ne saurait les faire échapper au débat démocratique ». En tout cas, ce petit livre montre, à l’image du travail réalisé par Changer de Cap auprès des usagers de la CAF, plus que jamais, l’importance de faire remonter les difficultés que les personnes rencontrent avec ces systèmes.

Bien souvent, quand on mobilise la transformation numérique, celle-ci ne se contente pas d’être une transformation technique, elle est aussi organisationnelle, managériale. A lire le petit livre de Solidaires Finances Publiques, on a l’impression de voir se déployer une innovation à l’ancienne, top down, peu impliquante, qui ne mobilise pas les savoir-faire internes, mais au contraire, les dévitalise. Les syndicalistes aussi ne comprennent pas pourquoi le terrain n’est pas mieux mobilisé pour concevoir ces outils. Certes, la fonction publique est structurée par des hiérarchies fortes. Reste que les transformations en cours ne considèrent pas l’expertise et les connaissances des agents. Les décideurs publics semblent répondre à des commandes politiques, sans toujours connaître les administrations qu’ils pilotent. Dans le discours officiel, ils disent qu’il faut associer les personnels, les former. Dans un sondage réalisé auprès des personnels, le syndicat a constaté que 85% des agents qui utilisent l’IA au quotidien n’ont pas reçu de formation.

Le sujet de l’IA vient d’en haut plutôt que d’être pensé avec les équipes, pour les aider à faire leur métier. Ces exemples nous rappellent que le déploiement de l’IA dans les organisations n’est pas qu’un enjeu de calcul, c’est d’abord un enjeu social et de collaboration, qui risque d’écarter les personnels et les citoyens des décisions et des orientations prises.

08 November 2024

9:56
Modération sur X : de 2,1% à 0,003%
sur Dans les algorithmes

Entre 2021 et 2024, la suspension de comptes sur Twitter est passée de 105 000 comptes pour 5 millions de signalements pour harcèlements à 2361 pour 66 millions de signalements. Effectivement, Musk a fait de l’un des problèmes les plus flagrants de Twitter une fonctionnalité essentielle de X.

MAJ du 21/11/2024 : Quant au programme participatif de vérifications des faits mis en place par X (Community Notes), souvent salué par la critique pour son aspect innovant, en vérité, la majorité des propositions de vérifications ne sont jamais exposées au public, rapporte le Washington Post. En fait, les participants aux notes communautaires, après avoir vu leur participation acceptée, votent pour déterminer quelles annotations peuvent être jointes à quelles publications. Ce vote algorithmisé ne met en avant que les notes qui « reçoivent le consensus d’utilisateurs ayant l’habitude de voter différemment », explique une analyse du Center for Countering Digital Hate. Et cette recherche de consensus écarte 91% des propositions d’ajouts de notes sur des messages problématiques. Sans compter qu’il faut en moyenne 11 heures pour qu’une note soit ajoutée à un tweet, ce qui lui laisse largement le temps d’atteindre l’essentiel de son public. Pire, la proportion d’ajout de notes communautaires a tendance à baisser plutôt qu’à se développer. Le crowdsourcing de la modération ne peut pas remplacer la modération traditionnelle faite par des employés, soulignent les experts. En tout cas, dans la pratique, pour l’instant, la modération communautaire sur X ne fonctionne pas ! Enfin, souligne le Post, seulement 24 tweet de Musk ont reçu une note de vérification, soit un peu moins de 4% de ses tweets signalés comme problématiques par la communauté.

Dans sa newsletter, Julia Angwin constate que les réseaux sociaux ont largement renoncé à la modération politique. Les plateformes ne seront pas les gardiennes de la vérité des faits qui remettent en cause le pouvoir. Il est « devenu évident que les plateformes technologiques ne risqueront pas leurs profits ou leur pouvoir politique en rejoignant la lutte pour la protection de l’information de bonne qualité. Et le gouvernement américain – désormais fermement sous le contrôle du parti républicain – ne les y poussera pas.

En d’autres termes, personne ne viendra nous sauver de cet environnement d’information pollué – ni le gouvernement ni les entreprises. Si nous voulons un environnement d’information de bonne qualité, nous allons devoir en construire un nouveau au-delà des murs des plateformes de médias sociaux existantes des Big Tech ».

7:30
Y aura-t-il une alternative au technofascisme ?
sur Dans les algorithmes

Le livre du journaliste Thibault Prévost, Les prophètes de l’IA (Lux éditeur, 2024), a une grande vertu : nettoyer notre regard de ce qui l’embrume.

Il permet d’abord de comprendre que la technologie ne mobilise pas tant des imaginaires, comme on l’entend trop souvent, mais bien des idéologies. Imaginaire, le terme fait référence à quelque chose qui n’existerait que dans l’imagination, qui serait sans réalité, comme dévitalisé, sans effet autre que sûr le rêve et l’irréel. Rien ne me semble moins vrai. Ce que nous sommes capables de composer dans nos esprits à une puissance d’évocation sans précédent, qui mobilise et galvanise les énergies et façonne le réel. Le terme d’imaginaire dépolitise ce que nos esprits façonnent, quand les récits que nous brodons et partageons construisent d’abord des ralliements, des adhésions ou leur exact inverse, des rejets, des défections, des oppositions. Ce que nous imaginons ne flotte pas dans l’éther, bien au contraire. Nos imaginaires reflètent tout le temps des idées et conduisent nos agissements, décrivent des façons de voir le monde, de le régir, de le gouverner. Imaginaire : le terme ne vise qu’à dépolitiser ce qui est à l’oeuvre dans la mise en représentation du monde, à savoir dévitaliser les luttes idéologiques par des récits neutralisés qui ont pour but de les rendre plus séduisants, plus accrocheurs, plus malléables, plus appropriables, plus diffusables. Mais derrière le storytelling, les récits que l’on construit sur l’IA, les discours que l’on porte sur la technologie, il n’est question de rien d’autre que d’une lutte idéologique.

A mesure que la technologie a pris une place prépondérante dans nos sociétés, le discours qui la porte s’est chargé de promesses, de prophéties, de mythes, de prédictions qui se sédimentent en idées politiques qui annoncent, au choix, la fin du monde ou le retour des Lumières. L’un comme l’autre d’ailleurs n’ont qu’un objectif : nous éloigner de la réalité et nous faire adhérer à leur promesse. À savoir qu’il n’y a pas d’alternative au futur que propose la technologie. Qu’il soit rose ou sombre, c’est la technologie qui le façonne, c’est l’élite technologique qui le construit. Le futur est devenu une religion.

Prévost rappelle trop rapidement la longue histoire de l’avènement des religions technologiques, schismes du rêve transhumaniste, pour se concentrer surtout sur les courants et les figures les plus récents. Ce qui l’intéresse, c’est de regarder les habits les plus neufs du transhumanisme, cette consécration de la science et de la technologie, qui promet d’améliorer la condition humaine. Qui souhaite rendre la religion, le capitalisme et le colonialisme fonctionnels, effectifs, comme pour les faire perdurer à jamais. Ces courants qui déifient les sciences de l’ingénierie ne proposent pas qu’une transcendance, c’est-à-dire un dépassement de l’homme par la technique, mais bien l’avènement d’une technocratie toute puissante. L’essai, qui se présente sous forme d’un catalogue des idées du secteur, devient vite épuisant à lire, tant ces délires mis bout à bout se concatènent dans leur logique rance, qui ne produit rien d’autre qu’un total mépris pour la société comme pour les individus qui la composent.
Un monde de… tarés
Le livre de Thibault Prévost a une autre vertu. Il nous montre que les grands ingénieurs, les grands investisseurs, les grands entrepreneurs et les grands penseurs de l’IA sont tous complètement… tarés ! Excusez du peu ! Les récits de dépassement, de conquête, de croisade, de puissance ou d’IApocalypse qu’ils nous vendent forment un ramassis de technodélires qui n’ont rien de sérieux ou de rationnel, malgré le fait qu’ils se présentent ainsi. Ces délires sur l’intelligence artificielle générale, sur la transcendance par la machine comme sur l’effondrement, nous abreuvent d’idéologies hors-sol, sectaires, fanatiques et vides pour mieux invisibiliser leur autoritarisme et leur cupidité débridées (à l’image de celle qu’exprimait Mustafa Syleyman dans son livre particulièrement confus, La déferlante). Tous les grands gourous de la tech que Prévost évoque dans son livre (et il n’y a pas que Musk) semblent d’abord et avant tout des individus totalement perchés et parfaitement lunaires. Ils sont tous profondément eugénistes, comme le répète le chercheur Olivier Alexandre (voir aussi dans nos pages). Ils sont obsédés par le QI et la race. Ils ont à peu près tous tenu à un moment ou à un autre des propos racistes. Ils sont tous profondément opposés à la démocratie. Ils partagent tous des discours autoritaires. Derrière leurs récits, aussi barrés les uns que les autres, tous n’oeuvrent qu’à leur propre puissance. A peu près tous partagent l’idée que ceux qui ne croient pas en leurs délires sont des parasites. Leur délire élitiste, eugéniste et cupide a de quoi inquiéter. Le futur qu’ils nous vendent n’a rien d’un paradis, puisqu’il ne remet en rien en cause des privilèges qui sont les leurs, bien au contraire. Tous nient les biens communs. Tous veulent détruire la régulation, à moins qu’ils en soient en maîtres. Ils nous exhortent à penser un futur si lointain qu’il permet de ne plus être fixé dans un cadre politique normé, ce qui permet de totalement le dépolitiser. Tous cachent les enjeux politiques qu’ils défendent sous des questions qui ne seraient plus que technologiques. Remplacer le discours politique par un discours technique permet d’abord de déplacer son caractère politique, comme pour l’aseptiser, l’invisibiliser.

A le lire, Prévost nous donne l’impression de nous plonger dans les disputes sectaires, rances et creuses… qui anônent un « cocktail d’arrogance élitiste et de naïveté qui défend férocement la légitimité morale des inégalités ». Qu’ils se définissent comme altruistes efficaces, longtermistes, doomers, ultralibertariens, extropiens ou rationalistes… (tescralistes, comme les ont qualifié Timnit Gebru et Emile Torres), ils semblent avant tout en voie de fascisation avancée.
L’IA ne va pas sauver le monde, elle vise à sauver leur monde !
L’IA ne va pas sauver le monde. Elle vise à sauver leur monde, celui d’une caste de milliardaires au-dessus des lois qui cherchent à se garder du reste de l’humanité qu’elle abhorre. « L’IA n’est que le paravent technique d’une entreprise tout à fait classique de privatisation et de captation des richesses ». L’IA vise d’abord la préservation du taux de profit.

La Tech a longtemps été Démocrate et pro-démocratie, rappelle le journaliste, mais c’est de moins en moins le cas. La perspective que la Silicon Valley perde de sa puissance, explique en partie son réalignement. Le techno-solutionnisme progressiste qu’ils ont longtemps poussé a fait long feu : la Tech n’a produit aucun progrès social, bien au contraire. Ses solutions n’ont amélioré ni la démocratie, ni l’économie, ni l’égalité, ni l’espérance de vie… surtout quand on les compare aux technologies sociales du XXe siècle comme l’hygiène publique, le développement des services publics ou la justice économique.

Si ces évolutions politiques ont plusieurs origines, l’influence de grandes figures, de financeurs milliardaires, sur le secteur, semble déterminant, à l’image des Marc Andreessen et Peter Thiel, qui ne sont pas tant des évangélistes de la tech, que des évangélistes néolibéraux ultra-conservateurs, qui promeuvent par leurs discours et leurs investissements des projets anti-régulation et autoritaires. Prévost rappelle que la grande caractéristique de cette élite financière est d’être férocement opposée à la démocratie. Ces milliardaires rêvent d’un monde où une poignée d’individus – eux – captent toutes les richesses et tous les pouvoirs. « La tech est un système immunitaire développé par le capitalisme pour lutter contre tout ce qui pourrait le mettre en crise », disait déjà Antoinette Rouvroy. Ces gens sont tous admirateurs de régimes autoritaires. Ils rêvent d’un progrès technique sans démocratie tel qu’ils le font advenir dans les outils qu’ils façonnent et les entreprises qu’ils dirigent.

En compilant toutes ces petites horreurs qu’on a déjà croisé, éparses, dans l’actualité, Prévost nous aide à regarder ce délire pour ce qu’il est. Nous sommes confrontés à « un groupe radicalisé et dangereux », d’autant plus dangereux que leur fortune astronomique leur assure une puissance et une impunité politique sans précédent. Leurs exploits entrepreneuriaux ou financiers ne peuvent suffire pour les absoudre des horreurs qu’ils prônent. Prévost les montre comme ce qu’ils sont, un freak-show, des sortes de monstres de foire, complotistes, fascistes, prêts à rejoindre leurs bunkers et dont le seul rêve est de faire sécession. Le journaliste décrit un monde réactionnaire qui ne craint rien d’autre que son renversement. « Ces patrons méprisent nos corps, nos droits, nos existences ». Leur discours sur les risques existentiels de l’IA permet de masquer les effets déjà bien réels que leurs outils produisent. « L’IA est une métaphore du système politique et économique capitaliste qui menace l’espèce humaine ». Pour sécuriser leur avenir, cette élite rêve d’un technofascisme qu’elle espère mettre en œuvre. Notamment en manipulant les peurs et les paniques morales pour en tirer profit.

Le pire finalement c’est de constater la grande audience que ces pensées rances peuvent obtenir. La réussite fait rêver, la domination fait bander… oubliant qu’il s’agit de la domination et de la réussite d’un petit monde, pas de celui de l’Occident ou de tous les entrepreneurs du monde. En nous répétant que le futur est déjà décidé et qu’ils en sont les maîtres, ils nous intoxiquent. « A force de se faire dire que le futur est déjà plié, que c’est la Silicon Valley qui décide de l’avenir de l’humanité, le public, convaincu qu’il n’a pas son mot à dire sur des enjeux qui le dépassent, remet son destin entre les mains des Google, Microsoft, Meta ou Amazon. » Ce déplacement permet d’orienter la régulation vers des dangers futurs pour mieux laisser tranquille les préjudices existants. Derrière la promotion de leur agenda néolibéral pour maximiser leurs profits aux dépens de l’intérêt général, se profile le risque d’une bascule vers un capitalisme autoritaire qui contamine le monde au-delà d’eux, comme le notait la chercheuse Rachel Griffin. « A l’instar de la Silicon Valley, l’Union européenne semble être en train de mettre à jour son logiciel idéologique vers un capitalisme autoritaire qui privilégie l’économie de la rente et les monopoles à l’économie de marché et la concurrence ». Cette transformation du capitalisme est assurée par la technologie. Les systèmes s’immiscent dans nos institutions, à l’image de leurs LLM que les acteurs publics s’arrachent en permettant aux entreprises de la Silicon Valley « d’étendre leur intermédiation sur un corps social médusé ». Qu’importe si ChatGPT raconte n’importe quoi. Les prophètes de l’IA, ces « bullionaires » (contraction de bullshitters et de millionnaires) eux aussi mentent avec assurance. Derrière leurs délires apparents, un transfert de pouvoir est en cours. Pas seulement une privatisation du futur, mais bien son accaparement par quelques individus qui font tout pour n’avoir de compte à rendre à personne. La fétichisation de l’individu rationnel, tout puissant, du génie solitaire, du milliardaire omnipotent, du grotesque individualiste ne nous conduit à aucune société qu’à son délitement. La métaphore computationnelle qui permet d’affirmer que la seule intelligence est désormais celle de la machine, vise à nous reléguer, à nous transformer en une marchandise dévaluée, puisque nos esprits valent désormais moins que le calcul, tout comme notre force de travail a été dévaluée par l’énergie fossile.
Couverture du livre de Thibault Prévost. Du grand leurre de l’IA au risque technofasciste
Prévost rappelle que les machines nous trompent. Que l’automatisation est un leurre qui masque les ingénieurs et les travailleurs du clic qui font fonctionner les machines à distance. L’IA générative aussi. Nombre d’utilisateurs de ChatGPT l’abandonnent au bout d’une quarantaine de jours, comme un jouet qu’on finit par mettre de côté. Google SGE produit des fausses informations après plus d’un an de tests. Par essence, la prédiction statistique ne permet pas de produire de résultats fiables. Partout où ils se déploient, ces systèmes se ridiculisent, obligeant à les surveiller sans cesse. Notre avenir sous IA n’est pas soutenable. Il repose sur un pillage sans précédent. Les « cleptomanes de la Valley » ne cessent de nous dire que l’IA doit être illégale pour être rentable. L’IA est une bulle financière qui risque de finir comme le Metavers (que McKinsey évaluait à 5000 milliards de dollars d’ici 2030 !).

« Arrêtons pour de bon de donner du crédit aux entrepreneurs de la tech. Depuis le début de la décennie 2020, le technocapitalisme ne fonctionne plus que par vagues d’hallucinations successives, suivies de (très) brèves périodes de lucidité. La Silicon Valley semble bloquée dans un trip d’acide qui ne redescent pas, et dont l’IA n’est que la plus récente hallucination », rappelle, cinglant, Thibault Prévost, fort des punchlines saisissantes auxquelles il nous a habitués dans ses articles pour Arrêt sur Images.

L’IA n’est que la nouvelle ligne de front de la lutte des classes, où les systèmes d’analyse dégradent les conditions d’existence des plus mal notés, ce lumpenscoretariat. Sa grande force est d’avancer masqué, opaque, invisible à ceux qu’il précarise. Nous n’utilisons pas l’IA, mais nous y sommes déjà assujettie, explique très justement Prévost. Les systèmes de calculs se démultiplient partout. « Aucun d’entre eux n’est fiable, transparent ou interprétable. Nous vivons tous et toutes à la merci de l’erreur de calcul sans recours ».

« Les systèmes d’IA sont le reflet des oligopoles qui les commercialisent : privés, opaques, impénétrables, intouchables, toxiques et dangereux. » L’IA prolonge le continuum des discriminations et de l’injustice sociale et raciale. La faute aux données bien sûr, jamais « à leurs beaux algorithmes neutres et apolitiques ».

« Comme l’idéologie d’extrême droite, l’IA échoue à représenter le monde. Elle ne fonctionne que par archétypes et biais, par catégorisation a priori ». Elle rappelle aux humains la distance qui les sépare de la norme masculine, blanche et riche. L’IA n’est rien d’autre qu’une « prothèse pour le maintien de l’ordre social racial et l’avancée des projets capitalistes impérialistes », comme le dit Yarden Katz dans son livre Artificial Whiteness. Elle n’est rien d’autre que le nouvel auxiliaire du pouvoir. Elle exploite la violence structurelle comme une grammaire et un grand modèle d’affaires. « Si la Silicon Valley essaie de nous vendre l’apocalypse, c’est parce que son projet technique, économique et politique en est une ». Ce que veulent les milliardaires de la tech, c’est la fin du monde social pour imposer le leur.

Avec l’élection de Trump, c’est exactement là où nous sommes. La Silicon Valley a obtenu ce qu’elle voulait, dit Brian Merchant.

Dan McQuillan nous avait mis en garde du risque fasciste de l’IA. Les opportunités politiques sont devenues des prises de risques financières. La victoire de Trump vient d’assurer à Musk et quelques autres la rentabilité de tous leurs investissements. Son rachat de Twitter n’était rien d’autre que l’achat d’une arme qu’il a transformé en site suprémaciste, pour amplifier ses délires, permettant d’attiser la haine en ligne et la traduire en vote et en violence dans le monde physique. Comme l’explique Martine Orange pour Mediapart, l’enjeu, désormais, consiste à éradiquer la régulation et mettre l’ensemble de l’appareil d’Etat à la disposition de la Tech, c’est-à-dire assurer la mainmise de la Tech sur le pouvoir politique.

Face au technofascisme qui vient, le risque est que nous soyons démunis d’alternatives technologiques et donc idéologiques. Sans récit et réalisations progressistes de la tech, la seule option pour beaucoup ne consistera qu’en une chose : abandonner la technologie et arrêter les machines.

Hubert Guillaud

MAJ du 19/11/2024 : Allez lire également ce très bon entretien avec Thibault Prévost qui explique que l’IA n’est pas qu’un outil de puissance au service des technoprophètes, il est aussi un outil d’asservissement et de déresponsabilisation de la puissance publique.

06 November 2024

12:49
Impartiale, l’IA ?
sur Dans les algorithmes

Malgré le fait que les grands volumes de données utilisés pour générer les grands modèles de l’IA générative soient sensiblement les mêmes, les LLM ont des visions du monde sensiblement différentes, expliquent un collectif de chercheurs qui ont interrogé un large panel de systèmes. Ces visions du monde changent selon la langue depuis laquelle ils sont interrogés, mais également selon les modèles utilisés : ils sont plus prochinois si vous les interrogez en chinois par exemple et certains modèles fourbissent des résultats plus libéraux que d’autres. « Les positions idéologiques des LLM reflètent souvent celles de ses créateurs ». L’impartialité réglementaire va être bien difficile à atteindre.

04 November 2024

11:10
« Un algorithme ne peut pas déterminer une intentionnalité »
sur Dans les algorithmes

Dans le 3e épisode d’Algorithmique, l’excellent podcast de Next, la journaliste Mathilde Saliou s’entretient avec Valérie, la responsable des enjeux du numérique du collectif Changer de Cap. Celle-ci revient très clairement sur les relations problématiques entre les usagers et la CAF que l’association a fait remonter dès 2021 par le recueil de témoignages d’allocataires. A savoir, la démultiplication des interruptions de versement des droits du fait de contrôles automatisés et l’envolée des indus, notamment sur les aides au logements, où les personnes se voient obliger de rembourser des trop perçus sans explications de l’administration. En 2013 déjà, l’IGAS soulignait pourtant que 30% des indus n’étaient pas le fait des allocataires mais pouvaient provenir d’une erreur de réglementation ou d’erreurs de la CAF elle-même.

Les allocataires ciblés par ce scoring sont souvent accusées de fraude, c’est-à-dire de fausse déclaration intentionnelle. Or, comme le rappelle Mathilde Saliou, pour une machine, la différence entre erreur et fraude est minime, les deux correspondent à des écarts par rapport au comportement normal. Pour les gens pourtant, la situation est très différente, surtout que quand l’accusation de fraude est déclenchée, la procédure de recours est plus complexe que lorsqu’on tente de faire corriger une erreur. « Lorsqu’il y a une accusation de fraude, on ne peut pas faire de recours amiable ni obtenir d’explication », explique la responsable numérique de Changer de Cap, qui rappelle que c’est la raison qui motive Changer de Cap à réclamer un droit aux explications algorithmiques. « On a repéré rapidement que les publics vulnérables étaient ciblés » ce qui impliquait un algorithme et un score de risque. Le score de risque amène à la démultiplication des contrôles, avec des allocataires qui peuvent subir plusieurs contrôles dans la même année. Quant au non-respect du reste à vivre que pratique la CAF, elle fait reposer sur les associations et les collectivités locales la précarité qu’elle renforce, celles-ci devant compenser l’interruption des droits que pratique la CAF.

Pour les indus, la recherche d’indus ou les contrôles, les CAF peuvent remonter jusqu’à 2 ans en arrière et 5 ans en arrière en cas de suspicion de fraude. Les retenues sur les aides sociales pour que les gens remboursent les indus dépendent de barèmes qui peuvent ne pas laisser aux gens de quoi vivre, notamment quand elles portent sur des prestations vitales, ce qui est souvent le cas pour les plus précaires. « Une personne qui a 600 euros de RSA peut se retrouver avec 300 euros seulement si 300 euros sont retenus par les CAF. Il n’y a pas de respect du reste à vivre ».

« Les documents obtenus par la Quadrature du Net ont permis d’apprendre qu’il y avait des variables qui font augmenter le score de risque, comme le fait d’être au RSA, d’être un parent isolé, de recevoir l’allocation adultes handicapés et avoir un petit boulot à côté. » Autant de caractéristiques discriminantes, comme l’ont mis également en avant le dossier réalisé par Le Monde et Lightouse Reports. Mais surtout, rappelle Changer de Cap, le qualificatif même de ces systèmes est faussé : « Nous on conteste l’idée que l’algorithme qui donne un score de risque fait des contrôles de fraudes, pour la simple et bonne raison qu’un algorithme ne peut pas déterminer une intentionnalité. Il calcule les aides attribuées par rapport aux aides auxquelles a droit l’allocataire. C’est un algorithme de recherche d’indus en réalité et non pas de recherche de fraude et qui traite le problème a posteriori, une fois que la somme a été versée ».

La fraude aux prestations sociales par les usagers est très faible rappelle l’association (notamment par rapport aux fraudes aux cotisations sociales) qui juge cette surveillance des usagers disproportionnée par rapport aux montants collectés. Changer de Cap et d’autres associations comme la Quadrature du Net et la Ligue des droits de l’homme ont récemment attaqué l’algorithme de la CAF devant le Conseil d’Etat. Changer de Cap souhaiterait que les erreurs soient résolues avant de venir frapper les usagers, que les indus et suspensions soient expliqués et motivées. Mais surtout, l’association estime que nous devrions abandonner tout système de scoring, que les traitements soient transparents et subissent des contrôles de légalité, comme des mesures d’impact, mis à disposition de tous.

L’épisode montre en tout cas très bien que le problème des algorithmes de scoring ne relève pas seulement des modalités de calcul, mais bien de ses agencements sociaux et légaux, comme les garanties et recours qu’il permet ou ne permet pas.

31 October 2024

12:12
Ouverture²
sur Dans les algorithmes

L’Open Data Institute publie une série de recommandations pour des pratiques de données responsables pour le développement de l’IA. Au menu, améliorer la transparence des données d’entraînements (en adoptant les outils dédiés et qui existent déjà et en regardant comment les adapter aux non spécialistes), moderniser le régime de propriété intellectuelle (en évitant de rechercher une solution universelle – la musique n’est pas la recherche scientifique -; en créant des compensations financières à l’utilisation pour l’IA, en imaginant des couches de consentements et en se défiant d’une IA dépendant de licences qui la réserverait uniquement aux plus puissants acteurs) ; améliorer le respect des droits dans toute la chaîne logistique de l’IA (en élargissant l’accès aux données par ceux qui sont concernés et impliqués, notamment les travailleurs) ; élargir l’accès aux données (en renforçant les répertoires communs et en imaginant des solutions pour ouvrir l’accès aux données du secteur privé) ; permettre aux citoyens d’avoir leur mot à dire dans le partage et l’utilisation des données pour l’IA (notamment en renforçant le contrôle réglementaire par les citoyens).

7:30
Le grand décalage
sur Dans les algorithmes

A l’occasion d’un rapport sur l’impact de l’IA générative sur le travail, les chercheurs de la Brookings Institution, estiment dans une tribune pour le Time que « les professions les plus susceptibles de connaître des perturbations dues à l’IA (à savoir les métiers de la connaissance et notamment les postes de bureau intermédiaire, comme les assistants et secrétaires) sont également les moins susceptibles d’employer des travailleurs appartenant à un syndicat ou disposant d’autres formes de voix et de représentation ». Les chercheurs parlent de « grand décalage », pour évoquer le fossé entre les menaces de l’IA et les possibilités de s’en prémunir, montrant que l’IA capacitante nécessite des organisations sociales fortes. Pourtant, les recherches montrent que les entreprises tirent de grands avantages de l’intégration des travailleurs et de leurs connaissances dans la conception et le déploiement de nouvelles technologies, par rapport à une mise en œuvre descendante. Or, à ce jour, ceux-ci ne sont pas impliqués dans les développements de l’IA. Les entreprises peinent à intégrer qu’elles ont un argument commercial puissant à faire valoir en intégrant l’engagement des travailleurs.

29 October 2024

7:30
Technologies de genre, technologies de pouvoir
sur Dans les algorithmes

Après avoir signé un étonnant livre sur le bestiaire matériel, qui cherchait à montrer l’intelligence des matériaux qui nous entourent et que nous construisons (Parallel Minds, MIT Press, Urbanomic, 2022, non traduit, qui se prolonge d’une newsletter toujours riche), ou un manifeste de démonologie révolutionnaire, la chercheuse, artiste et journaliste italienne Laura Tripaldi consacre un court essai aux technologies de genre.

Gender Tech, ce que la technologie fait au corps des femmes (Lux, 2024) est une réflexion particulièrement tonique sur le rôle de la technologie dans la connaissance. Depuis un point de vue radicalement féministe, Tripaldi questionne la fonction des outils technoscientifiques. Pour elle, ils ne sont pas des transmetteurs passifs, neutres, objectifs ou impartiaux, mais au contraire, ils participent à transformer et à construire la réalité qu’ils décrivent. Du spéculum gynécologique à la contraception hormonale, du test de grossesse à l’échographie, les outils dictent leurs vérités et exercent par là-même un contrôle et une domination sur les corps qu’ils révèlent. Leur contribution à l’émancipation des femmes est très ambivalente, rappelle la chercheuse. Le regard qu’ils projettent à l’intérieur des corps et la façon dont ces technologies transportent et traduisent l’expérience intime vers la sphère publique du savoir scientifique a d’abord des impacts politiques et normatifs. La technologie matérialise le genre, le construit, et avec lui construit des statuts identitaires comme sociaux.

Avec l’exemple de la pilule et de ses effets secondaires, Tripaldi rappelle le caractère inévitable et totalitaire de la technologie qui minimise toujours ses effets et infantilise ses utilisatrices. La pilule n’a pas été qu’une technologie contraceptive de maîtrise de la fertilité, elle a aussi été un dispositif de régulation sociale et biologique des femmes. « Je ne peux m’empêcher de penser que la recherche d’une solution pharmacologique au « problème » de la féminité est peut-être une façon détournée de légitimer les structures sociales et politiques oppressives qui font qu’il est si difficile d’habiter le monde dans un corps de femme ». Une pilule n’est pas qu’un principe actif, souligne-t-elle : c’est aussi et d’abord un « dispositif imprégné de discours politiques et de significations culturelles ». La technologie est à la fois émancipatrice et oppressive, notamment quand son action va au-delà de sa promesse, comme c’est souvent le cas, notamment en agissant sur la nature même du corps, des émotions, de la personnalité, comme le fait la pilule. Celle-ci ne régule pas seulement la fertilité, elle a des conséquences médicales, psychologiques et politiques sur celles auxquelles elle est prescrite. Tripaldi dissèque longuement les lourds effets de la pilule, administrée longtemps sans grande conscience de ses effets qui n’ont de secondaires que le nom. « La valeur d’une technologie ne peut jamais être dissociée de la position, hégémonique ou subalterne, des corps sur lesquels elle agit ».
« Avant de produire un savoir, la science produit des regards »
Le progrès technique est longtemps resté une promesse d’émancipation jusqu’à ce qu’on se rende compte que ce n’était pas nécessairement aussi évident, au contraire même. Le progrès social a bien plus tenu de réactions et de luttes contre le progrès technique le plus déshumanisant qu’il n’a été sa continuité naturelle. En revenant à la source, Tripaldi montre que l’inventeur de la pilule, l’endocrinologue Gregory Pincus n’avait pas beaucoup de scrupules éthiques. Son collègue, le gynécologue John Rock, catholique convaincu, voyait dans le dispositif un moyen pour discipliner les corps. Les effets psychologiques de la pilule sont pourtant démontrés dès les premiers tests réalisés sans le consentement des patientes, et dès les années 60, les risques de thrombose et de cancers sont documentés. « Dans l’histoire de la médecine, la pilule est le premier médicament conçu pour être administré de façon régulière à des personnes en parfaite santé ». Et les risques liés à sa prise sont longtemps minimisés sous les controverses scientifiques et du fait de l’absence d’autres technologies de contraception, notamment les technologies de contraceptions masculines, qui sont restées bien peu investiguées. Pour Tripaldi, ces conséquences montrent qu’on ne peut s’émanciper en utilisant ces technologies. Comme le disait Audrey Lorde, « les outils du maître ne détruiront jamais la maison du maître ». Les hormones elles-mêmes sont des « objets-frontières » qui « évoluent sur l’interface entre biologie et société », à la manière dont les principes actifs de la pilule agissent sur la sexualité, le rapport aux autres, les émotions, l’identité même de celles qui y ont recours. La corrélation entre la prise de la pilule et la dépression par exemple, soulignent que ce que la pilule produit va bien au-delà de ce sur quoi elle est censée agir, puisqu’elle bouleverse jusqu’à l’identité même de celles qui la prennent. Comme le dit le philosophe Paul B. Preciado, derrière les flux technologiques hormonaux, ce que l’on s’injecte, c’est « une chaîne de signifiants politiques ». Pour Tripaldi, les technologies produisent des discours, construisent des vérités, assemblent de nouvelles formes de nature. Depuis la généalogie problématique de la pilule, nous avons bien à faire à un dispositif de contrôle politique, qui, « derrière le masque de l’émancipation, n’a fait qu’intensifier et renforcer la discipline ».

« Avant de produire un savoir, la science produit des regards ». L’objectivité est toujours circonstanciée, conditionnelle, rappelle Laura Tripaldi. Pour elle, nous devons « redéfinir les conditions dans lesquelles l’objectivité prend forme », en interrogeant plus avant le rôle central des interfaces technologiques dans la construction même de la science.

En observant comment a été construit le test de grossesse, Tripaldi interroge le rôle actif de médiation de la technologie dans la construction du savoir. Les technologies, parce qu’elles sont les espaces mêmes où se construisent l’objectivité du savoir, sont à la fois des dispositifs de contrôle et des territoires de luttes. Et c’est le contrôle des moyens de production du savoir qui permettent à celui-ci de reproduire sa domination. Même constat pour le développement de l’échographie, qui produit la représentation du corps du foetus séparé de celui de la femme qui le produit. Pour Tripaldi, les technologies orientent nos regards, le construisent, construisent nos représentations. Les célèbres images de fœtus du photographe suédois Lennart Nilsson ont participé à transformer le fœtus en sujet politique, vivant, alors que ces célèbres images sont celles de cadavres, dissociés de leur contexte matériel, à savoir le corps de leur mère sans lequel ils ne peuvent vivre. L’échographie a donné naissance à la politisation du fœtus, privant les femmes de leur autonomie, rendant leurs corps, à elles, invisibles. En permettant de documenter un espace inconnu, l’échographie a permis de nouvelles dominations : d’abord et avant tout l’extension d’un regard et d’un jugement moral conservateur sur le corps des femmes. D’outils pour réduire le risque, l’échographie est devenu un moyen pour élargir le contrôle sur tous les aspects de la vie quotidienne de la femme enceinte. En devenant symbole, le fœtus est devenu bien plus politique que médical. « La représentation technologique d’un corps n’est jamais un processus neutre ».
Interroger la façon dont nous construisons les instruments qui vont produire la réalité
Le « masque de l’objectivité scientifique occulte le récit idéologique ». La réalité est toujours subjective et dépendante de l’observateur et de la manière dont le regard est dirigé sur ce et ceux qu’il observe. Le risque, estime Tripaldi, c’est que l’oppression politique ne s’impose pas seulement au niveau de la morale, mais la déborde, pour s’inscrire désormais au niveau de la réalité, ou plutôt au niveau dont on représente la réalité, c’est-à-dire au niveau dont sont construits nos instruments.

Cette compréhension nouvelle nous invite donc à interroger la façon même dont nous construisons les instruments qui produisent la réalité. A l’heure des données et des calculs par exemple, on voit bien qu’elles produisent des réalités très imparfaites, mais qui sont acceptées comme telles d’abord par ceux qui les produisent et ce d’autant qu’elles leur profitent, et qu’elles s’imposent aux autres, quelles que soient leurs limites ou défaillances.

Pour défaire ces récits, il faut les montrer tels qu’ils sont, c’est-à-dire des récits, explique Tripaldi. Des idéologies recouvertes de sciences. C’est très justement ce qu’explique le féminisme des données, en nous invitant à nous défaire des artefacts que nous construisons pour produire la science elle-même. C’est tout l’enjeu du discours anticolonial, qui montre également la relation profonde entre science et domination. Plus encore que des savoirs, la science sert à construire des regards, des représentations, des discours, qu’il faut savoir raconter, expliquer, situer.

Comme le fait Jeanne Guien dans son livre, Une histoire des produits menstruels (Divergences, 2023), Tripaldi termine le sien en montrant toutes les limites des applications de suivi du cycle menstruel. Pour Tripaldi, le corps devient une composante de la technologie, un périphérique, permettant de renforcer les règles normatives et politiques. C’est la technologie qui a recours à la biologie pour fonctionner, c’est elle qui nous envahit. Pour la chercheuse, nous devrions pourtant trouver des espaces pour échapper à la technologie et à la science, des moyens pour échapper à l’extension du contrôle, pour nous protéger du regard tout puissant de la tech. La science et la technologie sont d’abord des outils de puissance au service du contrôle, rappelle-t-elle, très concrètement. A mesure qu’ils s’étendent et nous gouvernent, le risque est qu’ils nous laissent sans leviers pour y résister. Les technologies ne peuvent être des vecteurs d’émancipations seulement si elles sont conçues comme des espaces ouverts et partagés, permettant de se composer et de se recomposer, plutôt que d’être assignés et normalisés. Les technologies devraient nous permettre de devenir ambigus plutôt que d’être parfaitement univoques. Elles devraient nous permettre de fuir le regard moral qui les constitue sous prétexte de science… comme d’échapper aux données qui tentent de nous définir, sans jamais y parvenir vraiment.
Couverture du livre de Laura Tripaldi, Gender Tech.

7:30
Glaçant : une démocratie qui n’aurait plus besoin d’humains
sur Dans les algorithmes

Faire discuter les machines à notre place pour trouver des terrains d’accords en évacuant les opinions personnelles pour atténuer la conflictualité. Tel est le projet glaçant de chercheurs de Google… Améliorer le contrôle social plutôt que favoriser l’action collective. Rob Horning.

18 October 2024

13:30
La matérialité de l’IA est une bombe
sur Dans les algorithmes

« L’IA, c’est traiter des quantités inouïes de données avec des quantités inouïes d’énergies et de matières. Mais quel type de société peut se permettre des superpuissances de calcul de cette taille ? » Celia Izoard

11:12
La modération de contenu est un travail traumatisant
sur Dans les algorithmes

Fascia Berhane Gebrekidan dans un rapport pour Data Workers Inquiry constate les effets dévastateurs de la modération de contenus sur la santé mentale des personnels qui en ont la charge, alors qu’ils sont employés selon des contrats qui ne leur permettent d’accéder à aucun soin adaptés. Les entreprises de la Tech font accomplir leur travail de modération psychologique sans en assumer les conséquences.

7:30
Acculés dans les stéréotypes
sur Dans les algorithmes

Les émulations d’images produites par l’IA sont en passe de ne plus pouvoir être distinguées de celles prises depuis un appareil photo – d’autant que ceux-ci permettent également de tronquer la réalité qu’ils sont sensés saisir –, explique le photographe et historien de l’art Julian Stallabrass dans un saisissant article pour la New Left Review.
Des images pour produire le monde tel qu’il devrait être
Dans le domaine culturel, le capitalisme encourage depuis longtemps un fort conformisme, allant de formats standards à des représentations avec des variations mineures. Nous sommes cernés par une uniformité de contenus et de tons, une « faible entropie », une forme de grande « prévisibilité culturelle », qui consacre le cliché, le stéréotype, la narration sur la réalité. Les photographies numériques que nous prenons sont déjà très largement régies par des processus intégrant de l’IA. L’image ressemble de plus en plus à une fusion d’images et d’effets. Le théoricien des médias, Lev Manovich parlait très justement d’une « manipulation des surfaces » qui ressemble aux portraits de l’ère soviétique, mi-photographies mi-peintures, comme un effet de débruitage réalisés par les algorithmes pour adapter les images, la netteté, les couleurs… mais également les motifs et le sens. Dans les « améliorations » des images que produit l’IA, il n’y a pas que la forme qui est altérée, le fond aussi. Dans les innombrables couches de traitements des réseaux neuronaux, l’adaptation de la luminosité ou des couleurs ne se distingue pas des représentations, du sens ou des signifiants. « Puisqu’ils sont entraînés à prédire ce qui est probable dans une vaste base de données d’images photographiques, les IA sont en effet des machines anti-entropiques, supprimant le « bruit » ou la complexité du matériel source, lissant les surfaces et cultivant le cliché. Les images qui en résultent ressemblent à ce que la plupart des gens pensent que la photographie devrait être. » A ce que le monde devrait être.

Quand on passe une image dans les assistants d’IA, il les corrigent, les nettoient, les rendent plus « à la mode »… Mais pas seulement : par nature, l’IA ajoute du sens, issu de la moyennisation de toutes les représentations qu’elle intègre. De même, quand on demande à une IA de produire une image dans le style d’un photographe, elle parvient à produire une forme d’archétype, une forme de moyennisation du style comme de la représentation, dans des arrangements souvent prévisibles.

Dans un livre consacré à l’esthétique artificielle qu’il signe avec Manovich, le philosophe Emanuele Arielli parle très justement de « maniérisme informatique » pour évoquer les effets très conventionnels, exagérés et étrangement similaires de ces productions. Pour Julian Stallabrass, ces outils produisent des formes de clichés, de déjà-vu, neutralisés, « dépolitisés »… comme s’ils parvenaient à capturer nos préjugés et représentations, tout en les neutralisant imparfaitement, en les rendant partout très semblables. Un peu comme si nous étions coincés quelque part entre le réel et la fiction.
Images : En haut, Stallabrass convoque l’étrange déréalité produite par les productions de dall-e en convoquant un SDF, d’un homme d’affaires et d’un amateur de livres assis sur un banc. En bas, l’image d’un Mexicain dans Midjourney est forcément un homme avec sombrero, explique le magazine Rest of the World qui montre comment l’IA réduit nos représentations culturelles à des stéréotypes. Stéréotypes partout
En psychologie, le déjà-vu correspond à l’impression de se souvenir d’un événement tout en pensant que ce souvenir est peut-être une illusion. Dans le domaine culturel, il évoque l’idée de mèmes avec des variations mineures… comme une forme de défaillance de la mémoire source. Ce n’est pas un hasard d’ailleurs si le déjà-vu culturel est né avec la reproduction mécanique des médias de masse. « Le sentiment de familiarité n’est pas une illusion – on l’a probablement déjà vu, peut-être plus d’une fois. Malgré tout, l’incapacité à situer le souvenir peut être dérangeante, produisant cette étrange familiarité qui est la qualité déterminante de l’étrange. » Pour le philosophe Paolo Virno, le déjà-vu est lié au cynisme, notamment à ceux qui, comme les habitués des médias sociaux, sont à la fois acteurs et spectateurs d’un état de déjà-vu collectif.

« Les images générées par le débruitage de l’IA, en particulier lorsqu’elles imitent la photographie, produisent trois types d’effets étranges : il y a l’impression de déjà-vu, ou de familiarité excessive, combinée au sentiment de douceur excessive ou de propreté excessive qui accompagne la réduction de l’entropie ; il y a des juxtapositions socialement bizarres, comme avec les nazis racialement divers de Google ; et enfin, il y a des problèmes flagrants, particulièrement marqués dans le rendu des visages et des mains. » À propos de ces problèmes, Manovich a suggéré que ce que l’on appelle IA à un moment donné est simplement une technologie inconnue. Une fois qu’elle s’installe dans une utilisation régulière et fiable, ce que l’on appelait autrefois IA sort de cette catégorie. L’un de ses exemples est l’outil de sélection automatique de Photoshop, la baguette magique, qui permet de sélectionner ou détourer des éléments le plus simplement du monde. La génération d’images par IA est actuellement nouvelle, étrange, en évolution et souvent défectueuse dans son fonctionnement anti-entropique et antibruit. Malgré tout, la trajectoire générale de l’élimination de l’entropie, et avec elle de la non-conformité culturelle, est claire.

Pour l’IA, la photographie ne semble qu’un ensemble de paramètres de « styles » obtenus par un entraînement statistique depuis des bases de données colossales d’images que les appareils photo produisent. Dans la gestion par une IA de champs statistiques aussi vastes, il n’existe pas de séparation nette entre les médias, le style et le contenu, explique encore Manovich. Le philosophe Willem Flusser, lui, était très préoccupé par ce qu’il considérait comme une tendance à l’augmentation de l’entropie dans la culture numérique, bien qu’il utilisait le terme dans le sens physique, pour exprimer sa profonde crainte de l’affaiblissement de la complexité dans une forme de mort thermique culturelle. Le danger, pensait-il, était que les entités commerciales, aidées par l’IA, réduisent la complexité des messages culturels, de sorte que « les images montreront toujours la même chose, et les gens verront toujours la même chose », et qu’un « ennui éternel et sans fin se répandra dans la société ». Pour lui, il faudrait qu’on évalue les images pour éliminer celles qui ne répondent pas à une norme de complexité minimale. C’est peut-être là où nous sommes rendus finalement : écartelés entre une culture de plus en plus normative et normalisée et ceux qui désespèrent de s’en échapper. Et il est intéressant que cette saturation des représentations se fasse au même moment où toutes les représentations dans lesquelles nous baignons sont profondément interrogées, questionnées politiquement… que ce soit à travers les enjeux de genre ou de racisme.
Avec l’IA, toutes les modifications sont activables
Nous nous dissolvons dans des archétypes, une moyennisation généralisée. Mais une moyennisation qui n’est pas sans effets concrets, comme l’expliquait dans un tweet la designer Elizabeth Laraki montrant que dans une image retouchée par l’IA pour que la taille de l’image soit plus adaptée aux spécificités requises, l’IA n’avait pas retouché l’image d’une manière neutre, mais élargi l’échancrure de son décolleté. Avec l’utilisation de l’IA, toutes les couches possibles de modifications sont activées.
Image : en modifiant la taille de l’image, il n’y a pas que la taille qui a été modifiée…
Aux effets statistiques sont ancrés des représentations que l’IA comme nous-mêmes prenons pour les choses elles-mêmes. Emile Durkheim parlait de « prénotions » pour parler de ces représentations schématiques et sommaires qui « défigurent le véritable aspect des choses et que nous prenons pourtant pour les choses elles-mêmes », rappelle le sociologue Denis Colombi dans son dernier livre. Ces représentations encombrant nos façons de penser, nous empêchent de percevoir le monde tel qu’il est. Bourdieu en appelait même à se détacher de ces prénotions, à nous éloigner des discours et des habitudes de pensées, à changer de regard, à nous doter de « nouveaux yeux ». Pour cela, encore nous faudrait-il pouvoir représenter le monde autrement. Mais nous n’avons pas de nouveaux yeux, nous avons désormais la somme de tous les yeux. C’est donc tout l’inverse que produisent ces images répétées à l’infini, saturées de signifiants et de significations. Dans La trahison des images, célèbre tableau de Magritte, le peintre nous invitait à nous rappeler que les représentations ne sont que des représentations. Dans la gestion par l’IA de nos représentations, il n’y a plus d’échappatoire ou d’innocence. Tout est sens. Modifier la taille de l’image, c’est accepter la modification de tous les autres éléments de sens. Le moindre détail est politique, car il est désormais la moyenne de tout le sens que nous y avons mis. Comme le disait pertinemment le spécialiste des images André Gunthert, les images générées par l’IA sont dans les clous des pratiques, elles les renforcent plus qu’elles les dénaturent ou les transforment. Dans une forme de saturation des sens. Comme si l’IA parvenait à exacerber le sens tout en l’atrophiant. Notre hypersensibilisation aux représentations risque surtout de devenir encore plus extrême à mesure que ces images se déploient. Le problème n’est pas tant la falsification du réel que ces images promettent, mais l’hypertrophie du sens qu’elles produisent. Le réel doit correspondre à sa fiction et la fiction au réel.

Dans l’excellent documentaire sur IA et cinéma de Mario Sixtus disponible sur Arte, on peut voir nombre de productions d’IA vidéo, toutes assez étranges, puissamment hallucinantes (comme celle de NiceAunties, les déstabilisant Heidi de Patrick Karpiczenko ou Alice de Justin Hackney…), mais qui derrière leurs déformations grotesques et étranges, semblent se jouer des signifiants que nous mettons dans nos images. C’est un peu comme si les clichés que les IA produisent amplifiaient surtout les nôtres, les déformant pour mieux les révéler. « L’IA est comme un outil qui permet d’explorer le subconscient de l’humanité », y explique l’artiste IA Melody Bossan. C’est un peu comme si l’IA nous plongeait dans la profondeur de nos raccourcis culturels pour mieux les révéler. Le risque, c’est qu’ils les exacerbent plus qu’ils nous permettent d’y remédier. A l’heure où nous voudrions justement les combattre, il semble paradoxal qu’émerge une machine à amplifier nos stéréotypes… A moins qu’elle ne nous serve à mieux les voir, partout où ils se glissent.

17 October 2024

11:15
Vers des systèmes qui connaissent le salaire que vous être prêts à accepter
sur Dans les algorithmes

Avec des systèmes de calcul basés sur l’IA, il est probable que votre salaire ne soit plus assuré ! Il y a 9 ans, un chauffeur Uber pouvait gagner 60 à 85 dollars pour une course dans la banlieue de Los Angeles, quand la même course aujourd’hui ne lui rapporte que 25 à 35 dollars, explique Slate. Depuis 2022, Uber et Lyft ont renforcé leurs algorithmes pour intégrer des données individualisées pour déterminer le montant de chaque course, ce qui expliquerait l’amplification des variations de paiements entre les conducteurs, rapporte le média vidéo de défense des travailleurs More Perfect Union. Les algorithmes semblent apprendre les montants les plus bas qu’acceptent les chauffeurs pour les transformer en normes individuelles. Le prix des courses n’est plus seulement déterminé par la tension entre l’offre et la demande ou la localisation, mais de plus en plus par le comportement individuel des chauffeurs et livreurs. Le risque, c’est que « le système ne s’arrête pas aux travailleurs indépendants. Les experts affirment que la discrimination salariale algorithmique et la rémunération influencée par l’IA de manière plus générale s’infiltrent dans un nombre croissant de domaines, tels que les soins de santé, la logistique et la technologie, et pourraient bouleverser le travail tel que nous le connaissons ». Grâce aux données, les systèmes peuvent calculer la rémunération la plus basse possible que les travailleurs de chaque secteur toléreront et suggérer des incitations pour contrôler leur comportement. Les systèmes de calculs peuvent optimiser les rémunérations variables pour les réduire, mais également utiliser des données comportementales pour les ajuster plus encore, tout comme on le constate dans la tarification dynamique.

D’autres travailleurs indépendants sont soumis à cette personalisation, estime la chercheuse Veena Dubal qui parle de discrimination salariale algorithmique. Les lieux de travail adoptent de plus en plus de logiciels de gestion basés sur l’IA, qui pourraient influencer indirectement les salaires en attribuant des projets et des équipes en fonction des données des employés, explique le chercheur Antonio Aloisi, co-auteur du livre Your boss is an algorithm. Plusieurs entreprises – comme Praisidio, HRBRain, Beqom ou HR Soft – proposent déjà des solutions pour évaluer les salaires, les avantages sociaux et les primes afin de les optimiser. La surveillance de la productivité des employés en temps réel se déploie, constatait déjà en 2022 le New York Times. Elle se complexifie d’outils de planning automatisés, d’outils de suivis du personnels… dans les secteurs de la santé, de la vente au détail, de l’hôtellerie… qui produisent une hyperpersonnalisation du traitement des travailleurs.

Le risque, c’est que les algorithmes décident de qui obtiendra le travail le mieux rémunéré, les meilleurs horaires, voir des horaires pleins. Le modèle dystopique du travail à la tâche à la Uber est en train de pénétrer l’économie du travail conventionnelle, estime Aloisi. Le salaire algorithmique personnalisé pourrait devenir la norme, explique la chercheuse Zephyr Teachout.

Le risque, c’est que ces calculs invisibilisent les discriminations salariales pourtant interdites, notamment en utilisant des données qui serviront de variables de substitutions aux discriminations, par exemple en favorisant les employés qui disposent de peu d’épargne pour plus mal les payer.

La résistance à ces nouvelles méthodes risque d’être compliquée. Au Japon, les avocats d’un syndicat ont obtenu que la direction d’IBM documente les données utilisées par son système d’IA pour évaluer les employés. Le système devra également expliquer sa pertinence par rapport aux règles salariales et, pour les travailleurs ayant de faibles notes, devra expliquer les raisons de ces notations aux salariés.

10:15
Contestations automatisées
sur Dans les algorithmes

Aux Etats-Unis, il est courant que les assurances maladies refusent les demandes d’indemnisation de leurs clients. Les clients ont certes le droit de faire appel, mais les procédures sont compliquées ce qui fait qu’ils sont très peu nombreux à remplir une demande. Fight Health Assurance propose un outil d’IA générative pour aider les clients à faire appel depuis la lettre de refus et certaines de leurs données médicales, explique Fast Company. L’outil aide les patients à surmonter le premier obstacle : ne pas savoir par où commencer. Rien n’assure que les recours soient efficaces, prévient le développeur. Mais, « à l’heure actuelle, lorsque la compagnie d’assurance maladie refuse quelque chose, la plupart du temps, elle n’a rien à payer, donc c’est une victoire pour elle. Mais je pense que si la plupart du temps, lorsqu’elle fait un refus, elle doit payer et traiter également des documents supplémentaires, elle ne refuserait peut-être pas autant de choses. »

Pas sûr que tous les services clients soient prêts !

Skip to page: 1 2

← Mappemonde Imagerie Géospatiale →

Communauté	Ressources	L'emploi	Le marché	L'association	Fils RSS
Forum Blogs Wiki Planet Sites amis	Agenda Biblio Fiches AMO-CNIG Paris PCGIS Téléchargements	Offres d'emploi Banque de CV Formations Démarche Métiers	Geo-Entreprises Geo-Communiqué Appels d'offres	L'association Qui sommes-nous ? Nous aider Bienfaiteurs Partenaires Historique Statuts	Tout le site Job Géomatique Services GeoBlogs ...	Faire un don Mentions légales

Le portail francophone de la géomatique

Feeds

Dans les algorithmes (7 unread)