Vous pouvez lire le billet sur le blog La Minute pour plus d'informations sur les RSS !
Feeds
4338 items (73 unread) in 55 feeds
- Cybergeo (20 unread)
- Revue Internationale de Géomatique (RIG)
- SIGMAG & SIGTV.FR - Un autre regard sur la géomatique (2 unread)
- Mappemonde (20 unread)
- Dans les algorithmes (8 unread)
- Imagerie Géospatiale
- Toute l’actualité des Geoservices de l'IGN (1 unread)
- arcOrama, un blog sur les SIG, ceux d ESRI en particulier (3 unread)
- arcOpole - Actualités du Programme
- Géoclip, le générateur d'observatoires cartographiques
- Blog GEOCONCEPT FR
- Géoblogs (GeoRezo.net)
- Conseil national de l'information géolocalisée (1 unread)
- Geotribu
- Les cafés géographiques (2 unread)
- UrbaLine (le blog d'Aline sur l'urba, la géomatique, et l'habitat)
- Icem7
- Séries temporelles (CESBIO)
- Datafoncier, données pour les territoires (Cerema) (1 unread)
- Cartes et figures du monde
- SIGEA: actualités des SIG pour l'enseignement agricole
- Data and GIS tips
- Neogeo Technologies (1 unread)
- ReLucBlog
- L'Atelier de Cartographie
- My Geomatic
- archeomatic (le blog d'un archéologue à l’INRAP)
- Cartographies numériques (5 unread)
- Veille cartographie (1 unread)
- Makina Corpus (4 unread)
- Oslandia (4 unread)
- Camptocamp
- Carnet (neo)cartographique
- Le blog de Geomatys
- GEOMATIQUE
- Geomatick
- CartONG (actualités)
Dans les algorithmes (8 unread)
-
9:56
Modération sur X : de 2,1% à 0,003%
sur Dans les algorithmesEntre 2021 et 2024, la suspension de comptes sur Twitter est passée de 105 000 comptes pour 5 millions de signalements pour harcèlements à 2361 pour 66 millions de signalements. Effectivement, Musk a fait de l’un des problèmes les plus flagrants de Twitter une fonctionnalité essentielle de X.
-
7:30
Y aura-t-il une alternative au technofascisme ?
sur Dans les algorithmesLe livre du journaliste Thibault Prévost, Les prophètes de l’IA (Lux éditeur, 2024), a une grande vertu : nettoyer notre regard de ce qui l’embrume.
Il permet d’abord de comprendre que la technologie ne mobilise pas tant des imaginaires, comme on l’entend trop souvent, mais bien des idéologies. Imaginaire, le terme fait référence à quelque chose qui n’existerait que dans l’imagination, qui serait sans réalité, comme dévitalisé, sans effet autre que sûr le rêve et l’irréel. Rien ne me semble moins vrai. Ce que nous sommes capables de composer dans nos esprits à une puissance d’évocation sans précédent, qui mobilise et galvanise les énergies et façonne le réel. Le terme d’imaginaire dépolitise ce que nos esprits façonnent, quand les récits que nous brodons et partageons construisent d’abord des ralliements, des adhésions ou leur exact inverse, des rejets, des défections, des oppositions. Ce que nous imaginons ne flotte pas dans l’éther, bien au contraire. Nos imaginaires reflètent tout le temps des idées et conduisent nos agissements, décrivent des façons de voir le monde, de le régir, de le gouverner. Imaginaire : le terme ne vise qu’à dépolitiser ce qui est à l’oeuvre dans la mise en représentation du monde, à savoir dévitaliser les luttes idéologiques par des récits neutralisés qui ont pour but de les rendre plus séduisants, plus accrocheurs, plus malléables, plus appropriables, plus diffusables. Mais derrière le storytelling, les récits que l’on construit sur l’IA, les discours que l’on porte sur la technologie, il n’est question de rien d’autre que d’une lutte idéologique.
A mesure que la technologie a pris une place prépondérante dans nos sociétés, le discours qui la porte s’est chargé de promesses, de prophéties, de mythes, de prédictions qui se sédimentent en idées politiques qui annoncent, au choix, la fin du monde ou le retour des Lumières. L’un comme l’autre d’ailleurs n’ont qu’un objectif : nous éloigner de la réalité et nous faire adhérer à leur promesse. À savoir qu’il n’y a pas d’alternative au futur que propose la technologie. Qu’il soit rose ou sombre, c’est la technologie qui le façonne, c’est l’élite technologique qui le construit. Le futur est devenu une religion.
Prévost rappelle trop rapidement la longue histoire de l’avènement des religions technologiques, schismes du rêve transhumaniste, pour se concentrer surtout sur les courants et les figures les plus récents. Ce qui l’intéresse, c’est de regarder les habits les plus neufs du transhumanisme, cette consécration de la science et de la technologie, qui promet d’améliorer la condition humaine. Qui souhaite rendre la religion, le capitalisme et le colonialisme fonctionnels, effectifs, comme pour les faire perdurer à jamais. Ces courants qui déifient les sciences de l’ingénierie ne proposent pas qu’une transcendance, c’est-à-dire un dépassement de l’homme par la technique, mais bien l’avènement d’une technocratie toute puissante. L’essai, qui se présente sous forme d’un catalogue des idées du secteur, devient vite épuisant à lire, tant ces délires mis bout à bout se concatènent dans leur logique rance, qui ne produit rien d’autre qu’un total mépris pour la société comme pour les individus qui la composent.
Un monde de… tarésLe livre de Thibault Prévost a une autre vertu. Il nous montre que les grands ingénieurs, les grands investisseurs, les grands entrepreneurs et les grands penseurs de l’IA sont tous complètement… tarés ! Excusez du peu ! Les récits de dépassement, de conquête, de croisade, de puissance ou d’IApocalypse qu’ils nous vendent forment un ramassis de technodélires qui n’ont rien de sérieux ou de rationnel, malgré le fait qu’ils se présentent ainsi. Ces délires sur l’intelligence artificielle générale, sur la transcendance par la machine comme sur l’effondrement, nous abreuvent d’idéologies hors-sol, sectaires, fanatiques et vides pour mieux invisibiliser leur autoritarisme et leur cupidité débridées (à l’image de celle qu’exprimait Mustafa Syleyman dans son livre particulièrement confus, La déferlante). Tous les grands gourous de la tech que Prévost évoque dans son livre (et il n’y a pas que Musk) semblent d’abord et avant tout des individus totalement perchés et parfaitement lunaires. Ils sont tous profondément eugénistes, comme le répète le chercheur Olivier Alexandre (voir aussi dans nos pages). Ils sont obsédés par le QI et la race. Ils ont à peu près tous tenu à un moment ou à un autre des propos racistes. Ils sont tous profondément opposés à la démocratie. Ils partagent tous des discours autoritaires. Derrière leurs récits, aussi barrés les uns que les autres, tous n’oeuvrent qu’à leur propre puissance. A peu près tous partagent l’idée que ceux qui ne croient pas en leurs délires sont des parasites. Leur délire élitiste, eugéniste et cupide a de quoi inquiéter. Le futur qu’ils nous vendent n’a rien d’un paradis, puisqu’il ne remet en rien en cause des privilèges qui sont les leurs, bien au contraire. Tous nient les biens communs. Tous veulent détruire la régulation, à moins qu’ils en soient en maîtres. Ils nous exhortent à penser un futur si lointain qu’il permet de ne plus être fixé dans un cadre politique normé, ce qui permet de totalement le dépolitiser. Tous cachent les enjeux politiques qu’ils défendent sous des questions qui ne seraient plus que technologiques. Remplacer le discours politique par un discours technique permet d’abord de déplacer son caractère politique, comme pour l’aseptiser, l’invisibiliser.
A le lire, Prévost nous donne l’impression de nous plonger dans les disputes sectaires, rances et creuses… qui anônent un « cocktail d’arrogance élitiste et de naïveté qui défend férocement la légitimité morale des inégalités ». Qu’ils se définissent comme altruistes efficaces, longtermistes, doomers, ultralibertariens, extropiens ou rationalistes… (tescralistes, comme les ont qualifié Timnit Gebru et Emile Torres), ils semblent avant tout en voie de fascisation avancée.
L’IA ne va pas sauver le monde, elle vise à sauver leur monde !L’IA ne va pas sauver le monde. Elle vise à sauver leur monde, celui d’une caste de milliardaires au-dessus des lois qui cherchent à se garder du reste de l’humanité qu’elle abhorre. « L’IA n’est que le paravent technique d’une entreprise tout à fait classique de privatisation et de captation des richesses ». L’IA vise d’abord la préservation du taux de profit.
La Tech a longtemps été Démocrate et pro-démocratie, rappelle le journaliste, mais c’est de moins en moins le cas. La perspective que la Silicon Valley perde de sa puissance, explique en partie son réalignement. Le techno-solutionnisme progressiste qu’ils ont longtemps poussé a fait long feu : la Tech n’a produit aucun progrès social, bien au contraire. Ses solutions n’ont amélioré ni la démocratie, ni l’économie, ni l’égalité, ni l’espérance de vie… surtout quand on les compare aux technologies sociales du XXe siècle comme l’hygiène publique, le développement des services publics ou la justice économique.
Si ces évolutions politiques ont plusieurs origines, l’influence de grandes figures, de financeurs milliardaires, sur le secteur, semble déterminant, à l’image des Marc Andreessen et Peter Thiel, qui ne sont pas tant des évangélistes de la tech, que des évangélistes néolibéraux ultra-conservateurs, qui promeuvent par leurs discours et leurs investissements des projets anti-régulation et autoritaires. Prévost rappelle que la grande caractéristique de cette élite financière est d’être férocement opposée à la démocratie. Ces milliardaires rêvent d’un monde où une poignée d’individus – eux – captent toutes les richesses et tous les pouvoirs. « La tech est un système immunitaire développé par le capitalisme pour lutter contre tout ce qui pourrait le mettre en crise », disait déjà Antoinette Rouvroy. Ces gens sont tous admirateurs de régimes autoritaires. Ils rêvent d’un progrès technique sans démocratie tel qu’ils le font advenir dans les outils qu’ils façonnent et les entreprises qu’ils dirigent.
En compilant toutes ces petites horreurs qu’on a déjà croisé, éparses, dans l’actualité, Prévost nous aide à regarder ce délire pour ce qu’il est. Nous sommes confrontés à « un groupe radicalisé et dangereux », d’autant plus dangereux que leur fortune astronomique leur assure une puissance et une impunité politique sans précédent. Leurs exploits entrepreneuriaux ou financiers ne peuvent suffire pour les absoudre des horreurs qu’ils prônent. Prévost les montre comme ce qu’ils sont, un freak-show, des sortes de monstres de foire, complotistes, fascistes, prêts à rejoindre leurs bunkers et dont le seul rêve est de faire sécession. Le journaliste décrit un monde réactionnaire qui ne craint rien d’autre que son renversement. « Ces patrons méprisent nos corps, nos droits, nos existences ». Leur discours sur les risques existentiels de l’IA permet de masquer les effets déjà bien réels que leurs outils produisent. « L’IA est une métaphore du système politique et économique capitaliste qui menace l’espèce humaine ». Pour sécuriser leur avenir, cette élite rêve d’un technofascisme qu’elle espère mettre en œuvre. Notamment en manipulant les peurs et les paniques morales pour en tirer profit.
Le pire finalement c’est de constater la grande audience que ces pensées rances peuvent obtenir. La réussite fait rêver, la domination fait bander… oubliant qu’il s’agit de la domination et de la réussite d’un petit monde, pas de celui de l’Occident ou de tous les entrepreneurs du monde. En nous répétant que le futur est déjà décidé et qu’ils en sont les maîtres, ils nous intoxiquent. « A force de se faire dire que le futur est déjà plié, que c’est la Silicon Valley qui décide de l’avenir de l’humanité, le public, convaincu qu’il n’a pas son mot à dire sur des enjeux qui le dépassent, remet son destin entre les mains des Google, Microsoft, Meta ou Amazon. » Ce déplacement permet d’orienter la régulation vers des dangers futurs pour mieux laisser tranquille les préjudices existants. Derrière la promotion de leur agenda néolibéral pour maximiser leurs profits aux dépens de l’intérêt général, se profile le risque d’une bascule vers un capitalisme autoritaire qui contamine le monde au-delà d’eux, comme le notait la chercheuse Rachel Griffin. « A l’instar de la Silicon Valley, l’Union européenne semble être en train de mettre à jour son logiciel idéologique vers un capitalisme autoritaire qui privilégie l’économie de la rente et les monopoles à l’économie de marché et la concurrence ». Cette transformation du capitalisme est assurée par la technologie. Les systèmes s’immiscent dans nos institutions, à l’image de leurs LLM que les acteurs publics s’arrachent en permettant aux entreprises de la Silicon Valley « d’étendre leur intermédiation sur un corps social médusé ». Qu’importe si ChatGPT raconte n’importe quoi. Les prophètes de l’IA, ces « bullionaires » (contraction de bullshitters et de millionnaires) eux aussi mentent avec assurance. Derrière leurs délires apparents, un transfert de pouvoir est en cours. Pas seulement une privatisation du futur, mais bien son accaparement par quelques individus qui font tout pour n’avoir de compte à rendre à personne. La fétichisation de l’individu rationnel, tout puissant, du génie solitaire, du milliardaire omnipotent, du grotesque individualiste ne nous conduit à aucune société qu’à son délitement. La métaphore computationnelle qui permet d’affirmer que la seule intelligence est désormais celle de la machine, vise à nous reléguer, à nous transformer en une marchandise dévaluée, puisque nos esprits valent désormais moins que le calcul, tout comme notre force de travail a été dévaluée par l’énergie fossile.
Couverture du livre de Thibault Prévost. Du grand leurre de l’IA au risque technofascistePrévost rappelle que les machines nous trompent. Que l’automatisation est un leurre qui masque les ingénieurs et les travailleurs du clic qui font fonctionner les machines à distance. L’IA générative aussi. Nombre d’utilisateurs de ChatGPT l’abandonnent au bout d’une quarantaine de jours, comme un jouet qu’on finit par mettre de côté. Google SGE produit des fausses informations après plus d’un an de tests. Par essence, la prédiction statistique ne permet pas de produire de résultats fiables. Partout où ils se déploient, ces systèmes se ridiculisent, obligeant à les surveiller sans cesse. Notre avenir sous IA n’est pas soutenable. Il repose sur un pillage sans précédent. Les « cleptomanes de la Valley » ne cessent de nous dire que l’IA doit être illégale pour être rentable. L’IA est une bulle financière qui risque de finir comme le Metavers (que McKinsey évaluait à 5000 milliards de dollars d’ici 2030 !).
« Arrêtons pour de bon de donner du crédit aux entrepreneurs de la tech. Depuis le début de la décennie 2020, le technocapitalisme ne fonctionne plus que par vagues d’hallucinations successives, suivies de (très) brèves périodes de lucidité. La Silicon Valley semble bloquée dans un trip d’acide qui ne redescent pas, et dont l’IA n’est que la plus récente hallucination », rappelle, cinglant, Thibault Prévost, fort des punchlines saisissantes auxquelles il nous a habitués dans ses articles pour Arrêt sur Images.
L’IA n’est que la nouvelle ligne de front de la lutte des classes, où les systèmes d’analyse dégradent les conditions d’existence des plus mal notés, ce lumpenscoretariat. Sa grande force est d’avancer masqué, opaque, invisible à ceux qu’il précarise. Nous n’utilisons pas l’IA, mais nous y sommes déjà assujettie, explique très justement Prévost. Les systèmes de calculs se démultiplient partout. « Aucun d’entre eux n’est fiable, transparent ou interprétable. Nous vivons tous et toutes à la merci de l’erreur de calcul sans recours ».
« Les systèmes d’IA sont le reflet des oligopoles qui les commercialisent : privés, opaques, impénétrables, intouchables, toxiques et dangereux. » L’IA prolonge le continuum des discriminations et de l’injustice sociale et raciale. La faute aux données bien sûr, jamais « à leurs beaux algorithmes neutres et apolitiques ».
« Comme l’idéologie d’extrême droite, l’IA échoue à représenter le monde. Elle ne fonctionne que par archétypes et biais, par catégorisation a priori ». Elle rappelle aux humains la distance qui les sépare de la norme masculine, blanche et riche. L’IA n’est rien d’autre qu’une « prothèse pour le maintien de l’ordre social racial et l’avancée des projets capitalistes impérialistes », comme le dit Yarden Katz dans son livre Artificial Whiteness. Elle n’est rien d’autre que le nouvel auxiliaire du pouvoir. Elle exploite la violence structurelle comme une grammaire et un grand modèle d’affaires. « Si la Silicon Valley essaie de nous vendre l’apocalypse, c’est parce que son projet technique, économique et politique en est une ». Ce que veulent les milliardaires de la tech, c’est la fin du monde social pour imposer le leur.
Avec l’élection de Trump, c’est exactement là où nous sommes. La Silicon Valley a obtenu ce qu’elle voulait, dit Brian Merchant.
Dan McQuillan nous avait mis en garde du risque fasciste de l’IA. Les opportunités politiques sont devenues des prises de risques financières. La victoire de Trump vient d’assurer à Musk et quelques autres la rentabilité de tous leurs investissements. Son rachat de Twitter n’était rien d’autre que l’achat d’une arme qu’il a transformé en site suprémaciste, pour amplifier ses délires, permettant d’attiser la haine en ligne et la traduire en vote et en violence dans le monde physique. Comme l’explique Martine Orange pour Mediapart, l’enjeu, désormais, consiste à éradiquer la régulation et mettre l’ensemble de l’appareil d’Etat à la disposition de la Tech, c’est-à-dire assurer la mainmise de la Tech sur le pouvoir politique.
Face au technofascisme qui vient, le risque est que nous soyons démunis d’alternatives technologiques et donc idéologiques. Sans récit et réalisations progressistes de la tech, la seule option pour beaucoup ne consistera qu’en une chose : abandonner la technologie et arrêter les machines.Hubert Guillaud
-
12:49
Impartiale, l’IA ?
sur Dans les algorithmesMalgré le fait que les grands volumes de données utilisés pour générer les grands modèles de l’IA générative soient sensiblement les mêmes, les LLM ont des visions du monde sensiblement différentes, expliquent un collectif de chercheurs qui ont interrogé un large panel de systèmes. Ces visions du monde changent selon la langue depuis laquelle ils sont interrogés, mais également selon les modèles utilisés : ils sont plus prochinois si vous les interrogez en chinois par exemple et certains modèles fourbissent des résultats plus libéraux que d’autres. « Les positions idéologiques des LLM reflètent souvent celles de ses créateurs ». L’impartialité réglementaire va être bien difficile à atteindre.
-
11:10
« Un algorithme ne peut pas déterminer une intentionnalité »
sur Dans les algorithmesDans le 3e épisode d’Algorithmique, l’excellent podcast de Next, la journaliste Mathilde Saliou s’entretient avec Valérie, la responsable des enjeux du numérique du collectif Changer de Cap. Celle-ci revient très clairement sur les relations problématiques entre les usagers et la CAF que l’association a fait remonter dès 2021 par le recueil de témoignages d’allocataires. A savoir, la démultiplication des interruptions de versement des droits du fait de contrôles automatisés et l’envolée des indus, notamment sur les aides au logements, où les personnes se voient obliger de rembourser des trop perçus sans explications de l’administration. En 2013 déjà, l’IGAS soulignait pourtant que 30% des indus n’étaient pas le fait des allocataires mais pouvaient provenir d’une erreur de réglementation ou d’erreurs de la CAF elle-même.
Les allocataires ciblés par ce scoring sont souvent accusées de fraude, c’est-à-dire de fausse déclaration intentionnelle. Or, comme le rappelle Mathilde Saliou, pour une machine, la différence entre erreur et fraude est minime, les deux correspondent à des écarts par rapport au comportement normal. Pour les gens pourtant, la situation est très différente, surtout que quand l’accusation de fraude est déclenchée, la procédure de recours est plus complexe que lorsqu’on tente de faire corriger une erreur. « Lorsqu’il y a une accusation de fraude, on ne peut pas faire de recours amiable ni obtenir d’explication », explique la responsable numérique de Changer de Cap, qui rappelle que c’est la raison qui motive Changer de Cap à réclamer un droit aux explications algorithmiques. « On a repéré rapidement que les publics vulnérables étaient ciblés » ce qui impliquait un algorithme et un score de risque. Le score de risque amène à la démultiplication des contrôles, avec des allocataires qui peuvent subir plusieurs contrôles dans la même année. Quant au non-respect du reste à vivre que pratique la CAF, elle fait reposer sur les associations et les collectivités locales la précarité qu’elle renforce, celles-ci devant compenser l’interruption des droits que pratique la CAF.
Pour les indus, la recherche d’indus ou les contrôles, les CAF peuvent remonter jusqu’à 2 ans en arrière et 5 ans en arrière en cas de suspicion de fraude. Les retenues sur les aides sociales pour que les gens remboursent les indus dépendent de barèmes qui peuvent ne pas laisser aux gens de quoi vivre, notamment quand elles portent sur des prestations vitales, ce qui est souvent le cas pour les plus précaires. « Une personne qui a 600 euros de RSA peut se retrouver avec 300 euros seulement si 300 euros sont retenus par les CAF. Il n’y a pas de respect du reste à vivre ».
« Les documents obtenus par la Quadrature du Net ont permis d’apprendre qu’il y avait des variables qui font augmenter le score de risque, comme le fait d’être au RSA, d’être un parent isolé, de recevoir l’allocation adultes handicapés et avoir un petit boulot à côté. » Autant de caractéristiques discriminantes, comme l’ont mis également en avant le dossier réalisé par Le Monde et Lightouse Reports. Mais surtout, rappelle Changer de Cap, le qualificatif même de ces systèmes est faussé : « Nous on conteste l’idée que l’algorithme qui donne un score de risque fait des contrôles de fraudes, pour la simple et bonne raison qu’un algorithme ne peut pas déterminer une intentionnalité. Il calcule les aides attribuées par rapport aux aides auxquelles a droit l’allocataire. C’est un algorithme de recherche d’indus en réalité et non pas de recherche de fraude et qui traite le problème a posteriori, une fois que la somme a été versée ».
La fraude aux prestations sociales par les usagers est très faible rappelle l’association (notamment par rapport aux fraudes aux cotisations sociales) qui juge cette surveillance des usagers disproportionnée par rapport aux montants collectés. Changer de Cap et d’autres associations comme la Quadrature du Net et la Ligue des droits de l’homme ont récemment attaqué l’algorithme de la CAF devant le Conseil d’Etat. Changer de Cap souhaiterait que les erreurs soient résolues avant de venir frapper les usagers, que les indus et suspensions soient expliqués et motivées. Mais surtout, l’association estime que nous devrions abandonner tout système de scoring, que les traitements soient transparents et subissent des contrôles de légalité, comme des mesures d’impact, mis à disposition de tous.
L’épisode montre en tout cas très bien que le problème des algorithmes de scoring ne relève pas seulement des modalités de calcul, mais bien de ses agencements sociaux et légaux, comme les garanties et recours qu’il permet ou ne permet pas.
-
12:12
Ouverture²
sur Dans les algorithmesL’Open Data Institute publie une série de recommandations pour des pratiques de données responsables pour le développement de l’IA. Au menu, améliorer la transparence des données d’entraînements (en adoptant les outils dédiés et qui existent déjà et en regardant comment les adapter aux non spécialistes), moderniser le régime de propriété intellectuelle (en évitant de rechercher une solution universelle – la musique n’est pas la recherche scientifique -; en créant des compensations financières à l’utilisation pour l’IA, en imaginant des couches de consentements et en se défiant d’une IA dépendant de licences qui la réserverait uniquement aux plus puissants acteurs) ; améliorer le respect des droits dans toute la chaîne logistique de l’IA (en élargissant l’accès aux données par ceux qui sont concernés et impliqués, notamment les travailleurs) ; élargir l’accès aux données (en renforçant les répertoires communs et en imaginant des solutions pour ouvrir l’accès aux données du secteur privé) ; permettre aux citoyens d’avoir leur mot à dire dans le partage et l’utilisation des données pour l’IA (notamment en renforçant le contrôle réglementaire par les citoyens).
-
7:30
Le grand décalage
sur Dans les algorithmesA l’occasion d’un rapport sur l’impact de l’IA générative sur le travail, les chercheurs de la Brookings Institution, estiment dans une tribune pour le Time que « les professions les plus susceptibles de connaître des perturbations dues à l’IA (à savoir les métiers de la connaissance et notamment les postes de bureau intermédiaire, comme les assistants et secrétaires) sont également les moins susceptibles d’employer des travailleurs appartenant à un syndicat ou disposant d’autres formes de voix et de représentation ». Les chercheurs parlent de « grand décalage », pour évoquer le fossé entre les menaces de l’IA et les possibilités de s’en prémunir, montrant que l’IA capacitante nécessite des organisations sociales fortes. Pourtant, les recherches montrent que les entreprises tirent de grands avantages de l’intégration des travailleurs et de leurs connaissances dans la conception et le déploiement de nouvelles technologies, par rapport à une mise en œuvre descendante. Or, à ce jour, ceux-ci ne sont pas impliqués dans les développements de l’IA. Les entreprises peinent à intégrer qu’elles ont un argument commercial puissant à faire valoir en intégrant l’engagement des travailleurs.
-
7:30
Technologies de genre, technologies de pouvoir
sur Dans les algorithmesAprès avoir signé un étonnant livre sur le bestiaire matériel, qui cherchait à montrer l’intelligence des matériaux qui nous entourent et que nous construisons (Parallel Minds, MIT Press, Urbanomic, 2022, non traduit, qui se prolonge d’une newsletter toujours riche), ou un manifeste de démonologie révolutionnaire, la chercheuse, artiste et journaliste italienne Laura Tripaldi consacre un court essai aux technologies de genre.
Gender Tech, ce que la technologie fait au corps des femmes (Lux, 2024) est une réflexion particulièrement tonique sur le rôle de la technologie dans la connaissance. Depuis un point de vue radicalement féministe, Tripaldi questionne la fonction des outils technoscientifiques. Pour elle, ils ne sont pas des transmetteurs passifs, neutres, objectifs ou impartiaux, mais au contraire, ils participent à transformer et à construire la réalité qu’ils décrivent. Du spéculum gynécologique à la contraception hormonale, du test de grossesse à l’échographie, les outils dictent leurs vérités et exercent par là-même un contrôle et une domination sur les corps qu’ils révèlent. Leur contribution à l’émancipation des femmes est très ambivalente, rappelle la chercheuse. Le regard qu’ils projettent à l’intérieur des corps et la façon dont ces technologies transportent et traduisent l’expérience intime vers la sphère publique du savoir scientifique a d’abord des impacts politiques et normatifs. La technologie matérialise le genre, le construit, et avec lui construit des statuts identitaires comme sociaux.
Avec l’exemple de la pilule et de ses effets secondaires, Tripaldi rappelle le caractère inévitable et totalitaire de la technologie qui minimise toujours ses effets et infantilise ses utilisatrices. La pilule n’a pas été qu’une technologie contraceptive de maîtrise de la fertilité, elle a aussi été un dispositif de régulation sociale et biologique des femmes. « Je ne peux m’empêcher de penser que la recherche d’une solution pharmacologique au « problème » de la féminité est peut-être une façon détournée de légitimer les structures sociales et politiques oppressives qui font qu’il est si difficile d’habiter le monde dans un corps de femme ». Une pilule n’est pas qu’un principe actif, souligne-t-elle : c’est aussi et d’abord un « dispositif imprégné de discours politiques et de significations culturelles ». La technologie est à la fois émancipatrice et oppressive, notamment quand son action va au-delà de sa promesse, comme c’est souvent le cas, notamment en agissant sur la nature même du corps, des émotions, de la personnalité, comme le fait la pilule. Celle-ci ne régule pas seulement la fertilité, elle a des conséquences médicales, psychologiques et politiques sur celles auxquelles elle est prescrite. Tripaldi dissèque longuement les lourds effets de la pilule, administrée longtemps sans grande conscience de ses effets qui n’ont de secondaires que le nom. « La valeur d’une technologie ne peut jamais être dissociée de la position, hégémonique ou subalterne, des corps sur lesquels elle agit ».
« Avant de produire un savoir, la science produit des regards »Le progrès technique est longtemps resté une promesse d’émancipation jusqu’à ce qu’on se rende compte que ce n’était pas nécessairement aussi évident, au contraire même. Le progrès social a bien plus tenu de réactions et de luttes contre le progrès technique le plus déshumanisant qu’il n’a été sa continuité naturelle. En revenant à la source, Tripaldi montre que l’inventeur de la pilule, l’endocrinologue Gregory Pincus n’avait pas beaucoup de scrupules éthiques. Son collègue, le gynécologue John Rock, catholique convaincu, voyait dans le dispositif un moyen pour discipliner les corps. Les effets psychologiques de la pilule sont pourtant démontrés dès les premiers tests réalisés sans le consentement des patientes, et dès les années 60, les risques de thrombose et de cancers sont documentés. « Dans l’histoire de la médecine, la pilule est le premier médicament conçu pour être administré de façon régulière à des personnes en parfaite santé ». Et les risques liés à sa prise sont longtemps minimisés sous les controverses scientifiques et du fait de l’absence d’autres technologies de contraception, notamment les technologies de contraceptions masculines, qui sont restées bien peu investiguées. Pour Tripaldi, ces conséquences montrent qu’on ne peut s’émanciper en utilisant ces technologies. Comme le disait Audrey Lorde, « les outils du maître ne détruiront jamais la maison du maître ». Les hormones elles-mêmes sont des « objets-frontières » qui « évoluent sur l’interface entre biologie et société », à la manière dont les principes actifs de la pilule agissent sur la sexualité, le rapport aux autres, les émotions, l’identité même de celles qui y ont recours. La corrélation entre la prise de la pilule et la dépression par exemple, soulignent que ce que la pilule produit va bien au-delà de ce sur quoi elle est censée agir, puisqu’elle bouleverse jusqu’à l’identité même de celles qui la prennent. Comme le dit le philosophe Paul B. Preciado, derrière les flux technologiques hormonaux, ce que l’on s’injecte, c’est « une chaîne de signifiants politiques ». Pour Tripaldi, les technologies produisent des discours, construisent des vérités, assemblent de nouvelles formes de nature. Depuis la généalogie problématique de la pilule, nous avons bien à faire à un dispositif de contrôle politique, qui, « derrière le masque de l’émancipation, n’a fait qu’intensifier et renforcer la discipline ».
« Avant de produire un savoir, la science produit des regards ». L’objectivité est toujours circonstanciée, conditionnelle, rappelle Laura Tripaldi. Pour elle, nous devons « redéfinir les conditions dans lesquelles l’objectivité prend forme », en interrogeant plus avant le rôle central des interfaces technologiques dans la construction même de la science.
En observant comment a été construit le test de grossesse, Tripaldi interroge le rôle actif de médiation de la technologie dans la construction du savoir. Les technologies, parce qu’elles sont les espaces mêmes où se construisent l’objectivité du savoir, sont à la fois des dispositifs de contrôle et des territoires de luttes. Et c’est le contrôle des moyens de production du savoir qui permettent à celui-ci de reproduire sa domination. Même constat pour le développement de l’échographie, qui produit la représentation du corps du foetus séparé de celui de la femme qui le produit. Pour Tripaldi, les technologies orientent nos regards, le construisent, construisent nos représentations. Les célèbres images de fœtus du photographe suédois Lennart Nilsson ont participé à transformer le fœtus en sujet politique, vivant, alors que ces célèbres images sont celles de cadavres, dissociés de leur contexte matériel, à savoir le corps de leur mère sans lequel ils ne peuvent vivre. L’échographie a donné naissance à la politisation du fœtus, privant les femmes de leur autonomie, rendant leurs corps, à elles, invisibles. En permettant de documenter un espace inconnu, l’échographie a permis de nouvelles dominations : d’abord et avant tout l’extension d’un regard et d’un jugement moral conservateur sur le corps des femmes. D’outils pour réduire le risque, l’échographie est devenu un moyen pour élargir le contrôle sur tous les aspects de la vie quotidienne de la femme enceinte. En devenant symbole, le fœtus est devenu bien plus politique que médical. « La représentation technologique d’un corps n’est jamais un processus neutre ».
Interroger la façon dont nous construisons les instruments qui vont produire la réalitéLe « masque de l’objectivité scientifique occulte le récit idéologique ». La réalité est toujours subjective et dépendante de l’observateur et de la manière dont le regard est dirigé sur ce et ceux qu’il observe. Le risque, estime Tripaldi, c’est que l’oppression politique ne s’impose pas seulement au niveau de la morale, mais la déborde, pour s’inscrire désormais au niveau de la réalité, ou plutôt au niveau dont on représente la réalité, c’est-à-dire au niveau dont sont construits nos instruments.
Cette compréhension nouvelle nous invite donc à interroger la façon même dont nous construisons les instruments qui produisent la réalité. A l’heure des données et des calculs par exemple, on voit bien qu’elles produisent des réalités très imparfaites, mais qui sont acceptées comme telles d’abord par ceux qui les produisent et ce d’autant qu’elles leur profitent, et qu’elles s’imposent aux autres, quelles que soient leurs limites ou défaillances.
Pour défaire ces récits, il faut les montrer tels qu’ils sont, c’est-à-dire des récits, explique Tripaldi. Des idéologies recouvertes de sciences. C’est très justement ce qu’explique le féminisme des données, en nous invitant à nous défaire des artefacts que nous construisons pour produire la science elle-même. C’est tout l’enjeu du discours anticolonial, qui montre également la relation profonde entre science et domination. Plus encore que des savoirs, la science sert à construire des regards, des représentations, des discours, qu’il faut savoir raconter, expliquer, situer.
Comme le fait Jeanne Guien dans son livre, Une histoire des produits menstruels (Divergences, 2023), Tripaldi termine le sien en montrant toutes les limites des applications de suivi du cycle menstruel. Pour Tripaldi, le corps devient une composante de la technologie, un périphérique, permettant de renforcer les règles normatives et politiques. C’est la technologie qui a recours à la biologie pour fonctionner, c’est elle qui nous envahit. Pour la chercheuse, nous devrions pourtant trouver des espaces pour échapper à la technologie et à la science, des moyens pour échapper à l’extension du contrôle, pour nous protéger du regard tout puissant de la tech. La science et la technologie sont d’abord des outils de puissance au service du contrôle, rappelle-t-elle, très concrètement. A mesure qu’ils s’étendent et nous gouvernent, le risque est qu’ils nous laissent sans leviers pour y résister. Les technologies ne peuvent être des vecteurs d’émancipations seulement si elles sont conçues comme des espaces ouverts et partagés, permettant de se composer et de se recomposer, plutôt que d’être assignés et normalisés. Les technologies devraient nous permettre de devenir ambigus plutôt que d’être parfaitement univoques. Elles devraient nous permettre de fuir le regard moral qui les constitue sous prétexte de science… comme d’échapper aux données qui tentent de nous définir, sans jamais y parvenir vraiment.
Couverture du livre de Laura Tripaldi, Gender Tech. -
7:30
Glaçant : une démocratie qui n’aurait plus besoin d’humains
sur Dans les algorithmesFaire discuter les machines à notre place pour trouver des terrains d’accords en évacuant les opinions personnelles pour atténuer la conflictualité. Tel est le projet glaçant de chercheurs de Google… Améliorer le contrôle social plutôt que favoriser l’action collective. Rob Horning.
-
13:30
La matérialité de l’IA est une bombe
sur Dans les algorithmes« L’IA, c’est traiter des quantités inouïes de données avec des quantités inouïes d’énergies et de matières. Mais quel type de société peut se permettre des superpuissances de calcul de cette taille ? » Celia Izoard
-
11:12
La modération de contenu est un travail traumatisant
sur Dans les algorithmesFascia Berhane Gebrekidan dans un rapport pour Data Workers Inquiry constate les effets dévastateurs de la modération de contenus sur la santé mentale des personnels qui en ont la charge, alors qu’ils sont employés selon des contrats qui ne leur permettent d’accéder à aucun soin adaptés. Les entreprises de la Tech font accomplir leur travail de modération psychologique sans en assumer les conséquences.
-
7:30
Acculés dans les stéréotypes
sur Dans les algorithmesLes émulations d’images produites par l’IA sont en passe de ne plus pouvoir être distinguées de celles prises depuis un appareil photo – d’autant que ceux-ci permettent également de tronquer la réalité qu’ils sont sensés saisir –, explique le photographe et historien de l’art Julian Stallabrass dans un saisissant article pour la New Left Review.
Des images pour produire le monde tel qu’il devrait êtreDans le domaine culturel, le capitalisme encourage depuis longtemps un fort conformisme, allant de formats standards à des représentations avec des variations mineures. Nous sommes cernés par une uniformité de contenus et de tons, une « faible entropie », une forme de grande « prévisibilité culturelle », qui consacre le cliché, le stéréotype, la narration sur la réalité. Les photographies numériques que nous prenons sont déjà très largement régies par des processus intégrant de l’IA. L’image ressemble de plus en plus à une fusion d’images et d’effets. Le théoricien des médias, Lev Manovich parlait très justement d’une « manipulation des surfaces » qui ressemble aux portraits de l’ère soviétique, mi-photographies mi-peintures, comme un effet de débruitage réalisés par les algorithmes pour adapter les images, la netteté, les couleurs… mais également les motifs et le sens. Dans les « améliorations » des images que produit l’IA, il n’y a pas que la forme qui est altérée, le fond aussi. Dans les innombrables couches de traitements des réseaux neuronaux, l’adaptation de la luminosité ou des couleurs ne se distingue pas des représentations, du sens ou des signifiants. « Puisqu’ils sont entraînés à prédire ce qui est probable dans une vaste base de données d’images photographiques, les IA sont en effet des machines anti-entropiques, supprimant le « bruit » ou la complexité du matériel source, lissant les surfaces et cultivant le cliché. Les images qui en résultent ressemblent à ce que la plupart des gens pensent que la photographie devrait être. » A ce que le monde devrait être.
Quand on passe une image dans les assistants d’IA, il les corrigent, les nettoient, les rendent plus « à la mode »… Mais pas seulement : par nature, l’IA ajoute du sens, issu de la moyennisation de toutes les représentations qu’elle intègre. De même, quand on demande à une IA de produire une image dans le style d’un photographe, elle parvient à produire une forme d’archétype, une forme de moyennisation du style comme de la représentation, dans des arrangements souvent prévisibles.
Dans un livre consacré à l’esthétique artificielle qu’il signe avec Manovich, le philosophe Emanuele Arielli parle très justement de « maniérisme informatique » pour évoquer les effets très conventionnels, exagérés et étrangement similaires de ces productions. Pour Julian Stallabrass, ces outils produisent des formes de clichés, de déjà-vu, neutralisés, « dépolitisés »… comme s’ils parvenaient à capturer nos préjugés et représentations, tout en les neutralisant imparfaitement, en les rendant partout très semblables. Un peu comme si nous étions coincés quelque part entre le réel et la fiction.
Images : En haut, Stallabrass convoque l’étrange déréalité produite par les productions de dall-e en convoquant un SDF, d’un homme d’affaires et d’un amateur de livres assis sur un banc. En bas, l’image d’un Mexicain dans Midjourney est forcément un homme avec sombrero, explique le magazine Rest of the World qui montre comment l’IA réduit nos représentations culturelles à des stéréotypes. Stéréotypes partoutEn psychologie, le déjà-vu correspond à l’impression de se souvenir d’un événement tout en pensant que ce souvenir est peut-être une illusion. Dans le domaine culturel, il évoque l’idée de mèmes avec des variations mineures… comme une forme de défaillance de la mémoire source. Ce n’est pas un hasard d’ailleurs si le déjà-vu culturel est né avec la reproduction mécanique des médias de masse. « Le sentiment de familiarité n’est pas une illusion – on l’a probablement déjà vu, peut-être plus d’une fois. Malgré tout, l’incapacité à situer le souvenir peut être dérangeante, produisant cette étrange familiarité qui est la qualité déterminante de l’étrange. » Pour le philosophe Paolo Virno, le déjà-vu est lié au cynisme, notamment à ceux qui, comme les habitués des médias sociaux, sont à la fois acteurs et spectateurs d’un état de déjà-vu collectif.
« Les images générées par le débruitage de l’IA, en particulier lorsqu’elles imitent la photographie, produisent trois types d’effets étranges : il y a l’impression de déjà-vu, ou de familiarité excessive, combinée au sentiment de douceur excessive ou de propreté excessive qui accompagne la réduction de l’entropie ; il y a des juxtapositions socialement bizarres, comme avec les nazis racialement divers de Google ; et enfin, il y a des problèmes flagrants, particulièrement marqués dans le rendu des visages et des mains. » À propos de ces problèmes, Manovich a suggéré que ce que l’on appelle IA à un moment donné est simplement une technologie inconnue. Une fois qu’elle s’installe dans une utilisation régulière et fiable, ce que l’on appelait autrefois IA sort de cette catégorie. L’un de ses exemples est l’outil de sélection automatique de Photoshop, la baguette magique, qui permet de sélectionner ou détourer des éléments le plus simplement du monde. La génération d’images par IA est actuellement nouvelle, étrange, en évolution et souvent défectueuse dans son fonctionnement anti-entropique et antibruit. Malgré tout, la trajectoire générale de l’élimination de l’entropie, et avec elle de la non-conformité culturelle, est claire.
Pour l’IA, la photographie ne semble qu’un ensemble de paramètres de « styles » obtenus par un entraînement statistique depuis des bases de données colossales d’images que les appareils photo produisent. Dans la gestion par une IA de champs statistiques aussi vastes, il n’existe pas de séparation nette entre les médias, le style et le contenu, explique encore Manovich. Le philosophe Willem Flusser, lui, était très préoccupé par ce qu’il considérait comme une tendance à l’augmentation de l’entropie dans la culture numérique, bien qu’il utilisait le terme dans le sens physique, pour exprimer sa profonde crainte de l’affaiblissement de la complexité dans une forme de mort thermique culturelle. Le danger, pensait-il, était que les entités commerciales, aidées par l’IA, réduisent la complexité des messages culturels, de sorte que « les images montreront toujours la même chose, et les gens verront toujours la même chose », et qu’un « ennui éternel et sans fin se répandra dans la société ». Pour lui, il faudrait qu’on évalue les images pour éliminer celles qui ne répondent pas à une norme de complexité minimale. C’est peut-être là où nous sommes rendus finalement : écartelés entre une culture de plus en plus normative et normalisée et ceux qui désespèrent de s’en échapper. Et il est intéressant que cette saturation des représentations se fasse au même moment où toutes les représentations dans lesquelles nous baignons sont profondément interrogées, questionnées politiquement… que ce soit à travers les enjeux de genre ou de racisme.
Avec l’IA, toutes les modifications sont activablesNous nous dissolvons dans des archétypes, une moyennisation généralisée. Mais une moyennisation qui n’est pas sans effets concrets, comme l’expliquait dans un tweet la designer Elizabeth Laraki montrant que dans une image retouchée par l’IA pour que la taille de l’image soit plus adaptée aux spécificités requises, l’IA n’avait pas retouché l’image d’une manière neutre, mais élargi l’échancrure de son décolleté. Avec l’utilisation de l’IA, toutes les couches possibles de modifications sont activées.
Image : en modifiant la taille de l’image, il n’y a pas que la taille qui a été modifiée…Aux effets statistiques sont ancrés des représentations que l’IA comme nous-mêmes prenons pour les choses elles-mêmes. Emile Durkheim parlait de « prénotions » pour parler de ces représentations schématiques et sommaires qui « défigurent le véritable aspect des choses et que nous prenons pourtant pour les choses elles-mêmes », rappelle le sociologue Denis Colombi dans son dernier livre. Ces représentations encombrant nos façons de penser, nous empêchent de percevoir le monde tel qu’il est. Bourdieu en appelait même à se détacher de ces prénotions, à nous éloigner des discours et des habitudes de pensées, à changer de regard, à nous doter de « nouveaux yeux ». Pour cela, encore nous faudrait-il pouvoir représenter le monde autrement. Mais nous n’avons pas de nouveaux yeux, nous avons désormais la somme de tous les yeux. C’est donc tout l’inverse que produisent ces images répétées à l’infini, saturées de signifiants et de significations. Dans La trahison des images, célèbre tableau de Magritte, le peintre nous invitait à nous rappeler que les représentations ne sont que des représentations. Dans la gestion par l’IA de nos représentations, il n’y a plus d’échappatoire ou d’innocence. Tout est sens. Modifier la taille de l’image, c’est accepter la modification de tous les autres éléments de sens. Le moindre détail est politique, car il est désormais la moyenne de tout le sens que nous y avons mis. Comme le disait pertinemment le spécialiste des images André Gunthert, les images générées par l’IA sont dans les clous des pratiques, elles les renforcent plus qu’elles les dénaturent ou les transforment. Dans une forme de saturation des sens. Comme si l’IA parvenait à exacerber le sens tout en l’atrophiant. Notre hypersensibilisation aux représentations risque surtout de devenir encore plus extrême à mesure que ces images se déploient. Le problème n’est pas tant la falsification du réel que ces images promettent, mais l’hypertrophie du sens qu’elles produisent. Le réel doit correspondre à sa fiction et la fiction au réel.
Dans l’excellent documentaire sur IA et cinéma de Mario Sixtus disponible sur Arte, on peut voir nombre de productions d’IA vidéo, toutes assez étranges, puissamment hallucinantes (comme celle de NiceAunties, les déstabilisant Heidi de Patrick Karpiczenko ou Alice de Justin Hackney…), mais qui derrière leurs déformations grotesques et étranges, semblent se jouer des signifiants que nous mettons dans nos images. C’est un peu comme si les clichés que les IA produisent amplifiaient surtout les nôtres, les déformant pour mieux les révéler. « L’IA est comme un outil qui permet d’explorer le subconscient de l’humanité », y explique l’artiste IA Melody Bossan. C’est un peu comme si l’IA nous plongeait dans la profondeur de nos raccourcis culturels pour mieux les révéler. Le risque, c’est qu’ils les exacerbent plus qu’ils nous permettent d’y remédier. A l’heure où nous voudrions justement les combattre, il semble paradoxal qu’émerge une machine à amplifier nos stéréotypes… A moins qu’elle ne nous serve à mieux les voir, partout où ils se glissent. -
11:15
Vers des systèmes qui connaissent le salaire que vous être prêts à accepter
sur Dans les algorithmesAvec des systèmes de calcul basés sur l’IA, il est probable que votre salaire ne soit plus assuré ! Il y a 9 ans, un chauffeur Uber pouvait gagner 60 à 85 dollars pour une course dans la banlieue de Los Angeles, quand la même course aujourd’hui ne lui rapporte que 25 à 35 dollars, explique Slate. Depuis 2022, Uber et Lyft ont renforcé leurs algorithmes pour intégrer des données individualisées pour déterminer le montant de chaque course, ce qui expliquerait l’amplification des variations de paiements entre les conducteurs, rapporte le média vidéo de défense des travailleurs More Perfect Union. Les algorithmes semblent apprendre les montants les plus bas qu’acceptent les chauffeurs pour les transformer en normes individuelles. Le prix des courses n’est plus seulement déterminé par la tension entre l’offre et la demande ou la localisation, mais de plus en plus par le comportement individuel des chauffeurs et livreurs. Le risque, c’est que « le système ne s’arrête pas aux travailleurs indépendants. Les experts affirment que la discrimination salariale algorithmique et la rémunération influencée par l’IA de manière plus générale s’infiltrent dans un nombre croissant de domaines, tels que les soins de santé, la logistique et la technologie, et pourraient bouleverser le travail tel que nous le connaissons ». Grâce aux données, les systèmes peuvent calculer la rémunération la plus basse possible que les travailleurs de chaque secteur toléreront et suggérer des incitations pour contrôler leur comportement. Les systèmes de calculs peuvent optimiser les rémunérations variables pour les réduire, mais également utiliser des données comportementales pour les ajuster plus encore, tout comme on le constate dans la tarification dynamique.
D’autres travailleurs indépendants sont soumis à cette personalisation, estime la chercheuse Veena Dubal qui parle de discrimination salariale algorithmique. Les lieux de travail adoptent de plus en plus de logiciels de gestion basés sur l’IA, qui pourraient influencer indirectement les salaires en attribuant des projets et des équipes en fonction des données des employés, explique le chercheur Antonio Aloisi, co-auteur du livre Your boss is an algorithm. Plusieurs entreprises – comme Praisidio, HRBRain, Beqom ou HR Soft – proposent déjà des solutions pour évaluer les salaires, les avantages sociaux et les primes afin de les optimiser. La surveillance de la productivité des employés en temps réel se déploie, constatait déjà en 2022 le New York Times. Elle se complexifie d’outils de planning automatisés, d’outils de suivis du personnels… dans les secteurs de la santé, de la vente au détail, de l’hôtellerie… qui produisent une hyperpersonnalisation du traitement des travailleurs.Le risque, c’est que les algorithmes décident de qui obtiendra le travail le mieux rémunéré, les meilleurs horaires, voir des horaires pleins. Le modèle dystopique du travail à la tâche à la Uber est en train de pénétrer l’économie du travail conventionnelle, estime Aloisi. Le salaire algorithmique personnalisé pourrait devenir la norme, explique la chercheuse Zephyr Teachout.
Le risque, c’est que ces calculs invisibilisent les discriminations salariales pourtant interdites, notamment en utilisant des données qui serviront de variables de substitutions aux discriminations, par exemple en favorisant les employés qui disposent de peu d’épargne pour plus mal les payer.
La résistance à ces nouvelles méthodes risque d’être compliquée. Au Japon, les avocats d’un syndicat ont obtenu que la direction d’IBM documente les données utilisées par son système d’IA pour évaluer les employés. Le système devra également expliquer sa pertinence par rapport aux règles salariales et, pour les travailleurs ayant de faibles notes, devra expliquer les raisons de ces notations aux salariés.
-
10:15
Contestations automatisées
sur Dans les algorithmesAux Etats-Unis, il est courant que les assurances maladies refusent les demandes d’indemnisation de leurs clients. Les clients ont certes le droit de faire appel, mais les procédures sont compliquées ce qui fait qu’ils sont très peu nombreux à remplir une demande. Fight Health Assurance propose un outil d’IA générative pour aider les clients à faire appel depuis la lettre de refus et certaines de leurs données médicales, explique Fast Company. L’outil aide les patients à surmonter le premier obstacle : ne pas savoir par où commencer. Rien n’assure que les recours soient efficaces, prévient le développeur. Mais, « à l’heure actuelle, lorsque la compagnie d’assurance maladie refuse quelque chose, la plupart du temps, elle n’a rien à payer, donc c’est une victoire pour elle. Mais je pense que si la plupart du temps, lorsqu’elle fait un refus, elle doit payer et traiter également des documents supplémentaires, elle ne refuserait peut-être pas autant de choses. »
Pas sûr que tous les services clients soient prêts !
-
7:30
IA Lock-in
sur Dans les algorithmes« Mais pourquoi les Gafams veulent-ils intégrer l’IA générative partout, alors que les produits proposés jusqu’à présent, se sont révélés plutôt très décevants ? », questionne avec sa pertinence habituelle Ed Zitron. Pour comprendre cet enthousiasme pour ces technologies qui se révèlent souvent médiocres, il faut comprendre comment les entreprises de la tech gagnent de l’argent. Le modèle économique de nombreuses entreprises technologiques repose sur celui du logiciel en tant que service (SaaS, software as a service), où l’on vous facture un montant mensuel par utilisateur « pour un logiciel que vous ne possédez pas et ne contrôlez pas ». Si la proposition a plein d’avantages pour les entreprises qui y ont recours, cela conduit à une forme d’externalisation où les fonctionnalités de votre entreprise sont accomplies par d’autres, avec le risque d’un lock-in problématique, c’est-à-dire d’un verrouillage du client, un « enfermement propriétaire » qui rend le client totalement dépendant de la solution qu’il achète. Et Zitron de comparer le SaaS a un parasite qui devient d’autant plus puissant que votre entreprise grandit et qui finit par limiter votre capacité d’innovation à celle du fournisseur auquel vous êtes lié.
Outre l’infrastructure de calcul et de logiciels, les entreprises de la tech vendent d’innombrables services liés pour permettre aux entreprises de faire tourner leurs services. « Plus vous dépensez d’argent, plus il devient coûteux de partir, et ce coût devient d’autant plus lourd que votre organisation devient grande ». Quant aux cris d’exaspération et les récriminations à l’encontre de ces gammes logicielles, elles sont d’autant plus ignorées qu’elles proviennent de « personnes totalement différentes de celles qui prennent les décisions d’achats ». La seule force de ces solutions médiocres c’est d’être très utilisées et de faciliter une « conformité » qui rend la concurrence quasiment impossible pour les petites entreprises du logiciel d’autant que l’interopérabilité reste la grande absente de toutes ces solutions. Ce fonctionnement explique que les logiciels d’entreprises soient « si nuls » et pourquoi le modèle d’abonnement s’est imposé pour assurer des revenus récurrents.
Le problème estime Zitron, c’est que ce modèle pousse les entreprises qui fournissent des services à toujours en proposer de nouveaux. L’autre problème, c’est qu’elle crée des entreprises captives et favorise la concentration des activités des fournisseurs. On peut comprendre qu’une petite entreprise externalise ses besoins, mais il devient plus difficile de tout externaliser à mesure qu’elle grandit, surtout si cette externalisation passe par d’innombrables prestataires logiciels. La tendance à la concentration autour d’un seul prestataire logiciel grandit avec les clients et pousse les entreprises qui fournissent des services à proposer une gamme de plus en plus étendue de services (d’outils de visioconférence aux logiciels de paye…).
« C’est le fondement de l’ensemble de l’industrie technologique et d’une grande partie de la valorisation des entreprises technologiques : des milliers de milliards de dollars de capitalisation boursière sont soutenus par le modèle économique qui consiste à externaliser votre infrastructure et vos logiciels et à les facturer mensuellement, et à inventer de nouvelles façons de vous faire « investir dans votre infrastructure » en acceptant de les payer un peu plus chaque mois. »
Le problème, estime Zitron, c’est que cette industrie du service logiciel n’a plus d’idée pour assurer sa croissance autre que de faire croître le parasite. En fait, ce revenu annuel récurrent ne progresse plus (enfin, il progresse encore de plus de 20% par an, mais c’est la moitié de son niveau de progression d’il y a 5 ans). Non seulement les revenus baissent, mais la satisfaction des clients baisse également alors que le coût d’acquisition de nouveaux clients est plus élevé. Récemment une étude a montré que le nombre d’applications SaaS par entreprise, pour la première fois, a baissé (passant de 130 applications par entreprise en moyenne à 112). « Il se pourrait bien qu’il ne reste plus grand chose à vendre ! », ironise Zitron.
Dans ce paysage en berne, l’IA est une nouvelle promesse à vendre aux clients qui permet de renouveler le fond de services proposés. Tous les acteurs du SaaS ont donc produit des « gadgets IA ». « Il n’est pas évident de savoir ce que font ces produits alimentés par l’IA, et quand vous vous en rendez compte, ils ne semblent pas faire grand-chose », tance, cinglant, Zitron. « Presque toutes ces entreprises affirment que ces systèmes « réduisent la pénibilité » ou « améliorent la productivité », sans fournir d’explication réelle sur la manière dont cela pourrait se produire. » Pour l’instant, certains proposent de l’offrir gratuitement contre le renouvellement de leurs contrats premiums, d’autres la font payer assez cher, bien qu’il leur en coûte parfois plus cher encore, comme c’est le cas de Microsoft. Et Zitron d’évaluer par exemple que très peu des clients de Microsoft 365 semblent avoir opté pour l’option IA. Que le Github copilot de Microsoft semble coûter plus cher à l’entreprise que ce qu’il rapporte (alors qu’il est l’un des produits d’IA parmi les plus populaires et presque utile, bien qu’il semble générer beaucoup de bugs). En février, Microsoft annonçait 1,3 millions de comptes payants à Github copilot et 1,8 millions en septembre… La progression ralentit déjà !
L’IA générative semble le remède miracle pour facturer aux clients « ce qu’ils devraient déjà avoir ». « Au lieu de trouver un moyen d’organiser et de hiérarchiser intelligemment les messages, vous pouvez payer Slack (propriété de Salesforce) 10 $ de plus par utilisateur et par mois pour des résumés de fils de discussion et de canaux alimentés par l’IA ».
Le problème du boom de l’IA en service, « c’est qu’on ne sait pas si ces logiciels seront utiles, si nous avons vraiment besoin que nos e-mails soient résumés ou si les utilisateurs veulent vraiment un chatbot pour répondre à leurs questions ». Pour Zitron, l’IA générative pour l’instant ne se vend pas et elle coûte plus d’argent qu’elle ne rapporte lorsqu’elle se vend. « Dans tous les cas, le problème le plus évident de tous est qu’il ne semble pas y avoir beaucoup de croissance des revenus attribuables à ces outils, ce qui signifie qu’ils doivent soit devenir moins chers (ce qui rendrait leurs coûts intenables), soit meilleurs, ce qui obligerait ces entreprises à trouver un moyen de les rendre plus utiles, ce qu’aucune d’entre elles ne semble être en mesure de faire, et qui est probablement impossible ».
-
7:30
Uber : le grand contournement continue
sur Dans les algorithmesA New-York, la loi oblige les VTC a rémunérer les temps d’attente des chauffeurs. Uber et Lyft ont déjà trouvé la parade : ils déconnectent les chauffeurs dès qu’ils ont fini une course, effaçant ainsi leurs attentes des données enregistrées. Dans une enquête, Bloomberg montre que les blocages n’ont pas lieu seulement lors des périodes de faibles demandes, mais tout le temps, même lors des tensions. Un nouvel exemple (après l’augmentation des tarifs pour les livreurs en France qui a conduit à les réduire) qui montre que la caractéristique principale de l’ubérisation est le contournement de la règle.
-
7:30
Quand la productivité est sous stéroïdes, les problèmes le sont aussi
sur Dans les algorithmesQuels sont les impacts réels de l’IA sur la productivité des programmeurs ? Selon une étude randomisée auprès d’environ 5000 codeurs des grandes entreprises américaines, les développeurs qui utilisent Github Copilot terminent 26% de tâches de plus que les développeurs qui ne l’utilisent pas. Mais terminer les tâches ne fait pas tout ! La génération de code sous IA est loin d’être parfaite (le code sans bugs, selon les outils d’IA, varie passablement, entre 60 et 30%) et nécessite de fastidieuses révisions qui semblent pour l’instant peu adaptées à la vitesse d’adoption de l’IA, explique TechRepublic. D’autant que les programmeurs semblent être plus laxistes dans la révision du code produit par les IA qu’ils ne le sont pour le leur.
MAJ du 17/10/2014 : une étude montre que l’activité sur Stack Overflow, le grand forum pour développeur, a baissé de 25% dans les 6 mois suivant la sortie de ChatGPT. -
7:35
« J’ai postulé à 2483 postes en 3 mois »
sur Dans les algorithmesVous vous souvenez ? En conclusion de notre dossier sur le recrutement automatisé, on évoquait la possibilité prochaine qu’à l’automatisation des recrutements répondent l’automatisation des candidatures. Eh bien nous y sommes, explique 404media en évoquant AIHawk, un assistant de recherche d’emploi déposé sur Github, qui permet de postuler à des emplois sur Linked-in à grande échelle. Il permet de générer des lettres de motivation et CV basés sur une série de détails biographiques que l’utilisateur encode et que le logiciel modifie en fonction de la description de poste et d’autres informations que l’entreprise a mise sur Linked-in. Le programme semble être devenu populaire et des clones sont déjà disponible (une application dédiée se prépare : « Job Magic : candidatez pendant que vous dormez »).
Dans la communauté Telegram d’AIHawk, des candidats expliquent avoir déjà obtenus des entretiens d’embauches aux dizaines ou centaines de candidatures que le logiciel a envoyé en leur nom ! Nous sommes entrés dans la boucle de l’étrange où « des gens utilisent des CV et des lettres de motivation générés par l’IA pour postuler automatiquement à des emplois examinés par des logiciels d’IA automatisés ». Le développeur italien d’AIHawk, Federico Elia, a déclaré que son projet était né pour « rééquilibrer l’utilisation de l’intelligence artificielle dans le processus de recrutement ». On ne saurait être plus en accord.
Linked-in a déjà réagit en informant que les outils automatisés ne sont pas autorisés sur la plateforme… enfin, pour les candidats ! On espère que le régulateur va vite réagir… pour rappeler qu’il n’y aucune raison que l’automatisation soit réservée aux employeurs !
-
7:30
Les 700 risques de l’IA
sur Dans les algorithmes -
7:30
Arbitraire managérial : une lutte à géométrie variable
sur Dans les algorithmesAmazon a récemment décidé que tous ses employés devaient revenir au bureau. Elle n’est pas la seule. Derrière ce symbole de l’arbitraire managérial, aucune loi n’exige qu’Amazon fournisse la preuve que le travail à distance nuit à sa productivité. Le législateur est bien timide, défendent les chercheurs Nicola Contouris et Valerio De Stafano, alors qu’il a bien souvent accompagné l’encadrement du télétravail. Le législateur ne remet en cause l’arbitraire managérial que dans les cas de harcèlement, de licenciement déguisé ou de faute grave de la direction, comme si le caractère raisonnable de toutes les autres politiques sur les lieux de travail n’avaient pas à être discutées – et ce alors que mettre fin unilatéralement au télétravail demeure bien souvent un moyen de contourner les obligations légales qui incombent aux entreprises, comme ici, en provoquant des démissions pour s’éviter des licenciements.
L’acteur public devrait avoir à redire des décisions capricieuses des entreprises… Mais à force de les considérer comme des décisions uniquement contractuelles et privées, le législateur oublie qu’il sait aussi parfaitement leur imposer des normes publiques, par exemple la proportionnalité. Si l’acteur public voit des avantages sociétaux au travail à distance (meilleur équilibre vie professionnelle et vie privée, réduction des coûts environnementaux…), pourquoi alors ne l’impose-t-il pas plus fortement ? « Lorsque l’action collective est insuffisante ou que les représentants des travailleurs ne sont pas présents, comme c’est le cas dans un nombre croissant de lieux de travail, les législateurs et les tribunaux doivent faire leur part, en évitant de se cacher derrière le vernis de nature privée qui recouvre l’autorité de l’employeur et en limitant les décisions managériales à des normes plus strictes de raisonnabilité et de proportionnalité ».
-
7:30
Comprendre ce que l’IA sait faire et ce qu’elle ne peut pas faire
sur Dans les algorithmesQuand on parle d’Intelligence artificielle on mobilise un terme qui qualifie un ensemble de technologies vaguement reliées, expliquent les chercheurs Arvind Narayanan et Sayash Kapoor dans le livre qu’ils viennent de faire paraître, AI Snake Oil (Princeton University Press, 2024, non traduit).
Il y a peu de liens entre l’IA générative dont on entend tant parler et l’IA prédictive, certainement bien plus utilisée encore, mais où se concentrent les systèmes les plus défaillants qui soient. C’est là surtout que se concentre cette « huile de serpent » à laquelle font référence les deux chercheurs. Sous ce terme, qui qualifie des remèdes miraculeux mais inefficaces, comme tant de charlatans en vendaient dans tout l’Ouest américain, les deux chercheurs désignent une technologie qui ne fonctionne pas et ne peut pas fonctionner comme attendu, et qui ne fonctionnera probablement jamais. Toute la difficulté aujourd’hui, pour le grand public, consiste à être capable de distinguer l’IA qui ne fonctionne pas de celle qui fonctionne. C’est tout l’enjeu de leur livre.
IA générative vs. IA prédictiveL’IA est désormais devenue un produit de consommation grand public. Le problème, c’est que son utilisation abusive s’est également généralisée. Les deux ingénieurs restent pourtant très confiants. L’IA générative est un outil amusant et utile défendent-ils. Elle peut même être un outil d’apprentissage passionnant, expliquent-ils un peu légèrement. Certes, l’IA générative comporte des risques et peut avoir un coût social élevé. Mais ce n’est rien comparé à l’IA prédictive. Dans leur livre, les deux chercheurs accumulent les exemples pour montrer que dès que nous tentons d’utiliser l’IA pour des prédictions, notamment dans le domaine du social, elle produit des discriminations. De l’emploi à la santé, en passant par le crime… partout ces modèles restent englués dans leurs biais. Mais surtout, leurs résultats ne sont bien souvent pas meilleurs qu’un résultat aléatoire. C’est, il me semble, la grande force de leur démonstration et le point le plus original du livre. Pour les chercheurs, l’une des raisons d’une si faible performance tient beaucoup au fait que très souvent, la donnée n’est ni disponible ni décisive. Le problème c’est que l’IA prédictive est très attirante parce qu’elle promet des décisions plus efficaces… Mais l’efficacité est bien plus relative qu’annoncée et surtout bien moins responsable.
L’IA n’a pas vraiment de définition fixe. Les deux chercheurs s’en amusent d’ailleurs et remarquent que ce qu’on qualifie comme IA correspond souvent à ce qui n’a pas été fait. Dès qu’une application fonctionne avec fiabilité, on ne parle plus d’IA, comme c’est le cas avec les aspirateurs autonomes, l’autopilote des avions, les filtres à Spam, ou l’autocomplétion. Autant d’exemples qui nous montrent d’ailleurs des formes d’IA qu’on souhaiterait plus souvent. Ces exemples doivent nous rappeler qu’elle n’est pas toujours problématique, loin de là. L’IA sait résoudre des problèmes difficiles. Mais elle ne sait pas prédire les comportements sociaux des gens et la prédiction du social n’est pas un problème technologique soluble.
Il y a aussi certains domaines du social où l’IA peut-être très forte, très précise et très efficace, mais qui posent des problèmes de société majeurs. C’est le cas notamment de la reconnaissance faciale. Le taux d’erreur de la reconnaissance faciale est devenu minuscule (0,08% selon le Nist). Cela n’enlève rien au fait que ces erreurs soient très problématiques, notamment quand elles conduisent à des arrestations qui ne devraient pas avoir lieu. Mais dans le domaine de la reconnaissance faciale, le problème, désormais, n’est plus que la technologie soit défaillante. Ce sont les pratiques, les erreurs humaines, les échecs policiers et d’encadrement de son usage qui posent problèmes. « L’IA de reconnaissance faciale, si elle est utilisée correctement, a tendance à être précise car il y a peu d’incertitude ou d’ambiguïté dans la tâche à accomplir ». Identifier si une personne sur une photo correspond à une autre personne sur une autre photo est assez simple, pour autant que les systèmes aient suffisamment d’images pour s’y entraîner et de moyens pour trouver les éléments qui permettent de distinguer un visage d’un autre. Cela ne signifie pas que l’analyse faciale puisse tout faire, précisent les deux chercheurs : identifier le genre où l’émotion depuis un visage n’est pas possible, car ni l’un ni l’autre n’est inscrit dans l’image. Désormais, « le plus grand danger de la reconnaissance faciale vient du fait qu’elle fonctionne très bien ». Ce ne sont plus ses défaillances techniques qui posent un problème de société, comme c’est le cas des systèmes de prédiction de risques. C’est l’usage qui peut en être fait… comme de pouvoir identifier n’importe qui n’importe où et pour n’importe quelle raison. Attention cependant, préviennent les chercheurs : la reconnaissance faciale peut-être très performante quand elle est utilisée correctement, mais peut très facilement échouer en pratique, comme le montre l’identification depuis des images de mauvaise qualité qui a tendance à produire de nombreux faux positifs. Elle n’est donc ni parfaite ni magique. Et surtout, elle pose un enjeu de société qui nécessite de cadrer son usage, pour trouver les moyens afin qu’elle ne soit pas utilisée de manière inappropriée – et ce n’est pas si simple – et pour que la société se dote de garde-fous et de garanties pour prévenir des abus ou d’utilisations inappropriées.
Nombre d’usages de l’IA demeurent problématiques avertissent les chercheurs. Nombre de ses utilisations relèvent ni plus ni moins de l’imposture. L’IA échoue d’abord et très souvent dès qu’on l’utilise pour produire des prédictions, comme l’a montré Google Flu, l’outil pour prédire la grippe de Google qui se basait sur l’évolution des recherches de symptômes sur le moteur de recherche et dont la précision a fini par s’effondrer sous les requêtes. Non seulement la prédiction est difficile, mais bien souvent son efficacité s’effondre dans le temps.
Les deux chercheurs nous invitent à intégrer une sirène d’alerte aux projets d’IA. Dès qu’ils abordent le social, dès qu’ils souhaitent prédire quelque chose, dès qu’ils utilisent une variable pour une autre (comme de vouloir reconnaître le genre depuis des images de visages), nous devons être vigilants.
Couverture du livre AI Snake Oil d’Arvind Narayanan et Sayash Kapoor. Les défaillances de l’IA prédictiveMais il y a d’autres motifs d’inquiétudes auxquels prêter attention. Le battage médiatique autour de l’IA fait que bien souvent ses qualités sont exagérées. Les capacités de prédiction de nouveaux services ou outils sont très souvent survendues. L’une des erreurs les plus courantes consiste à annoncer un taux de réussite particulièrement élevé, alors que très souvent, l’outil est évalué sur les mêmes données que celles sur lesquelles il a été entraîné. C’est un peu comme réviser les questions qui seront posées à un examen avant l’examen. L’étude des résultats de recherche dans nombre de secteurs de la recherche en machine learning a montré partout des résultats problématiques. Ce n’est pas nécessairement intentionnel ou malveillant, excusent un peu facilement les deux ingénieurs, le machine learning est une discipline délicate et il est facile de s’embrouiller. En tout cas, la qualité s’effondre très souvent avec le battage médiatique. Ainsi, des centaines d’études ont proclamé pouvoir détecter le Covid depuis des radiographies des poumons : une revue systématique de plus de 400 articles de recherche a montré qu’AUCUNE n’était fiable. Tant et si bien qu’une équipe de chercheurs a mis au point une chek-list pour aider les développeurs et les chercheurs à minimiser les erreurs. Dans une étude sur l’usage de l’IA prédictive dans l’industrie et l’administration, Narayanan et Kapoor ont fait les mêmes constats et ont listé les principaux défauts de la prédiction :
- Un outil qui fait de bonnes prédictions ne signifie pas qu’il mènera à de bonnes décisions, notamment du fait de la rétroaction des décisions sur les prédictions (??par exemple un montant de caution plus élevé basé sur une prédiction de récidive peut augmenter le taux de récidive… et d’ailleurs, les peines sévères ont tendance à augmenter la récidive) ;
- Pour prédire, on fait souvent appel à une variable-cible qui ne correspond pas exactement à ce que l’on souhaite prédire, comme d’utiliser la moyenne générale d’un étudiant pour prédire sa réussite l’année suivante.
- Lorsque la distribution des données sur lesquelles un modèle est formé n’est pas représentative de la distribution sur laquelle il sera déployé, les performances du modèle seront problématiques.
- Il y a toujours des limites à la prédiction. Les résultats sociaux ne sont pas prévisibles avec précision, même avec l’apprentissage.
- Les différences de performances entre différents groupes sociaux ne peuvent pas toujours être corrigées.
- Bien souvent les systèmes manquent de possibilité pour en contester les résultats alors que cette contestabilité est un levier important pour se rendre compte de ses erreurs.
- La prédiction oublie souvent de prendre en compte le comportement stratégique qui risque de la rendre moins efficace dans le temps.
Au XIXe siècle, dans l’Ouest américain, d’innombrables colporteurs vendaient des médicaments miracles, inefficaces et inoffensifs, pour la plupart… mais pas tous. Certains de ces faux remèdes laisseront des morts derrière eux. En 1906, la Food and Drug Administration (FDA) est imaginée pour remédier au problème et rendre ces colporteurs responsables de leurs produits, comme l’explique le dernier rapport de l’AI Now Institute qui revient en détail sur la naissance de l’agence américaine et comment elle a changé le monde du médicament par la construction de mesures préalables à leur mise sur le marché – l’AI Now Institute invite d’ailleurs à s’inspirer de cette histoire pour rendre l’IA responsable en pointant qu’une « réglementation ex ante solide, adaptée à un marché en évolution et à ses produits, peut créer des avantages significatifs à la fois pour l’industrie et pour le public ».
Si l’AI Snake Oil est une IA qui ne marche pas et qui ne peut pas marcher, souvenons-nous que même une IA qui fonctionne bien peut être nocive. Face aux produits d’IA, il faut pouvoir mesurer à la fois les préjudices qu’ils peuvent provoquer mais également la véracité qu’ils produisent.
Mais si l’IA défaillante est si omniprésente, c’est parce qu’elle offre des solutions rapides à n’importe quels problèmes. Oubliant que les solutions qui ne fonctionnent pas n’en sont pas, rappellent Kapoor et Narayanan. « Dans le sillage de la révolution industrielle, des millions d’emplois furent créés dans les usines et les mines, avec d’horribles conditions de travail. Il a fallu plusieurs décennies pour garantir les droits du travail et améliorer les salaires et la sécurité des travailleurs. » Nous devons imaginer et construire un mouvement similaire pour garantir la dignité humaine face à l’automatisation qui vient. Nous devons trouver les moyens d’éradiquer le déploiement de l’huile de serpent et construire les modalités pour bâtir une technologie responsable comme nous avons réussi à bâtir une médecine et une industrie agro-alimentaire (plutôt) responsable.
Pourquoi les prédictions échouent-elles ?Dans leur livre, les deux auteurs mobilisent d’innombrables exemples de systèmes défaillants. Parmis ceux qu’ils classent comme les pires, il y a bien sûr les outils de prédiction qui prennent des décisions sur la vie des gens, dans le domaine de la santé, des soins ou de l’orientation notamment.
Un algorithme n’est qu’une liste d’étapes ou de règles pour prendre une décision, rappellent-ils. Très souvent, les règles sont manuelles mais sont appliquées automatiquement, comme quand on vous demande de ne pas percevoir au-delà d’un certain revenu pour bénéficier d’un droit. Le problème, c’est que de plus en plus, les règles se complexifient : elles sont désormais souvent apprises des données. Ce type d’algorithme est appelé modèle, c’est-à-dire qu’il découle d’un ensemble de nombres qui spécifient comment le système devrait se comporter. Ces modèles sont très utilisés pour allouer des ressources rares, comme des prêts ou des emplois, ouvrant ou fermant des possibilités. C’est typiquement ce qu’on appelle l’IA prédictive. C’est par exemple ainsi que fonctionne Compas, le système de calcul de risque de récidive utilisé par la justice américaine, entraîné depuis le comportement passé des justiciables. L’hypothèse de ces systèmes et de nombre de systèmes prédictifs consiste à dire que des gens avec les mêmes caractéristiques se comporteront de la même manière dans le futur. Ces systèmes prédictifs sont déployés dans de nombreux secteurs : la santé, l’emploi, l’assurance… Le problème, c’est que de petits changements dans la vie des gens peuvent avoir de grands effets. La plupart des entreprises qui développent des systèmes prédictifs assurent que ceux-ci sont performants et équitables. Pourtant, on ne peut pas garantir que les décisions qu’ils prennent soient sans biais ou équitables.
Une bonne prédiction ne signifie pas une bonne décision. L’IA peut faire de bonne prédictions… si rien ne change, c’est-à-dire si elles ne sont pas utilisées pour modifier les comportements, expliquent les chercheurs en prenant l’exemple d’un système prédictif de la pneumonie qui montrait que les gens atteints d’asthme étaient à moindre risque, parce qu’ils recevaient des soins adaptés pour éviter les complications. Déployer un tel modèle, en fait, aurait signifié renvoyer les patients asthmatiques chez eux, sans soins. Corrélation n’est pas causalité, dit l’adage.
Ces erreurs de prédictions ont souvent pour origine le fait que les chercheurs s’appuient sur des données existantes plutôt que des données collectées spécifiquement pour leur produit. Trop souvent, parce que créer des données spécifiques ou faire des contrôles aléatoires est coûteux, les entreprises s’en abstiennent. Comprendre l’impact des outils de décision est également important et nécessite aussi de collecter des données et de faire des contrôles d’autant plus coûteux que ces vérifications, élémentaires, viennent souvent remettre en question l’efficacité proclamée. Techniquement, cela signifie qu’il faut toujours s’assurer de savoir si le système a évalué ses impacts sur de nouvelles données et pas seulement sur les données utilisées pour la modélisation.Ces effets sont d’autant plus fréquents que le développement de systèmes conduit souvent les gens à y réagir, à se comporter stratégiquement. C’est le cas quand des candidats à l’embauche répondent aux outils d’analyse des CV en inondant leurs CV de mots clefs pour contourner leurs limites. Une étude a même montré que changer le format de son CV d’un PDF en texte brut, changeait les scores de personnalité que les systèmes produisent sur les candidatures. Quand les entreprises assurent que leurs outils fonctionnent, elles oublient souvent de tenir compte du comportement stratégique des individus. Or, « quand les résultats du modèle peuvent être facilement manipulés en utilisant des changements superficiels, on ne peut pas dire qu’ils sont efficaces ». C’est toute la limite de trop de modèles opaques que dénoncent les deux chercheurs avec constance.
Le risque, c’est que ces systèmes nous poussent à une sur-automatisation. La sur-automatisation, pour les chercheurs, c’est quand le système de prise de décision ne permet aucune voie de recours, comme l’ont connu les individus suspectés de fraude par l’algorithme de contrôle des aides sociales de Rotterdam. Pour éviter cela, les bonnes pratiques invitent à « conserver une supervision humaine ». Problème : tous les développeurs de systèmes assurent que c’est le cas, même si cette supervision ne conduit à aucune modification des décisions prises. En réalité, les développeurs d’IA vendent des IA prédictives « avec la promesse d’une automatisation complète. La suppression d’emplois et les économies d’argent constituent une grande partie de leur argumentaire ». La supervision n’a donc la plupart du temps pas lieu. Même quand elle existe, elle est bien souvent inappropriée. Et surtout, les résultats et suggestions génèrent une sur-confiance particulièrement pervasive, qui affecte tous les utilisateurs dans tous les secteurs. Dans des simulateurs de vol, quand les pilotes reçoivent un signal d’alarme incorrect, 75% d’entre eux suivent les recommandations défaillantes. Quand ils ont recours à une checklist, ils ne sont plus que 25% à se tromper.
Mais surtout, insistent les deux chercheurs, les prédictions sur les gens sont bien plus fluctuantes qu’on le pense. Un outil similaire à Compas développé en Ohio et utilisé en Illinois a produit des aberrations car les taux de criminalité n’étaient pas les mêmes entre les deux Etats. Trop souvent les prédictions se font sur les mauvaises personnes. C’était le cas de l’outil de calcul de risque de maltraitance des enfants de Pennsylvanie étudié par Virginia Eubanks, qui n’avait aucune donnée sur les familles qui avaient recours à des assurances privées et donc qui visait disproportionnellement les plus pauvres. « Les outils d’IA regardent ce qui est sous le lampadaire. Et très souvent, le lampadaire pointe les plus pauvres ». L’IA prédictive exacerbe les inégalités existantes. « Le coût d’une IA défectueuse n’est pas supporté de manière égale par tous. L’utilisation de l’IA prédictive nuit de manière disproportionnée à des groupes qui ont été systématiquement exclus et défavorisés par le passé. » Les outils de prédiction de risque de santé, déployés pour réduire les dépenses d’hospitalisation, ont surtout montré leurs biais à l’encontre des minorités. L’un de ces outils, Optum’s Impact Pro par exemple, écartait systématiquement les personnes noires, parce que le système ne prédisait pas tant le besoin de soins, que combien l’assurance allait dépenser en remboursement des soins de santé. L’entreprise a continué d’ailleurs à utiliser son outil défaillant, même après qu’il ait montré son inéquité. « Les intérêts des entreprises sont l’une des nombreuses raisons pour lesquelles l’IA prédictive augmente les inégalités. L’autre est la trop grande confiance des développeurs dans les données passées. »
Trop souvent, on utilise des proxies, des variables substitutives qui nous font croire qu’on peut mesurer une chose par une autre, comme les coûts de la santé plutôt que les soins. C’est le même problème pour Compas. Compas utilise des données sur qui a été arrêté pas sur les crimes. Compas dit prédire le crime alors qu’en fait il ne prédit que les gens qui ont été arrêtés. Ces confusions sur les données expliquent beaucoup pourquoi les systèmes d’IA prédictive nuisent d’abord aux minorités et aux plus démunis.
S’ils sont défaillants, alors peut-être faudrait-il faire le deuil des outils prédictifs, suggèrent les chercheurs. Ce serait effectivement dans bien des cas nécessaires, mais nos sociétés sont mal à l’aise avec l’imprévisibilité, rappellent-ils. Pourtant, trop souvent nous pensons que les choses sont plus prévisibles qu’elles ne sont. Nous avons tendance à voir des régularités là où elles n’existent pas et nous pensons bien souvent être en contrôle sur des choses qui sont en fait aléatoires. Rien n’est plus difficile pour nous que d’accepter que nous n’avons pas le contrôle. Cela explique certainement notre engouement pour l’IA prédictive malgré ses défaillances. Pourtant, expliquent les chercheurs, embaucher ou promouvoir des employés aléatoirement, plutôt que sur de mauvais critères de performances, pourrait peut-être être plus bénéfique qu’on le pense, par exemple en favorisant une plus grande diversité ou en favorisant un taux de promotion fixe. Accepter l’aléatoire et l’incertitude pourrait nous conduire à de meilleures décisions et de meilleures institutions. « Au lieu de considérer les gens comme des êtres déterminés, nous devons travailler à la construction d’institutions qui sont véritablement ouvertes au fait que le passé ne prédit pas l’avenir. »
Pourquoi l’IA ne peut pas prédire le futur ?La météorologie est l’un des secteurs où la prédiction est la plus avancée. Pourtant, la météo est un système particulièrement chaotique. Des petits changements conduisent à de grandes erreurs. Plus la prédiction est éloignée dans le temps, plus l’erreur est grande. Les données, les équations, les ordinateurs ont pourtant permis d’incroyables progrès dans le domaine. Nos capacités de prédiction météo se sont améliorées d’un jour par décade : une prévision sur 5 jours d’il y a 10 ans est aussi précise qu’une prévision sur 6 jours aujourd’hui ! Ces améliorations ne viennent pas d’une révolution des méthodes, mais de petites améliorations constantes.
La prévision météo repose beaucoup sur la simulation. Les succès de prévision des phénomènes géophysiques a conduit beaucoup de chercheurs à penser qu’avec les bonnes données et la puissance de calcul, on pourrait prédire n’importe quel type d’évènements. Mais cela n’est pas toujours très bien marché. Le temps est bien plus observable que le social, certainement parce que les conditions géophysiques, contrairement à ce que l’on pourrait penser, sont plus limitées. La prévision météo repose sur des lois physiques calculables. Ce n’est pas le cas des calculs du social. « Cela n’a pas restreint pour autant le développement de prédictions dans le contexte social, même si bien souvent, nous avons assez peu de preuves de leur efficacité ». Le score de risque de défaillance de crédit, Fico, est né dans les années 50 et se déploie à la fin des années 80, en même temps que naissent les premiers scores de risque criminels… Mais c’est avec le développement du machine learning dans les années 2010 que les systèmes prédictifs vont exploser dans d’innombrables systèmes.
Toutes les prédictions ne sont pas difficiles. Le trafic, l’évolution de certaines maladies… sont assez faciles. Les prédictions individuelles, elles, sont toujours plus difficiles. Et cela pose la question de savoir ce qui définit une bonne prédiction. Est-ce qu’une prédiction météo est bonne si elle est au degré près ou si elle prédit bien la pluie indépendamment de la température ? Notre capacité à prédire les tremblements de terre est excellente, notamment les lieux où ils auront lieu, mais notre capacité à prédire la nécessité d’une évacuation est nulle, car prédire quand ils auront lieu avec suffisamment de précision est bien plus difficile. Bien souvent, la précision de la prédiction s’améliore quand on ajoute plus de données et de meilleurs modèles. Mais ce n’est pas nécessairement vrai. On ne peut prédire le résultat d’un jet de dé quel que soit le volume de données que l’on collecte !
Quand les choses sont difficiles à prédire, on a recours à d’autres critères, comme l’utilité, la légitimité morale ou l’irréductibilité des erreurs pour apprécier si la prédiction est possible. Et tout ce qui a rapport à l’individu est bien souvent difficile à prédire, ce qui n’empêche pas beaucoup d’acteurs de le faire, non pas tant pour prédire quelque chose que pour exercer un contrôle sur les individus.
Kapoor et Narayanan reviennent alors sur le Fragile Families Challenge qui a montré que les modèles d’IA prédictibles développés n’amélioraient pas notablement la prédiction par rapport à un simple modèle statistique. Pour les chercheurs, le défi a surtout montré les limites fondamentales à la prédiction du social. Dans le social, « on ne peut pas prédire très bien le futur, et nous ne connaissons pas les limites fondamentales de nos prédictions ». Les données du passé ne suffisent pas à construire ce type de prédictions, comme les données d’une précédente élection ne peuvent pas prédire la suivante. Améliorer la précision des prédictions du social relève du problème à 8 milliards de Matt Salganik : il n’y a pas assez de gens sur terre pour découvrir les modèles de leurs existences ! Cela n’empêche pas qu’il existe d’innombrables outils qui affirment pouvoir faire des prédictions à un niveau individuel.
En vérité, bien souvent, ces outils ne font guère mieux qu’une prédiction aléatoire. Compas par exemple ne fait que prédire la partialité de la police à l’encontre des minorités (et dans le cas de Compas, l’amélioration par rapport à un résultat aléatoire est assez marginale… et dans nombre d’autres exemples, l’amélioration du calcul se révèle bien souvent plus mauvaise qu’un résultat aléatoire). Utiliser seulement 2 données, l’âge et le nombre d’infractions antérieures, permet d’avoir un résultat aussi précis que celui que propose Compas en mobilisant plus d’une centaine de données. Dans le cas de la récidive, le modèle est assez simple : plus l’âge est bas et plus le nombre d’infractions antérieures est élevé, plus la personne sera à nouveau arrêtée. On pourrait d’ailleurs n’utiliser que le nombre d’infractions antérieures pour faire la prédiction sans que les résultats ne se dégradent vraiment (qui serait moralement plus acceptable car en tant que société, on pourrait vouloir traiter les plus jeunes avec plus d’indulgence qu’ils ne le sont). L’avantage d’une telle règle, c’est qu’elle serait aussi très compréhensible et transparente, bien plus que l’algorithme opaque de Compas.
Avec ces exemples, les deux chercheurs nous rappellent que la grande disponibilité des données et des possibilités de calculs nous font oublier que l’opacité et la complexité qu’ils génèrent produisent des améliorations marginales par rapport au problème démocratique que posent cette opacité et cette complexité. Nous n’avons pas besoin de meilleurs calculs – que leur complexification ne produit pas toujours –, que de calculs capables d’être redevables. C’est je pense le meilleur apport de leur essai.
Nous sommes obnubilés à l’idée de prédire un monde imprévisiblePrédire le succès est aussi difficile que prédire l’échec, rappellent-ils. Certainement parce que contrairement à ce que l’on pense, le premier ne repose pas tant sur les qualités des gens que le second ne repose sur les circonstances. Les deux reposent sur l’aléatoire. Et en fait, le succès repose plus encore sur l’aléatoire que l’échec ! Le succès est encore moins prévisible que l’échec, tant la chance, c’est-à-dire l’imprévisible, joue un rôle primordial, rappellent-ils. Le succès dans les études, le succès de produits… rien n’est plus difficile à prédire, rappellent les chercheurs en évoquant les nombreux rejets du manuscrit de Harry Potter. Matt Salganik avait ainsi créé une application de musique et recruté 14 000 participants pour évaluer des musiques de groupes inconnus avec des indicateurs sociaux qui variaient entre groupes de participants. Des chansons médiocres étaient appréciées et de très bonnes musiques négligées. Une même chanson pouvait performer dans un endroit où les métriques sociales étaient indisponibles et sous performer là où elles étaient disponibles. Mais l’expérience a surtout montré que le succès allait au succès. Dans l’environnement où personne ne voyait de métriques : il y avait bien moins d’inégalités entre les musiques.
Les médias sociaux reposent sur des principes d’accélération de la viralité d’une petite fraction des contenus. Mais la popularité est très variable, d’un contenu l’autre. Ce que font les plateformes, ce n’est pas tant de prédire l’imprévisible que de tenter d’amplifier les phénomènes. Sur YouTube, Charlie Bit My Finger fut l’une des premières vidéos virales de la plateforme. Malgré ses qualités, son succès n’avait rien d’évident. En fait, les médias sociaux sont « une loterie à mèmes géante ». Plus un mème est partagé, plus il a de la valeur et plus les gens vont avoir tendance à le partager. Mais il est impossible de prédire le succès d’une vidéo ou d’un tweet. Même la qualité ne suffit pas, même si les contenus de meilleure qualité ont plus de chance que les contenus médiocres. Par contre l’on sait que les contenus plus partisans, plus négatifs reçoivent plus d’engagements. Reste que la polarisation perçue est plus forte que la polarisation réelle – et il est probable que cette mauvaise perception la renforce.
D’une manière assez surprenante, nous prédisons très bien des effets agrégés et très mal ces mêmes effets individuellement. Les ordres de grandeur aident à prédire des effets, mais les experts eux-mêmes échouent bien souvent à prédire l’évidence. Aucun n’a prévu l’effondrement de l’URSS, rappelait Philip Tetlock. Et ce n’est pas une question de données ou de capacité d’analyse. Les limitations à la prédictions sont dues aux données indisponibles et au fait qu’elles sont parfois impossibles à obtenir. Mais la prédiction est également difficile à cause d’événements imprévisibles, mais plus encore à cause de boucles d’amplification complexes. Dans de nombreux cas, la prédiction ne peut pas s’améliorer, comme dans le cas de la prédiction du succès de produits culturels. Dans certains cas, on peut espérer des améliorations, mais pas de changements majeurs de notre capacité à prédire l’avenir. Pour Narayanan et Kapoor, notre obnubilation pour la prédiction est certainement le pire poison de l’IA.
L’IA générative, ce formidable bullshiter
Bien moins intéressants sont les 2 chapitres dédiés à l’IA générative, où les propos des deux chercheurs se révèlent assez convenus. S’il est difficile de prédire l’impact qu’elle va avoir sur l’économie et la culture, la technologie est puissante et les avancées réelles. Pour Narayanan et Kapoor, l’IA générative est déjà utile, expliquent-ils en évoquant par exemple Be My Eyes, une application qui connectait des aveugles à des volontaires voyants pour qu’ils les aident à décrire le monde auquel ils étaient confrontés en temps réel. L’application s’est greffée sur ChatGPT pour décrire les images avec un réel succès, permettant de remplacer les descriptions du monde réel des humains par celles des machines.Si l’IA générative fonctionne plutôt très bien, ce n’est pas pour autant qu’elle ne peut pas porter préjudices aux gens qui l’utilisent. Ses biais et ses erreurs sont nombreuses et problématiques. Sa capacité à nous convaincre est certainement plus problématique encore.
Les deux chercheurs bien sûr retracent l’histoire des améliorations de la discipline qui a surtout reposé sur des améliorations progressives, la disponibilité des données et l’amélioration des capacités de calcul. Tout l’enjeu de la technologie a été d’apprendre à classer les images ou les mots depuis les connexions entre eux en appliquant des poids sur les critères.
En 2011, à l’occasion d’une compétition ImageNet, visant à classifier les images, Hinton, Krizhevsky et Sutskever proposent un outil d’apprentissage profond qui se distingue par le fait qu’il ait bien plus de couches de traitements que les outils précédents : ce sera AlexNet. Tout l’enjeu ensuite, consistera à augmenter le nombre de couches de traitements en démultipliant les données… À mesure que les données deviennent plus massives, les contenus vont aussi avoir tendance à devenir plus problématiques, malgré les innombrables mesures de filtrages. Les problèmes vont y être enfouis plus que résolus, comme l’étiquetage de personnes noires sous le terme de Gorille. On va se mettre alors à mieux observer les données, mais la plupart des critères de référence ne mesurent pas dans quelle mesure les modèles reflètent les préjugés et les stéréotypes culturels. Le problème, c’est que dans le domaine de l’IA, les ingénieurs sont convaincus que découvrir les connaissances dans les données surpasse l’expertise, minimisant son importance.
« Alors que l’IA prédictive est dangereuse parce qu’elle ne fonctionne pas. L’IA pour la classification des images est dangereuse parce qu’elle fonctionne trop bien. »
Les systèmes de génération de texte fonctionnent sur le même principe que les systèmes de génération d’image. Jusqu’aux années 2010, il était difficile que les systèmes de traduction automatique gardent en tête le contexte. Ils fonctionnaient bien sur les courts extraits, mais avaient des problèmes avec des textes plus longs. En 2017, Google a trouvé la solution en proposant une matrice plus grande permettant de mieux relier les mots entre eux. C’est la technologie Transformer. L’IA générative textuelle n’est rien d’autre qu’un système d’autocomplétion qui fait de la prédiction du mot suivant.
La puissance de ces machines est à la fois leur force et leur faiblesse. « Pour générer un simple token – un bout de mot – ChatGPT doit accomplir environ un milliard de milliard d’opérations. Si vous demandez à générer un poème d’une centaine de tokens (une centaine de mots) cela nécessitera un quadrillion de calculs. Pour apprécier la magnitude de ce nombre, si tous les individus au monde participaient à ce calcul au taux d’un calcul par minute, 8 heures par jour, un quadrillon de calcul prendrait environ une année. Tout cela pour générer une simple réponse. » La capacité générative de ces outils repose sur une puissance sans limite. Une puissance dont les coûts énergétiques, matériels et économiques finissent par poser question. Avons-nous besoin d’une telle débauche de puissance ?
Pour que ces modèles répondent mieux et plus exactement, encore faut-il adapter les modèles à certaines tâches. Cette adaptation, le fine-tuning ou pré-entraînement, permet d’améliorer les résultats. Reste que ces adaptations, ces filtrages, peuvent finir par sembler être une cuillère pour écoper les problèmes de l’océan génératif…
Les chatbots peuvent avoir d’innombrables apports en interagissant avec l’utilisateur, mais le fait qu’ils dépendent profondément des statistiques et le manque de conscience de leurs propres limites, émousse leur utilité, soulignent les deux chercheurs. Jouer à Pierre-papier-ciseaux avec eux par exemple rappellent qu’ils ne comprennent pas l’enjeu de simultanéité.
Le problème de ces outils, c’est que la compréhension, n’est pas tout ou rien. Les chatbots ne comprennent rien, et leur regard sur un sujet est limité par leurs données. Mais ils sont configurés pour répondre avec confiance, comme un expert, alors qu’ils sont capables d’erreurs basiques qu’un enfant ne ferait pas. Cela signifie que ces outils ne sont pas sans écueils, rappellent les chercheurs. Ils produisent très facilement de la désinformation, des deepfakes, et permettent à ceux qui les déploient de concentrer un pouvoir très important. Les chatbots sont des bullshiters de première, des menteurs. « Ils sont entraînés pour produire des textes plausibles, pas des vérités ». Ils peuvent sembler très convaincants alors qu‘ »il n’y a aucune source vérifiée durant leur entraînement ». Même si on était capable de ne leur fournir que des affirmations vraies, le modèle ne les mémoriserait pas, mais les remixerait pour générer du texte. Ils répondent souvent correctement, mais sont capables parfois de produire des choses sans aucun sens. Cela tient certainement au fait que « les affirmations vraies sont plus plausibles que les fausses ». Les erreurs, les plagiats sont consubstantiels à la technologie.
Les usages problématiques de ces technologies sont nombreux, notamment les deepfakes et toutes les tentatives pour tromper les gens que ces outils rendent possibles. Pour l’instant, les réponses à ces enjeux ne sont pas à la hauteur. Les chercheurs ne proposent que de mieux éduquer les utilisateurs aux contenus trompeurs et aux sources fiables. Pas sûr que ce soit une réponse suffisante.
Les chercheurs rappellent que la grande difficulté à venir va être d’améliorer l’IA générative, alors que ses limites sont au cœur de son modèle, puisqu’elle ne peut qu’imiter et amplifier les stéréotypes des données qui l’ont entraîné. Pour y parvenir, il faudrait parvenir à bien mieux labelliser les données, mais l’effort devient herculéen à mesure que les moissons sont plus massives. Pour l’instant, cette labellisation repose surtout sur des travailleurs du clic mal payés, chargés de faire une labellisation à minima. Pas sûr que cela suffise à améliorer les choses…
Malgré ces constats inquiétants, cela n’empêche pas les deux chercheurs de rester confiants. Pour eux, l’IA générative reste une technologie utile, notamment aux développeurs. Ils rappellent que ces dernières années, la question des biais a connu des progrès, grâce au fine-tuning. L’atténuation des bias est un secteur de recherche fructueux. Les chatbots progressent et deviennent aussi fiables que la recherche en ligne, notamment en étant capable de citer leurs sources. Pour les chercheurs, le plus gros problème demeure l’exploitation du travail d’autrui. Nous devons opter pour les entreprises qui ont des pratiques les plus éthiques, concluent-ils, et faire pression sur les autres pour qu’ils les améliorent. Oubliant qu’il n’est pas simple de connaître l’éthique des pratiques des entreprises…
Les deux ingénieurs terminent leur livre par un chapitre qui se demande si l’IA pose une menace existentielle. Un sujet sans grand intérêt face aux menaces déjà bien réelles que fait peser l’IA. Ils le balayent d’ailleurs d’un revers de main et rappellent que l’IA générale est encore bien loin. « La plupart des connaissances humaines sont tacites et ne peuvent pas être codifiées ». C’est comme apprendre à nager ou à faire du vélo à quelqu’un simplement en lui expliquant verbalement comment faire. Ça ne marche pas très bien. Le risque à venir n’est pas que l’IA devienne intelligente, nous en sommes bien loin. Le risque à venir repose bien plus sur les mauvais usages de l’IA, et ceux-ci sont déjà très largement parmi nous. Pour améliorer notre protection contre les menaces, contre la désinformation ou les deepfakes, nous devons renforcer nos institutions démocratiques avancent les auteurs. On ne saurait être plus en accord, surtout au moment où les avancées de l’IA construisent des empires techniques qui n’ont pas grand chose de démocratique.
*
Malgré ses qualités et la richesse de ses exemples, le livre des deux chercheurs peine à rendre accessible ce qu’ils voudraient partager. Parvenir à distinguer ce que l’IA sait faire et ce qu’elle ne peut pas faire n’est pas évident pour ceux qui sont amenés à l’utiliser sans toujours comprendre sa complexité. Distinguer la bonne IA de la mauvaise n’est pas si simple. Le livre permet de comprendre que la prédiction fonctionne mal, mais sans nous aider à saisir où elle peut progresser et où elle est durablement coincée.
On a bien constaté que dès que ces outils agissent sur le social où l’individu, ils défaillent. On a bien compris que l’IA générative était puissante, mais les deux ingénieurs peinent à nous montrer là où elle va continuer à l’être et là où elle risque de produire ses méfaits. Les deux spécialistes, eux, savent très bien identifier les pièges que l’IA nous tend et que l’IA tend surtout aux ingénieurs eux-mêmes, et c’est en cela que la lecture d’AI Snake Oil est précieuse. Leur livre n’est pourtant pas le manuel qui permet de distinguer le poison du remède. Certainement parce que derrière les techniques de l’IA, le poison se distingue du remède d’abord et avant tout en regardant les domaines d’applications où elle agit. Un outil publicitaire défaillant n’a rien à voir avec un outil d’orientation défaillant.. Gardons les bons côtés. Les ingénieurs ont enfin un livre critique sur leurs méthodes avec un regard qui leur parlera. Ce n’est pas un petit gain. Si le livre se révèle au final un peu décevant, cela n’empêche pas qu’Arvind Narayanan et Sayash Kapoor demeurent les chercheurs les plus pertinents du milieu. Leur grande force est d’être bien peu perméables au bullshit de la tech, comme le montre leur livre et leur excellente newsletter. Leur défense de la science sur l’ingénierie par exemple – « les essais contrôlés randomisés devraient être un standard dans tous les domaines de la prise de décision automatisée » – demeure une boussole que l’ingénierie devrait plus souvent écouter.
-
9:47
Neutralisme
sur Dans les algorithmesEn 2017, Mark Zuckerberg semblait se préparer à la candidature suprême. 7 ans plus tard, cela ne semble absolument plus le cas, rapporte le New York Times. L’activisme politique de Meta, c’est terminé ! Alors qu’une large part de la Valley semble faire allégeance conservatrice, d’autres, comme Zuckerberg, ont opté pour une prudente « neutralité » qui reste tout de même très libérale. Le temps où Zuckerberg promettait d’éliminer la pauvreté et la faim, semble bien loin. Mais il n’y a pas que Zuck qui prend ses distances avec la politique : les algorithmes de ses entreprises également, explique un second article du New York Times. Depuis l’assaut du capitole en janvier 2021, Meta n’a cessé de réduire la portée des contenus politiques sur ses plateformes. Cela ne signifie pas que la désinformation a disparu, mais que l’entreprise oeuvre activement à la rendre peu visible. A croire que Meta est à la recherche d’une « neutralité » qui, comme toute neutralité, n’existe pas.
-
7:30
Est-ce que la complexité des calculs les améliore ?
sur Dans les algorithmesMalgré leurs promesses, les calculs, notamment quand ils s’appliquent au social, sont très souvent défaillants. Pour remédier à leurs limites, l’enjeu est d’accéder à toujours plus de données pour les affiner. La promesse est répétée ad nauseam : c’est en accédant à toujours plus de données que nous améliorerons les calculs ! Un mantra dont il est toujours très difficile de démontrer les limites.
En 2017, le programme d’études conjoint de Princeton et de Columbia sur l’avenir des familles et le bien être des enfants a donné accès à un immense jeu de données de grande qualité sur des centaines d’enfants et leurs familles, invitant plus de 450 chercheurs et 160 équipes de recherches à les utiliser dans le cadre d’un défi de data science visant à améliorer la prévisibilité des trajectoires de vies. Le jeu de données portait sur plus de 4000 familles avec plus de 12 000 variables par familles centrées sur des enfants de la naissance à leurs 9 ans, expliquent les chercheurs (par exemple des données démographiques, des données sur le territoire, sur la santé ou l’évolution professionnelle des parents, sur le comportement, avec des tests cognitifs et de vocabulaire réalisés à intervalles réguliers…).
Pour la moitié des familles, les chercheurs ont également donné accès aux données relatives à ces enfants et familles à l’âge de 15 ans afin que les chercheurs puissent prédire des résultats sur l’évolution sociale de l’autre moitié des familles. Un jeu d’entraînement rare et particulièrement riche qui avait pour ambition de permettre d’améliorer l’exactitude des prédictions sociales. Le défi consistait à prédire les résultats scolaires des enfants, évaluer leurs capacités psychologiques à la persévérance dans l’effort, prédire les difficultés matérielles des familles comme les risques de licenciement ou d’expulsion ainsi que le niveau de formation professionnelle des parents.
Pourtant, aucun des 160 résultats proposés par quelques-uns des meilleurs laboratoires de recherche du monde n’a été particulièrement performant. Aucune solution?malgré la diversité des techniques de machine learning utilisées ? n’a permis de produire des prédictions fiables, rapportent les organisateurs dans le bilan de ce défi.
Les scientifiques ont également comparé les modèles issus du machine learning et les modèles prédictifs traditionnels qui n’utilisent que 4 variables pour produire des prédictions (à savoir en utilisant seulement l’origine éthnique de la mère, le statut marital des parents à la naissance, leur niveau d’éducation et un résultat de l’enfant à 9 ans). Les chercheurs ont montré que les modèles prédictifs traditionnels faisaient d’aussi bonnes prédictions voire de meilleures que les modèles plus élaborés reposant sur le machine learning?même si, les uns comme les autres se révèlent très mauvais à prédire le futur.
Image : De la difficulté à prédire. En bleu, les résultats de prédiction des meilleures méthodes de machine learning sur les différents éléments à prédire depuis les 12 000 variables disponibles dans le cadre du défi des familles fragiles. En vert, les résultats obtenus depuis de simples et traditionnelles régressions linéaires depuis seulement 4 variables, dans les mêmes domaines, à savoir (de gauche à droite) celle des difficultés matérielles, la moyenne scolaire (GPA, Grade point average), la persévérance (Grit), le risque d’expulsion (eviction), la formation professionnelle et le risque de licenciement. Via la présentation d’Arvind Narayanan. Le graphique montre que les prédictions du social sont difficiles et que les meilleures techniques de machine learning ne les améliorent pas vraiment puisqu’elles ne font pas significativement mieux que des calculs plus simples.Ces résultats devraient nous interroger profondément. A l’heure où les data scientists ne cessent d’exiger plus de données pour toujours améliorer leurs prédictions, cette étude nous rappelle que plus de données n’est pas toujours utile. Que l’amélioration est trop souvent marginale pour ne pas dire anecdotique. Pire, la complexité qu’introduit l’IA dans les calculs rend les résultats très difficiles à expliquer, à reproduire, à vérifier… alors que les méthodes traditionnelles?comme la régression statistique qui permet d’identifier les variables qui ont un impact ?, elles, n’utilisent que peu de données, sont compréhensibles, vérifiables et opposables… sans compter qu’elles permettent d’éviter d’accumuler des données problématiques dans les calculs. Collecter peu de données cause moins de problèmes de vie privée, moins de problèmes légaux comme éthiques… et moins de discriminations, explique le chercheur Arvind Narayanan dans une de ses excellentes présentations, où il dénonce les défaillances majeures et durables de l’IA à prédire le social.
Dans le livre que le chercheur signe avec son collègue Sayash Kapoor, AI Snake Oil (Princeton University Press, 2024, non traduit), ils montrent à plusieurs reprises que la complexification des calculs ne les améliore pas toujours ou alors de manière bien trop marginale par rapport à la chape d’opacité que la complexité introduit. Nous n’avons pas besoin de meilleurs calculs (pour autant que leur complexification les améliore) que de calculs qui puissent être redevables, opposables et compréhensibles, rappellent-ils.
Le problème, c’est que le marketing de la technique nous invite massivement à croire le contraire. Trop souvent, nous privilégions une débauche de calculs, là où des calculs simples fonctionnent aussi bien, simplement parce qu’il y a un fort intérêt commercial à vendre des produits de calculs complexes. A l’ère du calcul, tout l’enjeu est de vendre plus de calculs et de nous faire croire qu’ils fonctionnent mieux.
Qu’est-ce que la complexité améliore ? Est-ce que cette amélioration est suffisante ou signifiante pour en valoir le coup ? A l’avantage de qui et au détriment de qui ? Est-ce que cette complexité est nécessaire ?… sont d’autres formes de cette même question que nous ne posons pas suffisamment. Ajouter de la complexité crée de l’opacité et renforce l’asymétrie de pouvoir. Et nous fait oublier que la simplicité des calculs les améliore certainement bien plus que leur complexification.
Hubert Guillaud
PS : 4 ans plus tard, le sociologue Ian Lundberg, responsable du défi de data science sur les trajectoires de vie des enfants, publie une étude pour comprendre pourquoi l’avenir des enfants est si imprévisible, rapporte Nautilus. Les lacunes de la prédiction ne résulteraient pas d’un manque de données mais plutôt de limites fondamentales de notre capacité à prédire les complexités de la vie, du fait notamment d’événements inattendus ainsi que d’erreurs d’apprentissages : quand il y a trop de variables, les algorithmes ont du mal à déceler le bon modèle. C’est là un problème irréductible de la complexité ! Enfin, soulignent les chercheurs, la recherche qualitative fournit des informations qu’il reste très difficile de traduire en chiffres. Les résultats ne s’amélioreront pas avec plus de données ou de calcul : « Les résultats sociaux sont imprévisibles et complexes. Et nous devons simplement faire la paix avec cette imprévisibilité ». -
14:29
Le numérique est le problème, pas la solution
sur Dans les algorithmes« Nous n’allons pas résoudre nos problèmes avec plus de technique : c’est précisément l’excès de technique le problème ». Arnaud Levy, promoteur d’un numérique d’intérêt général.
-
7:30
De l’automatisation des inégalités
sur Dans les algorithmesCet article inaugure une nouvelle catégorie de publications, celle d’articles de fond essentiels à nos compréhensions communes. Ici, nous vous proposons un article publié en janvier 2018 sur Internet Actu, qui revenait en détail sur le livre que venait de faire paraître Virginia Eubanks, Automating Inequality (MacMillan, 2018, non traduit).
Dans une tribune pour le New York Times, l’avocate Elisabeth Mason, directrice du Laboratoire pauvreté et technologie qui dépend du Centre sur la pauvreté et l’inégalité de Stanford, soulignait que le Big data et l’intelligence artificielle étaient amenés à être des outils puissants pour lutter contre la pauvreté. Les grands ensembles de données peuvent désormais être exploités pour mieux prédire l’efficacité des programmes d’aides et les évaluer. « Le big data promet quelque chose proche d’une évaluation impartiale, sans idéologie, de l’efficacité des programmes sociaux », explique-t-elle en rêvant d’une société parfaitement méritocratique, tout entière fondée sur la « preuve de ce qui marche » (Evidence-based policymaking). Un propos qui pourrait paraître un peu naïf, si on l’éclaire par le livre que vient de publier la spécialiste de science politique, Virginia Eubanks : Automatiser les inégalités : comment les outils high-tech profilent, policent et punissent les pauvres.
Vous avez été signalés ! Couverture du livre d’Eubanks.Les processus de décision sont de plus en plus confiés à des machines, rappelle la chercheuse. « Des systèmes d’éligibilité automatisés, des algorithmes de classements, des modèles de prédiction des risques contrôlent les quartiers qui doivent être policés, quelles familles peuvent obtenir des aides, qui peut accéder à un emploi, qui doit être contrôlé pour fraude. (…) Notre monde est parcouru de sentinelles informationnelles (…) : d’agents de sécurité numérique qui collectent de l’information sur nous, qui fabriquent des inférences à partir de nos comportements et contrôlent l’accès aux ressources ». Si certains sont visibles, la plupart sont impénétrables et invisibles. « Ces outils sont si profondément tissés dans la fabrique de la vie sociale, que la plupart du temps, nous ne remarquons même pas que nous avons été surveillés et analysés ».
Reste que bien peu de personnes s’intéressent à ce que signifie d’être signalés par ces programmes et les catastrophes individuelles que cela engendre. Se voir retirer son assurance santé au moment où vous êtes le plus vulnérable laisse ceux qui en sont victimes désespérés et acculés. Le problème, souligne très bien Virginia Eubanks est « qu’il n’y a pas de règles qui vous notifient le fait que vous avez été signalé » (ref-flagged) par un programme. La plupart des gens ne savent pas qu’ils ont été la cible de systèmes de décisions automatisés.
Eubanks souligne que ce contrôle s’exerce sur des membres de groupes sociaux plus que des individus : gens de couleurs, migrants, groupes religieux spécifiques, minorités sexuelles, pauvres et toutes populations oppressées et exploitées. Les groupes les plus marginalisés sont ceux sur lesquels le plus de données sont collectées. Et le problème, souligne Virginia Eubanks, c’est que « cette collecte de données renforce leur marginalité » en créant « une boucle de rétroaction de l’injustice » qui renforce à son tour la surveillance et le soupçon.
Des hospices… aux hospices numériquesLe propos de la chercheuse est éminemment politique : en enquêtant sur une poignée de systèmes automatisés développés pour optimiser les programmes sociaux américains, elle dénonce une politique devenue performative… c’est-à-dire qui réalise ce qu’elle énonce. Selon elle, les programmes sociaux n’ont pas pour objectif de fonctionner, mais ont pour objectif d’accumuler de la stigmatisation sur les programmes sociaux et renforcer le discours montrant que ceux qui bénéficient de l’assistance sociale sont, au choix, des criminels, des paresseux ou des profiteurs. La rationalisation des programmes d’aide publics du fait de la crise et des coupes budgétaires les contraint à toujours plus de performance et d’efficacité. Or cette performance et cette efficacité s’incarnent dans des outils numériques qui n’ont rien de neutre, pointe la chercheuse.
Le problème, c’est que ces outils de surveillance sont partout : dans les marges où nous entraîne la chercheuse, les histoires où les technologies facilitent la communication et ouvrent des opportunités sont rares. Pour les plus démunis, la révolution numérique ressemble surtout à un cauchemar. Comme elle le soulignait déjà, pour comprendre l’avenir de la surveillance, il faut regarder comment elle se développe déjà auprès des populations les plus marginalisées.
Dans la première partie de l’ouvrage, Virginia Eubanks dresse un rapide historique pour rappeler que, à la suite de Michel Foucault, les communautés les plus démunies ont toujours été les plus surveillées. Elle souligne la continuité entre les asiles, les prisons, les hospices de la fin du XVIIIe siècle aux bases de données d’aujourd’hui, rappelant que les premières bases de données ont été créées par les promoteurs de l’eugénisme pour discriminer les criminels et les faibles d’esprit.
Elle souligne aussi combien cette histoire de l’assistance publique est intimement liée, surtout aux Etats-Unis, à des vagues régulières de critiques contre l’aide sociale. Partout, l’enjeu a été de mettre en place des règles pour limiter et contrôler le nombre de bénéficiaires des aides sociales, privées comme publiques. Une histoire qui s’intrique à celle des représentations de la pauvreté, de son coût, de la fraude, de la dénonciation de l’inefficacité des aides… Les « hospices numériques » (digital poorhouse), c’est-à-dire les systèmes automatisés de contrôle des aides que reçoivent les plus pauvres, naissent dès les années 70, avec l’informatique elle-même, rappelle la chercheuse. La recherche d’outils neutres pour évaluer les dépenses publiques pour ces bénéficiaires a surtout consisté dans le développement d’outils de surveillance des récipiendaires de l’aide publique. Des programmes de détection des fraudes, des bases de données de bénéficiaires ont été créées et reliées pour tracer les dépenses et les comportements de leurs bénéficiaires dans de multiples programmes sociaux. « Le conflit entre le développement des droits pour les bénéficiaires de l’aide sociale et le faible soutien aux programmes d’assistance publique a été résolu par le développement d’outils technologiques punitifs ». Alors que le droit développait l’aide publique, la technologie était utilisée pour réduire le nombre de leurs allocataires ! Certains programmes d’aides multipliant les situations de non-conformité et les sanctions pour un retard à un rendez-vous, ou pour ne pas avoir consulté un médecin prescrit… Pour Virginia Eubanks, ces systèmes automatisés sont une continuité et une expansion des systèmes de gestion des pauvres punitifs et moralistes, des hospices de la fin du XVIIIe siècle et du début du XIXe siècle que pointait le travail de Michel Foucault. « Si ces systèmes sont présentés pour rationaliser et gérer les bénéficiaires, leur but premier reste et demeure de profiler, surveiller et punir les pauvres ».
S’intéresser aux effets des calculs sur la sociétéDans son livre, Virginia Eubanks se concentre sur l’étude de 3 systèmes : un système mis en place par l’Indiana pour automatiser l’éligibilité de candidats aux programmes d’assistance publique de l’Etat ; un répertoire des SDF de Los Angeles ; et un système d’analyse du risque pour prédire les abus ou négligence sur enfants dans un comté de la Pennsylvanie. Des exemples et des systèmes assez spécifiques, par nature très Américains, qui pourraient nous laisser indifférents, nous Européens, si leur étude ne révélait pas une nature des outils numériques, un fonctionnement qu’on peut potentiellement retrouver dans chacun de ceux qui sont déployés.
La chercheuse prend le temps de les explorer en détail. Elle nous rappelle leur histoire, comment et pourquoi ils ont été mis en place. Comment ils fonctionnent. Elle nous présente quelques personnes qui les font fonctionner, d’autres qui en sont les bénéficiaires ou les victimes. Dans ce travail ethnographique, elle ne présente pas toujours en détail les systèmes, les critères, les questions, le fonctionnement des algorithmes eux-mêmes. La manière dont sont calculés les scores depuis le répertoire des SDF pour leur attribuer une priorité dans la demande de logement n’est pas par exemple ce que cherche à nous montrer Virginia Eubanks. En fait, c’est un peu comme si pour elle ces systèmes étaient par nature incapables d’optimiser le monde qu’on leur demande d’optimiser. L’important n’est pas le calcul qu’ils produisent qui seront toujours imparfait que leurs effets concrets. C’est eux qu’elle nous invite à observer. Et ce qu’elle en voit n’est pas très agréable à regarder.
Chacun des exemples qu’elle prend est édifiant. Le système automatique de gestion de l’assistance de l’Indiana, confié à un opérateur privé, montre toute l’incompétence du délégataire : durant son fonctionnement, l’aide publique a reculé de 54 %. Au moindre oubli, au moindre document manquant, les bénéficiaires étaient tout simplement éjectés du système au prétexte d’un culpabilisant « défaut de coopération » cachant surtout ses défaillances techniques et organisationnelles. Le taux de demande d’aides refusées s’est envolé. Des personnes sourdes, handicapés mentaux, malades, étaient contraintes de joindre un centre d’appel pour bénéficier d’aides… Le contrat entre l’Etat de l’Indiana et IBM a fini par être rompu. Les procès entre le maître d’oeuvre et le délégataire ont duré des années. Son coût n’a jamais été pleinement évalué, hormis pour les gens qu’il a privés des aides auxquelles ils avaient droit. « En retirant l’appréciation humaine des agents en première ligne au profit des métriques d’ingénieurs et de prestataires privés, l’expérience de l’Indiana a suralimenté la discrimination ». Les spécifications sociales pour l’automatisation se sont basées sur l’épuisement et l’usure des bénéficiaires, sur des postulats de classes et de races qui ont été encodées en métriques de performances.
Dans le comté de Los Angeles, Virginia Eubanks évoque longuement la mise en place d’une base de données centralisée des SDF créée pour améliorer l’appariement entre l’offre de logement d’urgence et la demande. L’enjeu était de pouvoir prioriser les demandes, entre sans-abris en crise et sans abris chroniques, en aidant les premiers pour éviter qu’ils ne tombent dans la seconde catégorie. Les partenaires du projet ont donc créé une base de données pour évaluer les demandeurs collectant de vastes quantités d’information personnelle avec un algorithme pour classer les demandeurs selon un score de vulnérabilité et un autre pour les apparier avec les offres de logements : le VI-SPDAT (index de vulnérabilité ou outil d’aide à la décision de priorisation des services). Tout sans-abri accueilli par un organisme doit alors répondre à un long questionnaire, particulièrement intime, posant des questions sur sa santé, sa sexualité, les violences commises à son encontre ou dont il a été l’auteur… La base de données est accessible à quelque 168 organisations différentes : services de la ville, association de secours, organisations religieuses, hôpitaux, centre d’aides et d’hébergements… et même la police de Los Angeles. Chaque sans-abri reçoit un score allant de 1 à 17, du moins au plus vulnérable. Ceux qui ont un score élevé reçoivent alors un accord d’hébergement qu’ils peuvent porter (avec les justificatifs nécessaires) aux autorités du logement de la ville qui peuvent alors leur proposer un logement ou un financement. Virginia Eubanks pointe là encore les multiples difficultés de ces questionnaires qui se présentent comme neutres, sans l’être. Selon la manière dont les SDF répondent aux questions (seuls ou accompagnés, par quelqu’un qui les connait ou pas…), leur score peut varier du tout au tout. Ainsi, un SDF sortant de prison se voit attribuer un score faible au prétexte qu’il a eu un hébergement stable durant son séjour en établissement pénitentiaire.
Elle souligne que le manque de solutions de logements pour sans-abris fait que le système sert plus à gérer les SDF qu’à résoudre le problème. Selon le service des sans-abris de Los Angeles, la ville comptait 57 794 SDF en 2017. 31 000 sont enregistrés dans la base depuis sa création en 2014. 9 627 ont été aidé pour trouver un logement. Si pour Virginia Eubanks le système n’est pas totalement inopérant, reste que sa grande disponibilité pose question. Ces enregistrements consultables par trop d’organisations sur simple requête – et notamment par les forces de l’ordre, sans avoir à justifier d’une cause, d’une suspicion ou autre -, transforment des données administratives et les services sociaux en extension des systèmes de police et de justice. L’absence d’une protection des données de ce registre, nous rappelle combien toute base de données créée pour répondre à un objectif finit toujours par être utilisée pour d’autres objectifs… Les bases de données coordonnées sont des centres de tri qui rendent ceux qui en sont l’objet « plus visibles, plus traçables, plus prévisibles ». « Les personnes ciblées émergent désormais des données » : les personnes jugées à risque sont codées pour la criminalisation. Si ces systèmes produisent certes des chiffres pour mieux orienter les budgets, les données ne construisent pas d’hébergements.
Le dernier exemple que prend Virginia Eubanks est une enquête sur le fonctionnement d’un outil de prédiction du risque de maltraitance et d’agression d’enfants, développé par le bureau de l’enfance, de la jeunesse et des familles du comté d’Allegheny (Pennsylvanie). Elle nous plonge dans le quotidien des travailleurs sociaux d’un centre d’appel à la recherche d’informations sur les dénonciations qu’ils reçoivent, là encore, via une multitude de bases de données : provenant des services du logement, de la santé, de la police, de l’enseignement… Elle explore comment le système prioritise certains critères sur d’autres, comme l’âge des enfants et surtout, le fait que les familles soient déjà sous surveillance des services sociaux. Elle détaille également longuement l’histoire de cet outil prédictif, développé par Rhema Vaithianathan (@rvaithianathan), directrice du Centre pour l’analyse de données sociales de l’université d’Auckland en Nouvelle-Zélande qui s’appuie sur plus de 130 variables pour produire un score de risque allant 1 (le plus faible) à 20… Un programme abandonné par la Nouvelle-Zélande du fait de son manque de fiabilité et de l’opposition qu’il suscita. Dans les pages qu’elle consacre à ce système, Virginia Eubanks prend le temps de nous montrer comment les travailleurs sociaux interprètent les informations dont ils disposent, comment les familles sont sommées de répondre aux enquêtes sociales que ces alertes déclenchent. Elle souligne combien les données censées être neutres cachent une succession d’appréciations personnelles. Elle souligne également combien le système peine à guider celui qui mène enquête suite à un signalement. Combien certains critères ont plus de poids que d’autres : à l’image du fait de recevoir un appel pour un enfant pour lequel le centre a déjà reçu un appel sur les deux années précédentes ou qui a déjà été placé. Elle souligne les limites du modèle prédictif construit qui produit chaque année de trop nombreux faux positifs et négatifs. Comme le soulignait la mathématicienne Cathy O’Neil @mathbabedotorg), les choix qui président aux outils que nous développons reflètent toujours les priorités et les préoccupations de leurs concepteurs. Et la prédictivité est d’autant moins assurée quand nombre de variables sont subjectives. Qu’importe, comme le soulignait une récente enquête du New York Times, l’outil, malgré ses défauts, semble prometteur. Pour ses concepteurs, il nécessite surtout d’être peaufiné et amélioré. Ce n’est pas le constat que dresse Virginia Eubanks.
Eubanks montre combien l’outil mis en place estime que plus les familles recourent à l’aide publique, plus le score de risque progresse. Le système mis en place s’intéresse d’ailleurs bien plus à la négligence dans l’éducation des enfants qu’à la maltraitance ou qu’aux abus physiques ou sexuels des enfants. Or, rappelle la chercheuse, « tous les indicateurs de la négligence sont aussi des indicateurs de pauvreté » : manque de nourriture, de vêtements, de soins de santé, habitation inadaptée… Elle pointe également la grande ambiguïté de ces programmes, à la fois juge et partie, qui ont souvent deux rôles qui devraient être distingués : l’aide aux familles et l’enquête sur les comportements. Trop souvent explique-t-elle, les familles pauvres échangent leur droit à la vie privée contre l’obtention d’aide. Pour Eubanks, on est plus là dans un profilage de la pauvreté que dans un profilage de la maltraitance : le modèle confond la parenté avec la parenté pauvre. Le système voit toujours les parents qui bénéficient d’aides publiques comme un risque pour leurs enfants. Eubanks souligne aussi l’inexistence d’un droit à l’oubli dans ces systèmes : toute information entrée dans le système est définitive, même fausse. Le système enregistre des décisions sans traces d’humanités. Pire, encore, le score de risque se renforce : quand une bénéficiaire d’aides est devenue mère, son enfant s’est vu attribuer un fort taux de risque, car sa mère avait déjà eu des interactions avec les services sociaux quand elle était elle-même enfant. La reproduction de la surveillance est bouclée.
Déconstruire la boucle de rétroaction de l’injusticeDe son observation patiente, la chercheuse dresse plusieurs constats. Partout, les plus pauvres sont la cible de nouveaux outils de gestion qui ont des conséquences concrètes sur leurs vies. Les systèmes automatisés ont tendance à les décourager de réclamer les ressources dont ils ont besoin. Ces systèmes collectent des informations très personnelles sans grande garantie pour leur vie privée ou la sécurité des données, sans leur ménager les moindres contreparties (aucun SDF référencé dans le répertoire de Los Angeles par exemple n’a conscience qu’il n’est jamais ôté de cette base, même s’ils retrouvent un logement… et peut nombreux sont ceux qui ont conscience de la constellation d’organismes qui ont accès à ces informations).
Tous les systèmes caractérisent les plus démunis comme personne à risques. Tous ces systèmes rendent chacun de leur mouvement plus visible et renforcent la surveillance dont ils sont l’objet. Ils visent plus à « manager les pauvres qu’à éradiquer la pauvreté ». Enfin, ces systèmes suscitent très peu de discussion sur leurs réels impacts et leur efficacité. Or, ils font naître des « environnements aux droits faibles », où la transparence et la responsabilité politique semblent absentes.
Pourtant, rappelle-t-elle, la pauvreté n’est pas un phénomène marginal. La pauvreté en Amérique n’est pas invisible. 51 % des Américains passent une année de leur vie au moins dans une situation de pauvreté. La pauvreté n’est pas une aberration qui n’arrive qu’à une petite minorité de gens souffrants de pathologies. Si les techniques de surveillance de la pauvreté ont changé, les résultats sont les mêmes. « Les institutions de secours et leurs technologies de contrôle rationalisent un brutal retour à une forme d’asservissement en sapant les pouvoirs des plus pauvres et en produisant de l’indifférence pour les autres ».
« Quand on parle de technologies, on évoque toujours leurs qualités. Leurs promoteurs parlent de technologies disruptives, arguant combien elles secouent les relations de pouvoirs instituées, produisant une gouvernementalité plus transparente, plus responsable, plus efficace, et intrinsèquement plus démocratique. » Mais c’est oublier combien ces outils sont intégrés dans de vieux systèmes de pouvoirs et de privilèges. Ces systèmes s’inscrivent dans une histoire. Et ni les modèles statistiques ni les algorithmes de classement ne vont renverser comme par magie la culture, la politique et les institutions.
La métaphore de l’hospice numérique qu’elle utilise permet de résister à l’effacement du contexte historique, à la neutralité, que la technologie aimerait produire. L’hospice numérique produit les mêmes conséquences que les institutions de surveillance passées : elle limite le nombre de bénéficiaires des aides, entrave leur mobilité, sépare les familles, diminue les droits politiques, transforme les pauvres en sujets d’expérience, criminalise, construit des suspects et des classifications morales, créé une distance avec les autres classes sociales, reproduit les hiérarchies racistes et ségrégationnistes… Sa seule différence avec les institutions d’antan est de ne plus produire de l’enfermement physique. Certainement parce que l’enfermement dans les institutions de surveillance a pu produire des solidarités qui ont permis de les combattre… Les outils numériques produisent non seulement de la discrimination, mais aussi de l’isolement entre ceux qui partagent pourtant les mêmes souffrances.Les problèmes sont toujours interprétés comme relevant de la faute du demandeur, jamais de l’Etat ou du prestataire. La présomption d’infaillibilité des systèmes déplace toujours la responsabilité vers l’élément humain. Elle renforce le sentiment que ces systèmes fonctionnent et que ceux qui échouent dans ces systèmes sont ingérables ou criminels. Ces systèmes produisent une « classification morale ». Ils mesurent des comportements non pas individuels, mais relatifs : chacun est impacté par les actions de ceux avec qui ils vivent, de leurs quartiers, de leurs relations… En cela, l’impact de ces modèles est exponentiel : les prédictions et les mesures reposent sur des réseaux relationnels, qui ont un potentiel contagieux pareil à des virus. Ces modèles distinguent les pauvres parmi les pauvres. La classe moyenne ne tolérerait pas qu’on applique des outils de ce type sur elle. Ils sont déployés à l’encontre de ceux qui n’ont pas le choix.
Virginia Eubanks insiste : ces hospices numériques sont difficiles à comprendre. Les logiciels et les modèles qui les font fonctionner sont complexes et souvent secrets. D’où la nécessité d’exiger l’ouverture et le libre accès au code qui les font fonctionner. Ils sont massivement extensibles et évolutifs. Ils peuvent se répandre très rapidement. Ils sont persistants et sont très difficiles à démanteler et ce d’autant qu’ils s’intègrent et s’enchevêtrent les uns avec les autres, tout comme l’infrastructure des innombrables outils de Google, rendant toujours plus difficile pour l’utilisateur de s’en passer. ‘Une fois que vous brisez les fonctions des travailleurs sociaux en activités distinctes et interchangeables, que vous installez un algorithme de classement et un système d’information que vous intégrez dans tous vos systèmes d’information, il est quasiment impossible d’en renverser le cours (…), tout comme produire un chiffre qui prédit le risque devient impossible à ignorer ». A mesure que ces technologies se développent, « elles deviennent de plus en plus difficiles à défier, à réorienter, à déraciner ». Les hospices numériques sont éternels. Alors que les enregistrements papier, du fait de leur physicalité et des contraintes de stockage qu’ils impliquaient, pouvaient permettre à ceux qui étaient enregistrés d’accéder à un droit à l’oubli, les bases de données numériques construisent des enregistrements éternels, et d’autant plus éternels qu’elles sont interreliées. Et cet enregistrement éternel est une punition supplémentaire, qui intensifie les risques de fuites de données et de divulgation.
Le risque bien sûr est que les technologies expérimentées sur les pauvres deviennent notre lot commun, soient demain utilisées sur chacun d’entre nous. Aujourd’hui, seuls les plus pauvres sont placés sous surveillance, mais ces outils sont là pour destituer demain chacun d’entre nous, prévient la chercheuse. Nous vivons dans des sociétés qui n’ont pas l’usage des plus âgés ou des invalides. « Nous mesurons la valeur humaine seulement sur la capacité à gagner sa vie ». « Nous voyons le monde comme une rivière sanglante de compétition ». Et Eubanks de dénoncer, à la suite d’Oscar Gandy, la « discrimination rationnelle », cette façon que nous avons d’ignorer les biais qui existent déjà. « Quand les outils d’aide à la décision automatisés ne sont pas construits pour démanteler explicitement les inégalités structurelles, elles les augmentent, les précipitent, les étendent, les intensifient. »
« Les ingénieurs qui construisent ces outils attirent notre attention sur les biais qui impactent leurs systèmes. Indirectement, ils font retomber leurs responsabilités sur la société, sans voir que le racisme et le comportement de classe des élites sont « mathwashés » (blanchis par les mathématiques, comme les pratiques de Greenwashing, c’est-à-dire qui se donnent une image de responsabilité par les mathématiques – NDT), c’est-à-dire neutralisés par la mystification technologique et la magie des bases de données ». Les nouveaux outils high-tech sont vus comme de simples mises à jour administratives, sans conséquence politiques. Ils ne sont montrés que comme des solutions anodines pour améliorer l’efficacité des systèmes, alors que les transformations qu’ils proposent sont bien plus radicales. Comme le soulignait Rhema Vaithianathan, la conceptrice du système prédictif de maltraitance : « d’ici 2040, le Big data devrait avoir ratatiné le secteur public jusqu’à n’être plus reconnaissable ». Comme le confesse Eubanks : « Je trouve troublant la philosophie qui voit les êtres humains comme des boites noires inconnaissables et les machines comme transparentes. Ce me semble être un point de vue qui renonce à toute tentative d’empathie et qui verrouille toute possibilité de développement éthique. L’hypothèse qui veut que la décision humaine soit opaque et inaccessible est un aveu que nous avons abandonné la responsabilité que nous avons à nous comprendre les uns les autres. »
Le problème, souligne encore la chercheuse, est que ces systèmes se développent. Les systèmes prédictifs se déploient : dans la justice, la police, les services sociaux, scolaires… Les bases de données deviennent la matrice du fonctionnement de nos sociétés.
Eubanks souligne très bien combien les garanties sont trop souvent absentes. Elle pointe les apports des principes dont nous bénéficions, en Europe ou en France, comme l’interdiction d’interconnexion des bases de données, le droit à l’oubli, les droits à la protection de la vie privée et notamment le fait que le stockage et l’exploitation des informations doivent être limités par leur finalité ou leur pertinence. Autant de garanties qui ne sont pas si fortes de l’autre côté de l’Atlantique. Pour Virginia Eubanks, face à ces technologies de l’efficacité, il est plus que nécessaire de protéger les droits humains. D’offrir des garanties, des contreparties et des contre-pouvoirs aussi puissants que le sont ces outils. Comme le souligne son travail : nous en sommes bien loin.
Pour Virginia Eubanks, il nous faut changer le discours et le regard sur la pauvreté. Il faut rendre l’assistance publique moins punitive et plus généreuse. Il est aussi nécessaire de développer des principes de conception techniques qui minimisent les dommages. Elle propose ainsi un intéressant serment d’Hippocrate pour les data-scientists, les ingénieurs et les responsables administratifs. Et esquisse un standard éthique minimum : est-ce que l’outil que je développe augmente l’autodétermination et les capacités des pauvres ? Est-ce que cet outil serait toléré si sa cible n’était pas des personnes pauvres ?
Bien sûr les observations de Virginia Eubanks ont lieu dans un autre contexte que le nôtre. On peut se rassurer en se disant que les lacunes qu’elle pointe ne nous concernent pas, que nous avons d’autres réglementations, que notre système n’est pas aussi libéral. Certainement. A la lecture du livre, je constatais surtout pour ma part, que je ne connaissais pas les équivalents français ou européens des systèmes que décrivait Eubanks. Cela ne signifie pas pour autant qu’ils n’existent pas ou que leur automatisation n’est pas en cours.
Virginia Eubanks signe une analyse radicalement différente de celles que l’on voit d’habitude autour des nouvelles technologies. C’est bien sûr un livre politique. Tant mieux : il n’en est que plus fort. Il me rappelle pour ma part la synthèse que Didier Fassin avait fait de ses travaux autour de la police, de la justice et de la prison, dans son remarquable réquisitoire Punir, une passion contemporaine, où il montrait combien la sévérité de nos systèmes pénitentiaires, policiers et judiciaires renforçait l’injustice et les inégalités, en dénonçant combien la justification morale de la punition ne produit qu’une répression sélective.
La chercheuse américaine pointe en tout cas combien la technologie est trop souvent « un mirage », comme le souligne sa consoeur danah boyd, qui nous masque les coûts réels des systèmes, leurs impacts sur les gens. Le travail ethnographique de Virginia Eubanks rend visible la politique derrière les outils. Elle nous montre que pour comprendre les systèmes, il ne faut pas seulement se plonger dans le code, mais regarder leurs effets concrets. Aller au-delà des bases de données, pour constater ce qu’elles produisent, ce qu’elles réduisent. Comme le souligne le journaliste Brian Bergstein dans une tribune pour la Technology Review, « l’instabilité déjà causée par l’inégalité économique ne fera qu’empirer si l’Intelligence artificielle est utilisée à des fins étroites ». Nous y sommes déjà !
-
7:30
Les mythes de l’IA
sur Dans les algorithmesLa technologie ne produit pas que des solutions, elle produit aussi beaucoup de promesses, d’imaginaires, d’idéologies et de mythes. Derrière le marketing des produits et des services, les entreprises déploient des métaphores simples et convaincantes qui réduisent la complexité des transformations à l’œuvre. « Ils pollinisent l’imagination sociale avec des métaphores qui mènent à des conclusions, et ces conclusions façonnent une compréhension collective » plus ou moins fidèle à la réalité. Les discours sur l’IA générative reposent sur de nombreux mythes et promesses, explique Eryk Salvaggio pour Tech Policy Press qui tente d’en dresser la liste. Ces promesses produisent souvent une compréhension erronée du fonctionnement de l’IA et induisent en erreur ceux qui veulent les utiliser.
Il y a d’abord les mythes du contrôle qui visent à nous faire croire que ces systèmes sont plus fiables qu’ils ne sont. Parmi les mythes du contrôle, il y a celui de la productivité, qui nous répète que ces systèmes nous font gagner du temps, nous font produire plus rapidement. « Le mythe de la productivité suggère que tout ce à quoi nous passons du temps peut être automatisé ». L’écriture se réduit à un moyen pour remplir une page plutôt qu’un processus de réflexion. Le mythe du prompt suggère que nous aurions un contrôle important sur ces systèmes, nous faisant oublier que très souvent, nos mots mêmes sont modifiés avant d’atteindre le modèle, via des filtres qui vont modifier nos invites elles-mêmes. D’où l’incessant travail à les peaufiner pour améliorer le résultat. « Le mythe de l’invite permet de masquer le contrôle que le système exerce sur l’utilisateur en suggérant que l’utilisateur contrôle le système ».
Outre le mythe du contrôle, on trouve également le mythe de l’intelligence. Le mythe de l’intelligence confond le fait que le développement des systèmes d’IA aient été inspirés par des idées sur le fonctionnement de la pensée avec la capacité à penser. On nous répète que ces systèmes pensent, raisonnent, sont intelligents… suggérant également qu’ils devraient être libres d’apprendre comme nous le sommes, pour mieux faire oublier que leur apprentissage repose sur un vol massif de données et non pas sur une liberté éducative. Parmi les mythes de l’intelligence, on trouve donc d’abord le mythe de l’apprentissage. Mais cette métaphore de l’apprentissage elle aussi nous induit en erreur. Ces modèles n’apprennent pas. Ils sont surtout le produit de l’analyse de données. Un modèle n’évolue pas par sélection naturelle : il est optimisé pour un ensemble de conditions dans lesquelles des motifs spécifiques sont renforcés. Ce n’est pas l’IA qui collecte des données pour en tirer des enseignements, mais les entreprises qui collectent des données puis optimisent des modèles pour produire des représentations de ces données à des fins lucratives. Le mythe de l’apprentissage vise à produire une équivalence entre les systèmes informatiques et la façon dont nous mêmes apprenons, alors que les deux sont profondément différents et n’ont pas la même portée ni la même valeur sociale. Le mythe de l’apprentissage permet surtout de minimiser la valeur des données sans lesquelles ces systèmes n’existent pas.
Le mythe de la créativité fait lui aussi partie du mythe de l’intelligence. Il entretient une confusion entre le processus créatif et les résultats créatifs. Si les artistes peuvent être créatifs avec des produits d’IA, les systèmes d’IA génératifs, eux, ne sont pas créatifs : ils ne peuvent pas s’écarter des processus qui leurs sont assignés, hormis collision accidentelles. Le mythe de la créativité de l’IA la redéfinit comme un processus strict qui relèverait d’une série d’étapes, une méthode de production. Il confond le processus de créativité avec le produit de la créativité. Et là encore, cette confusion permet de suggérer que le modèle devrait avoir des droits similaires à ceux des humains.
Salvaggio distingue une 3e classe de mythes : les mythes futuristes qui visent à produire un agenda d’innovation. Ils spéculent sur l’avenir pour mieux invisibiliser les défis du présent, en affirmant continûment que les problèmes seront résolus. Dans ces mythes du futur, il y a d’abord le mythe du passage à l’échelle ou de l’évolutivité : les problèmes de l’IA seront améliorés avec plus de données. Mais ce n’est pas en accumulant plus de données biaisées que nous produiront moins de résultats biaisés. L’augmentation des données permet surtout des améliorations incrémentales et limitées, bien loin de la promesse d’une quelconque intelligence générale. Aujourd’hui, les avantages semblent aller surtout vers des modèles plus petits mais reposant sur des données plus organisées et mieux préparées. Le mythe de l’évolutivité a lui aussi pour fonction d’agir sur le marché, il permet de suggérer que pour s’accomplir, l’IA ne doit pas être entravée dans sa course aux données. Il permet de mobiliser les financements comme les ressources… sans limites. Oubliant que plus les systèmes seront volumineux, plus ils seront opaques et pourront échapper aux réglementations.
Un autre mythe du futur est le mythe du comportement émergent. Mais qu’est-ce qui conduit à un comportement émergent ? « Est-ce la collecte de grandes quantités d’écrits qui conduit à une surperintelligence ? Ou est-ce plutôt la conséquence de la précipitation à intégrer divers systèmes d’IA dans des tâches de prise de décision pour lesquelles ils ne sont pas adaptés ? » Les risques de l’IA ne reposent pas sur le fait qu’elles deviennent des machines pensantes, mais peut-être bien plus sur le fait qu’elles deviennent des machines agissantes, dans des chaînes de décisions défaillantes.
Salvaggio plaide pour que nous remettions en question ces mythes. « Nous devons travailler ensemble pour créer une compréhension plus rigoureuse de ce que ces technologies font (et ne font pas) plutôt que d’élaborer des déclarations de valeur (et des lois) qui adhèrent aux fictions des entreprises ».
C’est peut-être oublier un peu rapidement la valeur des mythes et des promesses technologiques. Les mythes de l’IA visent à produire non seulement une perception confuse de leur réalité, mais à influer sur les transformations légales. Les promesses et les mythes participent d’un narratif pour faire évoluer le droit en imposant un récit qui légitime le pouvoir perturbateur de la technologie. Les mythes permettent de crédibiliser les technologies, expliquait déjà le chercheur Marc Audetat dans l’excellent livre collectif Sciences et technologies émergentes : pourquoi tant de promesses ? (Hermann, 2015). Comme le disait l’ingénieur Pierre-Benoît Joly dans ces pages, « les promesses technoscientifiques ont pour fonction de créer un état de nécessité qui permet de cacher des intérêts particuliers ». Les mythes et les croyances de l’IA ont d’abord et avant tout pour fonction de produire le pouvoir de l’IA et de ceux qui la déploient.
Les 9 mythes de l’IA -
7:30
Se libérer du technocolonialisme
sur Dans les algorithmesEn cartographiant la logique profondément coloniale de nos technologies, avec Anatomy of AI et Calculating Empires, Kate Crawford et Vladan Joker ont attiré notre attention sur le caractère extractiviste sans précédent des technologies numériques, construites depuis « les logiques du capital, du maintien de l’ordre et de la militarisation » qui accélèrent les asymétries de pouvoir existantes. Dans leur nouveau livre, Data Grab : the new colonialism of Big Tech (and how to fight back) (Pillage de données : le nouveau colonialisme des Big Tech (et comment le combattre), WH Allen, 2024, non traduit), Ulises A. Mejias et Nick Couldry interrogent la métaphore technocoloniale. Peut-on dire que la technologie procède d’un colonialisme ? Et si c’est le cas, alors comment nous en libérer ?
Explorer, étendre, exploiter, exterminer : une continuitéA la fin de leur précédent livre, The costs of connection (Stanford University Press, 2019) Mejias et Couldry en appelaient déjà à « décoloniser internet » de l’emprise des multinationales qui le dominent. Mais derrière la formule qui fait florès, peut-on vraiment affirmer que le colonialisme technologique repose sur les mêmes caractéristiques que le colonialisme d’hier ?
Le colonialisme, historique, repose d’abord sur un accaparement sans précédent des terres, des biens, des ressources, des personnes, dont les effets, les conséquences et les répercussions continuent encore aujourd’hui. Il repose sur un quadriptyque, expliquent les chercheurs : « explorer, étendre, exploiter, exterminer ». Comparativement, l’accaparement des données semble bien anodin. Pourtant, estiment les chercheurs, ce technocolonialisme partage beaucoup de caractéristiques avec son ancêtre. D’abord, il est comme lui global et se déroule à très large et très vaste échelle. Mais surtout, il « prolonge et renouvelle cet héritage de dépossession et d’injustice » commencé avec la colonisation. En 1945, un habitant de la planète sur trois était dépendant de l’ordre colonial. Aujourd’hui, un habitant de la planète sur trois a un compte Facebook, comparent un peu rapidement les auteurs. Les contextes et impacts sont différents, mais l’échelle du déploiement de la domination des Big Tech rappelle nécessairement cette histoire, estiment-ils. Le pouvoir de Meta par exemple contribue à une diffusion étendue de la désinformation qui a conduit jusqu’à des violences génocidaires et des interférences politiques.
Le colonialisme s’est toujours justifié par sa mission civilisatrice, visant non seulement à contrôler les corps, mais également les esprits et les consciences, comme l’ont fait dans le passé l’Eglise et la Science. Et les Big Tech aussi se targuent d’une mission civilisatrice. La mission civilisatrice, les motifs économiques, l’exercice du pouvoir et l’introduction de technologies spécifiques façonnent l’histoire du colonialisme. Par le passé, la mission civilisatrice s’est toujours faite par le déploiement de nouvelles force de surveillance, de discrimination, d’exploitation. Et c’est également ce qu’on retrouve aujourd’hui avec l’extension de la surveillance au travail, la généralisation de la reconnaissance faciale, du scoring, ou l’exploitation des travailleurs du clic du monde entier. Comme le dit le philosophe Achille Mbembe dans Sortir de la grande nuit : Essai sur l’Afrique décolonisée (2010) : « Notre époque tente de remettre au goût du jour le vieux mythe selon lequel l’Occident seul a le monopole de l’avenir. »
Image : couverture du livre de Ulises A. Mejias et Nick Couldry, Data Grab.Le colonialisme de données est « un ordre social dans lequel l’extraction continue de données génère des richesses massives et des inégalités à un niveau global ». Ce nouvel ordre social repose un nouveau contrat social où le progrès nécessite de remettre nos données aux entreprises, sans condition. Certes, les grandes entreprises de la tech ne nous proposent pas de nous réduire en esclavage et le fait de refuser leurs services ne conduit pas à l’extermination. Reste que le pillage de données n’est pas le fait de quelques entreprises malhonnêtes, mais se produit à tous les niveaux. L’exemple le plus éclairant est certainement l’IA générative qui a eu besoin de collecter toutes les données possibles pour alimenter ses moteurs. Une sorte de prédation généralisée motivée pour le bien de l’humanité. Pour Mejias et Couldry, chausser les lunettes du colonialisme pour regarder la prédation en cours permet surtout de faire apparaître les similarités entre le colonialisme historique et le technocolonialisme, qui reposent, l’un comme l’autre sur l’appropriation de ressources et qui se justifie toujours pour servir un but plus grand (le progrès économique). Ce pillage est toujours imposé par une alliance entre les Etats et les entreprises. Il a toujours des effets désastreux sur l’environnement et il renforce toujours les inégalités, entre des élites extractivistes et des populations exploitées. Enfin, cette prédation se justifie toujours par des alibis : un narratif civilisationnel.
La numérisation de nos existences implique un profond changement dans les relations de pouvoir dans lesquelles nous sommes pris. Le capitalisme ne peut pas être compris sans le rôle qu’a joué le colonialisme dans son expansion, rappellent les chercheurs. « Le capitalisme a une dimension coloniale, non pas par accident, mais par conception ». Et l’exploitation est une fonction des opérations routinières de nos outils numériques. Le colonialisme des données exploite nos existences mêmes. Comme le disait Achille Mbembe dans Brutalisme : « nous sommes le minerai que nos objets sont chargés d’extraire ».
Piller, c’est déposséder sans égard pour les droits de ceux qu’on dépossèdeCe pillage de données transforme déjà en profondeur tous les aspects de nos vies : l’éducation, la santé, les lieux de travail, la consommation, la production… La grande différence que l’on pourrait faire entre le colonialisme historique et ce nouveau colonialisme, c’est que la violence physique semble y être largement absente. En fait, estiment les chercheurs, la violence est devenue plus symbolique. Le pillage lui-même est devenu sans friction, puisqu’il suffit d’accepter les conditions d’utilisation pour qu’il se déploie. Cela ne signifie pas pour autant que toute violence ait disparu. L’enjeu colonial, d’extraction et de dépossession, lui, continue. Il signifie toujours déposséder l’autre sans égard pour ses droits. La justification est d’ailleurs toujours la même : « rendre ce qui est pillé plus productif », selon une définition de la productivité qui correspond aux intérêts du pilleur. Quant à l’exploitation du travail humain, elle n’a pas disparu, comme le rappellent les travailleurs du clic. Cette exploitation est toujours aussi intensive en technologie, nécessite toujours des outils très spécifiques et spécialisés et bénéficie d’abord à ceux à qui ils appartiennent, à l’image des plateformes d’IA qui bénéficient d’abord à ceux qui les proposent et les exploitent.
« L’exploitation des données est une continuation de la violence coloniale via d’autres moyens ». Elle produit toujours de la discrimination et de la perte d’opportunité pour ceux qui en sont les victimes, selon des logiques de classification sociales. Les distinctions de « classe, de genre, de race ont toujours été instrumentées pour créer le mythe que ces différences avaient besoin d’être gérées et organisées par la rationalité occidentale ». Le colonialisme des données renouvelle la mission historique du colonialisme via de nouveaux moyens que sont les systèmes de prise de décision automatisés, les plateformes… dont les effets « sont plus subtils et difficiles à tracer qu’avant ». La discrimination s’inscrit désormais dans nos outils numériques, comme le montrait Virginia Eubanks dans Automating Inequality, en inscrivant les inégalités dans des plateformes profondément asymétriques. L’extraction de données permet d’attacher les personnes à des catégories. Les systèmes de scoring déterminent des scores qui reflètent et amplifient les discriminations forgées par le colonialisme.
Les deux auteurs ont des mots assez durs sur la science occidentale, rappelant qu’elle naît en partie pour la gestion coloniale (la botanique, la zoologie, l’anthropologie…). Qu’elle invente des techniques et des outils (la carte, les rapports, les tableaux…) pas seulement au profit de la science, mais bien également en coordination avec l’expansion économique et militaire. Cette science a été très vite appliquée pour surveiller, contrôler et gérer les populations colonisées. La Big Science et les Big Techs aujourd’hui sont toujours au service de relations de pouvoir asymétriques. Or, rappellent les chercheurs, le colonialisme des données à besoin de nous. « Sans nos données, il ne fonctionne pas ». Nous participons à notre propre exploitation.
La donnée a une caractéristique particulière cependant. C’est un bien non-rival. Elle peut-être copiée et réutilisée sans fin. Cela n’empêche pas qu’elle soit exploitée dans des territoires de données très spécifiques que sont les plateformes, interreliées, qui imposent leurs propres lois depuis les codes qu’elles produisent. Ce nouveau monde de données dirige nos activités vers des canaux numériques qui sont entièrement sous le contrôle des entreprises qui les proposent. Si les données sont un bien non-rival, ce qu’elles capturent (nous !) est bien une ressource finie.
La mission civilisatrice des données : produire notre acceptation
Pour les deux chercheurs, l’exploitation des données est née en 1994, quand Lou Montulli, employé de Netscape, invente le cookie. En 30 ans, les structures de pouvoir du net ont domestiqué la surveillance en avantage commercial via une machinerie numérique tentaculaire, comme le montrait Soshana Zuboff. Les ordinateurs ont été placés au cœur de toute transaction, comme l’expliquait Hal Varian, l’économiste en chef de Google dès 2013. Tout ce qui est personnel ou intime est devenu un terrain d’exploitation. Nous sommes au cœur de territoires de données où le monde des affaires écrit les contrats, en les présentant comme étant à notre bénéfice. Nous sommes cernés par des relations d’exploitation de données qui maximisent l’extraction d’une manière particulièrement asymétrique. Une forme d’hypernudge qui optimise nos comportements pour servir les objectifs des collecteurs. Ce colonialisme n’opère pas que dans le domaine de la publicité ciblée, rappellent les auteurs, elle s’étend aux finances personnelles, à l’agriculture de précision, à l’éducation, la santé, le travail… selon des logiques d’opacité (on ne sait pas exactement quelles données sont collectées), d’expansionnisme (les données d’un secteur servent à d’autres), d’irresponsabilité (sans rendre de comptes) et dans une conformité juridique très incertaine. La gestion des humains est devenue rien d’autre que la gestion d’une base de données, au risque d’y délaisser les plus vulnérables. Ces systèmes ravivent les inégalités du vieil ordre colonial.Dans un chapitre sur la mission civilisatrice des données, les deux chercheurs expliquent que celle-ci repose d’abord sur la commodité. Elle repose également sur une narration connectiviste, quasi religieuse, qui invisibilise la surveillance qu’elle active en suggérant que l’extraction de données est inévitable. Qu’elle doit être continue, profonde, totale. Ce narratif met de côté tous les problèmes que cette extraction génère, comme le fait qu’elle divise les gens, les épuise, les traumatise… On oublie que la connexion limite plus qu’elle augmente la diversité. « Les plateformes plus que les gens, décident quelles connexions sont plus avantageuses pour elles », à l’image des recommandations qu’elles produisent sans qu’on ait notre mot à dire, qu’importe la polarisation ou la radicalisation qu’elles produisent. La viralité est le modèle économique. Nous sommes le jeu auquel joue l’algorithme.
Ce storytelling impose également un autre discours, celui que l’IA serait plus intelligente que les humains. Comme le microscope a participé au succès de l’impérialisme (soulignant le lien entre la méthode scientifique et l’entreprise coloniale comme moyen de réduire et d’abstraire le monde naturel en objets capables d’être gérés), l’IA est l’outil pour rendre l’extraction de données inévitable. D’un outil pour comprendre le monde, la méthode scientifique est aussi devenue un processus pour éliminer l’opposition à la gestion coloniale. Couldry et Mejias rappellent pourtant que la science n’a pas servi qu’un sombre objectif colonial, mais que l’abstraction scientifique et le développement technologique qu’elle a produit a accompagné l’extractivisme colonial. Le narratif sur l’intelligence de l’IA, comme l’explique Dan McQuillan dans Resisting AI, sert à opacifier ses effets. Il nous pousse à croire que l’optimisation statistique serait le summum de la rationalité, qu’il permettrait justement d’éliminer nos biais quand il ne fait que les accélérer. Pour les deux chercheurs, l’IA discriminatoire et opaque par essence sert d’abord et avant tout à dissimuler les limites de la rationalité, à la parer de neutralité, à automatiser la violence et la discrimination qu’elle produit. L’IA n’est que la nouvelle étape d’une production coloniale de connaissance qui prend toutes les productions humaines pour générer une connaissance qui nous est présentée comme son apothéose, quand elle est avant tout un moyen de s’assurer la continuité de l’appropriation des ressources.Si le discours civilisationnel fonctionne, c’est d’abord parce que ce narratif renforce la hiérarchie des pouvoirs et vise à verrouiller la position des dominés comme dominés. Il colonise l’imagination de ce que doit être le futur : un avenir connecté, un avenir que l’on doit accepter, un avenir normal et inaltérable. Ce que ce narratif vise à produire, c’est notre acceptation. Il n’y a pas d’alternative !
La nouvelle classe colonialeLa surveillance se porte bien, comme le pointent les chiffrages du site Big Tech sells War. La sécurité, la défense et la surveillance sont désormais largement aux mains des grandes entreprises de la tech. Le pire colonialisme d’hier ressemble à celui d’aujourd’hui. Et comme hier, il implique l’existence d’une véritable classe coloniale. Celle-ci ne porte plus le casque blanc. Elle opère à distance, dans les bureaux feutrés de quelques grandes entreprises. Mejias et Couldry rappellent qu’à la grande époque, la Compagnie britannique des Indes orientales était une entreprise commerciale de 250 000 employés gérés depuis Londres par une équipe de 35 à 159 employés seulement. Uber, avec 32 000 employés coordonne les opérations de 5 000 0000 de livreurs et chauffeurs pour quelques 131 millions d’utilisateurs.
S’inspirer des résistances anticoloniales
La classe coloniale de la donnée naît dès le milieu des années 80 dans les entreprises qui proposent les premières cartes de crédit et qui se mettent à collecter des données sur les consommateurs pour cela. Leur but ? Distinguer les consommateurs afin de trouver les plus fidèles. Dans les années 90, ces conceptions commencent à essaimer dans les théories de gestion. Couplées aux data sciences, elles donneront naissance aux Big data, c’est-à-dire aux théories de l’exploitation des données qu’incarnent les plus grandes entreprises de la tech. Amazon incarne l’explorateur, celui qui conquiert de nouveaux territoires pour l’extraction depuis le commerce de détail. Google et Apple, les expansionnistes de la données qui dominent de vastes empires de services et d’infrastructures cherchant à pousser toujours plus loin leurs emprises. Facebook est l’exploiteur le plus systémique des données. Les deux auteurs dressent rapidement les évolutions extractivistes des grands acteurs de la tech et de bien d’autres. Nous sommes désormais cernés par une infrastructure d’extraction, dominée par une bureaucratie d’acteurs, qui n’est pas sans rappeler la bureaucratie de l’administration coloniale. Celle-ci est dominée par la figure du data scientist, miroir de l’administrateur colonial, qui œuvre dans tous les domaines d’activité. Qu’ils oeuvrent pour Palantir, Salesforce ou LexisNexis, ils façonnent l’Etat algorithmique, transforment la nature même du gouvernement par de nouvelles formes de connaissance et de contrôle, dans un rapprochement dont on peine à prendre la mesure – 6500 agences publiques américaines utilisent Amazon Cloud Services. Partout, la technologie est devenue la modalité d’action sur la société. Partout, la technologie est convoquée pour optimiser les financements publics et notamment réduire les dépenses par un profilage toujours plus intensif des administrés en y appliquant partout des calculs probabilistes pour améliorer leur rentabilité, changeant profondément la nature du bien public et la conception de l’Etat providence. Pour ces acteurs, tout ce qui peut être utilisé le sera, simplement parce qu’il est disponible. Toutes les données sont collectées et sont rendues productives du fait même de leur disponibilité. La précision, l’exactitude ou la justice sont sans conséquences, tant que les données produisent des résultats.La critique de l’extractivisme colonial est nourrie. Les données, par nature, sont des objets sans contexte. L’historien et politicien Eric Williams, auteur de Capitalisme et esclavage (1930), a pourtant rappelé que la révolution industrielle qui a survalorisé l’innovation occidentale n’aurait pas été possible sans les ressources tirées de la colonisation. Pour lui, le capitalisme n’aurait pas pu se développer sans le colonialisme et sans la sujétion au travail, notamment par l’esclavage. Le sociologue péruvien, Anibal Quijano a parlé lui de « colonialité » du pouvoir pour parler des liens entre capitalisme et racisme, qui ne se sont pas achevés avec la décolonisation, mais se sont prolongés bien au-delà. Pour résister à la colonialité, Quijano invite à développer une rationalité et une connaissance débarrassée des idées de hiérarchies et de discrimination. Pour lui, la connaissance par exemple se construit bien plus par la diversité des perspectives que par le rejet de la diversité sous un prétexte rationaliste. Pour Mejias et Couldry, la connaissance que produit le Big Data est une connaissance depuis le point de vue des institutions qui les produisent, pas des gens et encore moins des gens depuis leur grande diversité. En cela, elle perpétue les caractéristiques de la science occidentale et la rend profondément colonialiste.
Sylvia Wynter est une autre chercheuse que les auteurs convoquent pour nous aider à trouver un autre rapport à la connaissance, à la science et à la rationalité. Pour elle, nous devons résister à la vision dominante de la science occidentale pour promouvoir une vision plus inclusive. Pour elle, nous avons besoin d’un mode de pensée sur la donnée qui inclut plus de gens et de perspectives, à l’image de ce que répètent les data scientists les plus critiques des perspectives technologiques comme Safiya Noble, Timnit Gebru ou les sociologues Ruha Benjamin, Virginia Eubanks… C’est également les perspectives que défendent Catherine D’Ignazio et Lauren Klein depuis le féminisme de données. C’est le même point de vue qu’exprime le philosophe Achille Mbembe quand il dénonce la continuité du colonialisme par d’autres moyens et nous invite à ne plus voir dans l’occident le centre de gravité du monde, dénonçant l’expansion de l’IA, comme le devenir artificiel de l’humanité. C’est le même enjeu qu’exprime Naomi Klein quand elle dénonce le capitalisme du désastre, qui utilise celui-ci pour créer des opportunités pour exploiter les populations les plus vulnérables. Pour Klein, l’extractivisme est lié au colonialisme qui ne voit le monde que comme une terre de conquête, plutôt que notre maison commune. Un extractivisme qui s’étend dans la plus grande impunité.
Les deux chercheurs terminent leur essai par des exemples de résistance qui peuvent paraître, comme souvent, bien fragiles face au rouleau compresseur de l’extractivisme des données. Pour eux, « le colonialisme de données n’est pas un problème facile à réparer ». On ne peut pas l’effacer d’une loi ou d’une nouvelle technologie… Ils nous invitent cependant à apprendre des résistances anticoloniales passées et de celles qui continuent de se déployer aujourd’hui, comme des résistances locales contre le déploiement des technologies de reconnaissance faciale, comme le propose la coalition Reclaim your Face. Dans de nombreuses industries de la tech, les travailleurs tentent de se syndiquer, non sans difficultés. D’autres montent des mouvements pour résister à l’extractivisme, comme No Tech for ICE, le mouvement qui s’oppose à l’usage des technologies par les agences d’immigration américaines ou No Tech for Apartheid qui s’oppose aux technologies de surveillance des Palestiniens ou Our Data Bodies, qui s’oppose aux technologies de surveillance sur les communautés pauvres et racisées américaines. Quand les Big Tech sont partout, c’est à chacun d’entre nous de résister, expliquent-ils en invitant à boycotter les plateformes, à éteindre ou déposer nos téléphones, comme le propose le Luddite Club des adolescents newyorkais. Mais nous devons aussi radicalement réimaginer la façon dont on utilise les données, comme nous y invite la penseuse argentine Veronica Gago, auteure de La puissance féministe, qui invite à s’extraire des zones d’extractivisme ou encore Ivan Illich qui nous invitait à construire une société conviale, faite d’outils responsables par lesquels les humains contrôleraient les technologies qu’ils utilisent.Ils nous invitent d’ailleurs à nous défaire des réponses technologiques. Les solutions sont également sociales, politiques, culturelles, éducatives et légales… Et elles doivent se connecter aux gens et aux luttes. Mejias et Couldry nous invitent à travailler ces systèmes en demandant des droits et des régulations, comme l’a fait le RGPD en Europe. Il nous faut protester contre les pratiques extractivistes, oeuvrer avec les autorités pour exiger des transformations concrètes, oeuvrer avec d’autres organisations pour changer l’allocation des financements, exiger des sanctions et des boycotts, mobiliser les citoyens sur ces enjeux, soutenir la taxation des entreprises de la tech, exiger des garanties pour protéger les citoyens, comme le proposent People vs Big Tech. Mais il faut aussi oeuvrer contre les systèmes et développer de nouveaux outils politiques permettant de refuser le colonialisme sur nos données en œuvrant pour le développement de plateformes plus locales que globales. Si choisir un colonisateur national plutôt qu’un service global ne règle pas la question, Mejias et Couldry nous invitent à trouver les moyens de rendre l’extractivisme des données inacceptable. A la suite de Ben Tarnoff, ils nous invitent à imaginer comment nationaliser l’internet et développer à la suite des travaux de Trebor Scholz, des plateformes coopératives. Ils nous invitent à renverser le discours dominant en relayant les critiques à l’égard des systèmes algorithmiques, à partager les histoires édifiantes des victimes des calculs, et à soutenir les organisations qui œuvrent en ce sens. Ils nous invitent à redéfinir la frontière entre ce que nous voulons et ce que nous ne voulons pas. « La crise du colonialisme des données exige notre participation mais sans notre approbation consciente. Elle ne nous confronte pas à la disparition des glaciers ou des forêts tropicales (même si le colonialisme des données vient avec des coûts environnementaux très significatifs), mais à des environnements sociaux appauvris organisés dans un seul but : l’extraction de données et la poursuite du profit. Et c’est un problème, car résoudre la crise environnementale – et toutes les crises auxquelles nous sommes confrontés – nécessite une collaboration sociale renforcée. Si nos environnements sociaux sont contrôlés par les États et les entreprises, il y a un risque que nous soyons manipulés pour servir leurs intérêts plutôt que les nôtres, ce qui pourrait saper les politiques collectives dont nous avons réellement besoin ». C’est aux colonisés d’agir. Il n’y a rien à attendre des colonisateurs de données. « L’extraction de données est le dernier stade d’un projet qui vise à gouverner le monde dans l’intérêt des puissants. Il nous faut inventer un monde où la donnée est quelque chose que les communautés contrôlent pour les buts qu’elles ont elles-mêmes choisies ». L’IA ne nous sauvera pas. Elle n’est « qu’un mécanisme de plus pour continuer à faire de l’argent et pour transformer le monde en espaces impénétrables que nous ne comprenons pas et sur lesquels nous n’avons aucun contrôle » et qui agit sur nos chances d’accès à des ressources cruciales (prêts, éducation, santé, protection sociale, travail…). Les données discriminent. Les tisser dans des algorithmes et des systèmes toujours plus complexes qui amplifient les biais ne générera que des systèmes de pouvoir encore plus inégaux. Ces systèmes exigent notre transparence la plus totale alors qu’eux-mêmes sont de plus en plus opaques, comme le disaient Ryan Calo et Danielle Citron. Si nous ne démantelons pas ces structures de pouvoir, le colonialisme de données produira de nouvelles injustices, pas leur disparition.
*
Si les perspectives critiques que tirent Mejias et Couldry sont intéressantes, on reprochera néanmoins à leur essai d’être plus philosophique que pragmatique. Les deux chercheurs peinent à documenter concrètement la prédation dont nous sommes l’objet, alors que les exemples ne manquent pas. Leurs propositions conclusives donnent un peu l’impression qu’ils nous invitent à prolonger la lutte, sans documenter justement le coût de la connexion. Leurs recommandations s’inscrivent dans un dictionnaire des luttes bien établies sans parvenir à proposer des leviers sur lesquels celles-ci pourraient converger. Dans leur radicalité, on pourrait s’attendre à ce que leurs propositions le soient également, permettant de construire des objectifs plus ambitieux, comme l’interdiction de la collecte de données, l’interdiction de leurs croisements, l’interdiction des inférences et de la segmentation des publics… On aurait pu attendre d’un livre sur le pillage des données qu’il soit plus radical encore, qu’il nous invite à combattre « la traite » dont nous sommes l’objet par le rétablissement de nos droits, comme l’abolition de l’esclavage ou l’indépendance ont été les leviers décisifs permettant d’envisager de mettre fin au colonialisme. Mejias et Couldry nous offrent une métaphore qui ouvre des perspectives, mais qui semblent bien moins mobilisables qu’on l’attendait.
MAJ du 4/10/2024 : Sur Mais où va le web, Irénée Régnauld revient sur le livre de l’anthropologue Payal Arora, From pessimism to to promise, qui offre un contrepoint au technocolonialisme de Mejias et Couldry. « Pour beaucoup, la peur d’être anonyme et perdu est plus grande que celle d’être surveillé. »
-
9:56
ChatGPT : le mythe de la productivité
sur Dans les algorithmes« Pourquoi pensons-nous que dans l’art, il y a quelque chose qui ne peut pas être créé en appuyant sur un bouton ? » Les grands modèles de langage pourraient-ils devenir meilleurs que les humains dans l’écriture ou la production d’image, comme nos calculatrices sont meilleures que nous en calcul ? se demande l’écrivain de science-fiction Ted Chiang dans une remarquable tribune pour le New Yorker. Il y rappelle, avec beaucoup de pertinence, que l’IA vise à prendre des décisions moyennes partout où nous n’en prenons pas. Quand on écrit une fiction, chaque mot est une décision. Mais quand on demande à une IA de l’écrire pour nous, nos décisions se résument au prompt et toutes les autres décisions sont déléguées à la machine.
Chiang rappelle l’évidence. Que l’écriture, par la lecture, tisse une relation sociale. « Tout écrit qui mérite votre attention en tant que lecteur est le résultat d’efforts déployés par la personne qui l’a écrit. L’effort pendant le processus d’écriture ne garantit pas que le produit final vaille la peine d’être lu, mais aucun travail valable ne peut être réalisé sans lui. Le type d’attention que vous accordez à la lecture d’un e-mail personnel est différent de celui que vous accordez à la lecture d’un rapport d’entreprise, mais dans les deux cas, elle n’est justifiée que si l’auteur y a réfléchi. » Il n’y a pas de langage sans intention de communiquer. Or, c’est bien le problème des IA génératives : même si ChatGPT nous dit qu’il est heureux de nous voir, il ne l’est pas.
« Pourquoi l’IA ne fera pas d’art ». L’article de Ted Chiang pour le New Yorker.« Comme l’a noté la linguiste Emily M. Bender, les enseignants ne demandent pas aux étudiants d’écrire des essais parce que le monde a besoin de plus d’essais d’étudiants. Le but de la rédaction d’essais est de renforcer les capacités de réflexion critique des étudiants. De la même manière que soulever des poids est utile quel que soit le sport pratiqué par un athlète, écrire des essais développe les compétences nécessaires pour tout emploi qu’un étudiant obtiendra probablement. Utiliser ChatGPT pour terminer ses devoirs, c’est comme amener un chariot élévateur dans la salle de musculation : vous n’améliorerez jamais votre forme cognitive de cette façon. Toute écriture n’a pas besoin d’être créative, sincère ou même particulièrement bonne ; parfois, elle doit simplement exister. Une telle écriture peut soutenir d’autres objectifs, comme attirer des vues pour la publicité ou satisfaire aux exigences bureaucratiques. Lorsque des personnes sont obligées de produire un tel texte, nous pouvons difficilement leur reprocher d’utiliser tous les outils disponibles pour accélérer le processus. Mais le monde se porte-t-il mieux avec plus de documents sur lesquels un effort minimal a été consacré ? Il serait irréaliste de prétendre que si nous refusons d’utiliser de grands modèles de langage, les exigences de création de textes de mauvaise qualité disparaîtront. Cependant, je pense qu’il est inévitable que plus nous utiliserons de grands modèles de langage pour répondre à ces exigences, plus ces exigences finiront par devenir importantes. Nous entrons dans une ère où quelqu’un pourrait utiliser un modèle de langage volumineux pour générer un document à partir d’une liste à puces, et l’envoyer à une personne qui utilisera un modèle de langage volumineux pour condenser ce document en une liste à puces. Quelqu’un peut-il sérieusement affirmer qu’il s’agit d’une amélioration ? »
« L’informaticien François Chollet a proposé la distinction suivante : la compétence correspond à la façon dont vous accomplissez une tâche, tandis que l’intelligence correspond à l’efficacité avec laquelle vous acquérez de nouvelles compétences. » Pour apprendre à jouer aux échecs, Alpha Zero a joué quarante-quatre millions de parties ! L’IA peut-être compétente, mais on voit bien qu’elle n’est pas très intelligente. Notre capacité à faire face à des situations inconnues est l’une des raisons pour lesquelles nous considérons les humains comme intelligents. Une voiture autonome confrontée à un événement inédit, elle, ne sait pas réagir. La capacité de l’IA générative à augmenter la productivité reste théorique, comme le pointait Goldman Sachs en juillet. « La tâche dans laquelle l’IA générative a le mieux réussi est de réduire nos attentes, à la fois envers les choses que nous lisons et envers nous-mêmes lorsque nous écrivons quelque chose pour que les autres le lisent. C’est une technologie fondamentalement déshumanisante, car elle nous traite comme des êtres inférieurs à ce que nous sommes : des créateurs et des appréhenseurs de sens. Elle réduit la quantité d’intention dans le monde. » Oui, ce que nous écrivons ou disons n’est pas très original le plus souvent, rappelle l’écrivain. Mais ce que nous disons est souvent significatif, pour nous comme pour ceux auxquels l’on s’adresse, comme quand nous affirmons être désolé. « Il en va de même pour l’art. Que vous créiez un roman, une peinture ou un film, vous êtes engagé dans un acte de communication entre vous et votre public ». « C’est en vivant notre vie en interaction avec les autres que nous donnons un sens au monde ».
Le philosophe du net, Rob Horning, dresse le même constat. Ces machines « marchandisent l’incuriosité », explique-t-il. « Les LLM peuvent vous donner des informations, mais pas les raisons pour lesquelles elles ont été produites ou pourquoi elles ont été organisées de certaines manières ». Ils permettent assez mal de les situer idéologiquement. Or, la recherche, l’écriture, permettent de construire de la pensée et pas seulement des résultats. A contrario, les solutions d’IA et les entreprises technologiques promeuvent le « mythe de la productivité », l’idée selon laquelle économiser du temps et des efforts est mieux que de faire une activité particulière pour elle-même. Le mythe de la productivité suggère que tout ce à quoi nous passons du temps peut-être automatisé. La production peut-être accélérée, sans limite. Les raisons pour lesquelles nous le faisons, la profondeur que cela nous apporte n’ont pas d’importance. Selon ce mythe, le but de l’écriture c’est de remplir une page, pas de réaliser le processus de réflexion qui l’accompagne… Comme si le but de l’existence n’était que de déployer des techniques pour gagner du temps. Pour Horning, ce n’est pas tant un mythe qu’une idéologie d’ailleurs, qui « découle directement de la demande du capitalisme pour un travail aliéné, qui consiste à contraindre des gens à faire des choses qui ne les intéressent pas, orchestrées de telles manières qu’ils en tirent le moins de profit possible ». Dans le travail capitaliste, le but est d’ôter la maîtrise des travailleurs en les soumettant aux processus de travail cadencés. La page de contenus est une marchandise dont la valeur dépend du prix payé pour elle, plutôt que de l’expérience de celui qui l’a produite ou de celui qui l’a consommée.
Pour les entreprises, l’efficacité est supérieure au but : elle est le but qui invalide tous les autres. Quand le but de l’art, de l’éducation ou de la pensée, est d’être confronté à l’intentionnalité, à la preuve irréfutable de la subjectivité, comme le pointe Chiang. « L’IA générative est la quintessence de l’incurie, parfaite pour ceux qui détestent l’idée de devoir s’intéresser à quoi que ce soit. »
Le problème, c’est que ces effets délétères ne concernent pas une production textuelle en roue libre qui serait limitée au seul monde de l’entreprise, où un argumentaire en remplacerait un autre sans que ni l’un ni l’autre ne soit lu. Les effets de cette productivité pour elle-même sont bien réels, notamment dans le monde scolaire, s’inquiétait récemment Ian Bogost qui estime que depuis le lancement de ChatGPT, nous sommes passé de la consternation à l’absurdité : des étudiants génèrent des devoirs avec l’IA que les enseignants font corriger par l’IA. Certes, bien sûr, tout le monde va devoir s’y adapter. Mais le risque est grand que ces technologies rendent caduc l’un des meilleur outil d’apprentissage qui soit : l’écriture elle-même. -
9:46
L’IA va-t-elle élargir l’expertise ou la réduire ?
sur Dans les algorithmesDavid Autor est l’un des grands experts du travail. Economiste au MIT, il est l’un des responsables du laboratoire de recherche sur l’avenir du travail. Le chercheur publie avec parcimonie, mais quand il s’exprime, cela vaut souvent le coup de s’y intéresser. Jusqu’à présent, Autor n’a pas toujours été tendre avec l’impact de la technologie sur le travail, montrant que celle-ci sert surtout à améliorer la rentabilité des entreprises et que l’automatisation et la mondialisation ont surtout servi à se débarrasser des travailleurs et à les remplacer par des travailleurs moins chers. Autor a dénoncé le risque d’une innovation sans emplois – notamment en contestant l’étude de Michael Osborne et Karl Benedickt Frey de 2013 qui estimait qu’une profession sur deux était menacée de disparition du fait de l’automatisation, Autor montrant que les effets de l’automatisation sont plus complexes.
Alors que de nombreuses perspectives que fait peser l’IA sur le travail semblent s’annoncer comme catastrophiques, tout le monde s’inquiétant d’un grand remplacement par les machines, David Autor, estime, au contraire et avec un certain optimisme, que l’IA pourrait nous aider à reconstruire la classe moyenne ! Si l’IA fait peser une réelle menace sur l’emploi, elle offre également la possibilité d’étendre l’expertise à un plus grand nombre de travailleurs, défend Autor, c’est-à-dire de faire monter en compétences plus de monde que ce n’était possible jusqu’alors !
Si la peur que l’IA nous pique nos jobs est légitime, c’est oublier que le monde industrialisé regorge d’emplois, rappelle-t-il. Et la pénurie de main-d’œuvre à venir, liée à la chute de la natalité, ne devrait pas remettre en cause le besoin de travailleurs, au contraire. « Ce n’est pas une prédiction, c’est un fait démographique. Tous ceux qui auront 30 ans en 2053 sont déjà nés et nous ne pouvons pas créer davantage de personnes qu’il n’y en a. À moins d’un changement massif de la politique d’immigration, les États-Unis et les autres pays riches manqueront de travailleurs avant qu’ils ne manquent d’emplois. »
L’IA, remède à l’automatisation ?Certes, l’IA va bouleverser le monde du travail, mais pas comme le pensent Elon Musk ou Geoffrey Hinton, en mettant tout le monde au chômage ! L’IA va remodeler la valeur et la nature de l’expertise humaine, explique Autor. L’expertise, rappelle-t-il, fait référence aux connaissances et compétences requises pour accomplir une tâche particulière. Celle-ci a beaucoup de valeur quand elle est relativement rare et difficile à acquérir. Elle est la principale source de valeur au travail : les emplois qui nécessitent peu de formation ou de certification restent traditionnellement les moins bien rémunérés, contrairement à ceux qui en nécessitent beaucoup. Les domaines d’expertise évoluent à travers les époques technologiques. Les ingénieurs logiciels n’existaient pas jusqu’à ce que les innovations technologiques et sociales en créent le besoin.
Longtemps, la vision utopique de l’ère de l’information était que les ordinateurs aplaniraient les hiérarchies économiques en démocratisant l’information. N’importe qui accédant à un ordinateur pouvait désormais tout faire, tout accomplir… Pourtant, estime Autor, ce n’est pas exactement ce qui se produit. En fait, estime-t-il, l’information n’est qu’un apport à une fonction économique plus déterminante : à savoir la prise de décision, qui, elle, relève de l’élite des experts. « En rendant l’information et les calculs abondants et bons marchés, l’informatisation a catalysé une concentration sans précédent du pouvoir de décision et des ressources qui l’accompagnent dans les mains d’une petite élite experte ». Avec le numérique, une large strate d’emplois moyennement qualifiés se sont automatisés, notamment dans le travail de bureau ou le soutien administratif. Quant aux individus sans qualification, ils ont été relégués à des emplois de service non spécialisés et mal payés.
Pour Autor, l’IA nous offre la possibilité de contrecarrer le processus amorcé par l’informatisation, c’est-à-dire améliorer l’expertise du plus grand nombre. L’IA peut permettre à un plus grand nombre de travailleurs d’effectuer des tâches décisionnelles confiées jusqu’à présent à une petite élite. « Bien utilisée, l’IA peut aider à restaurer la classe moyenne du marché du travail qui a été vidée par l’automatisation et la mondialisation », soutient l’économiste. Si elle peut également rendre l’expertise redondante et les experts superflus, réduisant encore leur nombre, l’IA pourrait également démocratiser l’expertise, pour autant qu’on accompagne les utilisateurs. Pour les travailleurs possédant une formation et une expérience de base, l’IA peut les aider à tirer parti de leur expertise afin de pouvoir effectuer un travail à plus forte valeur ajoutée, comme le pointait l’étude d’Erik Brynjolfsson, Danielle Li et Lindsey Raymond sur l’usage de l’IA générative au travail, qui montrait que dans des centres d’appel, les gains de productivité de l’IA étaient nuls pour les agents les plus performants, mais maximum pour les moins productifs.
« L’IA pourrait aider à reconstruire la classe moyenne ». L’article de David Autor chez Noemag. L’expertise a longtemps été laminée par l’industrialisation et l’automatisation
Certes, concède Autor, l’IA va certainement automatiser une part importante du travail existant et rendra certains domaines d’expertise existants inutiles. Mais, assure l’optimiste professeur, l’IA va également créer de nouveaux biens et services et de nouvelles demandes d’expertises. L’IA offre de nombreuses possibilités pour augmenter le nombre de travailleurs et améliorer le travail.Autor rappelle que jusqu’au XIXe siècle et le début de la production de masse, le savoir artisanal était vénéré. Et puis, l’industrialisation a tout changé. La production de masse s’est imposée par la force de sa productivité et les conditions de travail des travailleurs sont devenues dangereuses, pénibles, pour des salaires extrêmement faibles. Les petits ateliers de tisserands ont été laminés par l’industrie. Et il a fallu des dizaines d’années de luttes sociales avant que le niveau de vie de la classe ouvrière ne se sécurise peu à peu. A mesure que les outils, les processus et les produits de l’industrie gagnaient en sophistication, l’expertise des travailleurs a été peu à peu reconnue. Les ouvriers qui opéraient et entretenaient des équipements complexes avaient besoin de formations dédiées. Ce n’est pas un hasard si une fraction toujours croissante de la main d’œuvre est désormais dotée d’un diplôme d’études secondaires qui a contribué à construire ce que l’on a appelé la classe moyenne des pays industrialisés. Mais cette « expertise de masse », cette expertise « procédurale », des ouvriers qualifiés aux contremaîtres, a été peu à peu laminée par le développement de procédures toujours plus avancées et surtout par l’ère de la mécanique, de la robotique et de l’informatique, capables d’exécuter à moindre coût, de manière fiable et rapide, des tâches cognitives et manuelles codées dans des règles explicites et déterministes : des programmes. « Avant l’ère informatique, il n’existait essentiellement qu’un seul outil de traitement symbolique : l’esprit humain ». « Avant l’ère informatique, les travailleurs spécialisés dans les tâches de bureau et de production qualifiées incarnaient l’expertise de masse ». Ces procédés ont « érodé la valeur du savoir-faire de masse tout comme les technologies de la révolution industrielles ont érodé la valeur du savoir-faire artisanal ».
Toutes les tâches ne suivent pas des règles bien comprises et maîtrisables, toutes ne sont pas routinières, ne s’obtiennent pas en apprenant des règles mais plutôt en apprenant par la pratique, par essai-erreur, comme lorsqu’on apprend à faire du vélo. Avant l’IA, un programmeur devait spécifier toutes les étapes pour qu’un robot apprenne à faire du vélo. Désormais, le robot va apprendre par essai-erreur. De nombreux emplois bien rémunérés, avec un haut niveau d’expertise, nécessitent d’accomplir des tâches non routinières où la connaissance des règles ne suffit pas. « Semblables aux artisans de l’ère préindustrielle, l’élite des experts modernes tels que les médecins, les architectes, les pilotes, les électriciens et les éducateurs combinent leurs connaissances procédurales avec leurs jugements d’experts et, souvent, leur créativité, pour s’attaquer à des cas spécifiques, aux enjeux élevés et souvent incertains ». Les ordinateurs permettent aux professionnels de passer moins de temps à acquérir et à organiser des informations et plus de temps à interpréter et appliquer ces informations, c’est-à-dire à prendre des décisions… ce qui a augmenté la valeur du jugement professionnel des experts. A mesure que l’informatisation progressait, les revenus des experts ont augmenté.
Mais l’informatisation a eu également des impacts sur les travaux non experts : dans les métiers des services pratiques (entretien, soin, restauration…) peu rémunérés car exigeant peu d’expertise, pouvant être accompli avec une formation minimale. Si les ordinateurs ne peuvent pas encore accomplir ces travaux, ils ont augmenté le nombre de travailleurs en compétition pour obtenir ces postes, notamment par le déclassement des emplois d’expertise de masse dans les domaines de l’administration ou du travail de bureau. Plutôt que de produire un renouveau de l’expertise de masse, comme on l’a connu avec la révolution industrielle, l’informatisation l’a réduite et a conduit à une hausse des inégalités.
L’IA, une technologie d’inversion ?Mais l’ère de l’intelligence artificielle est un point d’inflexion, estime David Autor. Avant l’IA, la capacité principale de l’informatique était l’exécution sans faille et presque sans frais de tâches procédurales et de routines. Les capacités de l’IA sont l’exact inverse, ce qui implique qu’elle ne soit pas fiable. Mais l’IA sait assez bien acquérir des connaissances tacites : elle apprend par l’exemple, sans instruction explicite. A l’instar d’un expert humain, l’IA peut créer des règles avec l’expérience qu’elle acquiert et prendre des décisions. Demain, quand ses capacités de jugements s’amélioreront, elle pourra encadrer les décideurs dans l’application de leurs jugements experts.
Pour l’instant, les décisions de l’IA se limitent à vous conseiller d’écrire tels mots plutôt que tels autres, mais il est probable que ces décisions soient de plus en plus importantes à mesure que ses performances progressent. Pour David Autor, ces perspectives devraient permettre à des travailleurs non experts de participer à des prises de décision à enjeux élevés, pour tempérer le monopole de décision des élites, médecins comme avocats par exemple. Pour lui, l’IA est une « technologie d’inversion », capable de fournir une aide à la décision sous forme d’orientations et de garde-fous, permettant à un grand nombre de travailleurs d’effectuer des tâches décisionnelles aujourd’hui confiés à des médecins, des avocats, des codeurs… Ce qui permettrait d’améliorer la qualité des emplois, de modérer les inégalités de revenus, tout en réduisant les coûts des services clés comme la santé, l’éducation ou l’expertise juridique.
La production de masse a réduit le coût des biens de consommation. Le défi contemporain consiste à réduire celui des services essentiels, comme la santé, l’enseignement supérieur ou le droit, monopolisés par des corporations d’experts très qualifiés. Les prix des soins de santé et d’éducation au cours des quatre dernières décennies ont augmenté de 200 et 600% par rapport aux revenus des ménages américains. L’expertise qui ne cesse de se complexifier, justifie certainement ce coût, mais l’IA a le potentiel de réduire ces coûts en réduisant la rareté de l’expertise. Autor prend l’exemple d’infirmières spécialisées qui peuvent administrer et interpréter des diagnostics, évaluer et diagnostiquer les patients et prescrire des médicaments. Entre 2011 et 2022, le nombre de ces infirmières spécialisées a explosé aux Etats-Unis et leur nombre devrait continuer à croître. Ces infirmières spécialisées sont nées dans les années 60 pour répondre à la pénurie de médecin. Outre une formation dédiée, c’est surtout la numérisation de l’activité de santé qui a permis aux infirmières spécialisées d’avoir accès à de meilleurs outils pour prendre de meilleures décisions. Pour Autor, à terme, l’IA pourrait venir accompagner nombre d’autres professions, pour les aider à effectuer des tâches expertes, que ce soit en complétant leurs compétences ou en complétant leur jugement.
Autor verse à son hypothèse trois études qui lui servent de preuve de concept. L’étude de Sida Peng de Microsoft Research qui montre que GitHub Copilot peut augmenter considérablement la productivité des programmeurs. Une autre étude auprès de spécialistes de l’écriture, comme des consultants, des responsables marketing ou des gens chargés de répondre à des demandes de subventions ou appels à projet qui a montré des améliorations significatives en vitesse et en qualité pour ceux qui ont pu utiliser des outils d’IA générative. « Les rédacteurs les moins efficaces du groupe ChatGPT étaient à peu près aussi efficaces que l’écrivain médian sans ChatGPT – un énorme saut de qualité. » L’écart de productivité entre les travailleurs s’est rétréci. Et bien sûr, l’étude de Erik Brynjolfsson dans les centres d’appels qui montrait également une forte amélioration de la productivité chez les salariés utilisant ces outils, notamment pour les travailleurs les plus novices et les moins qualifiés. « Les outils d’IA ont aidé les travailleurs novices à atteindre les capacités des agents expérimentés en trois mois au lieu de dix. » « Les taux de démission parmi les nouveaux agents ont également diminué considérablement, probablement en raison d’une moindre colère des clients dirigée contre eux dans les fenêtres de discussion. Grâce à l’outil d’IA, les travailleurs de support ont ressenti beaucoup moins d’hostilité de la part de leurs clients et également envers leurs clients. »
Dans ces trois cas, les outils d’IA ont complété l’expertise plutôt que de remplacer les experts. Cela s’est produit grâce à une combinaison d’automatisation et d’augmentation. L’IA a été utilisée pour produire des premières ébauches de code, de textes ou de réponses aux clients. Dans ces exemples, grâce à l’IA, les travailleurs les moins qualifiés ont pu produire un travail de qualité, plus proche de celui de leurs pairs les plus expérimentés et qualifiés. Mais ils ont aussi appliqué leur expertise pour produire le produit final tout en exploitant les suggestions de l’IA.
Le problème, c’est que ce n’est pas toujours le cas, rappelle Autor. Dans une autre expérience qui a mis l’expertise de l’IA au service de radiologues, la qualité de leurs diagnostics n’a pas été améliorée, notamment parce que les médecins avaient tendance à négliger les prédictions les plus fiables de l’IA et à faire confiance aux moins bonnes prédictions de la machine. Pour Autor, cela montre plutôt que les résultats de l’IA ne vont pas de soi et que toute la difficulté est de comprendre la qualité de ses performances. C’est-à-dire comprendre là où l’IA performe et là où elle est inutile voire nuisible. Comme le pointait une étude du Boston Consulting Group, « les gens se méfient de l’IA générative dans les domaines où elle peut apporter une valeur considérable et lui font trop confiance lorsque la technologie n’est pas compétente ».
Mais si l’IA déclenche une poussée de productivité dans de nombreux domaines, le risque n’est-il pas alors que nous nous retrouvions avec moins de personnes pour effectuer ces tâches, questionne Autor. Dans certains secteurs, le contraire pourrait être vrai, soutient Autor. La demande en santé, en code, en éducation… semble illimitée et va continuer à augmenter, notamment si l’IA en réduit les coûts. Dans certains domaines, la croissance de la productivité risque pourtant bien de conduire à une chute de l’emploi, convient pourtant le spécialiste, rappelant qu’en 1900, 35% des emplois américains étaient dans le secteur agricole, alors que celui-ci ne représente plus que 1% de l’emploi en 2022.
La grande majorité des emplois contemporains ne sont pas des vestiges de métiers historiques qui auraient jusqu’ici échappé à l’automatisation. Il s’agit plutôt de nouvelles spécialités liées à des innovations technologiques spécifiques qui n’étaient pas disponibles ou imaginables avant. Il n’y avait ni contrôleurs aériens ni électriciens avant que les innovations n’en fassent naître le besoin. De nombreuses professions sont nées également non pas d’innovations technologiques spécifiques, mais de l’augmentation des revenus.
« Face à une croissance démographique stagnante et à une part croissante de citoyens ayant dépassé la retraite depuis longtemps, le défi pour le monde industrialisé n’est pas un manque de travail mais un manque de travailleurs« . Pour Autor, l’IA peut nous aider à résoudre ce défi, en permettant à davantage de travailleurs d’utiliser leur expertise et d’augmenter les emplois à haute productivité tout en atténuant les pressions démographiques sur le marché du travail.
Substitution ou complémentarité ?Si vous êtes bricoleur, vous passez certainement beaucoup de temps à regarder des vidéos sur Youtube pour apprendre à remplacer un interrupteur ou poser du placo. Ces vidéos ne sont pas utiles aux experts, bien souvent d’ailleurs, ce sont eux qui les produisent. Mais cela ne suffit pas toujours à faire tous les travaux nécessaires. « Plutôt que de rendre l’expertise inutile, les outils la valorisent souvent en étendant son efficacité et sa portée ». Même si l’IA est bien plus qu’une simple vidéo YouTube, son rôle dans l’extension des capacités des experts sera primordial, car l’exécution, la pratique, le jugement de l’expérience restent essentiels. L’IA ne permettra pas à des travailleurs non formés et non experts d’effectuer des tâches à enjeux élevés, mais devrait aider ceux disposant d’une base d’expertise à progresser, pour autant qu’elle soit conçue pour cela. Le risque majeur, estime Autor, c’est donc de mettre l’outil dans des mains non expertes – comme on le voit quand les élèves s’en saisissent.
Reste à savoir si les robots augmentés par l’IA pourraient demain nous remplacer. Autor en doute. Si l’IA va accélérer la robotique, l’ère où il sera plus rentable de déployer des robots pour effectuer des tâches exigeantes dans des environnements imprévisibles plutôt que dans des espaces étroitement contrôlés, semble encore lointaine. Pour Autor, les difficultés des voitures autonomes en sont un bon exemple. Certes, les robots savent conduire, mais l’environnement urbain très imprévisible montre que leur application concrète dans le monde réel est encore lointaine.
Entre l’aube et le crépuscule de l’expertise ?« On pourrait objecter que je ne fais que décrire le crépuscule serein de l’expertise humaine », constate encore David Autor. Un avenir dans lequel le travail humain n’a aucune valeur économique fabrique un cauchemar, estime-t-il. Le risque est bien que l’IA rende caduque l’expertise humaine, comme la chaîne de montage a rendu caduque l’expertise artisanale.
L’innovation fournit de nouveaux outils qui sont souvent des outils d’automatisation. Les applications GPS ont rendu obsolète le fait de connaître par cœur les rues d’une ville et donc les outils peuvent rendre l’expertise des utilisateurs obsolète. Mais le contraire est tout aussi vrai. En l’absence de radars, les contrôleurs aériens devaient observer le ciel et les médecins sans outils peinent parfois à mobiliser leur expertise. Les outils du contrôleur aérien ont surtout créé de nouveaux types de travail d’experts. Les innovations ne produisent pas que de l’automatisation, estime Autor, bien souvent, elles ouvrent des perspectives et de nouvelles possibilités, elles génèrent de nouveaux emplois et de nouvelles formes d’expertises. L’IA automatisera et éliminera certaines tâches et en remodelera d’autres, générant de nouveaux besoins d’expertise.
Certes, rien n’assure que la création de nouveaux emplois compensera l’automatisation à venir et effectivement, les travailleurs dont l’expertise sera remplacée par l’IA ne seront pas les mêmes que ceux pour lesquels l’expertise sera augmentée.
Pour Autor, la perspective que l’IA vienne renforcer la classe moyenne est un scénario, pas une prévision. « L’histoire et les études démontrent que les technologies développées par les sociétés et la manière dont elles les utilisent – à des fins d’exploitation ou d’émancipation, d’élargissement de la prospérité ou de concentration des richesses – sont avant tout déterminées par les institutions dans lesquelles elles ont été créées et les incitations dans le cadre desquelles elles sont déployées. » La manière dont l’IA sera déployée dépend de choix collectifs et ce sont ces choix qui généreront gagnants et perdants. Ces choix affecteront l’efficacité économique, la répartition des revenus, le pouvoir politique comme les droits civils. Certains pays vont utiliser l’IA pour surveiller leurs populations, étouffer les dissidences, d’autres pour accélérer la recherche, aider les gens à développer leur expertise… « L’IA présente un risque réel pour les marchés du travail, mais pas celui d’un avenir technologiquement sans emploi. Le risque est la dévalorisation de l’expertise. Un avenir dans lequel les humains ne fournissent qu’un travail générique et indifférencié est un avenir dans lequel personne n’est un expert parce que tout le monde est un expert. Dans ce monde, la main-d’œuvre est jetable et la plupart des richesses reviendraient aux propriétaires de brevets sur l’intelligence artificielle. »
Pour Autor, la complexité de l’innovation ne se réduit pas à la seule dimension de l’automatisation, à une IA qui surpasse l’humain et qui deviendrait plus rentable qu’eux, comme le prophétisent nombre de spécialistes de l’IA. En fait, reproduire nos capacités plus rapidement et à moindre coûts n’a pas grand intérêt. L’enjeu est que ces nouveaux outils complètent les capacités humaines et ouvrent de nouvelles frontières de possibilités. L’IA nous offre l’opportunité d’inverser la dévalorisation de l’emploi et la montée des inégalités, estime Autor. « C’est-à-dire d’étendre la pertinence, la portée et la valeur de l’expertise humaine à un plus grand nombre de travailleurs. » L’enjeu est qu’elle pourrait permettre d’atténuer les inégalités de revenus, de réduire les coûts des services essentiels, comme la santé ou l’éducation, restaurer la qualité du travail. Cette perspective alternative n’est pas gagnée. « Elle est cependant technologiquement plausible, économiquement cohérente et moralement convaincante. Conscients de ce potentiel, nous devrions nous demander non pas ce que l’IA va nous faire, mais ce que nous voulons qu’elle fasse pour nous. »
*
Si le discours d’Autor est stimulant, il laisse de côté plusieurs points et notamment le principal : comment faire advenir l’IA qui renforce l’expertise plutôt que l’IA qui la prolétarise ? Et notamment quand, dans bien des métiers, l’informatisation et l’automatisation ont surtout produit de la précarisation et de l’intensification…
Capitalism mattersDans la démonstration de David Autor, on comprend assez mal pourquoi l’IA ferait différemment de l’automatisation ? Le plus probable est bien que l’IA prenne des décisions à notre place, partout, tout le temps, quelle que soit notre capacité de jugement ou d’expertise. En tout cas, là où elle commence à être déployé, on voit bien qu’elle a tendance à accélérer les décisions et à les supplanter plutôt que les démocratiser. Le déploiement technologique a tendance à enlever des compétences plutôt qu’en ajouter, comme le montrait Madison Van Oort dans son livre sur le déclassement des vendeuses de la fast fashion. Le contexte économique, le capitalisme, la course à la rentabilité… ont tendance à reproduire les mêmes effets.
Pourtant, le propos d’Autor est stimulant parce qu’il n’est pas réducteur. Il montre qu’il y a plusieurs manières d’envisager l’usage de l’IA. Reste qu’on peut en pointer certaines limites. D’abord le fait que la rentabilité des développements techniques demeure primordiale, ce qui conduit la plupart des acteurs à utiliser l’IA pour réduire les coûts et à opter pour l’option du remplacement partout où cela semble possible. Ensuite, il y a un fort enjeu de fiabilité : pour qu’elle améliore l’expertise, encore faut-il que sa fiabilité soit plus forte qu’elle n’est. Or bien souvent, elle risque de dégrader l’expertise professionnelle en proposant de très mauvaises solutions. Des scientifiques en IA comme Melanie Mitchell nous avertissent que nous devons être extrêmement sceptiques quant aux affirmations selon lesquelles, par exemple, les LLM sont meilleurs que les humains pour les tâches de base. Et il semble, comme l’ont noté le spécialiste des sciences cognitives Gary Marcus et d’autres, que les modèles d’IA ne s’améliorent pas aussi rapidement que par le passé – ils pourraient en fait stagner. Si tel est le cas, bon nombre de ces modèles resteront bloqués à des taux de fiabilité incertains, ce qui est suffisant pour la génération de texte et d’images non critiques, mais rien sur lequel une entreprise sérieuse ne voudrait s’appuyer pour des documents importants ou des documents destinés au public.
Enfin, il reste une question qu’Autor semble éluder ou ne pas regarder. Une critique de l’étude d’Erik Brynjolfsson, menée par Ben Waber et Nathanael J. Fast a souligné que la performance des tâches dans les centres d’appel augmentés par l’IA est différenciée : elle diminue pour les employés les plus performants et augmente pour les moins performants. Une perspective qui n’est pas sans poser problème. Comment retenir alors les meilleurs employés ? Comment innover si les plus innovants sont déclassés ? Waber et Fast soulignent qu’on mesure très mal à ce stade les effets négatifs probables à long terme de l’utilisation des LLM sur les employés et processus internes. Le risque n’est-il pas que ces outillages viennent soutenir l’amélioration de la productivité des tâches à court terme, tout en menaçant la productivité à long terme ?
De l’impact de l’IA sur la productivitéLa question de la productivité reste d’ailleurs problématique. L’économiste Robert Gordon montre depuis longtemps que les ordinateurs sont partout, sauf dans les statistiques de croissance économique. Les nouvelles technos n’ont pas amélioré la productivité, pourquoi en serait-il autrement de l’IA ? L’économiste Daron Acemoglu estime que les effets de productivité liée à l’IA au cours des 10 prochaines années seront modestes, mais pas insignifiants (environ 0,064% par an, bien moindre que les 1,5% par an que promettent les économistes de Goldman Sachs – étude). Dans le Financial Times, Acemoglu estime que cette amélioration pourrait être meilleure si l’IA était plus fiable qu’elle n’est, ce qui suppose une réorientation fondamentale du secteur. A défaut, l’IA risque surtout de continuer à élargir l’écart entre les revenus du capital et ceux du travail qu’à déjà élargit la numérisation… En tout cas, aucune preuve ne suggère qu’elle devrait permettre de réduire les inégalités ou de stimuler la croissance des salaires, insiste-t-il.
Certes, l’IA pourrait bien être utilisée pour aider les travailleurs à devenir plus informés, plus productifs, plus indépendants et plus polyvalents, comme l’explique Autor. « Malheureusement, l’industrie technologique semble avoir d’autres utilisations en tête », rappelait Acemoglu dans un autre article. Comme il le souligne dans son livre, Power and Progress (Basic Books, 2023, voir le compte-rendu d’Irénée Régnault), les grandes entreprises qui développent et déploient l’IA privilégient massivement l’automatisation (remplacer les personnes) à l’augmentation (rendre les personnes plus productives). Le progrès technique n’amène pas nécessairement au progrès humain, au contraire. Les technologies numériques se sont bien plus révélées « les fossoyeuses de la prospérité partagée » qu’autre chose. Il est toujours possible d’avoir une IA favorable aux travailleurs, mais seulement si nous parvenons à changer la direction de l’innovation dans l’industrie technologique et à introduire de nouvelles réglementations et institutions, rappelle Acemoglu.
Quant au rythme d’adoption de l’IA et de transformation qu’elle promet, il risque d’être bien plus incrémental que transformateur. Les économistes de l’OCDE soulignent que son adoption est très faible, moins de 5% des entreprises américaines déclarent l’utiliser. Les technologies à usage général précédentes, comme les ordinateurs ou l’électricité) ont mis en moyenne une vingtaine d’années à se diffuser pleinement… L’IA a encore un long chemin à parcourir pour atteindre des taux d’adoption élevés pour générer des gains macro-économiques. Enfin, comme l’explique l’économiste britannique Michael Roberts, l’IA sous le capitalisme n’est pas une innovation visant à étendre les connaissances humaines et à soulager l’humanité du travail. Pour les innovateurs capitalistes comme Sam Altman, l’innovation est d’abord une source de profits. Le journaliste Steven Levy pour Wired est également sceptique. Pour lui aussi, l’IA risque bien plus de concentrer le pouvoir économique qu’autre chose. Si les propos de David Autor sont stimulants, rien ne nous assure que l’IA puisse stabiliser l’égalité des revenus qu’il dessine.
En fait, la perspective plutôt stimulante que dresse Autor pose un problème de fond : comment la faire advenir dans un monde hypercapitaliste où l’IA n’est vue que comme un outil pour améliorer la rentabilité plutôt que comme un outil de développement des compétences ?
L’IA va-t-elle généraliser l’expertise ou la dégrader ?Pour le journaliste Brian Merchant, auteur du livre Blood in the Machine, un livre sur la révolte luddite, il est peu probable que l’IA ne nous remplace, par contre cela n’empêchera pas les patrons d’essayer d’utiliser l’IA pour remplacer certains emplois, maintenir les salaires à la baisse et accélérer la productivité, bref chercher une excuse pour réduire les coûts ou paraître innovant. Mais pour Merchant, il n’y aura pas d’apocalypse à l’horizon. L’IA n’est ni meilleure ni plus performante que l’humain, par contre elle risque d’être « assez bonne » (good enough) pour se substituer à certaines tâches humaines. Mais si l’on file la métaphore de Merchant, les machines contre lesquelles se battaient les luddites permettaient de produire des vêtements certes moins chers, mais surtout de moins bonne qualité. Est-ce à dire que c’est ce qui nous attend avec l’IA générative ? Produire du texte et du code de moins bonne qualité, pour généraliser des produits numériques sans grande valeur ? Si c’est le cas, l’IA générative ne nous promet pas une généralisation de l’expertise, comme le prophétise Autor, mais son exacte contraire.
L’IA s’annonce perturbatrice pour des métiers créatifs et précaires, que ce soit des métiers des arts graphiques, de la rédaction, de la traduction, du marketing et de la relation client. Mais surtout, rappelle Merchant, ces gains d’efficacité que vont produire ces nouvelles machines vont profiter à ceux qui investissent sur celles-ci et à personne d’autre. Keynes, lui-même, estimait qu’à la vue de la courbe du progrès technique, ses petits-enfants ne travailleraient que 15h par semaine. C’est effectivement le cas. Nombre des emplois les plus précaires ne sont plus que partiels. Nombre de gens ne travaillent plus que 15h par semaine, mais ne gagnent pas assez pour en vivre. « L’erreur de Keynes a été d’ignorer avec quelle agressivité les élites s’empareraient des gains économiques réalisés grâce à toute cette technologie productive. » Il semble qu’Autor fasse la même erreur. Au final, les entreprises licencient préventivement et ouvrent des postes sous IA aux employés restants. Certes, le grand remplacement par les machines n’est pas encore là. Et il est probable que, dans un premier temps, le boom de l’IA produise de l’emploi, tout comme le boom de l’automatisation et de l’informatisation a produit de l’emploi du fait de la hausse de la demande pour ces produits, comme l’expliquait James Bessen dans son livre, The New Goliaths.
Mais, comme l’explique Merchant, l’IA risque surtout d’être appelée à compenser les pertes de productivité des licenciements à venir, pour le prix d’un abonnement mensuel à Copilot ou à ChatGPT ! Quant aux travailleurs qui restent, il vont devoir assurer une plus lourde charge de travail ! ChatGPT va vous donner plus de travail et pas nécessairement du travail intéressant. La grande inquiétude du remplacement par l’IA permet surtout de faire peser une menace renouvelée sur l’emploi.
Pour l’instant, le développement de l’IA vient impacter les métiers des cols blancs comme ceux des petites mains de la production de connaissances. Il vient raboter les rentes des métiers de la connaissance, comme le pointait l’économiste Daron Acemoglu. Une érosion qui pourrait même dissiper les gains de productivité de l’automatisation. Le déploiement d’une « IA capacitante » comme l’évoque les conclusions du rapport LaborIA, c’est-à-dire qui augmente les capacités de ceux chargés de l’utiliser, n’est pas acquise et risque de demeurer très marginale sans évolution de la logique hypercapitaliste.
Le risque, au final, n’est pas que l’expertise se déploie grâce à l’IA, mais au contraire se restreigne. Qu’elle soit confiée aux systèmes et enlevés aux humains, comme quand le marketing numérique engrange la connaissance des clients au détriment des vendeurs. C’est ce qu’explique le journaliste Tyler Austin Harper dans The Atlantic en se référant à un texte d’Illich critique sur l’essor des professions expertes venues déclasser nos inexpertises. Le grand enjeu consiste à remplacer l’expertise des experts par des systèmes experts. Nous voici entrés dans l’ère de « l’invalidation algorithmique » ou les machines sont là pour nous apprendre à être humains ou faire le travail humain à notre place tout en nous dépouillant de notre humanité. Comme disait sur X la traductrice Joanna Maciejewska, « Je veux que l’IA fasse ma lessive et ma vaisselle pour que je puisse faire de l’art et de l’écriture, pas que l’IA fasse de l’art et de l’écriture pour que je puisse faire ma lessive et ma vaisselle. » Ce qu’il nous faut comprendre, c’est pourquoi nous prenons le chemin inverse ?
-
17:47
Réguler, réguler, réguler
sur Dans les algorithmesLa régulation se présente comme un nouvel art de gouverner, rappelle le politiste Antoine Vauchez dans l’introduction au livre collectif qu’il a dirigé, Le moment régulateur, naissance d’une contre-culture de gouvernement, parue dans l’excellente collection « Gouvernances », des presses de SciencesPo (également disponible sur Cairn). Désormais, on régule plus qu’on ne réglemente, c’est-à-dire qu’on oriente, on met en conformité, on corrige… Le droit s’équilibre de normes, d’outils, d’indicateurs qui s’écrivent à plusieurs, avec des autorités dédiées et plus encore avec les entreprises régulées elles-mêmes. Avec ses sanctions et surtout ses amendes, les bureaucraties gouvernantes semblent avoir trouvé là de nouvelles manières de faire de la politique, de nouvelles formes de puissances.
Le numérique a participé activement à la montée des instruments de régulations. Des regtechs aux outils de la compliance, en passant par la transparence et l’open government, la régulation semble s’armer d’une double modernité, technique et politique.
Mais l’Etat régulateur se construit également en opposition à l’État interventionniste et redistributeur. Il incarne la transformation d’un État providence en État libéral, qui doit désormais composer avec le secteur privé. La régulation semble un art de gouverner néolibéral, qui valorise l’auto-contrôle et qui s’appuie sur un ensemble d’autorités nées de la libéralisation des anciens secteurs des monopoles d’État, qui vont initier des rapports plus collaboratifs avec les régulés, au risque d’endormir bien souvent la régulation elle-même. La régulation va pourtant produire de nouveaux savoirs techniques : amendes, outils déontologiques pour organiser les rapports entre régulateur et régulé, indicateurs de conformité, bac à sable réglementaires et expérimentations permettant de déroger aux règles de droit pour stimuler l’innovation et trouver de nouvelles modalités de réglementations directement avec ceux qu’elles concernent. Pourtant, souligne le directeur de l’entreprise éditoriale, les structures publiques de la régulation restent d’abord des institutions faibles et fragiles, qui tentent de se présenter plus en arbitre qu’en gendarme, sans toujours réussir à être l’un comme l’autre.
L’ouvrage revient par exemple sur l’histoire de nombreux acteurs qui composent ce champ de la régulation qui vont naître avec la fin des entreprises monopolistiques d’État pour permettre à celui-ci de continuer ses contrôles, via de nouvelles contraintes pour régir la corruption, la concurrence, les données, les questions environnementales… L’État semble ouvrir une parenthèse faite de dialogue, de souplesse, de clémence (les amendes records annoncées, très visibles, sont cependant rarement payées et très souvent reportées via des appels en justice souvent suspensifs et des procès qui s’éternisent et qui vident bien souvent les décisions de leurs effets, comme l’explique très bien Yann-Antony Noghès dans son excellent documentaire sur la fabrication du DMA et du DSA européen). C’est le cas par exemple de la CNIL dont Anne Bellon et Pierre France montrent la transformation d’institution militante à une agence d’enregistrement de la conformité qui peine à exercer son pouvoir de contrôle et surtout de sanction.
Image : Les niveaux de plaintes, de contrôles et d’amendes prononcées par la CNIL depuis 2013. France Info.L’ouvrage s’intéresse beaucoup aux personnes de la régulation, à la sociologie des régulateurs, pour montrer la grande porosité des acteurs. Dans un article sur Google, Charles Thibout, montre comment Google va investir le champ de la régulation pour tenter de mieux l’orienter et le subvertir à son profit, lui permettant de transformer et contourner le droit pour le transformer en « norme processuelle fonctionnelle ». L’ouvrage s’intéresse également aux modalités que la régulation met en place et notamment au développement et au déploiement des outils de la régulation avec les régulés. Les chercheurs soulignent que dans cet univers, le niveau de technicité est très élevé, au risque de produire une régulation professionnalisée, très éloignée des citoyens censés en bénéficier. Là encore, le numérique est un moteur fort de la régulation, non seulement parce qu’il en est l’un des principaux objets, mais aussi parce qu’il permet de développer des outils nouveaux et dédiés.
On regrettera pourtant que l’ouvrage regarde peu la réalité du travail accompli par ces agences et ces acteurs. Le livre observe finalement assez peu ce que la régulation produit et notamment ses impasses. A force d’insister sur le fait que la régulation est un changement de gouvernance, une vision moderne de celle-ci, l’ouvrage oublie de montrer qu’elle est peut-être bien plus dévitalisée qu’on ne le pense. Isabelle Boucobza évoque pourtant le brouillage qu’elle produit, en opposant finalement la protection des droits et libertés fondamentaux qu’elle mobilise, et la régulation de l’économie de marché sur laquelle elle agit. La régulation produit au final d’abord de l’efficacité économique au détriment de la protection des droits et libertés, subordonnant ces derniers à la première. La conformité, en structurant l’auto-régulation, permet surtout aux entreprises d’éviter les condamnations. A se demander en fait, si la régulation ne propose pas d’abord un contournement du droit, une clémence, qui vide la réglementation même de ses effets, à l’image de la difficulté de la CNIL à passer des plaintes, aux contrôles ou aux sanctions. En surinvestissant par exemple le reporting, c’est-à-dire le fait d’exiger des rapports, des chiffres, des données… la régulation semble bien souvent s’y noyer sans toujours lui permettre d’agir. Comme le montrent Antoine Vauchez et Caroline Vincensini dans leur article sur la compliance, la régulation démultiplie ses exigences (dans le domaine de la prévention de la corruption, elle exige codes de conduite, dispositifs d’alertes, cartographie des risques, évaluations des clients, contrôles comptables, de la formation, des sanctions internes, et un dispositif d’évaluation des mesures mises en place). Mais la démultiplication des pratiques pour montrer qu’on est en conformité ne s’accompagne d’aucun durcissement du contrôle ni des sanctions. La régulation produit surtout une « standardisation technique », une technicisation du régulateur.
Plus qu’une contre-culture de gouvernement qui proposerait de nouvelles méthodes qui seraient enfin agiles et puissantes, on peut se demander si au final, la régulation ne produit pas l’exact inverse. Comme le pointe Antoine Vauchez en conclusion, la régulation s’est développée en collant aux intérêts du secteur privé, « au risque de n’accorder aux intérêts diffus des causes citoyennes qu’une attention seconde ». Dans notre article sur l’AI Act (newsletter #8), on concluait sur les risques d’une réglementation qui ne protège ni les citoyens, ni les entreprises, c’est-à-dire une régulation qui produit des amendes, mais finalement peu de transformations des pratiques.
Image : Couverture du livre, Le moment régulateur dirigé par Antoine Vauchez. -
17:35
Que peut vraiment la régulation ?
sur Dans les algorithmesDans le procès antitrust qui oppose depuis quatre ans Google au ministère de la Justice américain, le juge, Amit Mehta, a pris une décision (elle fait 300 pages), confirmant ce que nous avons tous sous les yeux depuis plusieurs années : Google est en situation d’abus de position dominante dans la recherche en ligne et la publicité, lui permettant de forcer l’usage de son moteur de recherche comme d’obliger à des tarifs sans concurrence dans les résultats de recherche sponsorisés. Le jugement montre comment Google a réussi à imposer partout son moteur de recherche, en payant des sommes conséquentes à Samsung, Apple ou Mozilla pour devenir le moteur de recherche par défaut. Pour le juge Mehta, Google a violé le Sherman Act, la loi antitrust vieille d’un siècle qui a notamment conduit à la dissolution de Standard Oil en 1910, ainsi qu’à la dissolution d’AT&T en 1982.
Même si Google a fait appel, l’entreprise risque de se voir imposer d’importants changements, explique très pédagogiquement Jérôme Marin dans CaféTech. Plusieurs scénarios sont possibles à ce stade. Les accords commerciaux pour imposer son moteur comme choix par défaut pourraient être interdits, ce qui risque, contre-intuitivement, de fragiliser certains acteurs parmi les plus fragiles, notamment Mozilla car l’accord financier passé avec Google pour qu’il soit le moteur par défaut de Firefox représente l’essentiel des revenus de la fondation.
Comme le souligne Ed Zitron, Il s’agit d’un moment important dans l’histoire de la Silicon Valley. Mais est-ce une réelle menace pour Google ? Certes, plus de la moitié des revenus annuels de Google proviennent de Google Search, soit plus de 175 milliards de dollars. Ce monopole explique en grande partie pourquoi l’expérience de recherche de Google est devenue aussi désastreuse – Zitron avait montré dans un précédent billet que le recul de l’efficacité des résultats de Google depuis 2019 étaient concomitants avec la nomination d’un gestionnaire à la tête du moteur venu développer les revenus au détriment de la qualité, corroborant l’entrée dans l’âge du cynisme des calculs que nous avions nous-mêmes pointés.
Marchés closZitron évoque les nombreux combats actuels des régulateurs américains contre le développement de monopoles qui ont tendance à être considérablement renforcés par le numérique. La spécificité du numérique, rappelle-t-il, c’est que les entreprises possèdent à la fois les clients et ceux qui ont quelque chose à leur vendre. Le monopole de Meta sur les publicités d’Instagram ou de Facebook, comme sur ses algorithmes, lui permet de rendre ses produits moins performants pour vous montrer des publicités et d’augmenter leurs prix comme elle le souhaite. Et c’est la même chose sur toutes les plateformes. Meta l’a fait pour vendre la publicité vidéo aux annonceurs, assurant qu’elle fonctionnait bien mieux qu’elle ne le faisait, et est d’ailleurs poursuivi dans le cadre d’une class action par des publicitaires pour avoir falsifié leurs chiffres d’audience. « Sans concurrence, les plateformes ne sont pas incitées à agir honnêtement », rappelle Zitron. Même chose pour Apple qui a le monopole des applications autorisées sur son Apple Store (et le monopole des publicités). Au prétexte de « contrôler » l’expérience utilisateur, toutes les plateformes l’organisent et la ferment pour exercer leur domination sur tous : utilisateurs, développeurs, publicitaires… Les entreprises du numérique échafaudent toutes des monopoles et l’IA est une tentative pour en imposer de nouveaux (après ceux du Cloud), notamment en dominant les grands modèles que les autres services vont utiliser.
Les plateformes contrôlent toute la publicité sur leurs réseaux. « Google et Meta possèdent à la fois les produits et les services publicitaires disponibles sur ces produits, et définissent ainsi les conditions de chaque partie de la transaction, car il n’existe aucun autre moyen de faire de la publicité sur Google, Facebook ou Instagram. Il y a des entités qui se font concurrence pour le placement, mais cette concurrence se fait selon des conditions fixées par les plateformes elles-mêmes, qui à leur tour contrôlent comment et quand les publicités sont diffusées et combien elles vous seront facturées. » Et elles contrôlent également les données impliquées, c’est-à-dire à qui et comment elles les adressent sans permettre à leurs clients de savoir vraiment où elles ont été diffusées ni auprès de qui, comme l’explique parfaitement Tim Hwang dans Le grand krach de l’attention. « Elles sont à la fois l’entreprise qui vous vend l’espace publicitaire et l’entreprise qui l’audite », rappelle Zitron.
Un numérique sans monopole est-il possible ?Le problème, estime Zitron, c’est qu’il est fort probable que Google comme Meta ne puissent pas fonctionner sans leurs monopoles – rien n’est moins sûr, si elles n’étaient pas en situation de monopole sur la publicité, leurs revenus seraient certainement moins élevés, mais cela ne signifie pas que le modèle ne soit pas soutenable. Ces plateformes génèrent des milliards de revenus publicitaires (les revenus publicitaires représentent 98% des revenus de Meta et 50% pour Google) dans des conditions de plus en plus délabrées, rendant les deux structures particulièrement fragiles (comparées à Microsoft ou Apple). Les grandes entreprises de la tech n’ont plus de marché en hypercroissance de disponibles, estime Zitron dans un autre billet, elles ne peuvent que faire de l’amélioration de produit, pour autant qu’elles ne les mettent pas à mal. Le risque donc, c’est qu’elles n’aient pas les moyens de continuer à croître à mesure que leurs marges de croissances se réduisent – pour Meta et Google, cela signifie que leurs entreprises pourraient avoir du mal à passer la prochaine décennie, prophétise un peu rapidement Zitron en oubliant leur très haut niveau de fortune. Chez Meta, le trafic est en berne. Et le monopole de Google sur la recherche pourrait être redistribué avec l’avènement de l’IA générative.
Mais la bonne question à se poser est certainement de savoir comment ces entreprises, si elles devaient ouvrir leur régie publicitaire, pourraient-elles donner accès à un réseau publicitaire alternatif, dont elles ne maîtriseraient plus les tenants et les aboutissants ? Pour l’instant, le jugement qu’a reçu Google est sans sanction (elles viendront peut-être après quelques appels et longues discussions visant à trouver des modalités de sanctions adaptées). Et il est probable que les juristes de Google parviennent à les édulcorer voire à faire annuler la décision… Google a les moyens d’une bataille sans fin, et il est probable que, comme Microsoft avant elle, elle parvienne a éviter le démantèlement. A la fin des années 80, Microsoft détenait 80% du marché des systèmes d’exploitation. Un succès qui ne s’est pas construit uniquement sur le fait que Microsoft avait de meilleurs logiciels ou de meilleures ressources. L’histoire a montré que Microsoft s’était entendu avec des fabricants de matériels pour qu’ils vendent des ordinateurs avec Windows. En 2000, la justice américaine avait demandé la scission de l’entreprise, l’une pour le système d’exploitation et l’autre pour les applications. Microsoft a fait appel. La condamnation a été suspendue pour vice de forme et l’entreprise a conclu un accord avec le ministère de la justice lui permettant d’échapper au démantèlement. C’était les premières d’une longue série de poursuites pour entrave à la concurrence de Microsoft. Des poursuites qui ont plutôt montré la grande fragilité des actions de régulation qu’autre chose.
Dans la perspective de Google, la séparation de Google Search et de sa plateforme publicitaire serait l’équivalent de la séparation de l’Eglise et de l’Etat, mais il probable que cette perspective ne se réalise jamais. Quand la commission européenne a forcé Apple à ouvrir la distribution d’applications à d’autres entreprises, Apple a répondu par un ensemble de règles qui contraignent les fournisseurs d’alternatives à céder un si fort pourcentage de leurs revenus, qu’elle les empêche de rivaliser en termes de prix comme de bénéfices. Il est probable que Google ne soit pas démantelé et que l’entreprise imagine une solution pour continuer son monopole sans finalement rien changer. Comme nous l’avions déjà constaté dans les batailles de la FTC pour réguler le marketing numérique, Zitron entérine le scénario d’une régulation qui n’arrive finalement pas à s’imposer.
Une régulation désabusée
Doctorow estime lui aussi que contraindre Google sera difficile. Il est probable que la justice impose des mesures correctives, mais ces mesures ont souvent peu d’effets, d’autant qu’elles obligent le régulateur à déployer une intense et coûteuse surveillance pour s’assurer de leur application. Il est probable également que la justice propose tout simplement à Google d’arrêter de payer d’autres entreprises pour imposer le monopole de son moteur voire de vendre son activité publicitaire. Mais le plus probable estime Doctorow, c’est que Google fasse comme IBM ou Microsoft, c’est-à-dire fasse traîner les choses par des recours jusqu’à ce que l’administration abandonne l’affaire suite à un changement politique. Doctorow regrette néanmoins que le juge estime, comme trop de gens d’ailleurs, que l’espionnage des utilisateurs pour faire de la publicité est justifiée tant que celle-ci est pertinente. Le risque finalement de ce jugement, c’est qu’il conduise à une démocratisation de la surveillance, bien au-delà de Google, s’inquiète Doctorow. Pour lui, briser Google ne devrait pas permettre à d’autres entreprises de se partager le marché de la surveillance publicitaire, mais y mettre fin.Google a récemment annoncé, après avoir longtemps affirmé le contraire, qu’il ne supprimerait pas les cookies tiers, ces outils de surveillance commerciale qu’il voulait remplacer la privacy sandbox de Chrome qui aurait permis à Google d’être le maître de l’espionnage commercial au détriment de tous les autres. Cette suppression des cookies tiers au profit de sa seule technologie aurait été certainement jugée comme anticoncurrentielle. Mais garder les cookies tiers permet que les entreprises technologiques continuent de nous espionner, alors que nous devrions d’abord les en empêcher, estime Doctorow. Certains défenseurs de la publicité imaginent même qu’on attribue un identifiant publicitaire à chaque internaute pour mieux les pister et que grandes comme petites entreprises puissent mieux cibler leurs produits ! « Le fait que les commerçants souhaitent pouvoir scruter chaque recoin de notre vie pour déterminer la performance de leurs publicités ne justifie pas qu’ils le fassent – ??et encore moins qu’ils interviennent sur le marché pour faciliter encore plus l’accès des espions commerciaux sur nos activités ! » « Nous ne résolverons pas le monopole de Google en créant une concurrence dans la surveillance ». Se débarrasser du monopole de Google devrait surtout être l’occasion de nous débarrasser de la surveillance, estime-t-il. Nous n’en sommes pas du tout là.
Pour Ian Bogost, quelle que soit la décision du tribunal, il est probable que rien ne change pour les consommateurs comme pour Google. Google a déjà gagné. Lui aussi semble désabusé en rappelant que les condamnations à l’encontre de Microsoft n’ont rien changé. Windows est toujours le système d’exploitation dominant et Microsoft est plus dominant que jamais. Certes, il est probable que les pots-de-vin de Google pour soutenir la domination de son moteur cessent… Mais cela ne signifie pas qu’une concurrence pourra surgir demain. Les Gafams sont devenus trop puissants pour être concurrencés. On peut regretter que l’acquisition de la régie publicitaire DoubleClick par Google en 2007 n’ait pas été interdite, elle aurait pu empêcher ou retarder la mainmise de Google sur la publicité en ligne… Mais aujourd’hui, concurrencer Google est devenu bien difficile. Oui Google est en situation de monopole, mais il est probable que ce constat produise bien plus d’articles de presse que de changement dans la pratique réelle de la recherche en ligne.
Mêmes constats pour Paris Marx : plus de compétition ne suffira pas à démanteler le pouvoir de la Silicon Valley. Pour lui aussi, il est probable que les règles et contrôles se renforcent. Mais y’a-t-il pour autant une vraie volonté de remodeler l’industrie technologique ? Pas vraiment. « Les politiciens veulent un paysage technologique légèrement plus compétitif », mais ne souhaitent pas vraiment remettre en cause sa puissance.
Se conformer aux règles européennes est ennuyeux et coûteux, mais n’est pas menaçant pour les entreprises, explique clairement Christina Caffarra pour Tech Policy Press. Non seulement les règles européennes ne changent pas vraiment la donne technologique des grandes entreprises américaines, mais elles n’améliorent pas non plus la position, la productivité ou l’innovation des entreprises européennes. Les Gafams ont « réduit internet à une collection de points d’accès propriétaires que nous, Européens, ne possédons ni ne contrôlons, et dont nous sommes profondément dépendants. » Que se passera-t-il lorsque (et non si) l’infrastructure sur laquelle nous comptons, mais que nous ne possédons pas actuellement, devient hostile ? Des services sont déjà refusés aux consommateurs européens au motif que l’environnement réglementaire est trop incertain (comme quand Meta et Apple annoncent qu’ils ne lanceront pas certains services d’IA en Europe). Et cela va probablement empirer, comme le soutiennent les politistes Henry Farrell et Abraham Newman dans Underground Empire: How America Weaponized the World Economy ou la parlementaire européenne Marietje Schaake dansThe Tech Coup: How to Save Democracy from Silicon Valley. Comment croire que nous puissions développer la croissance et l’innovation depuis des entreprises dont la capacité à fonctionner est totalement à la merci des grands acteurs de la Silicon Valley ? Pourtant, pour l’instant, c’est en Europe que Google a connu le plus de difficultés. L’entreprise s’est vue infligée plus de 8 milliards d’amendes dans 3 affaires (liée à son système d’exploitation mobile Android, son service d’achat en ligne et son activité publicitaire). Mais Google a fait appel dans chacune…
Un démantèlement politique ?Pour la journaliste du New York Times, Julia Angwin, « démanteler Google n’est pas suffisant »…. Car démanteler Google n’aurait que peu d’impact sur la distribution des résultats de recherche. Cela ne permettrait pas de favoriser la création de moteurs concurrents que Google a empêché par ses pratiques. Pour la journaliste, nous devrions également briser le monopole de Google sur les données de requêtes de recherche. Même Bing, le seul rival, ne peut pas concurrencer la force de Google. Il faut 17 ans à Bing pour collecter une quantité de données équivalente à celle que Google collecte en 13 mois.
Pour obtenir de meilleurs résultats, nous devons favoriser l’innovation dans la recherche, estime Angwin. Et l’un des moyens d’y parvenir est de donner aux concurrents l’accès aux données de requêtes de recherche de Google (avec la difficulté que les utilisateurs pourraient ne pas être tout à fait d’accord avec l’idée de partager leurs données avec de nombreux autres moteurs… sans compter que cette solution ne résout pas celle du coût pour développer des moteurs à impacts mondiaux dans un univers où la prédominance de Google continuerait). Certes, Google dispose déjà d’une API qui permet aux développeurs d’accéder aux données de recherche, mais les règles d’utilisation sont trop contraignantes pour le moment. Ces accès permettraient aux concurrents de proposer des moteurs de recherche capables de proposer des options différentes, valorisant la confidentialité, le commerce ou l’actualité…
Angwin évoque par exemple Kagi, un moteur de recherche sur abonnement (10 $ par mois), sans publicité, qui permet de personnaliser les résultats ou de les trier par exemple en fonction des changements des pages web. Elle rappelle que si le spam est si omniprésent, c’est d’abord parce que tout le monde tente de subvertir les résultats de Google qui optimise le monde pour ses résultats de recherche plus que pour ses lecteurs. Dans une étude récente sur la qualité des résultats de Google, les chercheurs soulignaient qu’il était de plus en plus difficile d’évaluer la qualité des résultats car « la frontière entre le contenu bénin et le spam devient de plus en plus floue ». Si la diversité des moteurs était plus forte, s’ils proposaient des fonctionnalités plus variées, peut-être pourrions-nous avoir un web plus optimisé pour les lecteurs que pour le spam, imagine Angwin, un web plus décentralisé, comme il l’était à l’origine !
Le plus étonnant finalement, c’est que désormais, ce n’est plus tant la gauche démocrate qui pousse l’idée d’un démantèlement que l’extrême droite républicaine. Comme le raconte le journaliste François Saltiel dans sa chronique sur France Culture, c’est le colistier de Trump, J.D. Vance, qui est l’un des plus ardents promoteurs du démantèlement de Google ou de Meta. Derrière sa motivation à favoriser l’innovation, « ce désir de démantèlement initié par le camp trumpiste a également des airs de règlement de compte ». Pour les trumpistes, Google comme Facebook seraient trop démocrates et sont régulièrement accusés de censurer les propos de l’alt-right. Pour eux, l’enjeu n’est pas tant de limiter les monopoles et ses dangers, mais de punir ceux qu’ils considèrent comme n’étant pas du même avis politique qu’eux. Comme l’explique Ben Tarnoff, la perspective d’un démantèlement s’aligne aux intérêts du patriciat technologique du capital-risque qui semble plus trumpiste que les entrepreneurs de startups, notamment parce que le démantèlement des Gafams permettrait de relancer une course aux investissements technologiques en berne.
Régler le curseur de la régulationAlors que d’un côté, beaucoup semblent regretter par avance que le démantèlement de Google n’aille pas assez loin, de l’autre, beaucoup estiment que le blackout de X au Brésil, lui, va trop loin. En avril, le juge à la Cour suprême du Brésil, Alexandre de Moraes, a demandé à X de supprimer des comptes de militants pro-Bolsonaro qui remettaient en question les résultats du vote ou en appelaient à l’insurrection. Alors que normalement l’entreprise répond régulièrement aux demandes de gouvernements en ce sens (d’ailleurs, contrairement aux déclarations d’Elon Musk à l’encontre de la censure, l’entreprise se conforme à ces décisions bien plus qu’avant, comme le montrait une enquête de Forbes), pour une fois pourtant, X s’y est opposé et Musk en a même appelé à la destitution du juge, rappelle Paris Marx. Bien évidemment, les choses se sont envenimées, jusqu’à ce que le juge décide fin août de débrancher X au Brésil, suite aux refus de l’entreprise de se conformer aux décisions de la justice brésilienne.
La question reste de savoir si la justice est allée trop loin, questionne le New York Times. L’équilibre n’est pas si simple. « En faire trop peu c’est permettre aux discussions en ligne de saper la démocratie ; en faire trop, c’est restreindre la liberté d’expression légitime des citoyens ». Pour Jameel Jaffer, directeur exécutif du Knight First Amendment Institute de l’Université de Columbia, ce blackout est « absurde et dangereux ». Couper l’accès à un réseau social utilisé par 22 millions de Brésiliens pour quelques comptes problématiques semble disproportionné, d’autant plus que les gouvernements non démocratiques pourront désormais prendre l’exemple de gouvernements démocratiques pour justifier des actions de coupure de réseaux sociaux. Mais qu’était-il possible de faire alors que X n’a cessé de bafouer plusieurs ordonnances judiciaires ? Le juge brésilien a lui-même éprouvé la difficulté à imposer le blackout de X. En coupant X, il a demandé à Apple et Google d’empêcher le téléchargement d’applications VPN permettant de contourner le blackout brésilien et a menacé de lourdes amendes les brésiliens qui contourneraient l’interdiction, alors que la fermeture du réseau a suffi à le rendre en grande partie inopérant. La cour suprême du Brésil vient de confirmer le jugement de blocage de X, rapporte le New York Times, mais peine à définir jusqu’où ce blocage doit s’exercer. Dans le monde numérique, le fait que les contournements soient toujours possibles, rendent l’effectivité des actions légales difficiles. Le blackout est certainement suffisamment démonstratif pour qu’il n’y ait rien à ajouter. L’interdiction totale de X pour une poignée de comptes qui n’ont pas été fermés semble disproportionnée, mais cette disproportion est bien plus le reflet de l’intransigeance à géométrie variable d’Elon Musk qu’autre chose. Si Musk veut se comporter de façon irresponsable, c’est à lui d’en assumer les conséquences.
Reste que l’exemple montre bien les difficultés dans lesquelles s’englue la régulation à l’heure du numérique. Ce n’est pas qu’une question de souveraineté, où les entreprises américaines sont capables de coloniser et d’imposer au monde leur conception de la liberté d’expression, mais il semble que ces stress tests interrogent profondément la capacité à réguler des acteurs numériques surpuissants. Paris Marx a raison : les plateformes vont être soumises à une réglementation plus forte qu’elles ne l’ont été jusqu’à présent. Le problème, c’est que cette régulation va devoir aussi trouver des modalités d’applications adaptées pour parvenir à changer le numérique… qui seront d’autant plus difficiles à imposer dans un contexte de plus en plus politisé et radicalisé. Reste qu’il va être difficile pour les régulateurs de se confronter à des entreprises qui ne souhaitent pas se conformer à la loi, remarque Bloomberg, que ce soit au Brésil ou aux Etats-Unis aujourd’hui, ou en Europe demain. Que ce soit par l’affrontement direct, comme l’impose Musk, ou par le contournement de l’épuisement des recours légaux qu’envisage Google.
-
16:57
Vers le retour de la transparence des traitements ?
sur Dans les algorithmesC’est apparemment une première qui servira certainement de modèle à de nombreuses collectivités. Le département d’Ile-et-Vilaine publie une liste de 91 traitements algorithmes qu’elle utilise ! Visiblement, le département est le premier à se conformer à la loi Pour une République numérique et à publier un registre dédié.
Pour chaque traitement, la liste indique la finalité, le degré d’automatisation (de 1 à 3, c’est-à-dire de faible à fort), une indication de la maîtrise que la collectivité a du système, l’impact sur le public, le niveau d’explicabilité, le public concerné, les données concernées, le nombre de décision annuelles prises avec l’algorithme… Ce qui est très intéressant également, c’est de constater le large champ couvert par ces systèmes, allant de l’attribution d’ordinateurs aux personnels, à la voirie, au social, en passant par le logement social, la maintenance… On constatera que beaucoup de systèmes prennent très peu de décision par an.
Reste que pour l’instant les algorithmes eux-mêmes ne sont pas accessibles… ce qui ne permet pas leur inspection par les usagers, afin d’être sûr qu’ils font bien ce qu’on attend d’eux !
On espère que la publication de ce registre mette fin à la panne de l’ouverture des traitements que nous constations en début d’année.
Exemple d’une fiche du registre qui montre les différentes catégories de classement des traitements. -
14:47
Vers une surveillance au travail sans limite
sur Dans les algorithmesLa surveillance des comportements et l’accélération des cadences jusqu’à leurs limites ?Vous avez certainement vu passer cette vidéo dans vos flux. C’est une image vidéo de l’intérieur d’un café où un système de reconnaissance d’image analyse différents éléments, comme le temps d’attente des clients, le nombre de cafés que servent les vendeurs ou le fait que les tables soient propres. Des systèmes de ce type, développés par Hoptix ou Neurospot, se proposent de surveiller les employés et leurs comportements, mais également affirment être capables d’analyser les conversations entre serveurs et clients, par exemple pour détecter le nombre de fois où ils proposent aux clients des suggestions supplémentaires à leurs commandes pour les convertir directement en bonus sur leurs fiches de paye. Les logiciels promettent de suivre la préparation de commande, leur rapidité, la gestion de la clientèle. Neurospot propose même aux patrons de recevoir « des alertes instantanées lorsqu’une insatisfaction client est détectée », s’énerve Contre-Attaque.
Image : capture d’écran d’une vidéo de surveillance d’un café par Neurospot qui montre le temps que les clients passent à leur place et le nombre de cafés que servent les employés.Comme dans tous les autres secteurs, la collecte de données au travail procède toujours d’une justification positive. Elle est accomplie pour comptabiliser les heures travaillées, quantifier le travail, s’assurer du respect des délais, améliorer la facturation… D’un côté, les entreprises cherchent à augmenter leur collecte de données personnelles pour améliorer la sécurité au travail par exemple, de l’autre les travailleurs suspectent que ces nouvelles collectes permettent une surveillance et un cadencement accru quand ce n’est pas une utilisation punitive, comme c’est déjà le cas dans la logistique pour ceux qui ne suivent pas les cadences. C’est ce qu’expliquait la journaliste Anna Kramer pour le défunt site d’information Protocol, en revenant sur le développement d’outils de surveillance des postures, qui peuvent effectivement identifier les mouvements à risques, mais qui risquent surtout de renvoyer les employés à leurs responsabilités pour mieux soustraire l’entreprise à ses propres responsabilités.
En fait, en matière de sécurité au travail, l’évidence rappelle surtout que le corps humain n’est pas conçu pour répéter à un rythme rapide les tâches requises par de nombreux emplois de la logistique. Pourtant, avec des appareils de mesure des postures, comme StrongArm ou Modjul qui commencent à coloniser les entrepôts de Walmart et d’Amazon, la question de la sécurité au travail devient un score que les employés doivent respecter, quand ils ne sont pas renvoyés à une forme de compétition entre eux. Les outils d’analyses intégrés fournissent une mine de données granulaires sur chaque travailleur en surveillant les mouvements, les inclinaisons, les torsions, les portages que chacun accomplit. Le problème est que ces données pourraient aider les entreprises à se soustraire à leurs responsabilités et à accabler les travailleurs individuellement. Par exemple en poussant les entreprises à se séparer des travailleurs les moins sûrs ou ceux dont les scores sont mauvais et qui risquent de se blesser, plutôt que d’avoir à revoir leurs protocoles et cadencements. Pour les responsables de StrongArm ou de Modjul, ces données ne doivent pas être utilisées de manières punitives, mais doivent permettre d’identifier les emplois et postes qui posent problèmes pour les améliorer. Or, rien dans leur usage n’assure que les entreprises ne les utiliseront pas pour accabler les travailleurs. Les blessures dans les entrepôts d’Amazon, pourtant très automatisés, sont élevées et n’ont cessé d’augmenter ces dernières années (6 à 9 blessures pour 100 employés chez Amazon contre 3 à 4 pour 100 employés chez Walmart). Reste que si votre travail vous oblige à vous pencher pour être réalisé, un appareil vibrant n’y changera rien. C’est la tâche et le poste de travail qu’il faut revoir où les situations où les gens ont tendance à être en difficulté.
Pour Debbie Berkovitz, experte en protection des salariés, ces appareils ne font qu’informer de ce que ces entreprises savent très bien : elles connaissent déjà les personnes qui ont des douleurs et les postes qui génèrent des douleurs et des blessures. Pour l’ergonome Richard Gogins, le problème n’est pas nécessairement les mauvais mouvements et les mauvaises positions, c’est souvent les objectifs élevés et les cadences trop fortes qui poussent les gens à faire de mauvais mouvements.
Dans trop de situations encore, finalement, quand un employé se blesse, c’est trop souvent sa responsabilité qui est convoquée plus que celle de l’employeur. Les douleurs générées par le travail restent bien plus souvent prises en charge par la collectivité et les individus que par l’entreprise qui les provoque, comme le soulignait l’excellente enquête du journaliste Jules Thomas pour Le Monde, qui rappelait que les accidents du travail sont d’abord la réalité persistante de la dégradation du travail. La précarité, le manque de prévention dans nombre de secteurs qui paraissent peu propices aux accidents graves viennent renforcer leur invisibilisation, du fait de leur sous-déclaration. Une sous-déclaration qui est à la fois le fait des entreprises, mais également des salariés précarisés. Reste que quand les employés sont abîmés par le travail, c’est d’abord eux qui en supportent les conséquences, d’abord et avant tout en ne pouvant plus accomplir ce travail. Les risques professionnels sont profondément liés à l’intensification, rappelle le sociologue Arnaud Mias qui souligne, lui aussi, que le travail devient insoutenable par déni de diversité du fait de la standardisation des indicateurs. En comparant tous les employés entre eux, la moyenne de leurs performances à tendance à discriminer ceux qui s’en éloignent. A terme, le risque est que les données favorisent le stakhanovisme. La compétition entre travailleurs qu’induit la surveillance des indicateurs de productivité risque de favoriser l’exclusion de tous ceux qui n’entrent pas dans la course parce que trop vieux, trop faibles… Le pilotage par les indicateurs de productivité risque de renforcer partout les discriminations.
Si facile, si pratique ! Une surveillance institutionnalisée en roue libre !Le problème est que la surveillance des employés, démultipliée par les innombrables outils du panoptique numérique disponibles, semble être devenue un champ de développement du contrôle sans plus aucun obstacle, sans plus aucune limite. Pourquoi ? Ce n’est pas seulement parce que « la surveillance est le business model du numérique », comme disait Bruce Schneier. Mais plus encore parce que les outils la rendent possible et incroyablement facile !
C’est ce qu’explique le chercheur Wolfie Christl qui, via le laboratoire Cracked Lab, enquête sur la montée de la surveillance au travail en observant simplement les fonctionnalités proposées par les outils numériques que les entreprises utilisent. Il vient de produire une étude sur Dynamics 365, une suite d’applications de Microsoft qui permet de construire des applications pour surveiller les travailleurs de terrain, comme les réparateurs, les agents de sécurité, de nettoyage, les aides à domicile… Christl montre que le système applicatif permet de structurer, diriger et microgérer le travail, en l’alignant sur des processus strictement cadrés et définis qui vont de la surveillance des déplacements en passant par le contrôle des tâches ou du comportement, jusqu’à la synthèse d’indicateurs qui permettent d’évaluer l’ensemble et de les comparer aux résultats des autres employés. Le système permet même de gérer des alertes si les processus ne sont pas respectés où si le salarié s’éternise. Chaque tâche peut-être spécifiée selon des instructions et des durées… Et les applications peuvent générer des plannings qui se mettent à jour à la demande, en tenant compte de la disponibilité, de l’emplacement, des temps de trajet prévus et des profils de compétences des travailleurs, ainsi que de l’historique des travailleurs ou de la satisfaction des clients. Bien sûr, tous ces développements sont facultatifs, mais les fonctionnalités s’entremêlent pour créer des possibilités de suivi accrues. Si la localisation peut-être désactivée par exemple, Microsoft recommande cependant de l’utiliser et même de l’enregistrer toutes les « 60 à 300 secondes », puisque cette localisation va être utile pour nombre de calculs : durées, trajets, plannings… Pour le chercheur, les processus standardisés, les objectifs de performance rigides et la planification automatisée risquent d’intensifier le travail sans limites. Wolfie Christl parle de « fouets numériques »pour évoquer le développement d’un rapport soumis aux indicateurs, tant des patrons que des employés. Mais dans cette vision moderne de l’esclavage, quand l’employé se rebelle contre les capteurs, il est renvoyé à son utilisation individuelle, comme quand il jette la commande vocale qui siffle ses ordres à son oreille, il n’a plus le moyen d’abattre le système qui le dirige.
Un autre rapport du chercheur étudie le développement des logiciels de points de vente dans les magasins de détails, les restaurants et les hôtels. Là encore, le suivi de performance s’étend jusqu’au contrôle comportemental. Sur les tableaux de bords d’indicateurs, les employeurs peuvent classer les travailleurs « du meilleur au pire », identifier les « moins rentables » et prédire leur productivité future. Ces systèmes disent être capables de prévenir la fraude et peuvent placer des employés sur des listes de surveillance. Ils peuvent répartir les tâches automatiquement, sous minuteurs, avec d’innombrables alertes pour mettre la pression. La logique industrielle du taylorisme de la chaîne de montage colonise toutes les professions, conclut le chercheur. Mais les systèmes sont encore loin d’être parfaits, souligne-t-il. Bien souvent, les enregistrements défectueux et les tâches non documentées conduisent à des problèmes qui renvoient à la responsabilité de l’employé plus qu’à celle des systèmes. Quand la machinerie défaille, c’est le comportement de l’employé qui est pointé du doigt par la machine : c’est toujours lui dont la performance est dégradée et enregistrée comme problématique. Christl remarque encore que ces logiciels sont certes configurables. Les employeurs peuvent décider de les utiliser de manière plus ou moins intrusive, par exemple en ne faisant pas s’afficher les minuteurs (ce qui ne signifie pas que les tâches ne sont pas chronométrées). Mais ils peuvent également les rendre plus intrusives, en les intégrant à un logiciel RH ou en exportant les données vers d’autres plateformes d’analyses. Le panoptique est un espace de réglage en boucle sur lui-même, très simple à mettre en place.
Image : exemple d’un tableau de productivité d’employés travaillant dans une chaîne de restaurant. Via Cracked Labs.Ce que montrent les enquêtes du chercheur en observant les outils mis à disposition des employeurs, c’est qu’ils institutionnalisent la surveillance pour produire des métriques, des ratios, des indicateurs pour piloter la productivité de l’activité. La surveillance est normalisée, inéluctable. Et son accélération également, puisque de meilleurs indicateurs produiront nécessairement une meilleure productivité, qu’importe si cela passe trop souvent par des indicateurs défaillants.
Outre les défaillances des systèmes, le panoptique de surveillance élargit également les possibilités d’abus, explique Christl dans un nouveau rapport. Rien n’est plus facile désormais que d’espionner les employés, réprimer la dissidence, appliquer une surveillance excessive ou imposer des mesures disciplinaires arbitraires. En permettant un accès à une grande étendue de données, l’asymétrie de pouvoir entre les organisations et les employés s’agrandit… au risque d’une surveillance sans plus aucune limite.
Image : un tableau de bord qui classe les employés à risque selon leur activité.
Via Cracked Labs. Vers le « despotisme à la demande » : la surveillance est la conséquence de la dégradation de l’emploi !Dans son livre, Temporaire : comment Manpower et McKinsey ont inventé le travail précaire (Les arènes, 2021), Louis Hyman, avait montré que l’invention du travail intérimaire puis temporaire était une entreprise idéologique. Peu à peu, pour les entreprises, la stabilité de l’emploi est devenu un problème plutôt qu’un but. L’invention du contrat à durée déterminée (CDD) en 1979 en France n’était pas qu’une solution à la crise économique. Il marque aussi le début d’une dérégulation des conditions de travail qui ne va pas cesser de s’accélérer avec la montée de l’externalisation, la micro-entreprise, les contrats zéro-heures, l’ubérisation… Pour caractériser cette montée d’un travail temporaire de plus en plus flexible, le sociologue Alex J. Wood parle quant à lui de « despotisme à la demande ». Dans son livre éponyme (Cornell University Press, 2020, non traduit), le sociologue ne parle pas beaucoup des outils numériques visiblement, il observe seulement l’impact qu’ont eu les horaires flexibles et le temps partiel sur la disciplinarisation des travailleurs. La disparition de la sécurité qu’offrait un travail à temps plein a conduit les travailleurs précaires à se discipliner pour obtenir leurs quotas d’heures. Pour obtenir les heures promises, ils doivent accepter les contraintes qui vont avec, comme les horaires fragmentés et une disponibilité à la demande, en temps réel. Wood montre d’ailleurs que les employés qui se soumettent le mieux aux injonctions sont aussi ceux qui obtiennent, en récompense, les meilleurs horaires. La précarisation renforce l’autoritarisme des organisations. La sociologue Madison Van Oort dans son livre, Worn out : how retailers surveil and exploit workers in the digital age and how workers are fighting back (Épuisé : Comment les détaillants surveillent et exploitent les travailleurs à l’ère numérique et comment les travailleurs ripostent, MIT Press, 2023, non traduit) dresse le même constat en observant l’impact de l’outillage numérique dans les enseignes de la Fast Fashion, comme H&M ou Zara. Elle montre que, là aussi, les employés travaillent à la demande, notamment depuis des applications de planning automatisées profondément imprédictibles et qui font peser sur leurs épaules toute l’insécurité de l’emploi.
Image : couverture du livre de Madison Van Oort, Worn out.Les technologies numériques transforment en profondeur le secteur des services à bas salaires, explique Madison Van Oort. Pour elle, la fast fashion, qui est une forme de commerce industriel, est le secteur emblématique d’une industrie totalement orientée par les données et qui promeut partout la jetabilité. Non seulement les produits sont aussi vites produits, vendus que remplacés, mais les employés subissent le même traitement (dans le secteur, 60% des employés des magasins sont embauchés de manière temporaire, l’essentiel l’est à temps partiel). Et la chercheuse suggère que cette vision du monde, cette chosification, est façonnée par la numérisation, par le fait que tout est considéré comme des données – le designer italien Stefano Diana estimait que cette mise à distance qui transforme tout en chiffre nous ôte toute empathie. Or la fast fashion est bien l’enfant de la numérisation. La révolution de l’interconnexion a permis d’accélérer la production et la circulation de la chaîne d’approvisionnement et a permis la consécration d’une production temps réel. Une production directement pilotée depuis ce qui se vend et non plus depuis ce que les commerçants proposent. Une production plus réactive, capable de répondre aux demandes des clients. La fast fashion est bien sûr connue pour exploiter tous les travailleurs de la chaîne d’approvisionnement, notamment ceux qui fabriquent les vêtements à l’autre bout du monde. Mais c’est également le cas de ceux chargés de vendre les produits disponibles en continu.
Au XXe siècle, à l’époque des grands magasins, un vendeur était embauché pour ses compétences et on attendait de lui qu’il soit proche des clients pour mieux les conseiller. A l’époque des magasins de marques, on n’attendait plus des vendeurs qu’ils soient commerciaux, seulement un intense travail émotionnel pour vendre l’expérience que propose la marque en magasin. Mais à l’époque de la fast fashion, le vendeur n’est plus qu’un magasinier constamment sous surveillance numérique. Cette prolétarisation s’explique par le fait que la relation au client a été déléguée aux machines. Dans le monde de la fast fashion, les employés ont été dépossédés de la vente parce que les connaissances sur les clients ont été automatisées via les outils du marketing numériques. Ce sont eux qui prédisent les préférences des consommateurs et qui pilotent la relation clients. La sociologue explique que le travail émotionnel (que définissait la sociologue Arlie Russel Hochschild), celui qui connecte l’employé au client, qui prédit les désirs du consommateur, est désormais automatisé. Les magasins ont été dépossédés de cette compétence, renvoyée au travail des équipes marketing. L’analyse des données est omniprésente. Elle permet de personnaliser l’inventaire des magasins selon les ventes, mais pilote également la vie des employés, puisque ces mêmes données vont produire les moments d’affluences et décider des besoins en personnels, décider des plannings imprévisibles et également rendre les employés plus remplaçables et interchangeables qu’ils n’étaient. Ce n’est pas tant que les habits proposés sont si peu chers qu’ils se vendent d’eux-mêmes, mais que le marketing automatisé met les ventes sous stéroïdes et produit une accélération en chaîne. Les vendeurs ne sont plus que des employés à la demande, qui sont là pour mettre les vêtements en place et nettoyer le magasin. Plier, ranger, nettoyer. Faire tourner les flux. Ils sont là pour faire ce que les robots ne savent pas faire. « En numérisant la connaissance des désirs des consommateurs, le travail de vente au détail de la fast-fashion a été déqualifié et accéléré, et les travailleurs sont devenus jetables. Et ont pu être contrôlés de manière toujours plus impersonnelle. » Pour Van Oort, la montée de la surveillance des travailleurs de terrain est consubstantielle au développement du marketing numérique permettant de mieux connaître les consommateurs. Son analyse montre qu’il y a des effets d’entraînements dans toute la chaîne de la numérisation.
Comment l’automatisation renforce la prolétarisation qui renforce la surveillancePour Madison Van Oort, c’est la technologie qui a rendu ces conditions de travail possible. Après avoir construit une production en temps réel, informée par les données de ventes, le savoir produit par la datafication a été appliqué aux magasins. Les outils de planning automatisés (comme ceux développés par Kronos, devenu UKG, Ultimate Kronos Group, l’un des leaders du secteur) sont composés d’innombrables modules pour adapter les ressources humaines aux besoins. Pourtant, comme le pointait la journaliste Esther Kaplan dans un article pour Harper’s Magazine en 2015, la première conséquence de l’introduction de ces outils de plannings reste bien souvent de démultiplier les emplois à temps partiels, comme l’ont connu les employés de la chaîne de vêtements Forever 21 lorsque leurs magasins s’en sont équipés ! Van Oort rappelle que le planning automatisé est né chez McDonald dès les années 70, mais c’est pourtant avec le déploiement d’outils logiciels dédiés que ceux-ci vont changer le commerce de détail (et bien d’autres secteurs…), notamment en popularisant le temps partiel afin d’améliorer les rendements et les profits.
Les systèmes de planning automatisés calculent pour chaque employé, branche, secteur, des ratios de productivité et font des prédictions de besoins de main d’œuvre très précis, pouvant aller jusqu’à recommander des employés, sans qu’on sache parfaitement depuis quels critères – or, certains critères de ce calcul peuvent être profondément problématiques, qu’ils soient discriminatoires ou qu’ils s’ajustent pour optimiser les salaires vers le bas, en minimisant les primes. Van Oort ne creuse hélas pas la question, mais remarque néanmoins que l’efficacité high-tech de ces outils est très souvent survendue. Ces systèmes d’agendas automatisés ont beaucoup de mal à prendre en compte les contraintes des employés (garde d’enfants, etc.) et les employés en contournent les rigidités en proposant d’échanger leurs astreintes via des messageries partagées. Les problèmes que génèrent les planning partagés conduisent à renforcer les astreintes : les employés doivent être tout le temps connectés pour répondre aux astreintes, les accepter comme pour les rejeter ou les faire circuler. Cela transforme les relations de travail, crée des tensions entre les employés qui sont tous à chercher à faire des heures que la machine ne leur donne pas. Les conflits d’emploi du temps sont permanents, mais ils ne sont pas tant avec la direction qu’avec les autres employés, vus comme concurrents.
Alors que les employés des grands magasins étaient souvent employés à vie, intéressés aux ventes par des commissions, ceux de la fast fashion sont d’abord précarisés, souvent employés à bas coûts et à temps partiel. Alors que dans les grands magasins les employés se plaignaient de faire trop d’heures, ceux de la fast fashion se plaignent de n’en avoir pas assez. Aux horaires instables répondent des paies qui le sont également. « Avec les horaires flexibles, les risques et l’instabilité du commerce reposent sur les épaules des travailleurs ». Le stress aussi, ce sont eux qui sont confrontés à des calendriers toujours changeants.
Ce que la sociologue suggère, c’est que l‘acceptation de la flexibilité conduit automatiquement à accepter une flexibilité renforcée qui, grâce à l’optimalité des calculs, ne cesse de s’étendre. Il n’y a pas d’alternative aux horaires fixes et réguliers, rappelle-t-elle. « Le planning automatisé crée une profonde insécurité et beaucoup d’imprévisibilité ». Il est la première brique qui renforce le développement du travail à la demande. La chercheuse souligne également que la surveillance à toujours tendance à s’étendre et qu’elle se renforce d’un outil l’autre, d’une interconnexion l’autre. Les scanners biométriques complètent les agendas automatisés (et techniquement, s’y intègrent comme des plug-ins), la surveillance vidéo complète la surveillance logicielle des caisses… L’introduction d’une forme de surveillance en entraîne une autre et elles se renforcent les unes les autres.
Pourtant, la surveillance n’est jamais aboutie. Dans le panoptique, la réalité est que les outils dysfonctionnent souvent, au détriment des employés. Quand le scanner bug, c’est les heures de travail des employés qui ne sont pas comptabilisés. Quand les besoins de personnels sont calculés au plus justes, ce sont les employés qui voient leurs cadences s’accélérer ou leur charge de travail augmenter.
La surveillance développe une forme de paranoïa qui se renforce avec la surveillance. Plus les travailleurs sont précarisés et plus ils sont considérés comme des criminels potentiels, et inversement. Or, comme le suggère Richard Hollinger un spécialiste de la criminalité des employés, pour réduire le vol en interne, il suffit d’abord d’augmenter les heures de travail et d’améliorer les rémunérations ! Les employés veulent d’abord un travail fixe et régulier et un travail qui paye bien. La surveillance est bien une conséquence de la dégradation du travail qui renforce l’autoritarisme des organisations. Nous construisons des lieux de travail où tout est sous surveillance (les produits, les consommateurs, les employés). La normalisation de la surveillance, son institutionnalisation, exacerbe les inégalités. Le turn over des employés est aussi fort que celui des produits. « Des conditions de travail injustes conduisent à des politiques de surveillances injustes ». L’un permet l’autre, l’un renforce l’autre et inversement. Le Precarity Lab de l’université du Michigan parle d’ailleurs de « technoprécarité » pour expliquer que le numérique amplifie les conditions d’exploitations.
Le numérique floute les distinctions entre management, marketing et surveillance. Mais la surveillance ne pose pas qu’une question de respect de l’intimité ou de la vie privée, elle pose également une question de justice, qui semble aujourd’hui se perdre dans le délire d’un contrôle, en roue libre, qui ne rend pas compte de ses effets. Les données au travail sont de plus en plus instrumentalisées pour servir voire renforcer l’asymétrie des rapports de travail.
Surveillance prédictive : le risque d’une surveillance de moins en moins factuelle !En plus du délire du contrôle que la numérisation facilite, sans plus en voir les conséquences… il faut également ajouter des mesures prédictives particulièrement défaillantes qui viennent encore renforcer et justifier la surveillance. C’est le cas par exemple de Visier, une startup qui compte de nombreux clients, de Adobe à Uber… Visier promet de prédire le burn-out comme la démission. Le système, entraîné sur des profils d’employés démissionnaires, promet de calculer ce risque sur tous les autres employés en utilisant toutes les données disponibles, notamment les emails professionnels échangés, les relations aux autres employés, les publications sur les réseaux sociaux… pour mesurer l’engagement, l’absentéisme, la performance, le délai entre les promotions, l’activité sur Linked-in… Le problème, c’est que ces prédictions générales ont du mal à se prononcer sur les individus, explique la journaliste Hilke Schellmann dans son livre, The Algorithm (Hachette, 2024, non traduit). En fait, ces systèmes se concentrent sur des données internes pour tenter de faire des prédictions, comme d’évaluer l’évolution des fonctions, le niveau de salaire, la performance ou le niveau de responsabilité. Comme souvent, les données y rappellent la force de l’évidence : une personne au même poste pendant 2 ans a tendance à vouloir partir ! Le problème est qu’il n’y a pas que des raisons internes au départ des gens, il y a beaucoup de raisons externes sur lesquelles les entreprises n’ont pas toujours de données (situation familiale, proposition d’embauche externe, niveau de salaire et de tension du secteur…) et beaucoup de raisons internes sur lesquelles les données n’ont pas prises (comme la toxicité du management, même si des proxies plus ou moins fiables peuvent être trouvés, comme la durée d’un manager en poste ou le temps de rétention du personnel sous ses ordres – mais là encore, rien n’est moins fiable : un manager a ainsi été identifié comme toxique parce que ceux qui rejoignaient son équipe avaient tendance à changer de poste dans les 7 à 8 mois, alors que c’était surtout lui qui les aidait à évoluer dans l’entreprise). Mais ces prédictions de risque sont tout aussi problématiques que nombre d’autres prédictions. Et leur amélioration peut vite devenir discriminante, par exemple en portant plus d’attention aux jeunes hommes non mariés qui ont plus tendance à changer de job que les jeunes femmes mariées. Au final, ces systèmes là encore fonctionnent assez mal. Schellmann prend l’exemple d’une responsable RH de Pepsi pour laquelle le logiciel de Visier indiquait qu’elle avait 0,03% de chance de partir dans les 20 prochains mois et qui a quitté l’entreprise bien avant ce délai !
Là encore, l’analyse de données, par nature, s’abstrait du contexte. La prédiction défaille. Comme le disent Arvind Narayanan et Sayash Kapoor dans leur livre, AI Snake Oil (Princeton University Press, 2024, non traduit), la prédiction cumule trop de biais pour être fiable. Trop souvent, les prédictions abusent de proxies, de variables de substitutions, ce qui démultiplie les erreurs en cascade. Trop souvent, les prédictions cherchent des modèles qui n’existent pas. Les deux chercheurs estiment d’ailleurs que la promotion d’employés au hasard mais selon un taux fixe pourrait avoir plus de conséquences positives que la recherche illusoire de critères de promotion perfectibles. Les prévisions ne sont pas un modèle objectif. Elles restent probabilistes, quand leur mise en œuvre cherche à les rendre déterministes, au risque de prendre pour la réalité des calculs d’abord défaillants, qui entremêlent entre eux des suppositions en cascade.
La surveillance numérique des lieux de travail propose un panoptique idéal, où la surveillance du travailleur est omniprésente et infatigable. La surveillance est mécanique. L’exosquelette numérique est moins là pour nous aider à faire des tâches que pour surveiller le moindre de nos faits et gestes. Dans ce panoptique, les traitements de données, les données inférées parlent pour les employés, au risque de ne leur laisser aucun droit. Ni droits à explications, ni droit à contester les décisions automatisées qui ne leurs sont mêmes pas expliquées comme telles.
Sans limites, la surveillance ne propose que de renforcer l’autoritarisme des organisations.
-
16:39
La fin du techno-solutionnisme ?
sur Dans les algorithmesLes patrons de la tech et les capitaux-risqueurs, ces hérauts de l’innovation de la Silicon Valley, qui se sont très longtemps affirmé massivement progressistes et démocrates, sont en train de se rallier massivement à Trump, auquel ils se sont pourtant longtemps opposé, constate Evgeny Morozov dans une tribune pour le Guardian.
Morozov rappelle que les investisseurs de la Silicon Valley ont longtemps partagé avec les démocrates une croyance commune dans le techno-solutionnisme, c’est-à-dire dans l’idée que les marchés, renforcés par la technologie numérique, pourraient produire des biens sociaux là où la politique gouvernementale avait échoué. Mais cette utopie n’a cessé de se dissoudre à mesure qu’elle tentait de se réaliser. On nous a promis que les médias sociaux pourraient renverser les dictateurs, que les cryptomonnaies pourraient lutter contre la pauvreté, que l’IA allait guérir le cancer… Autant de techno-promesses qui ne se sont pas réalisées. Morozov rappelle que l’histoire d’amour entre la Tech et les démocrates a commencé dans les années 80 quand ceux-ci ont vu dans la Silicon Valley le moyen de promouvoir un progrès social, économique et environnemental qui reposerait sur l’innovation technologique. Les démocrates ont alors accepté toutes les mesures favorables à l’extension du capital-risque. Une alliance politico-économique qui a changé le financement de l’innovation : aux institutions publiques la science fondamentale et aux sociétés de capital-risque les startups qui en commercialisent les résultats. Un modèle qui permet aux américains de payer des prix de médicaments parmi les plus élevés au monde, ironise Morozov.
Les grandes promesses techno-solutionnistesDepuis des années, les investisseurs ne cessent de se tresser leurs propres lauriers, vantant le rôle essentiel qu’ils jouent dans le progrès et l’innovation qu’ils rendent possible, tout en célébrant des marchés libres et sans limites, à l’image du ringard manifeste techno-optimiste de Marc Andreessen, ode à la « machine techno-capitaliste ». Une machine qui permet aux investisseurs de contrôler l’orientation de l’innovation à leur plus grand profit, et qui, à force de s’auto-célébrer, nous conduit à penser qu’il n’y a pas d’alternative au techno-capitaliste. Pourtant, les grandes promesses techno-solutionnistes se sont dissoutes. Le bitcoin n’a enrichi aucun démuni. L’IA semble bien plus promettre la fin des emplois que leur renouveau. Quant aux médias sociaux, l’idée qu’ils puissent promouvoir la démocratie a été abandonnée, et les leaders technologiques semblent désormais bien plus soucieux d’échapper aux responsabilités que leurs plateformes ont joué dans la subversion de la démocratie.
Une croyance communeMorozov rappelle que les investisseurs de la Silicon Valley ont longtemps partagé avec les démocrates une croyance commune dans le techno-solutionnisme, c’est-à-dire dans l’idée que les marchés, renforcés par la technologie numérique, pourraient produire des biens sociaux là où la politique gouvernementale avait échoué. Mais cette utopie n’a cessé de se dissoudre à mesure qu’elle tentait de se réaliser. On nous a promis que les médias sociaux pourraient renverser les dictateurs, que les cryptomonnaies pourraient lutter contre la pauvreté, que l’IA allait guérir le cancer… Autant de techno-promesses qui ne se sont pas réalisées. Morozov rappelle que l’histoire d’amour entre la Tech et les démocrates a commencé dans les années 80 quand ceux-ci ont vu dans la Silicon Valley le moyen de promouvoir un progrès social, économique et environnemental qui reposerait sur l’innovation technologique. Les démocrates ont alors accepté toutes les mesures favorables à l’extension du capital-risque. Une alliance politico-économique qui a changé le financement de l’innovation : aux institutions publiques la science fondamentale et aux sociétés de capital-risque les startups qui en commercialisent les résultats. Un modèle qui permet aux américains de payer des prix de médicaments parmi les plus élevés au monde, ironise Morozov.
La machine techno-capitalisteDans les années 70, comme Morozov l’explique dans une série en podcast, a sense of rebellion, quelques hippies radicaux promouvaient la technologie écologique et la contre-technologie. Ils considéraient la technologie comme le produit de relations de pouvoir et souhaitaient modifier fondamentalement le système lui-même. Pour eux, notre problème n’était pas « la technologie », mais la technologie spécifiquement capitaliste. Après la seconde guerre mondiale, le sénateur démocrate Harley Kilgore a prédit les dangers de voir la science devenir « la servante de la recherche commerciale ou industrielle ». Il proposait que la National Science Foundation (NSF) soit gouvernée par des représentants des syndicats, des consommateurs, de l’agriculture et de l’industrie pour garantir que la technologie réponde aux besoins sociaux et reste sous contrôle démocratique. Il proposait également que les entreprises soient obligées de partager leur propriété intellectuelle si elles s’appuyaient sur de la recherche publique et qu’elles ne puissent être les seules fournisseurs de solutions aux problèmes sociaux. Notre approche actuelle, portée par les commerçants de la Silicon Valley, qui est l’exact inverse, doit être profondément réinterrogée estime Morozov. La Silicon Valley est obsédée par la l’accélération de la machine techno-capitaliste d’Andreessen qui « repose sur le détachement des marchés et des technologies du contrôle démocratique ». Avec la perspective de voir Trump revenir à la Maison Blanche, leur techno-solutionisme n’aura aucun mal à servir l’autoritarisme comme ils ont servi finalement les programmes néolibéraux des démocrates. A terme, l’horizon n’est pas tant la fin du techno-solutionnisme sous-entend Morozov, que le risque qu’il ne soit plus du tout un horizon progressiste. Pour lui, les démocrates devraient comprendre que les capitaux-risqueurs sont le problème plus que des alliés. Les démocrates devraient se défaire de leur fascination pour la Silicon Valley et son techno-solutionnisme. « Pour construire une machine techno-publique véritablement progressiste, nous devons repenser la relation entre la science et la technologie, d’une part, et la démocratie et l’égalité, d’autre part ». C’est-à-dire construire une « machine techno-publique » qui repense le rapport entre la science et la techno par la démocratie… gouvernée et orientée par les besoins sociaux et les représentants de la société. Simple et stimulant ! Pas sûr pourtant que nous en prenions le chemin.
MAJ du 11/07/2024 : Dans AOC, le sociologue Olivier Alexandre dresse le même constat. Il estime que la Tech après avoir été un symbole du progrès, est entrée dans un moment conservateur…
Le site dédié à la série, un sens de la rébellion.