Planet Georezo » Dans les algorithmes

Un Planet est un site Web dynamique qui agrÃ¨ge le plus souvent sur une seule page, le contenu de notes, d'articles ou de billets publiÃ©s sur des blogs ou sites Web afin d'accentuer leur visibilitÃ© et de faire ressortir des contenus pertinents aux multiples formats (texte, audio, vidÃ©o, Podcast). C'est un agrÃ©gateur de flux RSS. Il s'apparente Ã un portail web.
Vous pouvez lire le billet sur le blog La Minute pour plus d'informations sur les RSS !

Canaux

4737 éléments (1 non lus) dans 55 canaux

Dans la presse

Du côté des éditeurs

Toile géomatique francophone

Géomatique anglophone

Blogs GeoRezo.net

Abonnez vous à cette page (RSS) !

Dans les algorithmes

19 December 2024
7:07
Machines à mèmes
sur Dans les algorithmes

« L’IA générative est le lubrifiant de machines algorithmiques cassées », comme le sont devenus les médias sociaux. Damon Beres.
18 December 2024
7:00
Quand la dématérialisation réduit les droits
sur Dans les algorithmes

Dans un rapport particulièrement sévère, le Défenseur des droits dresse un réquisitoire nourrit de la plateforme dématérialisée pour les demandes de titres de séjour des ressortissants étrangers produite par l’Administration numérique des étrangers en France (ANEF). Les problèmes liés à cette plateforme représentent désormais un tiers des réclamations que reçoit le Défenseur. Non seulement les candidats au titre de séjour ne parviennent pas à accomplir leurs démarches, mais surtout ils ne reçoivent pas de réponses dans les délais, y compris pour un renouvellement de titre de séjour, ce qui les plonge dans l’irrégularité car ils ne peuvent pas produire de preuve de leur droit au séjour. Pour le Défenseur, l’ampleur et la gravité des atteintes au droit nécessitent des mesures urgentes.

Le Défenseur rappelle d’ailleurs dans son rapport que ce n’est pas la première fois que la dématérialisation conduit à des ruptures de droits. Cela a été longtemps le cas avec les demandes de permis de conduire et les certificats d’immatriculation par exemple. Quant au problème spécifique de l’accès aux préfectures pour les demandes de titres de séjour, on rappellera que le problème est sur la table depuis le rapport de la Cimade en 2016, et que le Défenseur des droits a plusieurs fois pointé les dysfonctionnements depuis sans amélioration réelle.

Très concrètement, le rapport souligne que les choix de conception de l’outil mis en place renforce les difficultés, en empêchant de réaliser simultanément plusieurs démarches, par exemple de signaler un changement de lieu de résidence quand une démarche est en cours. L’outil ne permet pas non plus de conserver un historique des démarches et des échanges, ni ne permet de gérer des démarches pour le compte de plusieurs ressortissants.

Le Défenseur des droits propose plusieurs solutions, comme de pouvoir rectifier et modifier ses demandes bien sûr et recevoir des informations précises sur l’évolution de l’instruction des demandes. Il recommande également d’améliorer les moyens des services des préfectures dédiés au droit des étrangers pour accélérer le traitement, parce que les contentieux liés aux retards et dysfonctionnements explosent. Mediapart rapporte ainsi que les tribunaux administratifs sont de plus en plus engorgés par les recours liés à ces dysfonctionnements, notamment de personnes conduites à la précarisation par la perte du droit au séjour et qui éprouvent des difficultés à travailler, à accéder aux soins, aux études, des pertes d’emplois ou de logement ou un arrêt du versement des prestations sociales parce que leur demande ou leur renouvellement n’est pas produit dans les temps.

Un rapport qui montre, très concrètement, que la manière dont sont conçus les outils du service public ont des répercussions on ne peut plus réelles sur les gens. Et qui invite à les réformer en s’appuyant sur les problèmes que font remonter les publics qui y sont confrontés.
17 December 2024
7:00
Ce que la surveillance change au travail
sur Dans les algorithmes

Cette semaine, avant de revenir à nouveau sur ce que transforme la surveillance au travail, on republie un article de fond, publié en janvier 2023, une lecture du livre de la sociologue américaine Karen Levy qui a observé comment la surveillance a transformé le monde des routiers américains. La grande force du livre, c’est qu’on observant un secteur particulier, Karen Levy nous explique les conséquences de la surveillance, bien au-delà du monde de la route. En voiture !

Dans son livre, Data Driven : Truckers, Technology and the new workplace surveillance (Princeton University Press, 2023, non traduit), la sociologue Karen Levy a enquêté sur les routiers américains à l’époque où leur a été imposé les systèmes de surveillance électronique (Electronic logging devices, ELD, devenus obligatoires depuis 2017 ; en France on parle de chronotachygraphes numériques, devenus obligatoires dans les camions neufs depuis 2006). Ces systèmes électroniques (qui ressemblent à des autoradio), capturent des données sur l’activité des camions et donc des routiers. Ils poursuivent une longue histoire de la régulation du transport, qui depuis les années 30, d’abord avec des journaux papiers que les conducteurs étaient censés tenir, tente de tracer le travail des routiers pour mieux le contrôler. C’est donc très tôt, dès le développement du transport routier, que le régulateur a cherché à s’attaquer à la fatigue et au surtravail des routiers. L’introduction du numérique ici, utilise un des grands arguments de sa légitimation : l’infalsifiabilité !
Le numérique commande, le numérique surveille, le numérique punit
Le livre de Karen Levy s’intéresse à comment la surveillance numérique transforme le lieu de travail et la nature du travail des routiers. Son titre s’amuse de la formule très usitée de Data Driven, qui évoque les entreprises où toutes les approches sont “conduites par la donnée”, c’est-à-dire pilotées par les technologies et l’analyse de données. Ici, l’enjeu est de regarder comment les données conduisent désormais les camions et le sens de ce changement de pilote, de cette transformation par le numérique. Ce qui change avec les données, c’est la manière dont elles mettent en application les métriques qu’elles produisent, dont elles les imposent pour gouverner la réalité. L’enjeu est d’interroger comment « l’exécution numérique » (traduction très imparfaite du digital enforcement, c’est-à-dire l’usage de la technologie pour imposer et faire respecter les règles) repose sur un ensemble de directives légales et organisationnelles qui bouleversent l’autonomie traditionnelle des conducteurs routiers. Ici, le numérique joue un rôle particulier et qu’on lui prête souvent : celui d’imposer, de commander, d’ordonner. Il est le garant de l’application des règles, il est le moyen pour contraindre et soumettre l’individu aux commandements légaux et hiérarchiques dont il dépend. Il est à la fois l’outil de mesure et de contrôle. Il assure un calcul dont l’humain sera tenu pour responsable.

Pourtant, « les règles ne sont pas toujours des règles », rappelle Karen Levy. Elles sont bien souvent façonnées par des réalités sociales, culturelles et économiques et ne sont jamais aussi simples qu’elles paraissent : même une limitation de vitesse engendre des formes de tolérances. Les pratiques de travail s’ajustent plus ou moins aux règles et obligations qui leurs incombent, certaines étant plus strictes que d’autres, plus réprimées, plus surveillées. Le problème, c’est que ce respect sélectif des règles est le lieu de l’arbitraire et des discriminations. Et quand une autorité décide de renforcer une disposition réglementaire par la technologie sans prendre en compte le fossé des pratiques, elle perturbe l’ordre social.
Image : la couverture du livre de Karen Levy.
La technologie est de plus en plus convoquée pour réduire le fossé entre la loi et la pratique, comme si ce fossé pouvait se réduire par un simple renforcement, une boîte de Skinner pour altérer nos comportements, à l’image des rats de laboratoires qu’on dresse à coups de récompenses et de décharges électriques. Elle est souvent convoquée pour rendre les règles plus strictes, plus difficiles à briser. Pourtant, estime Karen Levy, les technos n’empêchent pas les comportements déviants. Elle permet parfois de mieux les détecter, les documente et oblige ceux qui y ont recours à devoir en rendre compte. Elle permet peut-être de dissuader les comportements sanctionnés, de les réprimer, mais certainement bien plus de les déporter et de les transformer.

Nos représentations de l’avenir du travail balancent entre un futur ou nous disposons de plus d’autonomie, aidés par les machines, et son exact inverse, celui où le moindre de nos comportements est scruté, prédit et optimisé par la machine. La vérité est que le futur du travail ressemble surtout aux pratiques d’aujourd’hui et aux pratiques d’hier, rappelle avec raison la sociologue. L’avenir du travail reste construit sur les mêmes fondations : à savoir « la motivation, l’efficacité, la minimisation des pertes, l’optimisation des process et l’amélioration de la productivité ». Et pour atteindre ces différents objectifs, la stratégie la plus commune reste la surveillance accrue des travailleurs. Qu’importe si elle marche assez mal…

Ce qui change avec la surveillance numérique, c’est qu’elle est capable de s’introduire dans de nouveaux types d’espaces (et la cabine du chauffeur routier en est un bon exemple). Elle est capable de produire de nouveaux types de données, plus granulaires, depuis de nouveaux capteurs (biométriques notamment) pour produire toujours plus de métriques… qui permettent de produire de nouvelles analyses qui impactent la gestion des travailleurs en temps réel et de manière prédictive. Des analyses bien souvent produites via des systèmes opaques et asymétriques, conçus d’abord au bénéfice exclusif des employeurs. Enfin, cette surveillance produit de nouveaux enchevêtrements, par exemple quand le télétravail capture des données relatives à la vie privée ou à la santé… qui posent de nouveaux enjeux en termes de sécurité ou de vie privée.

Si les chauffeurs routiers ont longtemps eu plus de liberté et d’autonomie que bien des travailleurs en cols bleu, cela a bien changé, raconte la chercheuse. Certes, la route est restée avant tout une identité, où règne une culture d’appartenance très marquée, éminemment viriliste, très libertarienne. Mais la surveillance électronique a réduit l’autonomie des routiers – et c’est bien souvent ce qu’elle produit, partout où elle s’impose : elle produit de nouvelles régulations de l’autonomie, de nouvelles négociations autour de la liberté. Pour Karen Levy, les technologies déstabilisent bien plus les relations de pouvoir qu’elles ne renforcent l’autorité du surveillant. Son livre est une très bonne parabole des transformations du monde du travail par la technologie, qui font écho à d’autres travaux, par exemple, à ceux du sociologue David Gaborieau sur le monde de la logistique transformée par la commande vocale et les PDA.
Le business dégradé de la route
En 2018, aux Etats-Unis, 37 millions de camions sont enregistrés dans un but commercial, accomplissant des milliards de kilomètres chaque année pour transporter 20 milliards de tonnes de fret. Cette industrie emploi 8 millions de personnes, dont 3,6 millions de chauffeurs, dont 2 millions sont chargés du transport longue distance. Comme nombre d’industrie, le transport est une industrie contrôlée et les prix y sont assez standardisés. Pourtant, le secteur a connu plusieurs chocs de dérégulation depuis la fin des années 70. Dans les années 80, les tarifs d’expédition se sont effondrés de 25% alors que de nouveaux transporteurs entraient sur le marché. Des centaines de camionneurs ont connu la crise et perdus leurs jobs. Pour les autres, leurs salaires ont chuté de 44% (entre 1977 et 1987). Pour compenser cette perte de salaire, les camionneurs ont dû allonger leurs heures de travail. La dérégulation des années 80 a été un cataclysme, explique la sociologue. Dans les années 80 un camionneur pouvait se faire 110 000 $ par an, quand il n’en gagne en moyenne plus que 47 000 aujourd’hui. Bas salaires et surtravail ont transformé le transport en « atelier clandestin sur roue ».

Les routiers sont les plus tués ou blessés des travailleurs américains : 1 travailleur sur 6 tué au travail aux Etats-Unis est un camionneur, et ce chiffre se dégrade malgré le déploiement de toujours plus de mesure de sécurité (sans compter les autres problèmes de santé qui les touchent particulièrement, comme le fait qu’ils fassent peu d’exercice qui conduit la profession à avoir la plus forte incidence de taux d’obésité du pays, comme une forte pratique médicamenteuse, et les déplacements incessants qui rendent difficiles l’accès à un médecin, pour une population qui vieillit plus qu’elle ne rajeunit : l’âge moyen est de 46 ans et augmente. 2/3 des conducteurs sont blancs, même si la proportion de conducteurs noirs et latinos augmente…). Si conduire un camion est l’un des jobs le plus courant dans la plupart des États américains, le turnover y est phénoménal. Chez les grands transporteurs, il est de 100% sur l’année et chez les petits, il est très élevé également. Pour les entreprises, qui en ont pris leur parti, il est devenu plus simple de s’adapter au turnover que de chercher à traiter le problème. 90% des entreprises ont au maximum 6 camions, et un grand nombre de routiers (10%) sont indépendants, c’est-à-dire sont les propriétaires de leur propre camion. Pourtant, le marché est surtout détenu désormais par de très grandes entreprises : 20% des entreprises de transport contrôlent 80% des actifs de l’industrie. Derrière cette description, on voit que la figure du camionneur, chevalier solitaire des autoroutes, tient désormais plus d’une représentation que d’une réalité.

Le surtravail des routiers est le résultat direct de la façon dont ils sont payés, rappelle Levy. Ils sont payés au kilomètres : à l’origine, c’était bien sûr pour aligner leurs objectifs à ceux de leurs entreprises, les pousser à maximiser le temps de conduite. Pourtant, depuis toujours les routiers ne font pas que conduire… Ils inspectent et réparent leur camion, ils remplissent le réservoir, font des pauses, se coordonnent avec les expéditeurs et les réceptionneurs, et surtout passent beaucoup de temps à attendre lors des chargements et déchargements de leurs cargaisons (les conducteurs parlent de « temps de détention »). Mais les routiers ne gagnent pas d’argent sur ces moments. Avant la dérégulation des années 80, un grand nombre de routiers étaient payés à l’heure pour les tâches où ils ne conduisaient pas, mais la concurrence a fait disparaître ces petits avantages. Alors que les syndicats ont été un puissant levier de la profession pendant longtemps (au début des années 70, le transport était la plus syndiquée des industries américaines, avec plus de 80% de travailleurs syndiqués… En 2000, ce taux n’est plus que de 25%, et il est à moins de 10% aujourd’hui), ils sont désormais un repoussoir. Politiquement, les routiers sont surtout majoritairement libertariens. La route est devenue un mauvais métier, mais est resté un métier avec une identité, une fierté et une empreinte culturelle forte, particulièrement masculiniste.
Plus de surveillance, plus de pression !
Si la régulation est de retour, plus que de s’intéresser aux conditions de travail, elle s’est surtout intéressée au contrôle des véhicules. Concernant les employés, elle s’est concentrée sur un seul aspect : le temps consacré à la conduite. Le surtravail et le manque de sommeil sont endémiques dans une profession payée au kilomètre. Les semaines de 65 heures ou plus sont nombreuses, les nuits de 5 heures sont courantes. Chaque année, les accidents de la route impliquant des camions tuent 5 000 personnes et blessent 150 000 personnes.

Pour résoudre ces problèmes, les autorités ont cherché à réguler la durée de travail, en imposant des pauses et des durées de conduites, des limites. Restait à en assurer le contrôle. Dès les années 40, les autorités ont imposés aux conducteurs de tenir un journal de bord où ils devaient consigner leur temps de travail, sous la forme d’un graphe (des documents soigneusement et uniquement destinés au contrôle, pas à la paye !). Ce contrôle souvent documenté a posteriori a longtemps été assez permissif, permettant beaucoup d’arrangements pour tenir les délais imposés par les employeurs. Mais plus qu’imposer une solution économique, le régulateur a imposé une solution technique afin de rendre plus difficile aux routiers de falsifier l’enregistrement de leur temps de travail. Envisagée dès 2003, l’imposition des ELD électroniques sera longue et progressive. Annoncée dès 2012, elle sera effective et obligatoire en décembre 2017 seulement (permettant aux employeurs de se préparer : en 2016, 80% des grands transporteurs s’étaient déjà équipés contre seulement 30% des petits).
Image : un chronotachygraphe numérique.
Cette obligation a été bien sûr très contestée. Pour les routiers, ces objets sont avant tout un affront à leur vie privée, à leur dignité, à leur indépendance… Pour eux, ces objets et la surveillance qu’ils imposent, les considère comme des criminels ou des enfants. Pourtant, rappelle Karen Levy, le problème n’est pas qu’ils falsifiaient leurs journaux de bords papiers (assez marginalement visiblement), mais que l’industrie soit tout entière orientée pour leur demander de contourner les règles. Le renforcement du contrôle s’impose alors sur le moins puissant de la chaîne industrielle du transport : le chauffeur. Il est considéré comme un menteur dont le comportement doit être redressé, plutôt que comme un professionnel qui doit faire face à des injonctions contradictoires. Surtout, plutôt que de résoudre le problème de la paye au kilomètre, la surveillance l’entérine, sans s’intéresser par exemple au temps d’attente sur les docks (63% des camionneurs rapportent qu’ils peuvent y passer plus de 3 heures).

Pour finir, rapporte Levy, la surveillance n’a pas résolue le problème qu’elle était censée résoudre. La surveillance rend-t-elle les routes plus sures ? Certes, les appareils ont amélioré la conformité des conducteurs aux règles. Avant l’obligation des appareils, les violations du nombre d’heures de travail étaient constatées lors de 6% des contrôles quand elle est descendue à 2,9% depuis. Le gain est notable, mais le problème n’était pas si prégnant que le clame le discours des autorités. Les études n’ont pas trouvé non plus que les appareils électroniques permettaient de réduire le nombre d’accidents (au contraire, les accidents ont tendance à augmenter, notamment chez les petits transporteurs). Les appareils n’ont pas permis de résoudre le temps d’attente des routiers, qui est bien souvent la source d’une prise de risque supplémentaire pour tenir ses délais et ne pas dépasser des horaires qu’ils doivent plus strictement respecter. En fait, l’inflexibilité qu’introduit la surveillance électronique a surtout généré plus de pression sur les conducteurs : les infractions pour conduite dangereuse ont augmenté de 35%.
Derrière la régulation, la gestion : un contrôle social étendu pour aligner les travailleurs aux objectifs des organisations
Les appareils, imposés par le régulateur et pour la régulation, n’ont pas été que des outils de régulation, mais sont vite devenus des outils de gestion. Alors que les camions ont longtemps été immunisé d’une surveillance étroite par les managers, les appareils ont changé cela. « La surveillance numérique conduit à deux importantes dynamiques de changement dans la façon dont les routiers sont gérés par leurs entreprises. D’abord, la surveillance résume les connaissances organisationnelles, les extrait de leurs contextes locaux ou biophysiques (c’est-à-dire ce qu’il se passe sur la route, dans le corps et autour du conducteur) pour les agréger dans des bases de données qui fournissent aux managers de nouveaux indicateurs pour évaluer le travail des routiers. » Ces indicateurs permettent aux managers de construire un contre-narratif de celui de leurs employés, une autre interprétation qui peut venir contredire l’employé, permettant de surveiller la réalité de ses déclarations en regardant sur le GPS où il se trouve précisément. Ensuite, « les entreprises resocialisent les données de surveillance abstraites en les réinsérant dans des contextes sociaux et en créant des pressions sociales sur les camionneurs pour qu’ils se conforment aux exigences organisationnelles. » Par exemple en encourageant une comparaison entre conducteurs sur celui qui conduit le mieux ou celui qui conduit en dépensant le moins de carburant. Le but, ici, clairement, est d’ajouter de nouvelles pressions sur le conducteur pour qu’il se conforme à ses tâches.

La surveillance des travailleurs n’est pas nouvelle. La techno permet aux employeurs d’avoir une meilleure visibilité sur les tâches et par là de mieux discipliner les travailleurs. Les nouveaux outils ont pour but de capturer des informations toujours plus fines et de nouvelles informations (comme les données biométriques) en abaissant le coût de cette surveillance. Ce faisant, la surveillance rationalise le travail : le découpe en microprocessus, le décontextualise, et convertit le travail en pratiques objectivables et calculables. En fait, les ELD se sont révélés plutôt intéressantes pour les employeurs qui ont déployés avec ces outils des systèmes de management de flotte qui leur permettent d’avoir des informations plus précises sur l’activité des routiers, de connaître en temps réel la géolocalisation des camions, mais aussi d’avoir des informations sur leurs modes de conduites (freinage, consommation de carburant…) ainsi que des informations sur la maintenance et le diagnostic du véhicule. Ces systèmes ont renforcé la communication entre le camionneur et son employeur. Enfin, ces données permettent également de faire de la prédiction de risque.

Les entreprises se servent de ces données pas seulement pour elles, mais également pour d’autres. Ces données sont souvent rendues visibles ou accessibles à leurs clients, pour renforcer la fluidité de la chaîne logistique et prévoir l’arrivée des cargaisons. En fait, ces outils sont utilisés pour aller au-delà de ce que proposait la loi (ainsi, celle-ci n’impose un enregistrement de la localisation qu’une fois toutes les 60 minutes, alors que les dispositifs procèdent à un enregistrement en continu). Les dispositifs ont changé la nature de qui détenait l’information. Désormais, les conducteurs n’ont plus l’exclusivité de l’information contextuelle, ce qui modifie leur relation avec leurs employeurs et donc leur indépendance. Les firmes ont même à leur disposition de nouvelles informations dont les conducteurs ne disposent pas, comme des informations sur leur conduite (freinages intempestifs, consommation d’essence…). Les outils permettent enfin une surveillance et une communication plus intensive et plus fréquente, et également plus immédiate, en temps réel, par exemple en informant immédiatement d’une durée de conduite trop longue par rapport à son stricte cadre horaire. Avec le déploiement de la technologie, c’est souvent l’autonomie qui recule : les employés devant répondre et être pénalisés pour chaque problème qui remonte des pipelines informationnels.

Ces nouveaux flots d’information conduisent à de nouvelles stratégies de gestion des hommes, que ce soit par l’évaluation des performances des conducteurs comme leur comparaison entre eux. Les données sont ainsi « resocialisées », c’est-à-dire que les métriques sur les conducteurs sont partagées entre eux pour créer une pression sociale pour les pousser à se conformer aux règles. Beaucoup de gestionnaires de flotte postent ou classent les conducteurs selon leur score de conduite pour créer une pression sociale comparative et pousser les conducteurs à s’améliorer. Certaines entreprises les couplent avec de petites primes financières. Parfois, ces incitations dépassent le cadre de l’entreprise : quelques rares entreprises procèdent à des cérémonies ou des banquets, invitant les familles des conducteurs ou remettant la prime à leurs femmes pour renforcer cette pression sociale. Pour Karen Levy « le contrôle social basé sur les données dépend toujours beaucoup du fait qu’il se situe dans des forces sociales “douces” comme les soins familiaux – contrairement au récit courant selon lequel la gestion basée sur les données est abstraite et impersonnelle ».
Image d’un tableau de bord pour gérer une flotte de camion via OverDriveOnline.
Les dispositifs de contrôle des chauffeurs ne sont donc pas qu’une technologie de conformité réglementaire. Ils sont avant tout des outils de contrôle organisationnel qui visent à aligner les incitations pour que les travailleurs se conforment aux objectifs de profits des organisations.
Nouvelles données, nouveaux profits
La production de nouvelles données nécessite qu’elles soient rendues productives. Elles sont donc vendues ou partagées bien au-delà de l’entreprise. Avec les clients par exemple, mais aussi avec d’autres acteurs, comme les assureurs pour réduire le montant des primes. Elles peuvent également permettre de générer de nouveaux revenus, comme c’est le cas de tout un écosystème d’applications numériques dédiées à la conduite. Désormais, les routiers peuvent réserver des places dans des parking dédiés, via des applications comme Trucker Path. Sur la même application d’ailleurs, des entreprises vendent des correspondances de chargement, pour remplir les camions sur des segments de disponibilités, à la manière des chauffeurs sur Uber. D’autres utilisent ces données pour prédire de la maintenance, détecter l’état des routes, ou améliorer les délais de chargement/déchargement et les temps d’attente, comme Motive. Cette surveillance et ces nouvelles métriques pour améliorer la productivité ont bien plus profité aux gros transporteurs qu’aux petits, estime Karen Levy.

Mais surtout, la surveillance imposée par les autorités et celles des entreprises sont « profondément interopérables », même si elles accomplissent des buts différents. Elles sont « profondément compatibles », et l’une facilite le développement de l’autre. En fait, la collecte de données est elle-même au croisement des intérêt des autorités, des entreprises et d’acteurs tiers qui vont la faire fructifier. Les usages des données se chevauchent et s’entretiennent dans un ensemble d’intérêts légaux, socioculturels, économiques et techniques. « Ces synergies rende les systèmes de surveillance publics et privés pragmatiquement inséparables. La superposition d’intérêts de surveillance par le biais de systèmes interopérables se traduit par une plus grande capacité de surveillance nette que celle que l’État ou la société pourraient atteindre par eux-mêmes, créant un assemblage hybride de régimes de surveillance qui s’appliquent mutuellement. »

Karen Kelly a ensuite un long développement sur la manière dont les dispositifs changent le travail des officiers chargés du contrôle des temps de travail des camionneurs, soulignant combien ce qui devait être facilité est en fait devenu plus difficile. Les inspections sont devenues difficiles, notamment parce qu’il est plus dur pour les inspecteurs de recueillir les données depuis une multitude d’appareils et de formats différents nécessitant des manipulations parfois complexes, dans des situations où ils ne sont pas mis en situation d’autorité (il leur faut pénétrer dans les cabines des conducteurs et bien souvent recevoir leur aide), les conduisant finalement à des inspections moins poussées et moins rigoureuses qu’avant. Sans surprise, les dispositifs qui devaient d’abord améliorer le contrôle par les autorités ne l’a pas vraiment rendu possible. Il a plutôt déporté le contrôle ailleurs et autrement.
Résister à la surveillance ?
La chercheuse évoque également la résistance des routiers au déploiement des appareils. La littérature sur les formes de résistances est nourrie, que ce soit sur l’évitement, l’obfuscation en passant par la surveillance inversée pour surveiller les dispositifs de surveillance, voir le sabotage… Chez les conducteurs, Levy note qu’on trouve des procédés pour tenter d’altérer l’enregistrement des données (mettre du scotch sur une caméra, tenter de créer des interférences avec le système, ou par l’utilisation de dispositifs de brouillages de GPS…), la manipulation des données (qui nécessite souvent la complicité de l’entreprise, mais qui est difficile car les logiciels des dispositifs signalent les données éditées), les tentatives pour exploiter les limites techniques des systèmes (en s’appuyant sur ce que les dispositifs ne savent pas mesurer ou détecter, par exemple en se connectant au dispositif depuis un compte fantôme ou celui d’un autre utilisateur quand le conducteur a atteint sa limite de conduite, ou encore en jouant sur le travail non enregistré, comme les temps d’attente de chargement ou de repos) et la résistance sociale et organisationnelle (comme de quitter les firmes qui déploient des systèmes trop invasifs ou des grèves contre le déploiement des dispositifs – mais qui n’ont pas été très suivies -… d’autres formes d’oppositions aux contrôles se sont développées comme de ne pas présenter d’autres documents exigés, ou de collecter des factures de péage ou d’essence sans dates pour dérouter les contrôleurs).

Mais nombre de stratégies sont rapidement éventées et rendues impossibles par l’évolution des systèmes. Karen Levy concède qu’il est plus difficile de briser les règles avec des appareils électroniques de surveillance. Les stratégies de résistance collectives sont défaites par les outils de mesures individuels. Et les stratégies de résistance individuelle relèvent d’un « microluddisme sans grand effet », comme je le disais ailleurs. Pour Karen Levy, les routiers sont pris dans des injonctions contradictoires qui renforcent la pression qu’ils rencontrent. Leurs employeurs les poussent à tricher alors que les systèmes rendent la triche moins accessible. En fait, quand ils en arrivent à conduire avec un faux compte de conducteur, ou quand ils n’enregistrement pas correctement les heures de non-conduite, les routiers renforcent surtout les structures économiques qui les exploitent. Les routiers qui résistent s’autorisent surtout à travailler plus longtemps et donc plus dangereusement. En fait, derrière la résistance, il faut comprendre contre qui et contre quoi on résiste, au bénéfice de qui ? Le routier qui roule en s’enregistrant sur l’ELD depuis un compte fantôme ne s’oppose pas à la loi, il négocie sa relation avec son employeur qui lui fournit les ressources pour ce subterfuge. Dans le monde de la route, résister, c’est faire appelle à une identité d’indépendance, qui n’est plus mise au service du conducteur, mais bien de l’entreprise. L’autorité est déplacée : ce n’est plus l’autorité de régulation qui est injuste ou l’employeur qui est autoritaire, mais la machine dont il faut se défier. Pour Levy, la résistance dans le monde des transports est surtout un exercice d’auto-exploitation, une victoire fantôme qui donne l’illusion qu’on est encore maître de la relation de pouvoir qui s’impose au conducteur. Le routier s’oppose désormais à la machine plutôt qu’aux injonctions impossibles de son supérieur.
La promesse de l’autonomisation masque toujours la réalité de la surveillance
Levy livre ensuite un excellent chapitre sur la menace de l’autonomisation, à savoir la perspective de déploiement de véhicules autonomes. La chercheuse souligne que la menace de l’autonomisation et la disparition à terme des conducteurs humains est très exagérée : nous en sommes très loin. Nous sommes loin d’une « apocalypse robotique » sur nos routes. Le risque d’une transformation et d’une dégradation de l’emploi des routiers est bien plus certain que leur disparition.

L’automatisation de la conduite oublie que le travail du routier ne consiste pas seulement à conduire un camion d’un endroit à un autre. Il est là également pour inspecter et maintenir le véhicule, protéger son chargement, charger et décharger, parler aux clients… L’automatisation menace certaines tâches, plus qu’elle n’est appelée à remplacer des emplois entiers. James Bessen nous a montré que si remplacement il y a, il prend du temps. Les guichets distributeurs d’argents n’ont pas remplacé les guichetiers des banques tout de suite, c’est seulement une fois la vague d’automatisation passée que l’emploi dans le secteur bancaire s’est réduit et transformé. L’avenir consiste bien plus en une démultiplication de technologies d’assistances que dans une automatisation radicale (à l’image des 5 niveaux de l’autonomie des véhicules, qui permettent, comme le dit d’une manière très imagée la chercheuse : de lever le pied, de lever les mains, de lever les yeux puis de lever le cerveau avant de lever l’être humain du siège du conducteur…). Le risque à terme du déploiement de véhicules autonomes devrait surtout permettre de précariser plus encore la profession. Si demain les chauffeurs n’ont rien à faire en cabine ou s’ils pilotent des camions à distance, ce sont des gens moins expérimentés que l’on pourra embaucher pour cela. La seule promesse de l’automatisation reste toujours d’améliorer les gains de productivité.

Enfin, rappelle la chercheuse, l’ironie de l’automatisation ne doit pas oublier le paradoxe qu’elle génère : les compétences se détériorent lorsqu’elles ne sont pas utilisées, tout le contraire de ce qu’on attend de l’humain face à la machine. Les humains sont très mauvais à devoir rester attentifs sans agir : « si vous construisez des véhicules où les conducteurs sont rarement obligés de prendre les commandes, alors ils répondront encore plus rarement encore lorsqu’ils devront prendre les commandes ». Pour le dire autrement, enlever ce qui est facile à accomplir d’une tâche par l’automatisation peut rendre plus difficile l’accomplissement des tâches plus difficiles. Enfin, les promesses de l’autonomisation des véhicules tiennent surtout d’un fantasme. Il y a 10 ans, dans la Technology Review, Will Knight nous avertissait déjà que les voitures autonomes ne sont pas pour demain (j’en parlais là). 10 ans plus tard et malgré plus 100 milliards d’investissements, elles ne vont toujours nulle part, expliquait récemment Max Chafkin pour Bloomberg. Contrairement à ce qu’on nous a raconté, les humains sont de très bons conducteurs par rapport aux robots. Une voiture autonome panique devant un pigeon sur la route. Aucune démo en condition réelle ne s’est avérée concluante, pas même chez Tesla. Pour l’un des pontes du domaine, le sulfureux Anthony Levandowski, le pape de la voiture autonome : “Vous auriez du mal à trouver une autre industrie qui a investi autant de dollars dans la R&D et qui a livré si peu”. La voiture du futur est dans l’impasse. Comme le dit Paris Marx dans son livre, Road to Nowhere (Verso, 2022, non traduit), ou dans d’excellentes interviews, les échecs dans l’innovation dans le transport sont majeures. Voiture autonome, covoiturage, services de micromobilité, voiture électrique, hyperloop… n’ont rien transformés ! Karen Levy rappelle qu’en 2018, Uber a fini par fermer sa division qui travaillait sur le camion autonome. L’idée de créer des réseaux de véhicules sur des voies spécifiques conduit par des humains à distance a fait également long feu : Ford a fermé sa division quand après des essais, le constructeur a constaté qu’il perdait facilement le signal des camions rendant leur pilotage à distance impossible. Quel que soit l’angle par lequel on la prend, l’autonomisation demeure surtout une promesse qui n’engage que ceux qui souhaitent y croire.
En route vers l’hypersurveillance !
Dans les années 60, Manfred Clynes et Nathan Kline ont lancé le terme et l’idée de cyborg, un hybride de robot et d’humain qui devait permettre aux corps de s’adapter aux contraintes du voyage spatial. L’idée était de modifier le corps humain pour qu’il s’adapte à des environnements hostiles. Plus qu’une modification ou même une augmentation des capacités par des systèmes qui se portent (wearables), l’avenir de l’automatisation semble résider bien plus dans une surveillance continue et de plus en plus intime des individus. Caméras, capteurs et habits viennent mesurer en continue les données biologiques des conducteurs pour évaluer leur niveau de stress ou de fatigue (les projets sont innombrables : comme ceux de SmartCap, Rear View Safety, Optalert, Maven Machines, Actigraph…). Outre ces outils, on voit fleurir aussi des caméras pointées vers le conducteur pour surveiller son regard et sa fatigue (Seeing Machine ou Netradyne). Il est probable que ces systèmes s’imposent rapidement, estime la chercheuse, via des obligations légales comme celles qui ont imposées les ELD, ou comme des fonctions additionnelles aux outils de gestion de flotte (à l’image des fonctions qui analyses les comportements de conduite chez Blue Tree Systems). Récemment, le National Transportation Safety Board américain, l’organisme de régulation du transport, a jugé que le système d’autopilote de Tesla n’était pas suffisant pour assurer l’engagement du conducteur et a suggéré de lui ajouter un système de surveillance du regard des conducteurs. L’Europe a exigé que des systèmes de surveillance des conducteurs soient installés dans tous les véhicules neufs vendus dès 2026 et une législation similaire est en discussion aux Etats-Unis. Le renforcement de la surveillance est en marche.

Ces machines ne serviront pas seulement à l’alerte, à la détection de la fatigue, mais également comme preuve en cas d’accident, et surtout comme outils pour renforcer encore l’intensification du travail et le contrôle de l’attention. Pour Karen Levy, nous sommes sur la pente glissante des technologies, dont le seul avenir consiste à entrer dans le cerveau des conducteurs pour vérifier qu’ils ne pensent pas à autre chose qu’à conduire ! « Il y a quelque chose de viscéralement agressif lié au micro-management permis par ces technologies ».

L’enjeu de l’IA dans le transport consiste surtout à pointer les faiblesses humaines, via une surveillance constante, intime, viscérale. Si la menace du remplacement des chauffeurs par des robots est lointaine, celle d’une « hybridation forcée », une invasion intime de la technique dans le travail et le corps des routiers, semble bien plus réaliste. « L’IA dans le transport aujourd’hui, ne vous fout pas dehors de la cabine, il envoie des textos à votre boss et à votre femme, envoie une lumière dans vos yeux et vous fout des coups de pieds au cul ». Les conducteurs sont toujours dans la cabine, mais avec des systèmes qui les surveillent, transformant la relation entre le travailleur et la machine en un ensemble conflictuel.

En fait, estime Levy, l’automatisation et la surveillance sont complémentaires. L’un ne se substitue pas à l’autre. « L’automatisation n’est pas la solution pour diminuer la surveillance », au contraire, elle la renforce. Les camions devraient continuer à être conduits par des humains pour longtemps, mais ceux-ci risquent d’être de plus en plus en conflit avec la technique, à défaut de pouvoir l’être avec leurs donneurs d’ordres. Avec la technique, quelques emplois disparaissent, d’autres s’améliorent, mais la plupart deviennent pire qu’ils n’étaient avant. La technologie a tendance à les rendre moins pénible, certes, mais bien plus intenses qu’ils n’étaient. Avec les outils numériques, le travailleur est surveillé d’une façon « plus intime et plus intrusive » qu’auparavant – à l’image de systèmes qui observent tout l’habitacle, et donc le comportement des autres passagers également. La techno surveille, harcèle et impose une responsabilité supplémentaire à ceux sur qui elle s’abat, qui doivent répondre de la moindre de leur défaillance que relèvent les indicateurs qui les monitorent. Certes, ces systèmes peuvent être déjoués. Même les systèmes qui surveillent la position du regard peuvent l’être avec des lunettes, mais ces détournements ne peuvent être que circonscrits.

A nouveau plus d’automatisation implique d’abord plus de surveillance. Reste que la grande question qui n’est jamais débattue est de savoir jusqu’où la surveillance doit aller ? Le storytelling de l’automatisation promet toujours que nous allons être libérés des tâches les plus ingrates pour nous concentrer sur les plus intéressantes. Mais ce n’est pas la réalité, rappelle la chercheuse. En réalité, les routiers font face à une double menace des technologies. La première, c’est leur déplacement, qui est plus lent et graduel que prévu, mais qui est bien réel, et ce déplacement est d’abord celui d’une précarisation qui prévoit qu’à terme n’importe qui pourra faire ce travail pour bien moins cher qu’aujourd’hui. De l’autre, c’est l’intensification de la surveillance, et avec elle, la dégradation de la qualité, de l’autonomie et de la dignité du travail.
De l’exécutabilité du travail
Dans Against Security (Princeton University Press, 2014, non traduit), le sociologue Harvey Molotch explique que trop souvent on impose des solutions top-down aux problèmes sociaux. Ces solutions sont basées sur comment certains pensent que le monde fonctionne. Trop souvent, « on efface les mécanismes tacites et les modes de contournements que les gens utilisent pour que les choses soient faites », explique-t-il. On impose un ordre apparent au détriment de l’ordre réel. En renforçant les règles par la surveillance numérique, on renforce cet ordre apparent, et on ignore les causes sociales, économiques et politiques des problèmes. Les dispositifs numériques introduits dans les camions supposent qu’on ne peut pas faire confiance aux conducteurs et que la seule solution consiste à limiter leur autonomie, plutôt que de la renforcer. Les dispositifs de surveillance n’ont rien changé à ce qui motive les routiers à contourner les règles, ils n’ont rien fait bouger des problèmes de l’industrie du transport, à savoir le manque de protections des travailleurs, les problèmes liés à la façon dont le paiement est structuré… Au mieux, ils empêchent quelques abus, mais il reste possible aux routiers et à leurs employeurs d’exploiter les limites des outils de surveillance – en renforçant encore et toujours la responsabilité des routiers. Pour Karen Levy, s’il y a des solutions aux problèmes du transport, elles ne sont pas technologiques. La technologie n’est qu’une façon superficielle de masquer un problème qui ne s’adresse jamais à ses causes profondes. L’enjeu devrait être bien plus de regarder la structuration économique du transport pour rendre sa décence au travail des routiers. Le premier enjeu pour mettre fin à ces « ateliers clandestins sur roue » consiste à payer les routiers pour leur travail, et non pas seulement pour les kilomètres qu’ils abattent, en prenant en compte et en payant les temps d’attente et de services. On en est loin. Les réponses technologiques semblent partout plus simples à déployer que les réponses sociales et économiques… et ce d’autant plus que les déploiement techniques ne remettent jamais en cause les infrastructures de pouvoir existantes, au contraire.

Karen Levy suggère qu’on pourrait utiliser les données produites par les systèmes de surveillance pour mieux adresser les problèmes, comme la question du temps de détention. Pour elle, nous devrions réorienter la collecte de données pour passer d’outils de contrôle individuels à des moyens de réforme collective, même si, rappelle-t-elle, assigner des chiffres ne créée pas d’une manière magique la volonté politique d’en adresser l’enjeu. Les preuves ne suffisent pas toujours, comme le disait très justement Mimi Onuoha en parlant de l’immense documentation existante sur le racisme et la discrimination. Sans accompagnement social, économique, culturel et légaux, les mesures ne produisent rien. « Si nous construisons des outils qui permettent aux patrons de surveiller l’activité des travailleurs, nous devrions les accompagner de protections légales renforcées pour ces travailleurs », explique très justement Karen Levy, et « nous soucier de leur intégration dans la culture du travail ». Or, cette culture n’est pas la même partout.

Une intéressante étude a montré que les routiers ne répondaient pas tous de la même manière à la publication de leurs performances mesurées par les systèmes. Dans les entreprises où la culture au travail est très individualiste, ces publications tendent à favoriser la compétition entre employés. Dans les entreprises où la culture du travail est plus collectiviste, ces performances ont l’effet opposé et poussent le collectif à limiter la compétition. Le but de la démonstration n’est pas de montrer que les entreprises devraient se défier des cultures du travail coopératives, que de montrer que les effets de la surveillance ne sont pas uniformes, qu’ils privilégient un mode de rapport au monde sur d’autres, une culture et une idéologie sur d’autres. Sévir sur la rupture des règles sans reconnaître que les travailleurs sont contraints de le faire, consiste seulement à les conduire à des situations intenables dont ils seront tenus pour seuls responsables. C’est un peu comme si finalement ce type de régulation technique n’avait pour but que d’absoudre le régulateur (le politique) et l’organisation (l’économique) pour faire peser toutes les contraintes sur le plus petit et plus faible maillon de la chaîne : l’individu. Au final, celui-ci n’a plus d’autres choix que d’enfreindre la règle de sa responsabilité, sous la pression de la loi, de la technique, de la chaîne économique. « La meilleure façon de penser au changement technologique n’est pas de se concentrer uniquement sur la technologie, mais de renforcer les institutions sociales et les relations qui l’entourent », conclut Levy. Certes. Mais dans la perspective d’une amélioration de la productivité sans limite, il est finalement plus simple pour toute la société, de renvoyer toutes les injonctions contradictoires et les responsabilités sur le dernier maillon de la chaîne de responsabilité. Au final, c’est au routier de gérer toutes les contradictions que la société lui impose. Et dans tous les cas, il perd !

*

La monographie de Karen Levy est une belle illustration des contradictions où s’enferme le monde du travail moderne. Elle montre que dans ces transformations, le travailleur n’a aucun levier sur les conséquences du développement du numérique au travail. Partout, le numérique réduit ses marges de manœuvre pour résister à l’intensification, pour garder de l’autonomie, pour limiter le contrôle et lutter contre la précarisation. Le travailleur est renvoyé à un conflit solitaire avec la machine, au détriment d’un conflit avec ceux qui les exploitent et les déploient et au détriment de toute collectivisation du conflit. Même le simple enjeu d’arriver à limiter le niveau de surveillance, pour qu’elle reste proportionnelle, est débordée par les capacités de la technique. Avec une surveillance qui vise à repousser les injonctions contradictoires entre le légal et l’économique sur les épaules des seuls individus plutôt qu’au niveau de la société, la technologie fait reculer la justice, et donc avec elle, notre possibilité même de faire société.

Hubert Guillaud

A propos du livre de Karen Levy, Data Driven, Truckers, Technology, and the new workplace surveillance, Princeton University Press, 2023.
16 December 2024
7:30
Comment les IA sont-elles corrigées ?
sur Dans les algorithmes

OpenAI vient de publier un document qui entr’ouvre ses méthodologies de contrôle éthique. Le document en question vise surtout à mettre en avant le fait que ses derniers modèles sont plus performants que les plus anciens, mais ce n’est pas là l’information la plus intéressante de l’article. On y découvre surtout la liste des procédures qu’OpenAI applique à ses modèles pour les évaluer.

Si les modalités de ces évaluations ne sont pas détaillées, cette liste nous montre que l’entreprise produit plusieurs indicateurs pour tenter de mesurer les biais des réponses de ces modèles, afin d’évaluer par exemple si le modèle à tendance à générer du contenu non autorisé. Ainsi en matière d’évaluation de contenus non autorisés, OpenAI évalue ses modèles pour savoir quel est leur taux de réponse à des demandes préjudiciables, en principe limitées, comme le fait de donner des conseils médicaux, juridiques ou criminels. L’entreprise calcule également le taux de refus de réponses et des réactions à des grappes d’actions spécifiques. Les modèles sont également évalués pour connaître leur résistance aux jailbreaks connus ou encore sur la régurgitation des données d’entraînements, ou encore sur leur capacité à halluciner… Il y a également une évaluation sur l’équité et les biais, depuis des invites pour poser des questions en modifiant l’âge, l’origine ethnique ou le genre du locuteur, afin de voir si le modèle fait des réponses différentes. Il y a même une mesure de la « surveillance de la tromperie », consistant à évaluer quand les « modèles fournissent sciemment des informations incorrectes à un utilisateur, ou en omettant des informations cruciales qui pourraient les amener à avoir une fausse croyance ». Enfin, OpenAI travaille avec des équipes externes qui ont pour mission de trouver d’autres lacunes et de briser ses mesures de sécurité – ce qu’on appelle le red teaming.

Cependant, comme le souligne le chercheur Gabriel Nicholas pour Foreign Policy, la difficulté pour les équipes chargées du red teaming reste d’accéder à l’information. Si les entreprises d’IA mettent plus facilement leurs produits à la disposition des chercheurs, aucune ne partage de données sur la façon dont les gens utilisent leurs produits. Il est donc difficile de savoir à l’encontre de quels préjudices les chercheurs devraient orienter leurs contre-mesures. Les chercheurs n’ont également aucun moyen d’évaluer l’efficacité avec laquelle les entreprises appliquent leurs propres politiques. Ainsi, OpenAI peut interdire l’utilisation de son programme GPT-4 pour des conseils juridiques, des décisions d’embauche ou pour mener une campagne politique, mais le public n’a aucun moyen de savoir à quelle fréquence l’entreprise réussit – ou même essaie – de bloquer de telles tentatives. Non seulement les entreprises d’IA ne partagent pas les données d’entraînement de leurs modèles, mais elles ne partagent pas non plus de données sur la manière dont les gens utilisent leurs modèles, ou comment elles produisent leurs indicateurs spécifiques ou construisent les barrières morales de leurs modèles (comme l’auto-censure sur certains sujets), comme le montre l’index de transparence des modèles de fondation.

L’accès aux données demeure à nouveau crucial. Le grand problème pour le régulateur consiste à accéder à de l’information fiable sur comment les modèles sont utilisés et comment ils sont corrigés sont deux enjeux forts pour améliorer le contrôle.

*

Quant aux nouveaux modèles o1 d’OpenAI, The Atlantic explique assez bien qu’ils ne sont pas tant capables de raisonner ou de réfléchir comme on l’entend partout (en reprenant les éléments de langage d’OpenAI), que capables de tester en parallèle des milliers de réponses pour les améliorer. Encore une fois, le but est de faire un progrès par force brute et par puissance de calcul. Bien évidemment, ces nouveaux modèles se révèlent encore plus gourmands en énergie que les précédents… Mais l’alerte sur les limites écologiques ne semble pour l’instant dissuader personne à les produire ou les utiliser.
13 December 2024
7:30
La pseudo-ouverture, condition de domination
sur Dans les algorithmes

Nous avions déjà souligné la difficulté à qualifier d’ouverts des systèmes d’IA qui ne le sont pas vraiment. Dans Nature, David Widder, Meredith Whittaker et Sarah Myers West enfoncent le clou : à mesure que tout le monde parle d’ouverture de l’IA, force est de constater qu’elle se réalise de moins en moins.

En fait, la rhétorique sur l’IA open source a été largement construite par les entreprises d’IA elles-mêmes, comme un moyen pour s’exempter des contraintes réglementaires, alors même que le flou de ce que recouvre l’IA vient perturber la notion d’ouverture. En fait, on projette des conceptions conventionnelles du libre et de l’open source sur des systèmes d’IA dont la complexité nécessiterait des redéfinitions de l’ouverture. Or, rappellent les chercheurs, l’open source logicielle ne désigne pas seulement des modèles réutilisables, mais d’abord des écosystèmes pour créer de la domination de diverses manières, que ce soit pour s’opposer aux concurrents privés, pour obtenir l’hégémonie sur des marchés voire capitaliser et intégrer des idées développées à l’extérieur sans avoir bourse à délier.

Mais l’ouverture dans le domaine de l’IA n’est pas de même niveau ni ne porte les mêmes enjeux que dans le monde du logiciel libre. Elle n’est pas qu’une question d’accès à des interfaces de programmation ou à des données d’entraînements. Et surtout, l’accès aux grands modèles dits ouverts, ne crée pas une perturbation des caractéristiques du marché, mais renforce les grands acteurs. Dans la pratique, l’ouverture n’offre parfois guère plus qu’un accès à des API ou à un modèle qui porte de nombreuses restrictions d’utilisation. Dans ces cas-là, nous sommes clairement dans de l’openwashing. Les grands modèles d’IA pseudo-ouverts « façonnent toutes les trajectoires et les conditions » de ce qui peut être construit à partir d’eux.

Contrairement au monde du logiciel libre, l’IA dite ouverte ne change pas les conditions de concurrence. Au contraire. Les conditions d’accès aux marchés restent contraintes et limitées. Même des acteurs avec du capital ne peuvent les atteindre sans s’associer aux seigneurs de l’IA, à l’image de Mistral contraint de s’associer à Microsoft.

En réalité, les modèles d’IA n’ont d’ouvert que le nom. Ils ne documentent pas leurs données de formation, publient peu de résultats et encore moins depuis des processus d’évaluation scientifique. Les modèles sont mêmes devenus si concurrentiel et si vastes, que désormais, la taille des données d’entraînement mobilisées n’est même plus indiquée. En fait, les données sont bien souvent « l’élément fermé des offres d’IA qui se présentent comme ouvertes ». Leur production extractiviste et colonialiste interroge. « Lorsque les ensembles de données ne sont pas mis à disposition pour examen, ou lorsqu’ils sont d’une taille insondable, il devient très difficile de vérifier si ces ensembles de données blanchissent la propriété intellectuelle d’autrui ou utilisent commercialement des données qui ne devraient pas l’être ». Ces systèmes reposent fondamentalement sur l’exploitation du travail d’autrui, que ce soit par les données qu’ils exploitent, pour étiqueter, produire et classer les données, pour étalonner les modèles, pour la modération comme pour la maintenance. Autant de domaines sur lesquels, l’ouverture et l’information sont inexistantes, autrement que via le travail de journalistes, de travailleurs ou de chercheurs, dont les travaux seuls permettent de comprendre les limites des systèmes.

Enfin, l’économie de l’IA repose aussi sur des cadres de développement interopérables et des développements open sources populaires qui vont servir à la construction des modèles et à leurs interconnexion, depuis des méthodes et pratiques standardisées. Ce sont notamment PyTorch et TensorFlow, tous deux créés au sein de grandes entreprises technologiques commerciales, Meta et Google. Ils permettent notamment à Meta et à Google et à ceux qui pilotent le développement de ces cadres de normaliser la construction de l’IA, et de rendre les résultats compatibles avec leurs propres plateformes d’entreprise, « garantissant que leur cadre conduit les développeurs à créer des systèmes d’IA qui, comme des Lego, s’emboîtent dans leurs propres systèmes d’entreprise ». Ces cadres de développement ne sont pas que des cadres de standardisation, ils permettent de créer « des rampes d’accès » vers d’autres services, notamment les offres de calcul en nuage et l’intégration aux autres outils logiciels. « L’entreprise qui propose ces cadres obtient un pouvoir indirect substantiel au sein de l’écosystème », puisque cette standardisation lui permet de former les développeurs et les chercheurs et donc à terme lui permet de capturer les développements de l’IA. Enfin, l’accès à la puissance de calcul pour développer les modèles est on ne peut plus restreinte et très largement propriétaire.

Pour les chercheurs, l’IA dépend de quelques très grands acteurs qui contrôlent l’industrie. Contrairement à son apport dans le monde logiciel, l’ouverture de l’IA, elle, repose sur un ensemble de couches plus complexes, dont les modalités d’ouverture et de transparence minimales ne sont pas construites. L’ouverture ne conduira pas à elle seule à produire un écosystème plus diversifié, responsable ou démocratique. Pour l’instant, les grandes entreprises utilisent l’avantage que leur procure la pseudo-ouverture qu’elles proclament pour éloigner les réglementations qui les menacent, notamment les accusations de produire des monopoles.

En vérité, l’IA est d’abord contrôlée de bout en bout par quelques acteurs géants. La transparence, la documentation sont bien sûr précieux pour améliorer la responsabilisation des acteurs et leur contrôle, mais pour l’instant nous sommes surtout confrontés à des systèmes opaques qui concentrent le pouvoir bien plus qu’ils ne le disséminent. Mobiliser pour élargir l’ouverture des modèles, seule, ne sera probablement pas très bénéfique, notamment parce qu’elle ne suffit pas à renverser la concentration du pouvoir à l’œuvre. Derrière l’ouverture, l’enjeu n’est pas seulement de rendre les modèles réutilisables, ou plus transparents, mais de lutter contre l’accaparement de toutes les formes de production de calcul par quelques entités. Et pour cela, l’ouverture ne suffit pas.
12 December 2024
7:30
Teratologie machinique
sur Dans les algorithmes

De prime abord, à en croire son titre – Persistance du merveilleux : le petit peuple de nos machines (Premier Parallèle, 2024) – le nouveau livre du sociologue et anthropologue Nicolas Nova promet une exploration enchantée de nos machines. On s’attend à lire des récits curieux de nos rapports à nos machines, une balade savante à la manière des encyclopédies de l’elficologue Pierre Dubois, pour nous présenter on ne sait quelle magie qui peuplerait nos machines, pour nous proposer une improbable typologie, comme il le faisait dans Smartphones (2020), capable de jouer du décalage entre nos activités numériques ordinaires et les symboles dont nos rapports médiatisés sont chargés. On s’attendrait à une forme de complément ou de de contre-point au sombre Bestiaire de l’anthropocène que le prolifique chercheur a publié l’année dernière (avec le collectif Disnovation – et qui vient d’ailleurs de paraître en français) cet atlas de créatures étranges, hybrides, allant des chiens-robots au gazon artificiel, qui interrogeait le monde post-naturel dans lequel nous vivons. Il n’en est rien. Persistance du merveilleux est un titre trompeur ou un chemin de traverse. Il n’y a aucune bonne fée, aucun lutin gentil dans nos machines, bien peu d’enchantement finalement. Aucune féérie. Nicolas Nova s’intéresse surtout aux monstruosités qui naissent de nos machines et des rapports que nous avons avec elles. Persistance du merveilleux tient bien plus d’une tératologie machinique que d’une légende dorée.
Ménagerie numérique
La ménagerie numérique que le chercheur convoque tient beaucoup de la rencontre entre deux fonctionnements différents : celui des machines et celui des utilisateurs. Comme si l’étrangeté du comportement de nos machines produisait nécessairement de la friction. Comme si l’utilisateur était toujours renvoyé à une relation conflictuelle avec des systèmes qu’il ne maîtrise pas, qui ne se comportent pas dans une langue ou une grammaire qu’il peut vraiment comprendre.

Dans la typologie de notre rapport compliqué aux machines qu’il tente de dresser, l’anthropologue distingue d’abord, les « démons », ces petits programmes qui effectuent les tâches nécessaires au bon fonctionnement de nos outils et qui se rendent visibles dès qu’ils dysfonctionnent. Ces programmes qui roulent en tâche de fond, qui assurent des mises à jour, qui détectent ce qui doit l’être… Des programmes souvent rudimentaires, dont nous n’avons pas conscience, qui agissent sans qu’on ait besoin de les lancer, comme autant de concierges qui feraient très bien leur métier… jusqu’à ce que ce ne soit plus le cas. Car la ménagerie numérique, à l’image du bug, se révèle surtout quand elle ne fonctionne pas telle qu’elle le devrait, quand elle n’agit plus de manière coordonnée, telle qu’elle a été programmée. Comme si ce bestiaire de monstres naissait de notre interprétation lacunaire des défaillances de la programmation. C’est pourtant quand les programmes défaillent que les monstres se libèrent, qu’ils se révèlent pour ce qu’ils sont : des programmes simplistes, intrusifs et infantilisants, des programmes qui relèvent leurs comportements excessifs, à l’image de l’infernal Clippy de Microsoft. C’est la manière même dont ces programmes sont programmés qui nous tourmente. C’est parce qu’ils ont un comportement très différent du nôtre qu’ils nous harcèlent, nous obsèdent, nous persécutent.

D’autres créatures nous tourmentent encore. Nova distingue par exemple les fantômes, des choses qui s’enregistrent et qui subsistent, qui réapparaissent à l’occasion, comme des « traces agissantes », à l’image d’appels en provenance d’individus décédés, d’enregistrements de joueurs dans un jeu, de personnages non joueurs aux comportements erratiques, de fichiers qui réapparaissent alors qu’on les a effacés… Nova rappelle le caractère spectrale des premières machines à communiquer comme la radio ou le téléphone. Grésillements, écrans qui se figent, comportements irréguliers… Ici, c’est aussi nous, utilisateurs, qui faisons apparaître ces fantômes, qui créons des légendes qui se propagent comme pour donner une épaisseur qui les dépasse à nos technologies, comme pour révéler le mystère qui les entoure, le personnifier, l’incarner, donner de l’épaisseur à notre relation aux machines. Là encore, ces traces que nous ne maîtrisons pas soulignent le « caractère envahissant lié à la complexité de nos artefacts », qu’il nous faut interpréter, auquel nous sommes sommés de donner sens.

Une autre catégorie du bestiaire est celle des virus, malware et autres trolls, à savoir les créatures numériques qui ne naissent pas tant des machines ou de notre rapport avec elles que des comportements des autres utilisateurs, eux-mêmes parfois malfaisants, et dont la malfaisance passe désormais par les machines pour nous toucher. Alors que ces attaques sont souvent volontaires, c’est la fatalité qui est ici souvent convoquée. Le virus comme le troll nous replacent dans une relation subie avec nos machines, face auxquelles nous ne pourrions nous immuniser. Nous sommes confrontés à des attaques inévitables, face auxquelles nous ne pouvons être que désarmés, à l’image du troll, celui qui vient perturber les discussions, mais dont on ne peut endiguer la présence. Ou encore bien sûr, le bug, le pur dysfonctionnement.

Enfin, l’anthropologue distingue encore toute une série d’espèces compagnes, avec lesquelles nous apprenons à interagir ou faire semblant, comme les Personnages non joueurs des jeux vidéo ou les agents conversationnels avec qui nous devons interagir, malgré leurs limites à s’exprimer. Là encore, nous tissons des relations avec des programmes, avec des êtres qui produisent « des effets de personnes », avec lesquelles nous devons créer des sociabilités nouvelles, mi-machiniques mi-humaines. Machines parlantes. Machines qui semblent avoir des comportements humains ou plutôt qui nous le font croire. Simulateurs de relations. L’anthropologue parle assez justement d’une « avatarisation généralisée » (l’expression est d’Etienne Amato et Etienne Perény) où tout semble anthropomorphisé pour mieux nous subvertir, pour mieux jouer de notre propre état mental et émotionnel. C’est parfois nous-mêmes qui nous incarnons à l’écran, entre substitution et sublimation, comme disait Antonio Casilli. Cernés par des « compagnons programmés » qui déploient un pouvoir de suggestion et d’immersion, souvent imparfaits, mais qui nous submergent parce qu’ils parviennent, malgré leur caractère frustre, à singer nos modes relationnels et à susciter en nous des émotions. Les PNJ avec lesquels nous interagissons facilitent notre investissement affectif. C’est nous qui sommes joués de ces outils souvent simplistes. C’est nous qui sommes hallucinés, c’est nous qui croyons en leurs effets, qui sommes bluffés affectivement, manipulés. Comme si les PNJ finalement étaient le grand-père des IA génératives avec lesquelles nous discutons, ancêtres de relations sociales sans société, simulées. Des relations avatarisées et scriptées, appauvries oui, car créées pour nous duper. Avec le risque que ces modalités « appauvrissent les situations relationnelles ou les rendent plus homogènes », qu’elles produisent une forme commerciale des relations affectives : des monstres relationnels. C’est avec cette dernière catégorie des montres de l’IA que se clôt le bestiaire moderne de Nicolas Nova. Des IA conversationnelles (les perroquets) au maximiseur de trombones, nous sommes confrontés à des êtres difficiles à appréhender. Nous avons du mal à comprendre leur puissance comme leurs limites. C’est nous mêmes qui semblons perdus, désarçonnés par ces entités « gargantuesques » que peuvent être ChatGPT et ses clones. Les IA incarnent de nouveaux monstres, encore plus étranges que tous ceux qui peuplent déjà cette vallée de l’étrange, encore plus étranges que leurs productions mêmes, que ce soit ces images si brillantes et si moyennes que ces textes, si écrits et si vides.
Persistance du monstrueux
Comme toujours avec les textes de Nicolas Nova, il faut se préparer à être décalé, à devoir prendre la tangente. L’anthropologue s’amuse autant des mèmes qui renforcent son bestiaire, que des petites histoires des utilisateurs qu’il mêle à une archéologie étymologique qui montre que les noms des créatures magiques, eux aussi, tiennent bien moins d’une longue lignée du merveilleux que de réinventions. Nova souligne très bien la dimension narrative forte de ce bestiaire, de ses effets, de leurs enjeux, construisant des imaginaires fonctionnels, qui nécessitent de prendre des mesures adaptées comme de s’en protéger. Tout ce bestiaire révèle surtout la plaie que représente encore l’informatique pour l’utilisateur. Ces monstres finalement sont autant de marqueurs du fait que l’utilisateur ne maîtrise pas le processus qu’il utilise, que celui-ci le dépasse, que la machine le dépasse. Finalement, l’intentionnalité qu’on prête aux machines est surtout le reflet de notre dépossession. Nova ne décrit pas tant un monde merveilleux, qu’une inquiétude sourde, un monde avec lequel nous sommes peu ou prou en conflit, comme si la complexité nous submergeait toujours. « Sans diminuer l’importance de toutes ces menaces, il semble néanmoins important de constater que la difficulté à comprendre et expliquer le mode opératoire de toute cette ménagerie ainsi que le degré de sophistication technique générale dans lequel elles opèrent contribuent à les nimber d’une aura légendaire ».

Pour Nova, ces récits fonctionnent comme des avertissements sur nos limites à comprendre les machines comme sur ce qu’elles font vraiment. Leurs manifestations signalent d’abord le désordre, nous montrent que ce monde ne marche pas si bien. Dans son petit livre, Nicolas Nova dresse bien surtout une tératologie des machines qu’il nous faut affronter pour être humains. Prouver que l’on est humain, n’est pas qu’une case à cocher sur un captcha, c’est désormais apprendre à interagir avec ces entités, apprendre à vivre avec ce folklore que nous avons participé à bâtir. Très justement, il conclut en pointant que ce bestiaire n’est pas tant une survivance d’un folklore que sa réappropriation pour nous aider comprendre des modes de relations nouveaux avec des entités qui ne sont pas humaines. Comme si nous avions à construire une diplomatie nouvelle avec nos machines, comme dirait le philosophe Baptiste Morizot. Sauf qu’ici, nous ne sommes pas beaucoup maîtres des règles relationnelles, mais nous devons apprendre à construire cette géopolitique des relations. Nous sommes plongés dans un milieu où ne se déploient pas que des êtres imaginaires d’ailleurs, mais avec eux, des relations, des comportements, des politiques, des logiques idéologiques qu’ils incarnent et orientent. Nova le dit. Ces métaphores monstrueuses ne sont pas que la marque d’une méconnaissance ou d’une persistance d’un imaginaire (le cheval de Troie n’a pas grand chose à voir avec l’histoire d’Homère), mais bien le reflet d’une « relation asymétrique entre concepteurs et utilisateurs ». Le bestiaire auquel nous sommes confrontés tient bien plus d’un portrait de Dorian Gray que du petit peuple des bois. Il est l’envers de la magie dont se pare trop souvent la technologie. Nos métaphores « structurent ce que nous percevons ». Elles embarquent avec elles « un point de vue sur le monde ». Cette ménagerie de monstres ne révèle rien d’autre finalement que l’assujettissement où nous tiennent ceux qui produisent les machines. Nos monstres sont les leurs que nous tentons de dompter et d’apprivoiser.
Couverture du livre Persistance du merveilleux de Nicolas Nova.
11 December 2024
7:45
Surveiller et sauver
sur Dans les algorithmes

Aux Etats-Unis, nombre d’ordinateurs fournis aux élèves sont désormais sous surveillance. Ils sont non seulement bardés de filtres pour les empêcher d’accéder à certains sites, mais aussi de plus en plus bardés de mouchards qui surveillent ce qu’ils y écrivent, rapporte un reportage glaçant du New York Times. Quand les élèves tapent des mots liés au suicide, des alertes sont désormais déclenchées et conduisent au déplacement de policiers jusqu’aux domiciles des élèves pour procéder à des vérifications.

Pour Laura Erickson-Schroth, directrice d’une organisation sur la prévention du suicide, il est pour l’instant impossible d’éclairer l’efficacité de ces filtrages automatisés, car ils ne sont accessibles qu’aux entreprises qui les ont créées et les interventions qu’aux responsables des districts scolaires. Certes, elles permettent parfois d’intervenir à des moments critiques, mais elles semblent aussi avoir des conséquences importantes à l’égard des élèves, même quand l’alerte se révèle infondée. Plusieurs parents ont déclaré que les alertes avaient incité les écoles à réagir de manière excessive, par exemple en arrêtant la scolarisation de certains d’entre eux, quand bien même ils étaient suivis psychologiquement par ailleurs. Pour les parents qui signent pourtant un accord d’intervention lors de la livraison du matériel, le fait que ce soit la police qui se déplace plutôt qu’un travailleur social interroge également.

Les alertes sont souvent reçues par un responsable de l’école qui doit les analyser et les trier. Les fausses alertes sont nombreuses, mais beaucoup de personnes impliquées dans ces chaînes ont tendance à penser que les faux négatifs ne sont pas graves s’ils permettent de sauver des jeunes en difficulté au moment où ils l’expriment. Alors que certains systèmes sont débranchés en-dehors des heures de cours ou pendant les vacances, nombres d’écoles s’y refusent, introduisant une surveillance omniprésente. Comme le souligne un élève, cette surveillance omniprésente ressemble certainement à l’avenir. Elle rappelle que la police de la pensée chère à Orwell ne s’impose pas pour affirmer une vérité, mais pour nous protéger.
7:30
Comment la surveillance renforce nos exigences
sur Dans les algorithmes

« Est-ce que je surveille mon bébé parce que c’est utile ou simplement parce que c’est disponible ? » Kristen Radtke
10 December 2024
7:30
L’IA générative, nouvelle couche d’exploitation du travail
sur Dans les algorithmes

« Comme pour d’autres vagues d’automatisation, le potentiel supposé de l’IA générative à transformer notre façon de travailler a suscité un immense engouement ». Mais pour comprendre comment cette nouvelle vague va affecter le travail, il faut dépasser la dichotomie entre l’IA qui nous augmente et l’IA qui nous remplace, estiment les chercheuses de Data & Society Aiha Nguyen et Alexandra Mateescu dans un nouveau rapport sur l’IA générative et le travail. La rhétorique de l’IA générative répète qu’elle va améliorer l’efficacité du travail et automatiser les tâches fastidieuses, dans tous les secteurs, du service client aux diagnostics médicaux. En réalité, son impact sur le travail est plus ambivalent et beaucoup moins magique. Ce qu’elle affecte est bien l’organisation du travail. Et cette dichotomie ne propose aux travailleurs aucun choix autre que le renforcement de leur propre exploitation.

Le battage médiatique autour de l’IA générative permet de masquer que l’essentiel de ses applications ne seront pas récréatives, mais auront d’abord un impact sur le travail. Il permet également d’exagérer sa capacité à reproduire les connaissances et expertises des travailleurs, tout en minimisant ses limites, notamment le fait que l’intelligence artificielle soit d’abord un outil d’exploitation des zones grises du droit. Mais surtout, l’IA nous fait considérer que le travail humain se réduit à des données, alors même que l’IA est très dépendante du travail humain. Or, pour le développement de ces systèmes, ce n’est plus seulement la propriété intellectuelle qui est exploitée sans consentement, mais également les données que produisent les travailleurs dans le cadre de leur travail. Dans les centres d’appels par exemple, les données conversationnelles des opérateurs sont utilisées pour créer des IA conversationnelles, sans que les travailleurs ne soient rémunérés en plus de leur travail pour cette nouvelle exploitation. Même problème pour les auteurs dont les éditeurs choisissent de céder l’exploitation de contenus à des systèmes d’IA générative. Pour l’instant, pour contester « la marchandisation non rémunérée de leur travail », les travailleurs ont peu de recours, alors que cette nouvelle couche d’exploitation pourrait avoir des conséquences à long terme puisqu’elle vise également à substituer leur travail par des outils, à l’image de la prolifération de mannequins virtuels dans le monde de la mode. Il y a eu dans certains secteurs quelques avancées, par exemple l’association américaine des voix d’acteurs a plaidé pour imposer le consentement des acteurs pour l’utilisation de leur image ou de leur voix pour l’IA, avec des limites de durée d’exploitation et des revenus afférents. Reste, rappellent les chercheuses que « les asymétries majeures de pouvoir et d’information entre les industries et les travailleurs restent symptomatiques » et nécessitent de nouveaux types de droits et de protection du travail.

Dans les lieux de travail, l’IA apparaît souvent de manière anodine, en étant peu à peu intégrée à des applications de travail existantes. Dans la pratique, l’automatisation remplace rarement les travailleurs, elle automatise très partiellement certaines tâches spécifiques et surtout reconfigure la façon dont les humains travaillent aux côtés des machines. Les résultats de l’IA générative nécessitent souvent beaucoup de retravail pour être exploitées. Des rédacteurs sont désormais embauchés pour réhumaniser les textes synthétiques, mais en étant moins payé que s’ils l’avaient écrit par eux-même sous prétexte qu’ils apportent moins de valeur. Les chatbots ressemblent de plus en plus aux véhicules autonomes, avec leurs centres de commandes à distance où des humains peuvent reprendre les commandes si nécessaire, et invisibilisent les effectifs pléthoriques qui leur apprennent à parler et corrigent leurs discours. La dévalorisation des humains derrière l’IA occultent bien souvent l’étendue des collaborations nécessaires à leur bon fonctionnement.

Trop souvent, l’utilisation de l’IA générative génère des simplifications problématiques. En 2023, par exemple, la National Eating Disorders Association a licencié son personnel responsable de l’assistance en ligne pour le remplacer par un chatbot qu’elle a rapidement suspendu après que celui-ci ait dit aux personnes demandant de l’aide… de perdre du poids. De même, l’utilisation croissante d’outils de traduction automatiques plutôt que d’interprètes humains dans le système d’immigration américain pour accomplir des demandes d’asiles a conduit à des refus du fait d’erreurs de traduction manifestes, comme des noms transformés en mois de l’année, des délais incorrectes. Si la traduction automatique permet de réduire les coûts, elle est trop souvent utilisée dans des situations complexes et à enjeux élevés, où elle n’est pas pertinente. Enfin, rappellent les chercheuses, l’IA générative vient souvent remplacer certains profils plus que d’autres, notamment les postes juniors ou débutants, au détriment de l’a formation l’apprentissage de compétences essentielles… (sans compter que ces postes sont aussi ceux où l’on trouve le plus de femmes ou de personnes issues de la diversité.

Le recours à l’IA générative renforce également la surveillance et la datafication du lieu de travail, aggravant des décisions automatisées qui sont déjà très peu transparentes aux travailleurs. Automatisation de l’attribution des tâches, de l’évaluation des employés, de la prise de mesures disciplinaires… Non seulement le travail est de plus en plus exploité pour produire des automatisations, mais ces automatisations viennent contraindre l’activité de travail. Par exemple, dans le domaine des centres d’appels, l’IA générative surveille les conseillers pour produire des chatbots qui pourraient les remplacer, mais les réponses des employés sont également utilisées pour générer des scripts qui gèrent et régulent leurs interactions avec les clients, restreignant toujours plus leur autonomie dans des boucles de rétroaction sans fin.

En fait, présenter les chatbots et les déploiements d’IA générative comme des assistants plutôt que comme des contrôleurs occulte le renforcement de l’asymétrie de pouvoir à l’oeuvre, estiment très justement Aiha Nguyen et Alexandra Mateescu. Ce discours permet de distancier l’opacité et le renforcement du contrôle que le déploiement de l’IA opère. En fait, soulignent-elles, « l’évaluation critique de l’intégration de l’IA générative dans les lieux de travail devrait commencer par se demander ce qu’un outil particulier permet aux employeurs de faire et quelles incitations motivent son adoption au-delà des promesses d’augmentation de la productivité ». Dans nombre de secteurs, l’adoption de l’IA générative est bien souvent motivée dans une perspective de réduction des coûts ou des délais de productions. Elle se déploie activement dans les outils de planification de personnels dans le commerce de détail, la logistique ou la santé qui optimisent des pratiques de sous-effectifs ou d’externalisation permettant de maximiser les profits tout en dégradant les conditions de travail. Le remplacement par les machines diffuse et renforce partout l’idée que les employés sont devenus un élément jetable comme les autres.

Pour les chercheuses, nous devons trouver des modalités concrètes pour contrer l’impact néfaste de l’IA, qui comprend de nouvelles formes de contrôle, la dévaluation du travail, la déqualification, l’intensification du travail et une concurrence accrue entre travailleurs – sans oublier les questions liées à la rémunération, aux conditions de travail et à la sécurité de l’emploi. « Considérer l’IA générative uniquement sous l’angle de la créativité occulte la réalité des types de tâches et de connaissances qui sont automatisées ».

L’IA générative est souvent introduite pour accélérer la production et réduire les coûts. Et elle le fait en extrayant la valeur des travailleurs en collectant les données de leur travail et en les transférant à des machines et à des travailleurs moins coûteux qui vont surveiller les machines. A mesure que les travailleurs sont réduits à leurs données, nous devons réfléchir à comment étendre les droits et les protections aux données produites par le travail.
09 December 2024
7:30
De la conformité de la modération
sur Dans les algorithmes

La juriste Daphne Keller évoque les limites de l’essor de la conformité de la modération de contenus sur les plateformes, où l’important est désormais de mesurer la modération à l’oeuvre, au risque que des discours légaux soient modérés, que les modalités deviennent très uniformes, ou que le délai de traitement, plus facile à quantifier, deviennent la principale mesure des pratiques de modération. La modération est une pratique complexe et sans indicateurs standardisés. Le risque est de les bricoler sans faire progresser la liberté et l’équité d’expression. La production d’indicateurs pertinents est encore à construire…
06 December 2024
7:30
France Contrôle : encore un algorithme problématique
sur Dans les algorithmes

Dans le cadre de son programme France Contrôle, un programme de documentation des systèmes de gestion algorithmiques de la population française, la Quadrature du net publie une analyse du score de risque de fraude développé par l’Assurance maladie pour contrôler les foyers bénéficiant de la Complémentaire Santé Solidaire gratuite (C2SG). Comme c’était déjà le cas dans l’analyse que l’association de défense des libertés numériques avait faite des algorithmes utilisés par la Caf ou France Travail, la Quadrature pointe à nouveau l’iniquité des calculs et montre que le fait d’être une jeune mère isolée génère un surcontrôle. L’enquête montre également que l’Assurance maladie souhaiterait améliorer son scoring en ayant recours à des données de santé, au risque de renforcer le contrôle des plus précaires. Pour l’association, « l’absence de transparence vis-à-vis du grand public quant aux critères de ciblage de l’algorithme permet de masquer la réalité des politiques de contrôles » et permet d’imposer aux contrôleurs des modalités de contrôles auxquelles ils seraient réticents.

Pour l’association, « ces algorithmes ne servent qu’un seul objectif : faciliter l’organisation de politiques de harcèlement et de répression des plus précaires, et ce grâce à l’opacité et au vernis scientifique qu’ils offrent aux responsables des administrations sociales.«
05 December 2024
7:30
La responsabilité ne suffit pas
sur Dans les algorithmes

Comme à son habitude, danah boyd pose une question très pertinente en nous invitant à distinguer le risque du préjudice.

Savoir si l’usage des réseaux sociaux par les adolescents relève d’un risque ou cause un préjudice est une distinction importante. Le préjudice induit une nature causale. En droit, les avocats cherchent des préjudices pour les imputer aux acteurs qui les causent ou les réglementer. Quand une personne cause un préjudice à une autre, nous souhaitons que cette personne soit tenue pour responsable. La difficulté consiste à prouver le lien entre le préjudice subi et l’intentionnalité du concepteur.

Le risque, lui, nécessite qu’on les identifie et qu’on les gère. « Certains environnements introduisent davantage de risques potentiels et certaines actions les réduisent ». Si la réglementation peut être utilisée pour les réduire, elle ne peut pas les éliminer. Ce qui fait que la réduction du risque se retourne parfois contre les utilisateurs, les tenants responsables de ce qu’ils partagent alors que les effets d’amplification ne sont pas nécessairement de leurs faits.
Concevoir, éduquer, socialiser et prendre soin : piliers de la réduction des risques
Le ski par exemple est une pratique risquée, explique danah boyd, qui nécessite beaucoup d’éducation, de messages de prévention, et des mesures pour limiter les risques que les gens prennent. Tous les environnements sociaux sont risqués. Traverser la rue l’est également. L’un des éléments clés de la socialisation de l’enfance à l’âge adulte est d’apprendre à évaluer et à réagir aux risques inhérents à l’existence. Nous savons apprendre aux plus jeunes à traverser la rue. Et nous savons également aménager la rue pour diminuer les risques. Pour limiter les risques nous avons donc 3 leviers : agir sur l’environnement, éduquer et socialiser.

Les médias sociaux peuvent être dangereux pour les plus jeunes. Nous pouvons améliorer leur conception pour qu’ils le soient moins, bien sûr. Le problème, c’est que nous ne savons pas toujours comment améliorer leur conception pour qu’ils soient moins dangereux et ces interventions peuvent se révéler pires qu’on le pense. Cela ne signifie pas qu’on doive renoncer à les améliorer, bien au contraire, mais qu’on ne peut peut-être pas cimenter leur conception dans la loi pas plus que nous ne sommes capables de gérer les risques uniquement en améliorant la conception. Ainsi, nous focaliser sur une meilleure conception de la ville est inutile si nous ne faisons aucun travail pour socialiser et éduquer ceux qui partagent l’espace public… et si nous n’avons aucun dispositif pour venir en aide aux personnes en difficultés.

Alors oui, des personnes subissent des préjudices sur les médias sociaux, notamment du fait d’autres utilisateurs de ces médias sociaux qui doivent en être tenus responsables (et parfois du fait de la conception même des plateformes). Mais l’on ne peut pas concevoir un système qui permette aux gens d’interagir sans subir jamais de préjudices. Le problème cependant consiste à faire la part entre la responsabilité des utilisateurs et celle des concepteurs de médias sociaux. Il consiste à savoir si certaines formes de conception rendent les préjudices et les risques plus probables.

Les chercheurs ont largement mis en évidence que le harcèlement scolaire est plus fréquent à l’école que sur les réseaux sociaux, même s’il est plus visible sur ces derniers. Nombre d’écoles agissent en déployant des interventions pour éduquer et socialiser les élèves à ces problèmes. Ces programmes font souvent bien plus pour résoudre le harcèlement que l’amélioration de la conception des bâtiments, ironise la chercheuse – tout en suggérant de taxer les réseaux sociaux pour financer ces interventions dans le domaine scolaire. Bien sûr, les préjudices que subissent les gens sur les réseaux sociaux pourraient être atténués en améliorant le respect de la vie privée des utilisateurs, et pas seulement des plus jeunes d’ailleurs. « Mais même si vous pensez que les enfants sont particulièrement vulnérables, j’aimerais souligner que même si les enfants peuvent avoir besoin d’un siège d’appoint pour que la ceinture de sécurité fonctionne, tout le monde serait mieux loti si nous mettions en place des ceintures de sécurité pour la vie privée plutôt que de dire simplement que les enfants n’ont pas leur place dans les voitures. » Or, les projets de lois visant à exclure les plus jeunes des réseaux sociaux ne proposent de mettre en place aucune ceinture de sécurité, mais seulement de ne pas les accueillir dans les véhicules au risque qu’ils ne puissent plus se déplacer.

Pourtant, rappelle la chercheuse, il est difficile d’imputer à la technologie la responsabilité des préjudices sociétaux, même si celle-ci amplifie très fortement nos plus mauvais penchants, comme l’intimidation, le harcèlement, le racisme, le sexisme, l’homophobie… Et il est naïf de croire que ces préjudices puissent être réparés par la seule technologie. Nous ne pouvons pas protéger nos enfants des maux de la société, tout comme les parents noirs ne peuvent empêcher leurs enfants d’être victimes du racisme. D’où l’importance d’éduquer les enfants blancs pour voir et résister au racisme. Nous devons aider nos enfants à voir la laideur du monde pour qu’ils deviennent les agents du changement. Les réseaux sociaux rendent nos travers sociaux plus visibles… servons-nous en. Mais éviter les réseaux sociaux ne les fera pas disparaître. Et boyd de noter que souvent, ceux là même qui propagent la haine souhaitent empêcher leurs enfants d’accéder à la technologie, certainement bien plus par peur que les exposer à la différence ne les rende plus tolérants.

Il ne fait aucun doute que les médias et notamment les réseaux sociaux nous exposent à un monde plus vaste, plus diversifié et plus complexe. « Au début des réseaux sociaux, rappelle la chercheuse, je pensais que le simple fait d’exposer les gens aux autres augmenterait fondamentalement notre tolérance collective. J’ai appris depuis que ce n’était pas si simple et que l’exposition seule ne suffit pas. Mais isoler les gens ou interdire aux plus jeunes d’accéder aux réseaux sociaux, ne nous aidera pas non plus et n’aidera pas nos enfants à acquérir les compétences nécessaires pour vivre ensemble », conclut-elle, faisant écho à l’enjeu que nous avons, collectivement, à prendre soin de la construction du tissu social, comme elle nous y invitait déjà, il y a quelques années, dans un remarquable article.
Vérification d’âge : quels murs construisons-nous ?
Cette tribune s’inscrit dans un débat plus large autour du Kids online Safety Act (Kosa), un projet de loi américain très controversé pour protéger les mineurs sur les médias sociaux. Une bonne synthèse des enjeux est résumé dans un rapport dirigé par la chercheuse Alice Marwick (qui est également la directrice de la recherche de Data & Society, le groupe de recherche de Microsoft fondé par danah boyd il y a 10 ans) qui montre les limites de la proposition de loi et notamment le fait que celle-ci puisse permette d’augmenter la censure des contenus en donnant plus de pouvoir aux plateformes sans aider les jeunes qui sont en difficulté sur les médias sociaux. Le cœur du renforcement de la protection repose sur un dispositif de vérification d’âge, compliqué à mettre en œuvre. De nombreux pays l’envisagent, mais aucun n’a pour l’instant trouvé une méthode convaincante. En France où une vérification d’âge doit être mise en place pour l’accès aux sites pornographiques, la Cnil défend le recours à un vérificateur tiers indépendant et le double anonymat… Une solution qui n’a pour l’instant pas d’opérationnalité technique à l’efficacité démontrée.

Lors d’un débat sur les implications de l’introduction de systèmes de vérification d’âge prévu notamment par ce projet de loi, danah boyd rappelait déjà que nous devrions aider les jeunes plutôt que de construire des murs autour d’eux. Sarah Forland co-auteure d’un rapport sur le sujet pour l’Open Technology Institute du think tank New America estime que la vérification d’âge doit toujours proposer des alternatives, que ces outils doivent maximiser la confidentialité et permettre aux utilisateurs de rester maître des modalités, alors qu’ils introduisent un risque de censure plus fort que jamais. Une réglementation de l’accès à internet selon l’âge semble à beaucoup une mauvaise réglementation mais elle est malgré tout préférable à l’absence de réglementation actuelle. Forland rappelle que si la vérification d’âge est une technologie controversée c’est parce qu’elle est difficile à mettre en œuvre.

Dans le monde réel, d’ailleurs, contrairement à ce qu’on en dit souvent, elle marche très mal, rappelle boyd. Aux Etats-Unis, la consommation d’alcool est interdite aux moins de 21 ans, mais le pays a l’un des taux le plus élevé de consommation excessive d’alcool des plus jeunes. Si les plus jeunes ont un problème de consommation excessive, c’est parce que l’interdiction a transformé l’alcool en preuve que vous étiez adulte ce qui a généré une socialisation particulièrement malsaine. Voulons-nous faire la même chose ? Les enfants regardent leurs parents plongés toute la journée sur leur téléphones et on est en train de leur dire qu’ils ne pourront y avoir accès avant 18 ans ! En fait, on fait tout pour ne pas interroger les processus de socialisation et leurs limites.

Les barrières d’âge n’aident en rien, disait déjà la chercheuse en 2011 ! Pour boyd, il y a d’un côté une crise de fragilité mentale des plus jeunes que nous devons aborder avec des programmes et des centres d’aides où le numérique n’a pas de rôle à jouer. De l’autre, il nous faut réglementer l’industrie technologique, hors de contrôle, ce qui est un tout autre problème qui nécessite de renforcer la confidentialité de tous, pour mieux protéger tout le monde et pas seulement les plus jeunes. boyd rappelle que lorsqu’elle étudiait la Coppa, la loi sur la protection de la vie privée des enfants en ligne, qui a introduit des protections pour les moins de 13 ans, plus de la moitié des parents mentaient sur l’âge de leurs enfants pour leur permettre d’accéder aux services web auxquels ils n’avaient plus droits.

Pour la sociologue, on cherche à nouveau à répondre à un problème social par une solution technique qui ne le résoudra pas. Pour elle, nous avons bien plus besoin de structures de soins et d’accompagnement pour les plus jeunes que de dispositifs techniques. Nous avons besoin d’être capables d’apporter de l’aide à ceux qui en ont besoin avec des structures ouvertes et discrètes. « Nous devons être capables de prêter attention aux jeunes qui crient à l’aide plutôt que d’essayer de trouver des moyens de les rendre plus invisibles aux yeux des gens qui les entourent. » Pour l’avocat du Digital Trust & Safety Partenership, David Sullivan, c’est comme le filtrage de contenus dans les écoles qui, sous prétexte de protéger les enfants, semble faire bien plus de dégats qu’autre chose, en les empêchant d’accéder à des contenus essentiels. Pour danah boyd : lorsque nous nous concentrons sur la vérification d’âge, nous nous concentrons sur une réponse technique à un problème social, donc sur la technologie plutôt que sur les jeunes. Plutôt que de chercher à refabriquer de la socialisation, nous sommes en plein « solutionnisme techno-légal ».
Le risque : croire que le code peut se substituer à la loi
Dans leur article de recherche, où elles développent ce concept, danah boyd et Maria Angel rappellent que le devoir de diligence que Kosa impose aux plateformes est ambiguë. Il tient les entreprises responsables de ne pas avoir pris de mesures raisonnables pour prévenir ou atténuer des risques complexes, comme l’intimidation, l’anxiété ou la dépression, pour lesquels les experts n’ont pas vraiment de solutions. Si la façon dont sont conçus les médias sociaux peuvent parfois donner lieu à des expériences sociales malsaines, déterminer les conséquences des effets de conception n’est pas toujours simple. Or, la diligence dans la modération qu’on demande aux plateformes est profondément ancrée dans une vision déterministe de la technique que les chercheuses appellent « solutionnisme techno-juridique ». C’est la façon même dont le législatif tente de pousser les plateformes à être diligentes qui pose problème. Le cadre réglementaire n’énonce pas d’exigences de conception spécifiques que les plateformes devraient éviter et n’observent que les résultats qu’elles doivent atteindre. « Cela équivaudrait à exiger des constructeurs automobiles qu’ils s’assurent que les conducteurs ne soient jamais distraits par des tiers et que tous les accidents soient évités plutôt que de les obliger à mettre en place des ceintures de sécurité. »

Pour le grand public, l’allégation consistant à penser que les médias sociaux sont nocifs pour les plus jeunes est très répandue. Les décideurs politiques ne se contentent pas d’affirmer que les plateformes de médias sociaux sont le lieu du problème : ils considèrent également la technologie comme le lieu de la solution. « Si les caractéristiques de conception sont le problème, exiger une bonne conception peut faire disparaître les préjudices », estiment ces règlements. Le risque est de fournir une solution technique à une panique morale. « Lorsque Lessig a soutenu pour la première fois que « le code est la loi », il entendait signaler comment la conception du logiciel joue un rôle régulateur en rendant certains résultats plus ou moins probables. L’une des erreurs commises par les décideurs politiques est de réinterpréter ses propos pour adopter une vision techno-déterministe selon laquelle le code peut agir comme un substitut à la loi pour dicter l’avenir. » « Le problème, c’est que les entreprises technologiques seront obligées par la loi de concevoir leurs systèmes pour des résultats sociaux qu’elles ne peuvent pas contrôler. » Et rien ne prouve qu’une appréciation par les objectifs aidera réellement les jeunes en situation de vulnérabilité ni n’accomplira une meilleure conception. Au contraire. Il est probable qu’une telle politique encourage les entreprises à atteindre leurs objectifs en matière de sécurité en renforçant les logiques solutionnistes, tout en nous détournant d’autres approches fondées sur des preuves.

Tout le monde répète que les médias sociaux seraient la cause de tous les maux… Mais « quel est l’impact de l’utilisation des médias sociaux sur la santé mentale des jeunes ? », questionnent les deux chercheuses. Les réponses des chercheurs à cette question ne sont pas tranchées. Ceux-ci ont plutôt montré que les problèmes sociaux et psychologiques en ligne ont des racines dans la dynamique sociale hors ligne, comme le harcèlement. Comme le montrait danah boyd dans son livre, C’est compliqué, la technologie est rarement la cause des problèmes des adolescents, mais est souvent l’endroit vers lequel ils se tournent lorsqu’ils sont en difficulté. Pour elle, les médias sociaux permettent de rendre visible les problèmes des jeunes plus qu’ils n’en sont la cause. En fait nous sommes là, face à une question très polarisée, comme l’a montré le journaliste du New York Times, Ezra Klein, en interviewant Jean Twenge qui pense que les médias sociaux ont des effets négatifs sur la santé mentale des jeunes et Lisa Damour qui montre qu’il n’y en est rien. Le lien entre les médias sociaux et la santé mentale des jeunes demeure complexe.

Les entreprises de la tech sont en mesure de concevoir leurs plateformes afin que les jeunes ne soient pas exposés à certains contenus ni ne participent à certaines activités. Mais les entreprises ne pourront jamais contrôler précisément la manière dont les comportements « autorisés » sur leurs plateformes affectent l’expérience et le bien être. Pour le dire plus simplement : les plateformes peuvent certes être mieux conçues, mais elles ne peuvent pas faire que les enfants ne soient pas rejetés par leurs pairs, ou que l’actualité ne provoque pas d’anxiété. En obligeant les plateformes à concevoir des « résultats positifs », les autorités semblent ignorer le caractère émergent du social. Si les entreprises peuvent ne pas montrer certaines publicités, exiger qu’elles produisent des résultats sociétaux positifs suppose qu’elles pourraient avoir un contrôle total sur les comportements sociaux. Le risque est que la réglementation crée des attentes irréalistes sur ce que le design peut faire pour les enfants.

Or, dans un contexte où des livres ou même la justice raciale sont interdits dans nombre d’écoles américaines, la question de savoir ce qui a un impact négatif sur les jeunes est devenue une question éminemment politique. Les risques d’abus du projet de loi Kosa ont déclenché l’inquiétude de la communauté LGBTQ d’autant que les conservateurs ont plusieurs fois affirmé que le projet de loi avait pour but de protéger les mineurs de l’endoctrinement politique. La politisation des contenus est pourtant bien ce qui se déroule. Après les élections de 2016, les entreprises de médias sociaux ont un temps pris la question de la désinformation au sérieux. Le problème, c’est que la désinformation n’est pas la même pour tous, chacun souhaitant la définir en fonction de ses objectifs politiques. Mais surtout, en demandant aux entreprises technologiques d’améliorer leurs conceptions pour éviter les résultats négatifs, les décideurs politiques renforcent la rhétorique déterministe et solutionniste qui rend l’industrie technologique toxique en premier lieu. Pourtant, ce que les gens font avec une technologie donnée n’est pas déterminé par la conception seule, mais par les choix que les gens font en exploitant ces outils. Comme le disait Morozov lui-même, « en promettant des résultats presque immédiats et beaucoup moins chers, les solutions rapides peuvent facilement saper le soutien à des projets de réforme plus ambitieux, plus stimulants intellectuellement, mais aussi plus exigeants ». Le risque, c’est que le solutionnisme efface les problèmes sociaux d’abus, de pauvreté, d’inégalité… qui sont bien souvent à l’origine des problèmes que les législateurs voudraient atténuer. On ne fera pas disparaître les causes en nettoyant les symptômes !, rappellent les chercheuses. L’accès à des soins pour la santé mentale, la mise en œuvre de programmes d’éducation ont plus de chance de faire bouger les choses que de masquer des contenus sur les réseaux sociaux.

Les législateurs ont raison d’exiger que les entreprises de médias sociaux cessent d’utiliser une conception manipulatrice pour exploiter les vulnérabilités décisionnelles du public. Tout comme ils l’ont fait avec d’autres formes de médias, les décideurs politiques peuvent et doivent se pencher sur les types de publicité et de fonctionnalités qui devraient être autorisés. Les décideurs politiques devraient réfléchir à ce qui pourrait constituer une « ceinture de sécurité numérique » et l’imposer. Cependant, si les décideurs politiques veulent réellement aider les jeunes à faire face aux difficultés sociales auxquelles ils sont confrontés, ils doivent adopter une approche écologique face à un problème qui a de multiples paramètres. Il n’existe pas de solution miracle. Tenir les entreprises technologiques responsables du bien-être des jeunes est politiquement attrayant, mais cela n’aidera pas les jeunes en situation de vulnérabilité.
L’aporie de la gouvernance par les risques
Le risque, c’est de croire qu’on peut gouverner les risques depuis les calculs… et que toute régulation ne repose que sur la régulation par le risque, comme l’expliquait Irénée Régnauld, qui dénonce également cette approche paternaliste par le risque et explique que la gestion des risques ne peut pas constituer à elle seule un mode de gouvernement, au risque de verser dans un éternel monitoring ex post de systèmes n’ayant jamais fait l’objet d’aucune débats démocratiques.

boyd semble bien confiante tout de même. Les entreprises pilotent et orientent à leur gré l’architecture de leurs plateformes, laissant bien peu d’espace à l’éducation et à la socialisation puisqu’on ne peut apprendre des comportements à tenir dans des usines où les convoyeurs changent sans arrêt, comme c’est le cas de leurs algorithmes d’amplification sociale. Les modalités de conception ont bien des effets, que les entreprises savent mesurer et orienter au bénéfice de leurs modèles d’affaires plus que du bien-être des utilisateurs ou de la valeur de leur recommandation pour la société, comme le montrait le chercheur Arvind Narayanan, Pour le dire dans le langage de boyd, les modalités de socialisation changent sans arrêt ce qui limite également nos capacités d’éducation, puisqu’il est bien difficile de comprendre les modulations algorithmiques. Les entreprises ne sont pas vertueuses et peu de choses les poussent à l’être. Bien sûr, les autorités ont des exigences toujours plus fortes de modération renforçant les biais de modération des plateformes, au risque de rendre certains sujets impossibles, et non des moindres. En renforçant le droit à la modération des réseaux sociaux, le risque est que les médias sociaux décident de quelles violences la société peut discuter, expliquait très pertinemment Alizée Vincent pour Arrêt sur Images, en montrant que la censure automatisée conduisait à confondre les violences policières ou sexuelles, avec leur dénonciation.

TikTok comme Meta par exemple connaissent très bien les effets qu’ont leurs architectures de recommandation sur les gens et notamment sur les plus jeunes. Mark Zuckerberg lui-même convenait d’ailleurs que les utilisateurs ne contrôlent plus leurs flux de médias sociaux. La maîtrise totale de nos flux par les grandes plateformes pourrait avoir pour conséquence de les tenir plus responsables que jamais des risques qu’ils sont censés limiter, explique la journaliste Julia Angwin pour le New York Times. Quand ce à quoi nous accédions était la conséquence des décisions des utilisateurs, il était plus facile pour les entreprises de ne pas être tenues responsables des conséquences. Mais c’est devenu de moins en moins vrai. « Si les plateformes technologiques façonnent activement nos expériences, après tout, peut-être devraient-elles être tenues responsables de la création d’expériences qui nuisent à nos corps, à nos enfants, à nos communautés et à notre démocratie ». Aux Etats-Unis, plusieurs décisions de justice viennent de reconnaître que les plateformes ne pouvaient pas s’abriter derrière le fait qu’elles n’étaient pas responsables des contenus quand leurs algorithmes les orientent d’une manière aussi déterminante. Si le tribunal tient les plateformes responsables de leurs amplifications algorithmiques, cela pourrait les inciter à limiter la distribution de contenus nocifs mais également les conduire à renforcer la censure.

Qu’en sera-t-il ? L’élection de Trump vient de rebattre profondément les cartes de ce débat. A terme, il semble certain que ce ne sont pas les utilisateurs qui vont avoir la main.
David Rotschild, chercheur au Penn Media Accountability Project et co-auteur d’une étude pour Nature qui dénonce l’instrumentation de la désinformation en ligne, explique sur Undark que dire que « les réseaux sociaux sont le problème » propose une solution très simple et facile à appliquer, qui consiste à corriger les algorithmes. Et cela évite la question la plus difficile – celle que nous ne voulons généralement pas aborder – sur la nature humaine. Or la violence ou le racisme… n’ont pas été inventés par les réseaux sociaux. Quand bien même les réseaux sociaux les instrumentisent plus que jamais. Nous ne gouvernerons pas nos disputes sociales seulement en régulant les réseaux sociaux.
03 December 2024
7:30
IA, réducteur culturel : vers un monde de similitudes
sur Dans les algorithmes

Dans sa newsletter, Programmable Mutter, le politiste Henry Farrell – qui a publié l’année dernière avec Abraham Newman, Underground Empire (qui vient d’être traduit chez Odile Jacob sous le titre L’Empire souterrain) un livre sur le rôle géopolitique de l’infrastructure techno-économique mise en place par les Etats-Unis – estime que le risque de l’IA est qu’elle produise un monde de similitude, un monde unique et moyen.

Comme le disait la professeure de psychologie, Alison Gopnick, dans une tribune pour le Wall Street Journal, les LLM sont assez bons pour reproduire la culture, mais pas pour introduire des variations culturelles. Ces modèles sont « centripètes plutôt que centrifuges », explique Farrell : « ils créent des représentations qui tirent vers les masses denses du centre de la culture plutôt que vers la frange clairsemée de bizarreries et de surprises dispersées à la périphérie ».

Farrell se livre alors à une expérience en générant un podcast en utilisant NotebookLM de Google. Mais le bavardage généré n’arrive pas à saisir les arguments à discuter. Au final, le système génère des conversations creuses, en utilisant des arguments surprenants pour les tirer vers la banalité. Pour Farrell, cela montre que ces systèmes savent bien plus être efficaces pour évoquer ce qui est courant que ce qui est rare.

« Cela a des implications importantes, si l’on associe cela à la thèse de Gopnik selon laquelle les grands modèles de langues sont des moteurs de plus en plus importants de la reproduction culturelle. De tels modèles ne soumettront probablement pas la culture humaine à la « malédiction de la récursivité », dans laquelle le bruit se nourrit du bruit. Au contraire, ils analyseront la culture humaine avec une perte qui la biaise, de sorte que les aspects centraux de cette culture seront accentués et que les aspects plus épars disparaîtront lors de la traduction ». Une forme de moyennisation problématique, une stéréotypisation dont nous aurons du mal à nous extraire. « Le problème avec les grands modèles est qu’ils ont tendance à sélectionner les caractéristiques qui sont communes et à s’opposer à celles qui sont contraires, originales, épurées, étranges. Avec leur généralisation, le risque est qu’ils fassent disparaître certains aspects de notre culture plus rapidement que d’autres ».

C’est déjà l’idée qu’il défendait avec la sociologue Marion Fourcade dans une tribune pour The Economist. Les deux chercheurs y expliquaient que l’IA générative est une machine pour « accomplir nos rituels sociaux à notre place ». Ce qui n’est pas sans conséquence sur la sincérité que nous accordons à nos actions et sur les connaissances que ces rituels sociaux permettent de construire. A l’heure où l’IA rédige nos CV, nos devoirs et nos rapports à notre place, nous n’apprendrons plus à les accomplir. Mais cela va avoir bien d’autres impacts, explique encore Farrell, par exemple sur l’évaluation de la recherche. Des tests ont montré que l’évaluation par l’IA ne ferait pas pire que celle par les humains… Mais si l’IA peut aussi bien que les humains introduire des remarques génériques, est-elle capable d’identifier et d’évaluer ce qui est original ou nouveau ? Certainement bien moins que les humains. Pour Farrell, il y a là une caractéristique problématique de l’IA : « plus une caractéristique culturelle est inhabituelle, moins elle a de chances d’être mise en évidence dans la représentation de la culture par un grand modèle ». Pour Farrell, ce constat contredit les grands discours sur la capacité d’innovation distribuée de l’IA. Au contraire, l’IA nous conduit à un aplatissement, effaçant les particularités qui nous distinguent, comme si nous devenions tous un John Malkovitch parmi des John Malkovitch, comme dans le film Dans la peau de John Malkovitch de Spike Jonze. Les LLM encouragent la conformité. Plus nous allons nous reposer sur l’IA, plus la culture humaine et scientifique sera aplanie, moyennisée, centralisée.
28 November 2024
14:30
Pourquoi les projets échouent-ils ?
sur Dans les algorithmes

Le site ressource de l’école d’affaires de l’université de Colombie britannique est une mine d’or qui recense les catastrophes industrielles et documente d’exemples, leurs échecs. Il rappelle que les dépassements de calendriers et de budgets sont des symptômes plus que des causes de raisons plus profondes, erreurs et problèmes structurels, et que la prise de décision dysfonctionnelle est plus courante qu’on le pense. On y découvre, par exemple, que les 2 ans de retard dans la construction de l’Airbus A380 était dû au fait que les équipes de conception utilisaient 2 versions différentes du logiciel de conception. Le site recense 101 causes courantes de fiasco. Instructif.
7:30
Les enjeux de l’IA
sur Dans les algorithmes

Sur son blog, le prof de philo Serge Cospérec a traduit et adapté l’une des conférences vidéo de Melanie Mitchell, auteure de l’excellent Intelligence artificielle, triomphes et déceptions. C’est souvent clair, trop complet, plutôt pédagogique : 1, 2, 3, 4 et 5.
27 November 2024
13:59
« Il nous reste environ 30 ans de numérique devant nous »
sur Dans les algorithmes

« On devrait se poser sérieusement la question de ce qui va se passer quand les écrans s’éteindront et commencer à anticiper le monde d’après le numérique ». Corinne Morel Darleux.
7:30
Les agents IA arrivent
sur Dans les algorithmes

Ces dernières semaines, des avancées significatives ont été réalisées dans le domaine des agents IA capables d’utiliser des ordinateurs, des services web ou certaines de leurs fonctionnalités de manière autonome. Anthropic a lancé une fonction dédiée. OpenAI préparerait Operator et ChatGPT s’interface déjà avec des applications. Google travaillerait à Jarvis. L’enjeu est de faire sortir l’IA des fenêtres de discussion où elle est assignée, explique Dharmesh Shah, le cofondateur de HubSpot dans sa lettre d’information sur l’IA, Simple.ai. Désormais, elles vont pouvoir accomplir des actions concrètes, sans même avoir besoin d’API dédiées : ces agents vont pouvoir faire ce que chacun d’entre nous peut faire depuis un ordinateur (prendre un rendez-vous, commander quelque chose à notre place, interconnecter des services entre eux…). Pour les développeurs et entrepreneurs, cela signifie que les feuilles de routes de produits IA à venir doivent dès à présent intégrer ces nouvelles capacités, explique l’entrepreneur à ses pairs, qui a déjà lancé une plateforme d’agents IA, prêtes à l’emploi.

Dans sa newsletter, One Useful Thing, le professeur de management et d’innovation, Ethan Mollick, auteur du livre Co-Intelligence, analyse également la promesse des agents intelligents après avoir testé Claude, l’IA d’Anthropic. Que se passe-t-il quand on confie une souris à une IA ? Mollick a fait jouer Claude au jeu du trombone en lui demandant simplement de gagner. Pour Mollick, l’expérience illustre les forces et faiblesses des agents actuels. D’un côté, l’agent a été capable de jouer, de développer une stratégie et de l’exécuter. De l’autre, l’agent se montre facilement têtu, très sensible aux erreurs et au final peu perspicace. Il faut bien plus le guider que laisser en autonomie.

MAJ du 06/12/2024 : Sur son blog, Fred Cavazza revient également sur la nouvelle promesse de l’économie de l’agentivité… en rappelant qu’elle permet de renouveler la promesse des chatbots et de l’IA générative, en perte de vitesse. En faisant le point sur le paysage et ses acteurs, il en souligne également les limites. A savoir, que l’automatisation annoncée va nécessiter l’accord des plateformes et des applications pour que les robots puissent accéder aux services, ce qui n’est pas assuré. Ensuite, que malgré les promesses de simplification, pour l’instant, il n’est pas sûr que la programmation des agents se destine au grand public.
26 November 2024
7:30
Réinventer le mérite
sur Dans les algorithmes
Notre façon de mesurer le mérite est problématique. Dans son petit livre éponyme (Mérite, Anamosa, 2021), la sociologue Annabelle Allouch rappelait que celui-ci est d’abord un mode de justification de l’ordre social et des inégalités, dénonçant sa transformation en métrique qui masquent leurs biais sous leur fausse objectivité. Elle y invitait déjà à repolitiser le mérite. Dans Le talent est une fiction (JC Lattès, 2023), la neuroscientifiique Samah Karaki dénonçait à son tour la fiction du talent : “Croire que notre mérite découle de nos talents et de notre travail personnel encourage l’égoïsme, la discrimination et l’indifférence face au sort des autres”, écrivait-elle. Le philosophe Michael Sandel dans La tyrannie du mérite (Albin Michel, 2021) invitait également à le défaire notamment parce qu’il nous rend aveugle « aux causes et influences sociales qui échappent pourtant au contrôle individuel ».

Le mérite n’est pas unique. Or, la façon dont nous le promouvons, l’instrumentons tend à saper la diversité des talents dont nous avons besoin. Ces auteurs soulignent tous que la façon dont nous concevons et instrumentons le mérite ne fonctionne pas.

C’est également le constat que dresse le journaliste américain David Brooks dans un passionnant article fleuve pour The Atlantic : la méritocratie ne fonctionne plus, observe avec dépit le journaliste américain, en proposant des pistes particulièrement stimulantes pour la réinventer.
Image : l’article de David Brooks pour The Atlantic. La méritocratie, un idéal déçu
Dans son article, Brooks rappelle que jusque dans les années 50, l’idéal méritocratique était d’abord un idéal bourgeois qui s’appuyait sur la seule reproduction sociale des élites entre elles. C’était l’âge des privilèges sociaux, où les élèves des grandes universités élitaires n’étaient pas les meilleurs élèves du pays, mais les descendants des élites en place. C’est dans le recrutement universitaire que les choses ont bougé, notamment par l’influence de James Conant, président de Harvard de 1933 à 1953, qui a dénoncé cette « aristocratie héréditaire » et son « féodalisme industriel ». Conant a fait bouger les critères d’admission pour privilégier l’intelligence, révélée par la réussite scolaire. C’est lui qui va introduire des tests d’admission à Harvard qui vont devenir le SAT, cet examen standardisé utilisé par toutes les universités américaines. « En modifiant ainsi les critères d’admission, il espérait réaliser le rêve de Thomas Jefferson d’une aristocratie naturelle des talents, en sélectionnant les personnes les plus intelligentes de toutes les couches de la société. Conant voulait créer une nation avec plus de mobilité sociale et moins de conflits de classes ». Il incarnait une époque où les gens avaient une foi inébranlable dans les projets d’ingénierie sociale et la planification centralisée.

La société s’est très vite adaptée à cette « maximisation » du talent. L’école et l’université sont devenues des systèmes de tri, censés produire une classe dirigeante variée et diverse. « L’ère de l’homme bien élevé était révolue. L’ère de l’élite cognitive était arrivée. » L’effet a été transformateur, souligne Brooks. La société a changé. Les parents ont essayé de produire le type d’enfants qui pourraient entrer dans les universités sélectives, certains y arrivant tout de même mieux que d’autres, notamment ceux dotés eux-mêmes de diplômes, pratiquant une « culture concertée » comme l’explique la sociologue Annette Lareau dans son livre, Unequal Childhoods, c’est-à-dire en apportant à leurs enfants les activités qui sont valorisées par la sélection. Toute l’éducation s’est adaptée à cette évolution. Dans les écoles primaires et secondaires, les temps consacrés à la récréation, aux arts plastiques ou au bricolage ont été réduits…

Le problème, c’est que la maximisation de l’intelligence a eu des effets de bords. L’évaluation permanente conduit à orienter les élèves de plus en plus tôt. Alors que les élèves méritants sont canalisés vers les bonnes écoles, les autres, dès 9 ou 10 ans, savent déjà que l’école ne veut pas d’eux.

La structure des opportunités aux Etats-Unis a également évolué en regard. Il est devenu de plus en plus difficile d’obtenir un bon emploi si vous n’avez pas un diplôme universitaire, en particulier un diplôme d’une université d’élite. « Lorsque j’ai commencé dans le journalisme, dans les années 1980, des journalistes âgés de la classe ouvrière parcouraient encore les salles de rédaction. Aujourd’hui, le journalisme est une profession réservée presque exclusivement aux diplômés de l’université, en particulier de l’élite. Une étude de 2018 a révélé que plus de 50 % des rédacteurs du New York Times et du Wall Street Journal avaient fréquenté l’une des 34 universités ou collèges les plus prestigieux du pays. Une étude plus vaste, publiée dans Nature cette année, a examiné les meilleurs éléments de diverses professions – avocats, artistes, scientifiques, chefs d’entreprise et dirigeants politiques – et a constaté le même phénomène : 54 % avaient fréquenté les mêmes 34 institutions d’élite. » Les entreprises d’élites de la finance, du conseil ou du droit sont également obsédées par le recrutement de prestige, explique la sociologue Lauren Rivera, qui montre que passé une poignée d’écoles d’élites, elles, ne regardent plus les candidatures provenant d’ailleurs.

Cette réforme méritocratique aurait dû conduire à un âge d’or à une société plus juste. Et c’est ce qui s’est en partie passé. La classe dirigeante américaine est devenue plus diversifiée et plus intelligente. « Mais nous n’avons pas produit une relation plus saine entre notre société et ses élites ». Nombre de diplômés de ces écoles ont mis leur talent au service d’un emploi bien rémunéré. Certes, cette élite a produit le New Deal, la paix et la prospérité américaine, mais elle a aussi produit les bourbiers militaires, la crise financière, l’essor des réseaux sociaux toxiques et notre actuel dysfonctionnement politique, estime Brooks. « Aujourd’hui, 59 % des Américains pensent que le pays est en déclin, 69 % pensent que l’élite politique et économique ne se soucie pas des travailleurs, 63 % pensent que les experts ne comprennent pas leur vie et 66 % pensent que l’Amérique a besoin d’un dirigeant fort pour reprendre le pays aux riches et aux puissants », estime une enquête Ipsos sur le populisme. En bref, sous la direction de notre classe méritocratique actuelle, la confiance dans les institutions a chuté au point que « une grande masse d’électeurs a fait un gros doigt d’honneur aux élites en votant pour Donald Trump ».
Les 6 péchés capitaux de la méritocratie
Brooks confesse qu’il a passé une grande partie de sa vie à fréquenter cette élite et à enseigner dans ces universités d’élites. « Ce sont des institutions impressionnantes remplies de personnes impressionnantes », mais qui restent coincées dans le système que Conant a mis en place avant les années 50. Nous sommes prisonniers de ce système de tri. « Les étudiants ne peuvent pas se concentrer sur les matières académiques qui les passionnent, car les dieux de la moyenne générale exigent qu’ils aient toujours des A partout ». Le piège sélectif s’est refermé sur chacun.

Pour David Brooks, la méritocratie est coincée dans ses 6 péchés capitaux qui en pointent les contradictions insolubles :

1. Le système surestime l’intelligence et ses indicateurs spécifiques, qu’ils aient la forme de tests standardisés ou de tests de QI. « Le QI – malgré toutes ses déficiences – est devenu la mesure non pas de ce que vous faites, mais de qui vous êtes », explique l’historien Nathaniel Comfort. Certes, l’intelligence est importante, mais elle ne fait pas tout. Une étude sur les jeunes mathématiciens précoces, à 12 ou 13 ans, montre que leurs résultats sont corrélés à une plus forte probabilité d’obtenir des doctorats ou de déposer des brevets. Cependant, l’intelligence est moins signifiante qu’on le pense. A partir des années 1920, le psychologue Lewis Terman – qui est l’un des inventeurs du test de QI – et ses collègues de Stanford ont suivi environ 1500 enfants à QI élevé tout au long de leur vie. Le groupe a obtenu 97 doctorats, 55 doctorats en médecine et 92 diplômes en droit… Mais aucun génie n’est sorti du groupe. Ces jeunes gens brillants ont occupé des emplois parfaitement respectables en tant que médecins, avocats et professeurs, mais il n’y a pas eu de figures transformatrices, pas de changeurs de monde ou de lauréats du prix Nobel. Les jeunes prodiges ne sont pas devenus des adultes prodiges. Comme l’a conclu le journaliste scientifique Joel Shurkin, qui a écrit un livre sur l’étude Terman, le QI ne mesure pas la créativité. En 2019, les chercheurs de l’université Vanderbilt ont étudié 677 personnes dont les scores SAT à 13 ans les situaient dans le top des 1%. 12% de ces adolescents ont atteint une « éminence » (c’est-à-dire le fait d’atteindre le sommet dans son domaine, comme de devenir professeur dans une grande université, PDG d’une entreprise Fortune 500, juge, écrivain primé…) dans leur carrière à 50 ans. C’est un pourcentage important, mais cela signifie que 88% d’entre eux n’ont pas atteint ce niveau de réussite. Faire passer un test standardisé à quelqu’un permet d’apprendre quelque chose d’important sur lui, mais ne permet pas de faire une prédiction sur le fait qu’il contribuera utilement à la société.

« L’intelligence n’est pas la même chose que l’efficacité », rappelle Brooks. Le psychologue cognitif Keith E. Stanovich a inventé le terme de dysrationalité pour décrire le phénomène qui conduit des personnes intelligentes à prendre des décisions stupides ou irrationnelles. « Être intelligent ne signifie pas que vous êtes prêt à essayer des points de vue alternatifs, ou que vous êtes à l’aise avec l’incertitude, ou que vous pouvez reconnaître vos propres erreurs. Cela ne signifie pas que vous avez une vision claire de vos propres préjugés. En fait, les personnes à haut QI sont peut-être meilleures que les autres pour se convaincre que leurs propres opinions erronées sont vraies », cingle Brooks.

2. La réussite scolaire n’est pas la même chose que la réussite dans la vie… notamment parce que l’école n’est pas vie. « La réussite scolaire consiste à franchir les obstacles que les adultes mettent devant vous quand la réussite dans la vie implique surtout de tracer sa propre voie ». À l’école, une grande partie de la réussite est individuelle. Dans la vie, les réussites sont souvent bien plus collectives et nécessitent de savoir travailler à plusieurs, ce que les tests évaluent assez mal. « Les notes révèlent qui est persévérant, autodiscipliné et docile, mais elles ne révèlent pas grand-chose sur l’intelligence émotionnelle, les compétences relationnelles, la passion, la capacité de leadership, la créativité ou le courage ». Le mérite est non sequitur. Les étudiants sont classés dans un domaine, puis on les place dans des domaines qui ont peu à voir avec ce pour quoi ils ont été entraînés. Pour le psychologue Adam Grant, « l’excellence académique n’est pas un bon indicateur de l’excellence professionnelle. Dans tous les secteurs, les recherches montrent que la corrélation entre les notes et les performances professionnelles est modeste la première année après l’université et insignifiante au bout de quelques années », expliquait-il dans une tribune pour le New York Times. Dans une étude portant sur 28 000 jeunes étudiants, ceux qui fréquentaient des universités de rang supérieur n’ont obtenu des résultats professionnels dans le conseil que très légèrement supérieurs à ceux qui fréquentaient des universités de rang inférieur. Pire, les étudiants des universités et collèges les mieux classés, étaient plus susceptibles de ne pas accorder suffisamment d’attention aux relations interpersonnelles et, dans certains cas, d’être « moins amicaux », « plus enclins aux conflits » et « moins susceptibles de s’identifier à leur équipe ». Enfin, souligne Brooks, à l’ère de l’IA, qui est déjà capable de rédiger des articles permettant d’obtenir un A à Harvard, ces étudiants ont désormais des talents qui pourraient bientôt se révéler obsolètes.

3. La méritocratie est truquée. Elle ne trie pas les gens selon leurs capacités innées, mais prend en compte la richesse de leurs parents, notamment parce que les parents aisés investissent très massivement dans l’éducation de leurs enfants pour qu’ils puissent gagner la course aux admissions. Selon le professeur de droit Daniel Markovits, auteur de The Meritocracy Trap, les familles plus riches consacrent énormément d’argent à l’éducation de leurs enfants. Les étudiants issus de familles appartenant au 1% des plus riches, ont 77 fois plus de chances de fréquenter une université d’élite que les étudiants de familles gagnant 30 000 dollars par an. Un enfant de 3 ans qui grandit avec des parents gagnant plus de 100 000 dollars par an a environ deux fois plus de chances d’aller à l’école maternelle qu’un enfant de 3 ans dont les parents gagnent moins de 60 000 dollars. Et ces écarts se sont creusés de 40 à 50% au cours des dernières décennies. Selon les données des résultats d’admissions les plus récents, au moment où les étudiants postulent à l’université, les enfants de familles gagnant plus de 118 000 dollars par an obtiennent 171 points de plus au SAT que les étudiants de familles gagnant entre 72 000 et 90 000 dollars par an, et 265 points de plus que les enfants de familles gagnant moins de 56 000 dollars. Comme l’a noté Markovits, l’écart académique entre les riches et les pauvres est plus grand que l’écart académique entre les étudiants blancs et noirs dans les derniers jours des lois instituant la ségrégation raciale américaine. Conant imaginait un monde où les universités ne seraient pas seulement pour les enfants des riches, rappelle Brooks. Ce n’est plus le cas. Les écoles d’élites se sont refermées sur les enfants riches. En 1985, selon l’écrivain William Deresiewicz, 46 % des étudiants des 250 universités les plus sélectives venaient du quart supérieur de la distribution des revenus. En 2000, ce chiffre était de 55 %. En 2006, il était de 67 %.

La méritocratie intellectuelle a « rétabli l’ancienne hiérarchie fondée sur la richesse et le statut social ». « Mais les nouvelles élites ont une plus grande arrogance, car elles croient que leur statut a été gagné par le travail acharné et le talent plutôt que par la naissance ». Elles ont le sentiment qu’elles méritent leur succès, qu’elles ont obtenu le droit d’en tirer les fruits. Le talent n’est pas aussi inné qu’on l’a longtemps pensé. Le talent comme l’effort, comme l’a observé le professeur de droit Joseph Fishkin n’est pas isolé des circonstances de naissances.

4. La méritocratie a créé un système de castes. « Après des décennies de ségrégation cognitive, un gouffre sépare les personnes instruites des moins instruites ». « Le diplômé du secondaire moyen gagnera environ 1 million de dollars de moins au cours de sa vie que le diplômé moyen d’un cursus universitaire de quatre ans. La personne moyenne sans diplôme universitaire de quatre ans vit environ huit ans de moins que le diplômé moyen d’un cursus universitaire de quatre ans. Trente-cinq pour cent des diplômés du secondaire sont obèses, contre 27 pour cent des diplômés d’un cursus universitaire de quatre ans. Les diplômés du secondaire ont beaucoup moins de chances de se marier, et les femmes diplômées du secondaire ont environ deux fois plus de chances de divorcer dans les dix ans suivant leur mariage que les femmes diplômées de l’université. Près de 60 pour cent des naissances chez les femmes diplômées du secondaire ou moins surviennent hors mariage, ce qui est environ cinq fois plus élevé que le taux des femmes titulaires d’au moins une licence. Le taux de mortalité par opioïdes chez les personnes titulaires d’un diplôme du secondaire est environ dix fois plus élevé que chez celles titulaires d’au moins une licence. » Les écarts sociaux sont plus forts que jamais. « Selon une étude de l’American Enterprise Institute, près d’un quart des personnes ayant un diplôme d’études secondaires ou moins déclarent ne pas avoir d’amis proches, alors que seulement 10 % de celles ayant un diplôme universitaire ou plus le disent. Ceux dont l’éducation ne s’étend pas au-delà du lycée passent moins de temps dans les espaces publics, moins de temps dans les groupes de loisirs et les ligues sportives. Ils sont moins susceptibles d’accueillir des amis et de la famille chez eux. » Pire, souligne Brooks, les avantages d’une éducation supérieure d’élite se multiplient au fil des générations. « Des parents aisés et bien éduqués se marient entre eux et confèrent leurs avantages à leurs enfants, qui vont ensuite dans des universités prestigieuses et épousent des personnes comme eux. Comme dans toutes les sociétés de castes, la ségrégation profite aux ségrégateurs. Et comme dans toutes les sociétés de castes, les inégalités impliquent des inégalités non seulement de richesse mais aussi de statut et de respect. » La méritocratie dans son ensemble est un système de ségrégation. Et cette ségrégation par l’éducation a tendance à se superposer à la ségrégation par la race et à y contribuer, un problème qui ne fait que s’aggraver depuis la disparition de la discrimination positive en 2023. Les Noirs constituent environ 14 % de la population américaine, mais seulement 9 % de la classe de première année actuelle de Princeton. En 2024, le MIT a constaté que le nombre de Noirs dans sa classe de première année est passé de 15 % à 5 %.

Depuis environ 50 ans, l’élite cognitive s’est retirée de l’engagement avec le reste de la société américaine. Depuis 1974 environ, comme l’a noté la sociologue de Harvard Theda Skocpol, les Américains diplômés de l’enseignement supérieur ont quitté les organisations sociales où ils côtoyaient les personnes des classes sociales peu éduquées pour rejoindre des organisations où ils se côtoient seulement entre eux. Les classes sociales se sont contractées et se sont refermées sur elles-mêmes, comme l’explique le journaliste David Goodhart dans son livre La tête, la main et le cœur qui dénonce la toute puissance d’une classe cognitive, avec des conséquences sociales délétères : une désillusion massive parmi la jeunesse diplômée et une frustration chez celle qui ne l’est pas.

5. La méritocratie a endommagé la psyché de l’élite américaine. « La méritocratie est un gigantesque système de récompenses extrinsèques. Ses gardiens – les éducateurs, les recruteurs d’entreprise et les superviseurs sur le lieu de travail – imposent une série d’évaluations et d’obstacles aux jeunes. Les étudiants sont formés pour être de bons franchisseurs d’obstacles ». Nous couvrons d’approbation ou de désapprobation ceux qui franchissent ou pas les obstacles des admissions. Ceux qui ne réussissent pas à franchir les critères sociaux que nous avons mis en place s’effondrent. Certains jeunes sont submergés par la pression qui s’impose à eux. D’autres apprennent à trouver les astuces pour franchir les obstacles. « Les personnes élevées dans ce système de tri ont tendance à devenir réticentes au risque, consumées par la peur qu’un seul échec les fasse chuter définitivement ». La réussite professionnelle est devenue le seul critère du jeu.

6. Mais surtout, explique Brooks, cette « méritocratie a provoqué une réaction populiste qui déchire et fracture la société ». Le psychologue Robert Rosenthal et la directrice d’école Leonore Jacobson ont étudié dans les années 60 « l’effet Pygmalion » montrant que les enseignants se comportent différemment envers les élèves qu’ils considèrent comme intelligents. Des années de recherche ont montré qu’ils sourient et hochent la tête plus souvent à ces enfants, leur offrent plus de commentaires, leur accordent plus de temps pour poser des questions… Les autres par contre, eux, se rendent vite compte que ce système n’est pas pour eux. « Beaucoup de personnes qui ont perdu la course au mérite ont développé un mépris pour l’ensemble du système et pour les personnes qu’il élève. Cela a remodelé la politique nationale. Aujourd’hui, la fracture politique la plus importante se situe au niveau de l’éducation : les personnes moins instruites votent républicain, et les personnes plus instruites votent démocrate ». En 1960, John F. Kennedy a perdu le vote des diplômés universitaires blancs par deux contre un et est arrivé à la Maison Blanche grâce à la classe ouvrière. En 2020, Joe Biden a perdu le vote de la classe ouvrière blanche par deux contre un et est arrivé à la Maison Blanche grâce aux diplômés de l’enseignement supérieur. Le problème, c’est que des dirigeants populistes exploitent et rallient désormais les moins instruits et les déclassés, à l’image de Trump. « Ces dirigeants comprennent que la classe ouvrière en veut plus à la classe professionnelle qui sait tout et qui a de beaux diplômes qu’aux magnats de l’immobilier milliardaires ou aux riches entrepreneurs. Les dirigeants populistes du monde entier se livrent à des exagérations grossières, à des généralisations grossières et à des mensonges éhontés, tous destinés à dire à la classe instruite, en substance : « Allez vous faire foutre ! » »

« Lorsque le niveau de revenu est la division la plus importante d’une société, la politique est une lutte pour savoir comment redistribuer l’argent. Lorsque la société est davantage divisée par l’éducation, la politique devient une guerre de valeurs et de culture ». « Dans un pays après l’autre, les gens diffèrent en fonction de leur niveau d’éducation sur l’immigration, les questions de genre, le rôle de la religion sur la place publique, la souveraineté nationale, la diversité et la confiance que l’on peut accorder aux experts pour recommander un vaccin. »

« Alors que les électeurs de la classe ouvrière se sont déplacés vers la droite, le progressisme est devenu un signal élitaire ». En 2023, 65 % des étudiants de dernière année de Harvard, l’école la plus riche du monde, se sont identifiés comme progressistes ou très progressistes.

« James Conant rêvait de construire un monde de mélange de classes et de courtoisie sociale ; nous nous sommes retrouvés avec un monde de lignes de castes rigides et de guerre culturelle et politique à tous les étages. Conant rêvait d’une nation dirigée par des dirigeants brillants. Nous nous sommes retrouvés avec le président Trump. »
Comment changer la méritocratie ?
Régulièrement, des gens de gauche proposent de démanteler la méritocratie actuelle, de se débarrasser des admissions sélectives, proposent que les écoles aient toutes les mêmes ressources… Mais pour Brooks, c’est peut-être oublier que toutes les sociétés humaines ont été hiérarchisées, même la Russie soviétique et la Chine maoïste. « Ce qui détermine la santé d’une société n’est pas l’existence d’une élite, mais l’efficacité de l’élite, et le fait que les relations entre les élites et tous les autres soient mutuellement respectueuses. »

« Nous devons toujours trouver et former les personnes les mieux équipées pour devenir des physiciens nucléaires et des chercheurs en médecine. Si la méritocratie américaine ne parvient pas à identifier les plus grands jeunes génies et à les former dans des universités comme Caltech et MIT, la Chine – dont la méritocratie utilise depuis des milliers d’années des tests standardisés pour sélectionner les plus brillants – pourrait nous dépasser dans la fabrication de puces électroniques, l’intelligence artificielle et la technologie militaire, entre autres domaines. Et malgré tous les défauts du système éducatif américain, nos universités d’élite font de la recherche pionnière, génèrent des avancées considérables dans des domaines tels que la biotechnologie, propulsent des étudiants brillants dans le monde et stimulent une grande partie de l’économie américaine. Nos meilleures universités continuent de faire l’envie du monde. »

« Le défi n’est pas de mettre fin à la méritocratie », estime Brooks, « mais de l’humaniser et de l’améliorer ». Un certain nombre d’événements récents rendent cette tâche encore plus urgente – tout en rendant peut-être le moment politiquement propice à une vaste réforme (ou à son délitement dans une idiocratie qui pourrait être le point terminal de la méritocratie, pourrait-on ajouter, dans une perspective plus pessimiste).

Tout d’abord, la fin de la discrimination positive par la Cour suprême a limité la capacité des universités à accueillir des étudiants issus de milieux moins favorisés, estime Brooks. Désormais, pour intégrer des enfants de milieux sous-représentés, elles devront trouver de nouveaux moyens d’y parvenir. Deuxièmement, la concurrence intellectuelle de l’IA nécessite de trouver la manière pour détecter et former les personnes créatives, capables de faire ce que l’IA ne sait pas faire. Enfin, les universités sont confrontées à une crise de valeur lié au conflit Israélo-Palestinien que les Républicains instrumentisent pour intensifier leur guerre contre l’enseignement supérieur. Pour Brooks, cela invite les universités à reposer leurs principes et leurs valeurs. Enfin, le déclin démographique oblige les universités à réformer et réinventer leurs modalités d’inscriptions pour ne pas devenir exsangues.

Mais la première étape consiste à changer la définition du mérite. Nous devons trouver les moyens d’élargir la définition de Conant. Et Brooks de proposer de commencer par pointer les limites de la définition. « Lui et ses pairs travaillaient à une époque où les gens étaient optimistes quant à la possibilité de résoudre les problèmes sociaux grâce à l’application rationnelle des connaissances dans des domaines tels que les statistiques, l’économie, la psychologie, la théorie de la gestion et l’ingénierie. Ils admiraient les techniciens qui valorisaient la quantification, l’objectivation, l’optimisation et l’efficacité. Ils avaient une grande foi dans la puissance cérébrale brute et ont naturellement adopté une vision rationaliste de l’être humain : la raison est distincte des émotions. » Le problème, c’est que l’ingénierie sociale et ses planifications rationalistes, des grands ensembles sociaux à la planification économique, ont échoué. « Et ils ont échoué pour la même raison : les rationalistes partaient du principe que tout ce qui ne peut être compté et mesuré n’a pas d’importance. Ce n’est pas le cas. Les plans rationalistes échouent parce que la vie est trop complexe pour leurs méthodes de quantification. »

Dans L’Oeil de l’Etat, l’anthropologue James C. Scott raconte l’industrialisation de la forêt allemande et son échec. En cherchant à éliminer le désordre organique de la forêt, le cycle nutritif des arbres s’est déréglé. « En se concentrant uniquement sur les parties de la forêt qui semblaient essentielles à leurs usages, les planificateurs n’ont pas réussi à voir la forêt dans sa globalité. En essayant de standardiser et de contrôler le processus de croissance, les planificateurs ont en fait assassiné les arbres. »

« La méritocratie moderne méconnaît les êtres humains de la même manière que les rationalistes allemands méconnaissaient les arbres ». Pour rendre les gens lisibles par le système de tri, les chercheurs établissent une distinction entre ce qu’ils appellent les compétences « cognitives » et « non cognitives » (on dirait plutôt entre compétences académiques, mesurées par les résultats scolaires et les autres, NDT). Les compétences cognitives sont les compétences « dures » qui peuvent être facilement mesurées, comme le QI et les résultats à un test d’algèbre. Les compétences non cognitives sont des choses plus floues et plus difficiles à quantifier, comme la flexibilité émotionnelle, le courage, l’agilité sociale et les qualités morales (et ce sont aussi des compétences cognitives, rappelle bien sûr Brooks). « Ce que cette méthode de catégorisation révèle, c’est à quel point les rationalistes se soucient peu des capacités qui vont au-delà du QI ». La méritocratie moderne traite ce qui ne relève pas du QI ou de ses substituts, comme les résultats scolaires, comme négligeables, alors que ces autres compétences sont certainement plus essentielles qu’on ne le pense. « Avoir un processeur mental rapide est une bonne chose, mais d’autres traits peuvent jouer un rôle plus important pour déterminer votre contribution à la société : Faites-vous des efforts ? Pouvez-vous établir des relations ? Êtes-vous curieux ? Êtes-vous digne de confiance ? Comment réagissez-vous sous pression ? » En ne regardant que les résultats scolaires, la méritocratie actuelle semble favoriser certaines formes de personnalités sur d’autres, à savoir des personnalités plus égocentriques, plus manipulatrices, plus imbues d’elles-mêmes.

Pourtant, les caractéristiques non cognitives sont manifestes. L’économiste Raj Chetty et ses collègues ont tenté de comprendre ce qui caractérise les bons enseignants par exemple. Ce qui les distingue, c’est qu’ils semblent transmettre plus efficacement des compétences générales, comme s’entendre avec les autres, rester concentré. « Les chercheurs ont découvert que ces compétences générales, lorsqu’elles sont mesurées vers 9-10 ans, sont 2,4 fois plus importantes que les résultats en mathématiques et en lecture pour prédire le revenu futur d’un élève ». L’expert en leadership organisationnel Mark Murphy a découvert quelque chose de similaire lorsqu’il a étudié les raisons pour lesquelles les gens sont licenciés. Dans son ouvrage Hiring for Attitude, Murphy indique que seulement 11 % des personnes qui ont échoué dans leur travail (c’est-à-dire qui ont été licenciées ou ont obtenu une mauvaise évaluation de performance) l’ont été à cause d’un manque de compétences techniques. Pour les 89 % restants, les échecs étaient dus à des traits sociaux ou moraux qui ont affecté leur performance au travail (humeur maussade, difficulté à être coaché, faible motivation, égoïsme…). Ils ont échoué parce qu’ils manquaient des compétences non cognitives adéquates. Près de 50% des recrues démissionnent ou sont remerciées dans les 18 mois suivant leur embauche. Les effets du défaut de compétences non cognitives est cataclysmique.

« Pourquoi avons-nous une vision si déformée et incomplète de ce qui constitue les capacités humaines ? »
Les 4 qualités d’une méritocratie humaniste
« Pour repenser la méritocratie, nous devons prendre davantage en compte ces caractéristiques non cognitives », estime Brooks. « Nous devons cesser de traiter les gens comme des cerveaux sur un bâton et prêter davantage attention à ce qui les motive ».

Pour Leslie Valiant, professeur d’informatique à Harvard et spécialiste de la cognition, ce qui compte le plus pour le progrès humain n’est pas l’intelligence mais l’éducabilité, c’est-à-dire la capacité à apprendre de l’expérience. C’est là le cœur des qualités que nous devrions chercher à développer pour une méritocratie humaniste.

Pour Brooks, il faudrait redéfinir le mérite autour de 4 qualités cruciales :
- La curiosité. Les enfants naissent curieux, rappelle-t-il. Une étude d’observation a noté que les enfants entre 14 mois et 5 ans posaient en moyenne 107 questions par heure… puis ils vont à l’école et n’en posent plus. La psychologue Susan Engel, dans son livre, The Hungry Mind a montré qu’en maternelle les enfants exprimaient leur curiosité seulement 2,4 fois toutes les 2 heures de cours. A 10-11 ans, ce chiffre tombe à 0,48 fois. La productivité que l’on demande à l’enseignement empêche les élèves de poser des questions. « Notre méritocratie actuelle décourage la curiosité au profit d’une simple accumulation de contenu dans le but d’améliorer les résultats aux tests ». Le problème, c’est que lorsque les enfants ont perdu leur curiosité, vers l’âge de 11 ans, estime Engel, ils ont tendance à rester incurieux pour le reste de leur vie. Dans son étude sur les grandes personnalités de l’histoire, le psychologue Frank Barron estime que la curiosité constante est essentielle à leur réussite, c’est elle qui les aide à rester « flexibles, innovants et persévérants ». Notre système méritocratique encourage les gens à se concentrer étroitement sur les tâches cognitives, mais la curiosité exige du jeu et du temps libre non structuré. Si vous voulez comprendre à quel point quelqu’un est curieux, regardez comment il passe son temps libre, comme le recommandent dans leur livre, Talent : How to Identify Energizers, Creatives, and Winners Around the World, le capital-risqueur Daniel Gross et l’économiste Tyler Cowen.
- Un sens de la motivation et de la mission. Alors qu’il était emprisonné dans les camps de concentration nazis, le psychiatre autrichien Viktor Frankl remarqua que ceux qui survivaient le plus longtemps étaient des personnes qui s’étaient engagés. Comme il le montra dans son livre Découvrir un sens à sa vie (1988), la vie avait un sens pour eux, avant les camps, et ce sentiment les a soutenus dans les circonstances les plus déshumanisantes qui soient. Les personnes qui ont une perception du sens de la vie ou d’un engagement vont là où se trouvent les problèmes, estime Brooks. Certaines personnes sont motivées par des émotions morales, comme l’indignation face à l’injustice, la compassion pour les faibles, l’admiration pour un idéal. « Elles ont un fort besoin d’une vie qui ait un sens, le sentiment que ce qu’elles font compte vraiment ». Ce sentiment transcendant, cette cause qu’ils portent et les dépasse, les pousse à aller de l’avant et leur donne une cohérence interne.
- L’intelligence sociale. Lorsque Boris Groysberg, professeur de comportement organisationnel à la Harvard Business School, a examiné les carrières de centaines de spécialistes de l’investissement qui avaient quitté une société financière pour travailler dans une autre, il a Il a découvert quelque chose de surprenant : « Dans l’ensemble, les performances professionnelles de ceux qui ont changé d’entreprises ont chuté de manière spectaculaire et ils ont continué à souffrir pendant au moins cinq ans après avoir changé d’entreprise », explique-t-il dans Chasing Stars : The Myth of Talent and the Portability of Performance. Ces résultats suggèrent que parfois, le talent est inhérent à l’équipe, pas à l’individu. Dans une méritocratie efficace, nous voudrions trouver des personnes qui sont de fantastiques bâtisseurs d’équipe, qui ont d’excellentes compétences en communication et en cohésion. En sport, les facilitateurs sont des joueurs qui ont une capacité ineffable à rendre une équipe plus grande que la somme de ses parties. Pour l’économiste David Deming, ces compétences sociales sur le lieu de travail sont un fort prédicateur de la réussite professionnelle. Des recherches ont montré que ce qui rend certaines équipes spéciales n’est pas principalement l’intelligence de ses membres les plus intelligents, mais plutôt la façon dont ses dirigeants écoutent, la fréquence à laquelle ses membres prennent la parole, la façon dont ils s’adaptent aux mouvements des autres, la façon dont ils construisent la réciprocité.
- L’agilité. Dans des situations chaotiques, la puissance cérébrale brute peut être moins importante que la sensibilité de perception. Les grecs parlaient de la métis ou ruse de l’intelligence pour désigner cette capacité à synthétiser tous les aspects d’une situation pour la comprendre, une forme d’agilité qui permet l’anticipation. Les tests SAT comme l’apprentissage par les connaissances ne permettent pas d’acquérir cette capacité prédictive. Le psychologue et politologue de l’Université de Pennsylvanie Philip E. Tetlock a découvert que les experts sont généralement très mauvais pour faire des prédictions sur les événements futurs. En fait, il a découvert que plus l’expert est éminent, moins ses prédictions sont précises. Tetlock explique que cela est dû au fait que les opinions des experts sont trop figées : ils utilisent leurs connaissances pour soutenir des points de vue erronés. Les personnes agiles, au contraire, peuvent changer d’état d’esprit et expérimenter des perspectives alternatives jusqu’à ce qu’elles trouvent celle qui s’applique le mieux à une situation donnée. L’agilité vous aide à prendre de bonnes décisions en temps réel. Le neuroscientifique John Coates était un trader financier. Pendant les poussées haussières des marchés qui ont précédé les gros krachs, Coates a remarqué que les traders qui ont ensuite subi d’énormes pertes étaient devenus trop confiants. L’émotion fausse leur jugement, explique Coates dans The Hour Between Dog and Wolf. Ceux qui évitent les pertes dans ces situations ne sont pas ceux qui ont un meilleur QI, mais ceux qui sont capables de comprendre la signification des émotions qui les saisissent. Comme l’explique Leonard Mlodinow dans son livre Emotional: How Feelings Shape Our Thinking, « le contrôle et la connaissance de son état émotionnel sont ce qui est le plus important pour la réussite professionnelle et personnelle ».
Reconstruire la méritocratie
Si nous pouvons orienter notre méritocratie autour d’une définition des capacités humaines qui prend davantage en compte des traits tels que la motivation, la générosité, la sensibilité et la passion, alors nos écoles, nos familles et nos lieux de travail se réajusteront de manière fondamentale veut croire David Brooks.

Dans leur livre, In Search of Deeper Learning, les spécialistes de l’éducation Jal Mehta et Sarah Fine ont montré que dans bon nombre d’écoles, la plupart des élèves passent la majeure partie de leur journée à s’ennuyer, à se désintéresser et à ne pas apprendre. Mehta et Fine n’ont pas constaté beaucoup d’engagement passionné dans les salles de classe. Mais ils les ont observé dans les cours optionnels : le club de théâtre et autres activités parascolaires. Dans ces activités là, les élèves dirigeaient leur propre apprentissage, les enseignants faisaient office de coachs et les progrès étaient réalisés en groupe. Les élèves avaient plus d’autonomie et ressentaient un sentiment d’appartenance et de communauté.

« Plusieurs types d’écoles essaient de faire en sorte que la journée entière ressemble davantage à des activités parascolaires – où la passion est éveillée et le travail d’équipe est essentiel. Certaines de ces écoles sont centrées sur « l’apprentissage par projet », dans lequel les élèves travaillent ensemble sur des projets du monde réel. Les relations professeur-étudiant dans ces écoles ressemblent davantage à celles d’un maître et d’un apprenti qu’à celles d’un professeur et d’un auditeur. Pour réussir, les élèves doivent développer des compétences de leadership et de collaboration, ainsi que des connaissances bien sûr. Ils apprennent à se critiquer les uns les autres et à échanger des commentaires. Ils s’enseignent les uns aux autres, ce qui est une manière puissante d’apprendre. » Dans leur livre, Mehta et Fine documentent ces écoles que l’on retrouve également dans le documentaire Most Likely to Succeed et soulignent que dans ces programmes d’apprentissage par projets, les élèves ont plus d’autonomie. Ces écoles permettent aux élèves de faire des erreurs, de se sentir perdus et en difficulté, un sentiment qui est le prédicat de la créativité. « L’échec occasionnel est une caractéristique de cette approche ; elle cultive la résilience, la persévérance et une compréhension plus profonde. Les élèves font également l’expérience de la maîtrise et de la confiance en soi qui accompagne une réussite tangible ».

« Plus important encore, les élèves apprennent à s’engager pleinement dans un projet avec d’autres. Leurs journées d’école ne sont pas consacrées à la préparation d’examens standardisés ou à des cours magistraux, ce qui stimule leur curiosité, et non l’éteint ». Pour Brooks, cet apprentissage par projet nécessite bien sûr d’investir dans la formation des enseignants. Les données suggèrent en tout cas que les élèves de ces écoles ont tendance à réussir mieux que leurs pairs, même aux tests standardisés, et sans passer tout leur temps à s’y préparer.

« Construire un système scolaire axé sur la stimulation de la curiosité, de la passion, de la générosité et de la sensibilité nous obligera à changer la façon dont nous mesurons les progrès des élèves et repérons leurs capacités. Aujourd’hui, nous vivons dans un monde de cours magistraux et de relevés de notes : mais un relevé de notes ne vous dit pas si un élève peut mener un dialogue avec les autres, ou s’il est ouvert ou fermé d’esprit ».

Aux Etats-Unis, quelques 400 lycées font désormais partie d’une organisation appelée Mastery Transcript Consortium, qui utilise des mécanismes d’évaluation alternatifs. Alors qu’un bulletin scolaire standard indique ce qu’un élève sait par rapport à ses camarades de classe à une date donnée, le relevé de maîtrise montre avec beaucoup plus de précision dans quelle mesure l’élève a progressé vers la maîtrise d’un domaine de contenu ou d’un ensemble de compétences donné. Le rapport de maîtrise comprend également des compétences de vie plus larges : quel élève est bon dans l’établissement de relations, qui est bon dans les solutions créatives…

« Aucune évaluation ne peut à elle seule prédire parfaitement le potentiel d’une personne. Le mieux que nous puissions faire est de combiner des techniques d’évaluation ». Notes, portfolios de réalisations de projets, tests de mesures de compétences non cognitives, comme l’échelle de courage imaginée par la psychologue Angela Duckworth, le questionnaire de caractère moral, les évaluations d’apprentissage social et émotionnel, l’indicateur de trait à haut potentiel…

L’enjeu est de comprendre les personnalités, pas de les classer, estime Brooks. En Australie, par exemple, certaines écoles utilisent le Big Picture Learning Credential, qui évalue les traits que les étudiants ont développés en classe et en dehors : compétences en communication, définition d’objectifs, responsabilité, conscience de soi.. La création d’un réseau de centres d’évaluation indépendants dans ce pays qui utilisent de tels outils pourraient aider les étudiants à trouver l’université ou le programme de formation le mieux adapté à leurs intérêts fondamentaux. Ces centres pourraient aider les responsables des admissions à l’université à trouver les étudiants qui conviennent à leur établissement. Ils pourraient aider les employeurs à trouver les bons candidats. En bref, ils pourraient aider tous les membres de la méritocratie à prendre des décisions plus éclairées.

« Ces méthodes d’évaluation seraient inévitablement moins « objectives » qu’un score au SAT, mais c’est en partie là que réside l’intérêt. Notre système actuel est construit autour de la standardisation. Ses concepteurs voulaient créer un système dans lequel tous les êtres humains pourraient être placés sur une seule échelle, soigneusement disposés le long d’une seule courbe en cloche ». Comme l’écrit le spécialiste de l’éducation Todd Rose dans The End of Average, le système méritocratique actuel est construit sur « l’hypothèse paradoxale selon laquelle on peut comprendre les individus en ignorant leur individualité ». L’ensemble du système dit aux jeunes : « Vous devriez être comme tout le monde, mais en mieux ». La réalité est qu’il n’existe pas d’échelle unique que nous puissions utiliser pour mesurer le potentiel humain ou la capacité à diriger efficacement. Nous avons besoin d’un système d’évaluation qui valorise l’individu d’une manière plus complète et plus diverse qu’un relevé de notes. Les gardiens d’une méritocratie plus efficace ne se poseraient pas seulement les questions « Devrions-nous accepter ou rejeter ce candidat ? » ou « Qui sont les meilleurs ? » mais d’abord « En quoi chaque personne est-elle excellente et comment pouvons-nous l’amener à un poste approprié ? »

Pour améliorer et rendre plus juste la méritocratie, nous devons combiner ces mesures avec une refonte de ce que Joseph Fishkin appelle la « structure des opportunités ». À l’heure actuelle, la structure des opportunités de l’Amérique est unitaire. Pour atteindre des sommets, il faut obtenir d’excellentes notes au lycée, obtenir de bons résultats aux tests standardisés, aller à l’université et, dans la plupart des cas, obtenir un diplôme d’études supérieures de préférence dans les meilleures écoles. En chemin, il faut naviguer à travers les différents canaux et goulets d’étranglement qui vous guident et vous limitent.

Historiquement, lorsque les réformateurs ont essayé de rendre les voies d’accès à l’élite plus équitables, ils ont tenu pour acquis la structure des opportunités existante, essayant de donner un coup de pouce à certains individus ou groupes d’individus. Comme l’a proposé la discrimination positive. Pour Fishkin c’est la structure même des opportunités qu’il faut changer, qu’il faut rendre plurielle. « L’objectif doit être de donner aux gens accès à un plus large éventail de voies qu’ils peuvent suivre », écrit Fishkin, afin de donner un choix plus riche à chacun.

Avec un plus grand pluralisme des opportunités, les gardiens auront moins de pouvoir et les individus qui s’efforcent de s’épanouir au sein de la structure en auront plus. « Si la méritocratie avait plus de canaux, la société ne ressemblerait plus à une pyramide, avec un pic minuscule et exclusif au sommet ; elle ressemblerait à une chaîne de montagnes, avec de nombreux pics. »

« Dans une telle société, la reconnaissance serait plus largement distribuée, ce qui diminuerait le ressentiment populiste et rendrait la cohésion culturelle plus probable ».

Pour atteindre cet idéal, il faudra une stratégie à multiples facettes, en commençant par la redéfinition fondamentale du mérite lui-même. « Certains des leviers politiques que nous pourrions actionner incluent la relance de l’enseignement professionnel, l’obligation du service national, la création de programmes de capital social et le développement d’une politique industrielle plus intelligente », estime encore Brooks.

De 1989 à 2016, tous les présidents américains ont pris des mesures pour réformer l’enseignement professionnel et mieux préparer les élèves aux emplois du futur. Mais cela s’est surtout traduit par un recours accru aux tests standardisés, alors que l’enseignement technique dépérissait. La conséquence est que nous n’avons plus assez de travailleurs qualifiés pour faire fonctionner les usines.

Si le retour du service national peut paraître un cliché de la mobilisation sociale, Raj Chetty a montré que les amitiés entre classes sociales stimulent considérablement la mobilité sociale, en cela, la diversité que permet le service national peut être un moteur qui ne devrait pas être négligé (même s’il peut s’obtenir bien différemment et plus efficacement, me semble-t-il, en créant des écoles plus diverses socialement qu’elles ne sont).

Pour Brooks, nous devrions également chercher à réduire l’importance de l’école dans la société. Nombre de recherches ont montré pourtant que les relations de quartiers, les pairs et le contexte familial ou amical, peuvent avoir une plus grande influence sur la réussite scolaire que la qualité d’une école. Nous devrions investir davantage dans les organisations communautaires non scolaires.

Enfin, Brooks estime que pour vivre dans une économie qui récompense la diversité des compétences, il faut soutenir des politiques économiques qui stimulent le secteur industriel afin d’offrir des voies alternatives à tous. « Si nous trions les gens uniquement en fonction de leur intelligence supérieure, nous les trions en fonction d’une qualité que peu de gens possèdent ; nous créons inévitablement une société stratifiée et élitiste. Nous voulons une société dirigée par des gens intelligents, certes, mais aussi sages, perspicaces, curieux, attentionnés, résilients et engagés envers le bien commun. Si nous parvenons à trouver comment sélectionner la motivation des gens à grandir et à apprendre tout au long de leur vie, alors nous trierons les gens en fonction d’une qualité qui est distribuée de manière plus démocratique, une qualité que les gens peuvent contrôler et développer, et nous nous retrouverons avec une société plus juste et plus mobile. » Nous avons besoin d’une méritocratie qui valorise l’initiative et l’énergie. « Notre QI n’est pas la chose la plus importante pour nous ». Le plus important, ce sont nos désirs, ce qui nous intéresse, ce que nous aimons. C’est cela que la méritocratie devrait promouvoir.
25 November 2024
7:30
« La biométrie comme fonctionnalité »
sur Dans les algorithmes

En Europe on ne connait pas très bien Clear Secure, l’entreprise américaine de gestion d’identité, qui permet à ses 27 millions de clients de ne pas faire la queue à l’aéroport pour les contrôles d’identité, pas plus qu’à l’entrée des stades. Mais la plateforme d’identification sans friction veut désormais s’étendre bien au-delà, rapporte la Technology Review. Sa PDG, Caryn Seidman Becker a déclaré que Clear avait pour objectif de n’être rien de moins que la « plateforme d’identité universelle » du monde physique, une sorte de compte Google pour la vie réelle. Pour elle, « la biométrie n’est pas le produit… c’est une fonctionnalité ». Mais cette désintermédiation de l’identité par une entreprise privée pose d’innombrables problèmes. D’abord, l’entreprise n’est pas sans avoir connu des défaillances. Une enquête de l’autorité des transports suite à plusieurs incidents a montré par exemple « près de 50 000 photos utilisées par Clear pour inscrire des clients ont été signalées comme non concordantes par le logiciel de reconnaissance faciale de l’entreprise ». Ensuite, Clear a plusieurs fois exploité ses données sans le consentement de ses clients. Enfin, l’entreprise a connu plein de problèmes de vérification d’identité défaillante. Reste que Clear fait partie des entreprises qui pousse à l’intégration de la biométrie partout où elle est possible, comme une commodité, alors que les contrôle d’identité ont tendance à s’étendre à de plus en plus de lieux. Clear participe activement à la normalisation et à l’extension de la surveillance. Enfin, le risque est grand que Clear devienne un système de reconnaissance VIP, une surveillance de luxe, pour ceux qui peuvent se payer l’abonnement. D’ailleurs ses clients commencent à se plaindre d’être parfois trop nombreux et de devoir attendre dans les coupe-files.
22 November 2024
7:30
L’IA inéluctable
sur Dans les algorithmes

TechTonic Justice est une nouvelle initiative américaine pour combattre l’injustice algorithmique. Leur premier rapport explique que les personnes à faible revenu subissent plus que les autres des décisions basées sur l’IA et voient un aspect fondamental de leur vie décidée par l’IA. Pour eux, l’IA est déjà inéluctable. Elle restreint les opportunités des personnes à faible revenu dans tous les aspects fondamentaux de la vie : à la maison, au travail, à l’école, dans les bureaux gouvernementaux et au sein des familles… Aux Etats-Unis, ce sont « 92 millions de personnes à faible revenus qui ont un aspect fondamental de leur vie déterminé par l’IA ».

L’association, a été fondée par Kevin De Liban, qui l’a créé après avoir travaillé pendant 12 ans à l’assistance légale de l’Arkansas, où il a représenté des clients handicapés qui ont poursuivi le Département des services sociaux de l’État pour avoir réduit leurs services de soins à domicile en raison d’un système informatisé défectueux. « Le problème n’est pas que l’automatisation soit intrinsèquement mauvaise, a déclaré De Liban. Le problème est que les systèmes sont trop souvent conçus pour privilégier la réduction des prestations sociales plutôt que de garantir que les personnes puissent y accéder. Et ils sont utilisés comme un substitut moins coûteux à un examen plus minutieux et mené par des humains », rapporte le Washington Post. « Tous ces outils de prise de décision basés sur l’IA, finissent par éliminer des personnes qui devraient être éligibles aux programmes d’aides sociales ».
21 November 2024
7:30
A quoi sert l’innovation si elle ne fonctionne pas pour tout le monde ?
sur Dans les algorithmes

A quoi sert l’innovation si elle ne fonctionne pas pour tout le monde ? interrogent, dans un essai provocateur, Rachel Coldicutt et Matt Dowse. La politique d’innovation au Royaume-Uni (mais c’est également le cas bien au-delà) se concentre sur deux priorités que sont la croissance des entreprises et l’amélioration de la recherche. Des perspectives qui négligent le monde réel de l’innovation, celle qui se déploie au quotidien, alimentée par l’ingéniosité, l’expérimentation et l’adaptation des technologies existantes. Pourtant, l’innovation communautaire a un impact plus local, une application plus disparate et une intention plus régénératrice que de nombreuses grandes technologies et percées primées – ce qui signifie qu’elle est également plus difficile à classer dans des tableaux ou à traduire en gros titres accrocheurs. En tant que telle, elle est moins visible pour les décideurs politiques.

« Pourtant, l’innovation communautaire – qui permet la résolution de problèmes contextuels, le développement d’infrastructures sociales et la création de biens communs de la connaissance – se produit partout au Royaume-Uni, souvent avec peu ou pas de soutien. Nous pensons que soutenir et encourager l’innovation locale et indépendante est essentiel pour relancer l’économie de l’innovation au Royaume-Uni de manière à ce qu’elle profite à davantage de personnes à travers le pays. Cela permettra de développer des compétences, des capacités et des équipements locaux qui ne dépendent pas d’un petit nombre d’entreprises de la Silicon Valley, de construire une infrastructure sociale solide et de créer de nouvelles opportunités pour davantage de personnes, dans davantage d’endroits – en fin de compte, de construire une économie de l’innovation plus diversifiée avec des niveaux plus élevés d’avantages publics et de participation ».
Changer d’échelle
Les technologies à plus petite échelle sont pourtant un élément essentiel de la résilience à long terme, en particulier dans le contexte de l’urgence climatique.

« Plutôt que de faire profiter un petit groupe d’innovateurs appartenant à l’élite sociale, une économie de l’innovation véritablement moderne doit chercher à créer des opportunités plus plurielles et équitables, accessibles au-delà des grandes institutions de recherche et des grandes entreprises technologiques, qui privilégient la régénération plutôt que l’extraction, et qui élèvent et autonomisent les personnes et les communautés dans leur diversité ».

Petite dans ce cas ne signifie pas un manque d’ambition. Des technologies à plus petites échelles signifient des technologies peu concentrées et plurielles, c’est-à-dire des technologies qui puissent apporter une alternative à la nature intensive en ressources des technologies modernes à grande échelle. La question écologique rend ce changement d’échelle urgent, et il est probable qu’un passage à des approches informatiques à plus petite échelle et plus distribuées deviendra un impératif au cours de la prochaine décennie. C’est particulièrement vrai des technologies d’IA, comme le rappelaient récemment Gael Varoquaux, Alexandra Sasha Luccioni et Meredith Whittaker dans un article, soulignant que l’IA a développé un « goût malsain pour l’échelle », excluant structurellement les petits acteurs. Nous devons œuvrer à ce que le passage à grande échelle ne soit pas la solution universelle à tous les problèmes et nous concentrer plutôt sur des modèles qui peuvent être exécutés sur du matériel largement disponible, à des coûts modérés. « Cela permettra à davantage d’acteurs de façonner la manière dont les systèmes d’IA sont créés et utilisés, offrant une valeur plus immédiate dans des applications allant de la santé aux services aux entreprises, tout en permettant une pratique plus démocratique de l’IA ».

Pour y parvenir, estiment Coldicutt et Dowse, il est nécessaire d’opter pour un changement de culture et un changement de discours, afin que l’innovation à petite échelle et à long terme qui construit l’infrastructure sociale, cultive les compétences et autonomise les personnes et les communautés puisse être célébrée, recevoir des investissements et jouer un rôle actif. Les deux auteurs estiment que pour cela, il faut modifier l’investissement technologique, pour donner la priorité aux rendements sociaux à long terme plutôt qu’aux profits à court terme. Qu’il faut produire des infrastructures pour favoriser les investissements à long terme en faveur de sociétés équitables, plutôt que de soutenir les rendements d’un petit nombre d’entreprises et d’investisseurs de la Silicon Valley. Cela nécessite également de réfléchir à adapter nos modalités d’organisation pour faciliter cette autre économie de l’innovation. « Faisons en sorte que la technologie fonctionne pour 8 milliards de personnes et non pour 8 milliardaires ».
Des technologies pour tous dans une économie du soin
L’enjeu est de favoriser des technologies qui améliorent la qualité de vie, la santé, le bien être, le travail, les loisirs, les relations sociales et les opportunités économiques pour tous, partout. Nous devons passer d’une innovation top-down à une innovation communautaire, comme le propose Careful Trouble, l’initiative que Coldicutt a lancé, à la fois cabinet de conseil et entreprise sociale communautaire – rappelons que Rachel Coldicutt a été longtemps l’animatrice de DotEveryone, le think tank britannique dédié au développement de technologies responsables, dont les activités ont été continuées par l’Ada Lovelace Institute et l’Open Data institute. Carfeul Trouble vient soutenir des personnes et des communautés qui gèrent des coopératives d’énergie responsables, des collectifs de soins sociaux, des pubs et des bibliothèques communautaires, des studios de technologie et des centres artistiques, des programmes de rénovation de logements et des entreprises de médias locaux. Autant d’exemples et d’initiatives qui servent à renforcer le réseau technologique communautaire et qui montrent que les technologies peuvent être utilisées pour renforcer les liens sociaux, la résilience et créer de la valeur économique de proximité, s’ils ne manquaient pas de soutiens et d’investissements (à New York également, Community Tech propose de reconstruire la technologie pour bâtir des communautés, en développant également une autre approche et un autre rapport à la technologie).

Coldicutt et Dowse rappellent que la population reste pessimiste quant à l’impact actuel des technologies. Et elle a raison : les opportunités créées par l’innovation technologique, telle qu’on la pratique, ne sont pas réparties équitablement, bien au contraire. Pour résoudre ce problème, il est nécessaire de repenser les normes d’innovation, ce qui ne se fera pas simplement par des investissements accrus dans les grandes entreprises ou dans l’innovation de pointe. « Si l’on ne peut pas compter sur un petit nombre d’entreprises pour créer la prospérité pour tous, il faut alors promouvoir un autre modèle d’innovation », plus inclusif, défendent-ils.

Bien sûr, il reste difficile de traduire la nécessité d’un pluralisme d’innovation en politique. Dans le domaine technologique, on considère que l’innovation ne se déroule que dans un contexte capitaliste, déconnecté des contextes sociaux, économiques et politiques où les technologies opèrent. Le passage à l’échelle et le rendement financier sont partout les principaux indicateurs de réussite et ne bénéficient qu’à un petit nombre d’initiatives. A l’inverse, les approches sociotechniques plus complexes reçoivent relativement peu de soutien, ce qui signifie qu’elles sont plus susceptibles de rester au stade pilote ou de démonstrateur, ou d’être reclassées comme des initiatives « Tech for Good » à faibles enjeux qui dépendent du financement caritatif. Mis en concurrence avec des investissements technologiques de plusieurs milliards visant à fournir des solutions universelles à grande échelle, l’innovation communautaire peut sembler pittoresque et quelque peu amateur, avec peu de portée ou d’impact ; cependant, cela est simplement dû au cadrage que nous portons sur l’innovation – « une grande partie de la vie réelle, en ligne et hors ligne, se déroule dans le plurivers des relations plutôt que dans des transactions ou des bilans d’entreprises, et les technologies que nous développons et utilisons devraient refléter et améliorer cela ».

Il n’existe pas de solution miracle, de modèle, de pilote ou d’innovation qui puisse résoudre les défis systémiques qui sont devant nous, rappellent les auteurs. Le changement de système nécessite de multiples innovations transformatrices à différents moments et niveaux.

Mais, fondamentalement, soutenir un modèle mixte d’innovation signifie s’éloigner d’une tendance à faire de gros paris sur une seule technologie ou un seul mécanisme réglementaire et s’engager à gérer une variété d’interventions à des vitesses et des rythmes différents, comme le disent l’ethnographe Vanessa Lefton et la designer Alex Fleming du Policy Lab. Pour Hilary Cottam, auteure de Radical Help (Virago, 2018), une société florissante ne peut pas être atteinte en maintenant une vision économique du monde figée et unique, expliquait-elle dans une tribune : « Nous avons besoin d’un code de conception – les valeurs et les paramètres qui permettent aux petites solutions à échelle humaine de se développer dans un cadre national. Il s’agit d’un processus d’élaboration des politiques qui repose sur une vision claire, des réseaux et des relations humaines. Il est à l’opposé du processus actuel d’élaboration des politiques de commandement et de contrôle industriel. Les paramètres définiront de nouvelles formes de mesures et de réglementation, au sein d’une culture dans laquelle nos relations les uns avec les autres sont ce qui compte le plus. Cela nécessite à son tour un nouveau cadre économique : une économie du soin.«

Les technologies et l’innovation n’existent pas seulement comme des intensificateurs économiques. « Les interventions communautaires sont essentielles pour concevoir et créer des infrastructures qui reflètent notre vie réelle au-delà des exigences de la croissance économique ; pour réaliser le plein potentiel des initiatives existantes et cultiver les conditions nécessaires à un changement plus axé sur la communauté, l’innovation communautaire doit être visible, avec une place à la table des grandes entreprises, avec un investissement proportionnel et un soutien politique ».

Pour y parvenir, Coldicutt et Dowse proposent de rediriger une partie significative de l’investissement et du soutien politique vers ces autres formes d’innovation. « Une bonne croissance nécessite les bonnes conditions pour prendre racine. L’innovation communautaire est un excellent compost, mais elle a besoin de la lumière du soleil des investissements et d’une bonne politique pour s’épanouir et se développer. »
20 November 2024
9:53
Vers l’IA « physique »
sur Dans les algorithmes

L’IA transforme la façon dont les robots apprennent à se déplacer et à naviguer dans les environnements. Ils acquièrent des compétences plus rapidement que jamais et s’adaptent d’une manière que l’on pensait auparavant impossible. Le Financial Times fait le point sur les progrès de l’IA robotique, celle qui comprend les lois de la physique pour travailler avec nous. Des robots qui tournent les pages d’un livre ou qui mettent des tee-shirts sur un cintre. L’article explique, très graphiquement, que la méthode utilisée pour que l’IA génère des images ou du texte, est désormais utilisée pour produire des actions. « Cela signifie que les robots peuvent apprendre une nouvelle tâche, comme utiliser un marteau ou tourner une vis, puis l’appliquer dans différents contextes ». Le problème pour l’instant reste encore de passer d’une tâche à l’autre, mais pour cela l’espoir consiste à construire des Large Action Models, c’est-à-dire de très grands modèles d’actions et de produire les données pour y parvenir.

De là à avoir des robots domestiques capables d’évoluer dans nos environnements complexes, il y a encore quelques progrès à faire. Mais l’idée d’un robot capable de faire le ménage dans nos intérieurs semble plus près de se réaliser qu’hier.
7:30
Où est passée la grande désinformation de l’IA ?
sur Dans les algorithmes

L’effondrement de l’information a-t-il eu lieu ? En tout cas, la submersion des contenus par l’IA générative qu’annonçaient de nombreux médias au début de la campagne électorale américaine n’a semble-t-il pas eu lieu, ou pas comme on l’a escompté, explique Matteo Wong pour The Atlantic. C’est ce qu’explique un trio de chercheurs de l’université de Purdue, Christina Walker, Daniel Schiff et Kaylyn Jackson Schiff, qui ont collecté les images et vidéos politiques générées par l’IA depuis juin 2023. Les contenus générés par l’IA durant la campagne électorale ont été nombreux, mais ils ont surtout été utilisés sous forme de satire ou de divertissement que comme outils de désinformation. Leur usage a été bien plus transparent qu’attendue. Les images étaient fausses mais ne faisaient pas semblant d’être vraies.

Reste qu’on mesure mal l’impact de ces partages, modèrent les chercheurs. « Ces images et vidéos générées par l’IA sont instantanément lisibles et ciblent explicitement le partage d’émotions plutôt que les informations (…). » Ces images ont peut-être finalement très bien accompagné la disparition des faits, du consensus et de la rationalité. Elles ont d’abord permis de faire primer l’émotion sur la rationalité dans un moment où la vérité était particulièrement malmenée… mais d’abord par les discours politiques eux-mêmes.

MAJ du 21/11/2024 : « L’IA semble avoir moins contribué à façonner la façon dont les gens ont voté et bien plus à éroder leur foi dans la réalité », rapporte le Washington Post. Elle a été plus utilisée pour consolider les croyances partisanes que pour influencer les mentalités, brouillant la réalité. Des chercheurs de l’Institute for Strategic Dialogue ont constaté que les utilisateurs croyaient plus souvent que le contenu authentique était généré par l’IA que l’inverse. Nous sommes bien plus dans une crise de la réalité que dans une crise de désinformation.
19 November 2024
7:30
L’État artificiel : la vie civique automatisée
sur Dans les algorithmes

Le philosophe Rob Horning rapporte que des chercheurs de Google ont publié un article décrivant un projet de « Machines d’Habermas » – hommage au philosophe et à sa théorie de l’espace public – décrivant des machines permettant de faciliter la délibération démocratique. L’idée consiste à utiliser des IA génératives pour générer des déclarations de groupes à partir d’opinions individuelles, en maximisant l’approbation collective par itération successive. Le but : trouver des terrains d’entente sur des sujets clivants, avec une IA qui fonctionne comme un médiateur.
Vers des machines pour délibérer à notre place
Dans leur expérimentation, les chercheurs rapportent que les participants ont préféré les déclarations générées par les IA à celle des humains. Pour Horning, cela signifie peut-être que les gens « sont plus susceptibles d’être d’accord avec une position lorsqu’il semble que personne ne la défende vraiment qu’avec une position articulée par une autre personne ». Effectivement, peut-être que le fait qu’elles soient artificielles et désincarnées peut aider, mais peut-être parce que formulées par la puissance des LLM, ces propositions peuvent sembler plus claires et neutres, comme le sont souvent les productions de l’IA générative, donc plus compréhensibles et séduisantes. Les chercheurs mettent en avant l’efficacité et la rapidité de leur solution, par rapport aux délibérations humaines, lentes et inefficaces – mais reconnaissent que les propositions et les synthèses faites par les outils nécessiteraient d’être vérifiées. 404 media rapportait il y a peu le développement d’une IA pour manipuler les réseaux sociaux permettant de cibler les messages selon les discours politiques des publics. Pas sûr effectivement qu’il y ait beaucoup de différence entre les machines d’Habermas de Google et ces outils de manipulation de l’opinion.

Ces efforts à automatiser la sphère publique rappellent à Horning le livre de Hiroki Azuma, General Will 2.0 (2011) qui défendait justement l’utilisation de la surveillance à grande échelle pour calculer mathématiquement la volonté générale de la population et se passer de délibération. « Nous vivons à une époque où tout le monde est constamment dérangé par des « autres » avec lesquels il est impossible de trouver un compromis », expliquait Azuma, en boomer avant l’heure. Il suffit donc d’abandonner la présomption d’Habermas et d’Arendt selon laquelle la politique nécessite la construction d’un consensus par le biais de discussions… pour évacuer à la fois le compromis et les autres. D’où l’idée d’automatiser la politique en agrégeant les données, les comportements et en les transformant directement en décisions politiques.

Rob Horning voit dans cette expérimentation un moyen de limiter la conflictualité et de lisser les opinions divergentes. Comme on le constate déjà avec les réseaux sociaux, l’idée est de remplacer une sphère publique par une architecture logicielle, et la communication interpersonnelle par un traitement de l’information déguisé en langage naturel, explique-t-il avec acuité. « Libérer l’homme de l’ordre des hommes (la communication) afin de lui permettre de vivre sur la base de l’ordre des choses (la volonté générale) seule », comme le prophétise Azuma, correspond parfaitement à l’idéologie ultra rationaliste de nombre de projets d’IA qui voient la communication comme un inconvénient et les rencontres interpersonnelles comme autant de désagréments à éviter. « Le fantasme est d’éliminer l’ordre des humains et de le remplacer par un ordre des choses » permettant de produire la gouvernance directement depuis les données. Les intentions doivent être extraites et les LLM – qui n’auraient aucune intentionnalité (ce qui n’est pas si sûr) – serviraient de format ou de langage permettant d’éviter l’intersubjectivité, de transformer et consolider les volontés, plus que de recueillir la volonté de chacun. Pour Horning, le risque est grand de ne considérer la conscience de chacun que comme un épiphénomène au profit de celle de la machine qui à terme pourrait seule produire la conscience de tous. Dans cette vision du monde, les données ne visent qu’à produire le contrôle social, qu’à produire une illusion d’action collective pour des personnes de plus en plus isolées les unes des autres, dépossédées de la conflictualité et de l’action collective.

Mais les données ne parlent pas pour elles-mêmes, nous disait déjà danah boyd, qui dénonçait déjà le risque de leur politisation. La perspective que dessinent les ingénieurs de Google consiste à court-circuiter le processus démocratique lui-même. Leur proposition vise à réduire la politique en un simple processus d’optimisation et de résolution de problèmes. La médiation par la machine vise clairement à évacuer la conflictualité, au cœur de la politique. Elle permet d’améliorer le contrôle social, au détriment de l’action collective ou de l’engagement, puisque ceux-ci sont de fait évacués par le rejet du conflit. Une politique sans passion ni conviction, où les citoyens eux-mêmes sont finalement évacués. Seule la rétroaction attentionnelle vient forger les communautés politiques, consistant à soumettre ceux qui sont en désaccord aux opinions validées par les autres. La démocratie est réduite à une simple mécanique de décisions, sans plus aucune participation active. Pour les ingénieurs de Google, la délibération politique pourrait devenir une question où chacun prêche ses opinions dans une application et attend qu’un calculateur d’opinion décide de l’état de la sphère publique. Et le téléphone, à son tour, pourrait bombarder les utilisateurs de déclarations optimisées pour modérer et normaliser leurs opinions afin de lisser les dissensions à grande échelle. Bref, une sorte de délibération démocratique sous tutelle algorithmique. Un peu comme si notre avenir politique consistait à produire un Twitter sous LLM qui vous exposerait à ce que vous devez penser, sans même s’interroger sur toutes les défaillances et manipulations des amplifications qui y auraient cours. Une vision de la politique parfaitement glaçante et qui minimise toutes les manipulations possibles, comme nous ne cessons de les minimiser sur la façon dont les réseaux sociaux organisent le débat public.

Dans le New Yorker, l’historienne Jill Lepore dresse un constat similaire sur la manière dont nos communications sont déjà façonnées par des procédures qui nous échappent. Depuis les années 60, la confiance dans les autorités n’a cessé de s’effondrer, explique-t-elle en se demandant en quoi cette chute de la confiance a été accélérée par les recommandations automatisées qui ont produit à la fois un électorat aliéné, polarisé et méfiant et des élus paralysés. Les campagnes politiques sont désormais entièrement produites depuis des éléments de marketing politique numérique.

En septembre, le Stanford Digital Economy Lab a publié les Digitalist papers, une collection d’essais d’universitaires et surtout de dirigeants de la Tech qui avancent que l’IA pourrait sauver la démocratie américaine, rien de moins ! Heureusement, d’autres auteurs soutiennent l’exact inverse. Dans son livre Algorithms and the End of Politics (Bristol University Press, 2021), l’économiste Scott Timcke explique que la datafication favorise le néolibéralisme et renforce les inégalités. Dans Théorie politique de l’ère numérique (Cambridge University Press, 2023), le philosophe Mathias Risse explique que la démocratie nécessitera de faire des choix difficiles en matière de technologie. Or, pour l’instant, ces choix sont uniquement ceux d’entreprises. Pour Lepore, nous vivons désormais dans un « État artificiel », c’est-à-dire « une infrastructure de communication numérique utilisée par les stratèges politiques et les entreprises privées pour organiser et automatiser le discours politique ».
Une société vulnérable à la subversion
La politique se réduit à la manipulation numérique d’algorithmes d’exploration de l’attention, la confiance dans le gouvernement à une architecture numérique appartenant aux entreprises et la citoyenneté à des engagements en ligne soigneusement testés et ciblés. « Au sein de l’État artificiel, presque tous les éléments de la vie démocratique américaine – la société civile, le gouvernement représentatif, la presse libre, la liberté d’expression et la foi dans les élections – sont vulnérables à la subversion », prévient Lepore. Au lieu de prendre des décisions par délibération démocratique, l’État artificiel propose des prédictions par le calcul, la capture de la sphère publique par le commerce basé sur les données et le remplacement des décisions des humains par celles des machines. Le problème, c’est qu’alors que les États démocratiques créent des citoyens, l’État artificiel crée des trolls, formule, cinglante, l’historienne en décrivant la lente montée des techniques de marketing numérique dans la politique comme dans le journalisme.

À chaque étape de l’émergence de l’État artificiel, les leaders technologiques ont promis que les derniers outils seraient bons pour la démocratie… mais ce n’est pas ce qui s’est passé, notamment parce qu’aucun de ces outils ne sont démocratiques. Au contraire, le principal pouvoir de ces outils, de Facebook à X, est d’abord d’offrir aux entreprises un contrôle sans précédent de la parole, leur permettant de moduler tout ce à quoi l’usager accède. Dans l’État artificiel, l’essentiel des discours politiques sont le fait de bots. Et X semble notamment en avoir plus que jamais, malgré la promesse de Musk d’en débarrasser la plateforme. « L’État artificiel est l’élevage industriel de la vie publique, le tri et la segmentation, l’isolement et l’aliénation, la destruction de la communauté humaine. » Dans sa Théorie politique de l’ère numérique, Risse décrit et dénonce une démocratie qui fonctionnerait à l’échelle de la machine : les juges seraient remplacés par des algorithmes sophistiqués, les législateurs par des « systèmes de choix collectifs pilotés par l’IA ». Autant de perspectives qui répandent une forme de grande utopie démocratique de l’IA portée par des technoprophètes, complètement déconnectée des réalités démocratiques. Les Digitalist Papers reproduisent la même utopie, en prônant une démocratie des machines plutôt que le financement de l’éducation publique ou des instances de représentations. Dans les Digitalists Papers, seul le juriste Lawrence Lessig semble émettre une mise en garde, en annonçant que l’IA risque surtout d’aggraver un système politique déjà défaillant.
La grande difficulté devant nous va consister à démanteler ces croyances conclut Lepore. D’autant que, comme le montre plusieurs années de problèmes politiques liés au numérique, le risque n’est pas que nous soyons submergés par le faux et la désinformation, mais que nous soyons rendus toujours plus impuissants. « L’objectif principal de la désinformation n’est pas de nous persuader que des choses fausses sont vraies. Elle vise à nous faire nous sentir impuissants », disait déjà Ethan Zuckerman. Dans une vie civique artificielle, la politique devient la seule affaire de ceux qui produisent l’artifice.
15 November 2024
17:41
« Musk n’est pas notre projet »
sur Dans les algorithmes

« La régulation est le prolongement de la démocratie et un moyen d’en assurer la défense », rappelle Jean Cattan, secrétaire général du Conseil national du numérique. « L’approfondissement de la portabilité des données, des contacts, graphes sociaux, historiques, préférences, etc. devrait être la priorité de la Commission européenne dans la mise en œuvre du règlement sur les marchés numériques à l’heure de la bascule des réseaux sociaux dominants dans un environnement politique potentiellement hors de contrôle. En soutien et en parallèle à l’élaboration de ce cadre, encourageons le déploiement des outils de portabilité. Certains existent, d’autres doivent encore être développés. » Et Cattan d’inviter à déployer des alternatives aux Big Tech libres et ouvertes, à repenser le panorama médiatique et à miser sur la proximité.
14 November 2024
11:09
Ciblage publicitaire : l’atténuation ne suffit pas
sur Dans les algorithmes

Très intéressant article de recherche sur l’usage de variables de substitution pour le ciblage publicitaire politique. Les chercheurs rappellent que les plateformes ont déployé ces dernières années des politiques d’atténuation pour limiter l’accès aux attributs de ciblage jugés problématiques, tels que l’orientation politique, la religion ou l’origine ethnique. Mais les annonceurs les ont largement contourné par le recours à des substituts, comme le fait d’apprécier certaines personnalités ou certains sports (le tir, la chasse…), des marques de voitures ou d’alcool – voir également l’analyse des catégories utilisées par les annonceurs qu’avait détaillé The Markup et dont nous parlions en analysant l’ouvrage de Tim Hwang. Les chercheurs proposent de mieux mesurer les biais de ciblage en observant la popularité des critères de ciblage utilisées par les annonceurs. Ils démontrent que les politiques mises en place par les plateformes sont inefficaces et constatent que les proxies utilisés par les annonceurs, eux, sont efficaces pour déterminer l’affiliation politique ou l’origine ethnique. Pour les chercheurs, l’étude montre qu’il est nécessaire de restreindre encore le ciblage publicitaire à des paramètrages larges et « sûrs » et invitent les plateformes à mettre en place des alertes de ciblage problématiques à l’attention des utilisateurs et des annonceurs. Une autre piste consisterait à réduire la visibilité des interactions des utilisateurs avec les contenus payants afin qu’il ne soit pas visibles aux autres utilisateurs. L’enquête est en tout cas assez éclairante sur les enjeux de granularité qu’offre la publicité numérique.
13 November 2024
14:52
Registre citoyen des algos publics
sur Dans les algorithmes

« Seuls 4% des algorithmes répertoriés dans l’inventaire ont fait l’objet d’une évaluation interne diffusée publiquement. Il est également presque impossible de savoir combien ces systèmes ont coûté (3 projets seulement sur 72 ont diffusé un budget), sur quelles données ils ont été entrainés, ou pourquoi un algorithme a été choisi plutôt qu’un autre ». L’Observatoire (citoyen) des algorithmes publics est en ligne !
11:59
Défenseur des droits : pour une maîtrise de l’intervention humaine et une transparence effective des algorithmes
sur Dans les algorithmes

Les risques algorithmiques sont invisibles, notamment parce que « les citoyens contestent davantage les résultats des décisions dont ils sont l’objet que le processus qui y conduit », rappelle le Défenseur des droits dans un rapport très juridique sur algorithmes, IA et services publics qui défend le respect des droits des usagers. Le rapport constate « l’algorithmisation de l’administration » et tente de dresser un bilan des garanties offertes aux usagers, notamment en observant la maîtrise de l’intervention humaine dans la décision et dans son atténuation. Le Défenseur des droits rappelle que faire valider une décision d’un système sans vérification, ne peut pas être considérée comme une intervention. Et le Défenseur de constater que l’exclusion par le calcul automatique de dossiers de candidats dans Parcoursup ou dans Affelnet est à ce sens problématique (tout comme le sont également les corrections auxquelles procède l’algorithme central qui redistribue les dossiers pour prendre en compte les quotas hors Académie et de boursiers, sans que les Commissions d’examen aient leurs mots à dire, pourrait-on faire remarquer).

Sur la question de la transparence des décisions, le Défenseur des droits rappelle qu’elle est un élément clef et un prérequis pour assurer la loyauté des traitements et qu’elle est un enjeu d’intelligibilité de l’action administrative. Le rapport invite les autorités à mettre en place des sanctions en cas de non publication des règles de traitements et à produire des modèles de demande d’information pour les usagers.
7:30
IA aux impôts : vers un « service public artificiel » ?
sur Dans les algorithmes

Les publications syndicales sur l’IA sont nombreuses. Souvent, elles sont assez généralistes… et peu spécifiques. C’est-à-dire qu’elles interrogent la place des technologies dans les transformations à venir, font des recommandations pour améliorer les modalités de gouvernance, mais ne regardent pas toujours ses déploiements concrets, préférant poser un cadre général pour en comprendre les effets, comme le montrait, parmi les plus récents, le Plaidoyer pour un dialogue social technologique de FO, les réflexions de la CGT sur le sujet ou celles de la CFE-CGC (voir également le manifeste commun de plusieurs organisations syndicales qui défend un dialogue social technologique ainsi que le tout récent site dédié DIAL-IA).

C’est un peu l’inverse que propose Solidaires Finances Publiques dans le court livre que le syndicat publie aux éditions Syllepse, L’IA aux impôts. Les syndicalistes y évoquent d’abord ce que le déploiement de l’intelligence artificielle change pour les agents et les usagers à la Direction générale des finances publiques (DGFIP), l’une des administrations françaises pionnières dans le développement des outils numériques et de l’IA.
L’opacité comme principe, la désorganisation comme résultat
L’IA y est déployée depuis 2014 notamment pour évaluer les risques et les schémas de fraude en modélisant les fraudes passées. Solidaires rappelle d’ailleurs les limites de ces schémas, qui peinent à détecter les fraudes atypiques et ses nouvelles modalités. Mais l’IA à la DGFIP, c’est d’abord de très nombreux projets que le syndicat lui-même ne parvient pas à recenser.

Ce sont d’abord des outils pour détecter la fraude des entreprises et des particuliers, notamment en repérant des anomalies ou des incohérences déclaratives depuis les déclarations de revenus, les comptes bancaires, les données patrimoniales et les informations provenant d’autres administrations, via le projet CFVR (« Ciblage de la fraude et valorisation des requêtes »). C’est également le projet Signaux faibles, pour détecter et identifier les entreprises en difficulté qui produit un score de risque depuis des données financières économiques et sociales des entreprises provenant de plusieurs services publics, afin d’évaluer leur rentabilité, leur endettement, leur niveau d’emploi, leurs difficultés à régler leurs cotisations sociales. C’est aussi un projet pour prédire les difficultés financières des collectivités locales à partir d’indicateurs comme l’endettement des communes. Un autre projet encore vise à estimer la valeur vénale et locative des biens immobiliers exploitant les données de transaction immobilières pour produire de meilleures estimations. Le projet Foncier innovant, lui, vise à détecter depuis des images aériennes, les piscines et bâtiments non déclarés par les contribuables (voir la très bonne synthèse sur ce programme réalisé par le projet Shaping AI). Le projet TAAP (« Traitement d’analyse auto prédictive ») vise à contrôler les dépenses à risques que l’Etat doit payer à ses fournisseurs afin d’accélérer ses règlements. Enfin, on trouve là aussi un voire des projets de chatbot pour répondre aux demandes simples des usagers sur impots.gouv.fr… (l’administration fiscale reçoit chaque année 12 millions de demandes par mail des contribuables, cependant une première expérimentation de réponses automatisées sur les biens immobiliers a produit 70% de réponses erronées ou fausses).

La liste n’est pourtant pas exhaustive. De nombreux autres projets sont en phase d’expérimentations, même si leur documentation fait bien souvent défaut, à l’image de l’utilisation des réseaux sociaux pour lutter contre la fraude (que beaucoup affublent du doux nom de Big Brother Bercy), dont le bilan est très limité, mais qui a pourtant été accéléré, comme l’évoquait Le Monde. Lors d’une récente cartographie des systèmes d’intelligence artificielle en cours de déploiement au ministère des finances, les premiers échanges auraient révélé que l’administration avait du mal à recenser tous les projets.

Même sur les principaux projets qu’on vient d’énumérer, l’information disponible est très lacunaire, non seulement au grand public mais également aux agents eux-mêmes. L’IA publique se déploie d’abord et avant tout dans la plus grande opacité.

Pour Solidaires, cette opacité est entretenue. L’omerta a une composante politique, nous expliquent les représentants du personnel. Elle permet de désorganiser les luttes des personnels. Les nouveaux agents, qu’ils soient contractuels ou statutaires, sont privés de la connaissance de leurs missions, ils ont moins de compréhension de la chaîne de travail, ils ne savent pas pourquoi ils font ce qu’on leur dit de faire. « Le travail automatique empêche la conscientisation du service public, comme du travail. Il place les agents dans une routine qui les noie sous des canaux informatiques de dossier à traiter », nous expliquent-ils. L’IA permet de faire le job, sans avoir de connaissance métier. Il suffit de traiter les listes d’erreurs, de valider des informations. « Le risque, c’est de ne plus avoir d’agents qualifiés, mais interchangeables, d’un service l’autre ». Mis en difficultés par les objectifs de productivité, par des formations très courtes quand elles ne sont pas inexistantes, ils ne peuvent comprendre ni résister au travail prescrit.
L’IA : des projets venus d’en haut
Le développement de l’IA à la DGFIP « part rarement d’un besoin « terrain » », constatent les syndicalistes, c’est-à-dire que les agents sont rarement associés à l’expression des besoins comme à la réalisation des projets. Ceux-ci sont surtout portés par une commande politique et reposent quasi systématiquement sur des prestataires externes. Pour lancer ces projets, la DGFIP mobilise le Fonds pour la transformation de l’action publique (FTAP), lancé en 2017, qui est le catalyseur du financement des projets d’IA dans l’administration. Pour y prétendre, les projets doivent toujours justifier d’économies prévisionnelles, c’est-à-dire prédire les suppressions de postes que la numérisation doit produire. Dans l’administration publique, l’IA est donc clairement un outil pour supprimer des emplois, constate le syndicat. L’État est devenu un simple prestataire de services publics qui doit produire des services plus efficaces, c’est-à-dire rentables et moins chers. Le numérique est le moteur de cette réduction de coût, ce qui explique qu’il soit devenu omniprésent dans l’administration, transformant à la fois les missions des agents et la relation de l’usager à l’administration. Il s’impose comme un « enjeu de croissance », c’est-à-dire le moyen de réaliser des gains de productivité.
Intensification et déqualification
Pour Solidaires, ces transformations modifient les missions des personnels, transforment l’organisation comme les conditions de travail des personnels, changent « la façon de servir le public ». Le déploiement de l’IA dans le secteur public n’est pas capacitante. « L’introduction de l’IA émane de choix centralisés » de la seule direction, sans aucune concertation avec les personnels ou ses représentants. Les personnels (comme les publics d’ailleurs) ne reçoivent pas d’information en amont. La formation est rare. Et la transformation des métiers que produit l’intégration numérique consiste surtout en une intensification et une déqualification, en adéquation avec ce que répètent les sociologues du numérique. Ainsi par exemple, les agents du contrôle des dépenses de l’État sont désormais assignés à leurs écrans qui leur assènent les cadences. Les nouvelles dépenses à contrôler passent au rouge si elles ne sont pas vérifiées dans les 5 jours ! Les agents procèdent de moins en moins à leurs propres enquêtes, mais doivent valider les instructions des machines. Ainsi, les agents valident les dépenses, sans plus contrôler les « conditions de passation de marché public ». Même constat au contrôle fiscal, rapportent les représentants du personnel : les agents doivent accomplir les procédures répétitives et peu intéressantes que leurs soumettent les machines. Les personnels sont dessaisis de la connaissance du tissu fiscal local. Ils ne peuvent même plus repérer de nouveaux types de fraudes. « On détecte en masse des fraudes simples, mais on délaisse les investigations sur la fraude complexe ». Les erreurs demandent des vérifications chronophages, puisque nul ne sait plus où elles ont lieu. Le risque, prévient Solidaires, c’est de construire un « service public artificiel », ou la modernisation conduit à la perte de compétences et à la dégradation du service. Où l’administration est réduite à une machine statistique. Le risque, comme s’en prévenait le Conseil d’Etat, c’est que la capacité à détecter les erreurs soit anesthésiée.

Cette déqualification ne touche pas que les agents, elle touche aussi les administrations dans leur capacité même à mener les projets. Les investissements sont transférés au privé, à l’image du Foncier innovant, confié à Capgemini et Google. Les projets d’IA sont largement externalisés et les administrations perdent leurs capacités de maîtrise, comme le notaient très bien les journalistes Matthieu Aron et Caroline Michel-Aguirre dans leur livre, Les infiltrés. Certains projets informatiques ont un taux d’externalisation supérieur à 80% explique Solidaires – quand la Dinum estime qu’un taux supérieur à 70% constitue déjà un risque de défaillance majeur.

Enfin, la numérisation éloigne les administrés de l’administration, comme le pointait la sociologue Clara Deville. Les agents estiment que les risques d’inexactitudes augmentent avec le remplissage automatique des déclarations de revenus. Avant, quand les agents recevaient les déclarations remplies par les usagers, ils pouvaient parfois détecter des erreurs manifestes, par exemple le fait de mettre des enfants mineurs en occupant de propriétés générant une taxe d’habitation à leur destination. Désormais, les données ne sont plus vérifiées. Les contribuables ne sont plus en obligation de reremplir leur déclaration s’il n’y a pas eu de changement de revenus ou de situation. Si le contribuable ne renvoie rien, on reprend les éléments fournis automatiquement. Le risque c’est de ne plus voir les défaillances de déclaration ou les difficultés que peuvent avoir certains publics, sans revenir vers eux. L’automatisation peut devenir un piège pour certains usagers.
Ce que produit l’automatisation des contrôles
Mais surtout, répètent les militants de Solidaires, les personnels sont confrontés à une opacité totale des projets. L’absence d’information sur les projets est d’abord le signe d’un dialogue social inexistant, particulièrement problématique. Mais l’opacité à d’autres conséquences, notamment une déqualification des agents. Les dépenses à contrôler sont désormais sélectionnées par la machine, mais les agents ignorent sur quels critères. « Pourquoi certaines dépenses insignifiantes qui n’étaient jamais contrôlées auparavant, le sont à présent, alors que d’autres sont validées en masse quand elles étaient scrupuleusement regardées avant l’IA. »

« Le TAAP a pour but d’améliorer les délais de paiement de l’Etat, un objectif louable. Il vise à alléger la sélection des dépenses à contrôler », nous expliquent en entretien les responsables de Solidaires Finances Publiques. Le problème, c’est que le critère n’est plus l’importance, mais le risque. Alors que les agents avaient toute latitude pour contrôler les dépenses qu’ils jugeaient problématiques ou prioritaires, le système leur impose désormais de regarder certaines dépenses plutôt que d’autres. C’est ainsi que des agents se sont vus par exemple devoir contrôler les dépenses d’essence des ambassades qui étaient jusqu’à présent des dépenses à faibles enjeux. La détermination des contrôles par les algorithmes est désormais organisée par en haut. Les data scientists en centrale fournissent aux agents des « listes Data Mining », c’est-à-dire des fichiers avec des listes d’entreprises ou des contribuables à contrôler et vérifier selon des axes de recherche, par exemple des listes d’entreprises soupçonnées de minorer leur TVA ou des listes de particuliers soupçonnés de faire une déclaration de valeur immobilière qui n’est pas au niveau du marché… Le risque, c’est qu’on pourrait dévoyer ces listes pour contrôler certaines catégories de populations ou d’entreprises, préviennent les syndicalistes, qui mettent en garde contre l’absence de garde-fous que produit cette centralisation du contrôle, qui pourrait demain devenir plus politique qu’elle n’est.

Les listes Data Mining sont générées par les data scientist du service central depuis des croisements de données. Ce sont des listes d’entreprises ou de particuliers à regarder. Ces listes doivent d’abord être apurées par les agents… Quand ils reçoivent des listes d’entreprises qui feraient trop de provisions par exemple (ce qui qui pourrait être un moyen de faire baisser leurs bénéfices), ils doivent les trier, par exemple sortir les compagnies d’assurances, qui, par nature, sont des entreprises qui font plus de provisions que d’autres. Dans ces listes, les anomalies détectées ne sont pas toutes compréhensibles aux agents chargés du contrôle et parfois le critère de recherche détecté par l’IA ne donne rien. Mais si l’agent trouve un autre axe de recherche de fraude, le dossier est statistiquement compté comme relevant d’une réussite du data mining. Ce qui a pour but d’augmenter les résultats que produit la recherche de fraude automatisée, alors qu’elle demeure bien souvent le résultat d’un travail spécifique des agents plutôt que le produit d’une liste fournie par les machines.

Le contrôle fiscal automatisé représente aujourd’hui 50% du contrôle, mais les résultats notifiés (et non pas recouvrés) eux n’ont pas beaucoup progressé depuis l’expansion de l’automatisation. Ils stagnent à 13-14%, c’est-à-dire environ 2 milliards d’euros, quand le contrôle fiscal atteint environ 13 milliards. Réaliser 50% de contrôle automatisé est devenu un objectif, nous expliquent les syndicalistes. Si un service n’arrive pas à l’atteindre, les agents doivent prioriser le traitement des listes Data mining plutôt que de réaliser des contrôles d’initiatives. La vérification de ces listes produit surtout un travail fastidieux et chronophage, que les agents jugent souvent bien peu intéressant et qui ne produit pas beaucoup de résultats.

Le grand problème, estime encore Solidaires, c’est que le contrôle automatisé n’est pas très efficace sur la fraude complexe. A la direction de l’international qui s’occupe des fraudes les plus difficiles, il y a très peu d’utilisation de l’IA par exemple. Pour parvenir à mieux détecter les fraudes les plus évoluées, il faudrait que les agents de terrain qui en sont souvent les meilleurs observateurs, soient mieux associés aux orientations du contrôle centralisé des data-scientists. Ce n’est pas le cas. Alors que les outils pourraient venir aider les agents à faire leur travail, trop souvent, ils proposent surtout de le faire à leur place.

La DGFIP soutient qu’elle n’aurait pas mis en place de score de risque sur le contrôle fiscal… mais « certains agents rapportent que le traitement de listes Data mining fait ressortir régulièrement certains types de contribuables ». On peut malgré tout douter de cette absence de scoring, puisque le fait de lister des contribuables ou des entreprises selon des critères consiste bien à produire des listes classées selon un score.

Les personnels de la DGFIP sont inquiets, rapporte Solidaires. Pour eux, les outils d’IA ne sont pas aussi fiables qu’annoncés. Les contrôles engagés suite à des problèmes détectés « automatiquement » ne sont pas si automatiques : il faut des humains pour les vérifier et les traiter. Bien souvent, c’est l’enrichissement de ces dossiers par les services qui va permettre de donner lieu à une notification ou à un recouvrement. Enfin, le taux de recouvrement lié à l’automatisation est bien faible. L’IA peut s’avérer probante pour des fraudes ou des erreurs assez simples, mais ne sait pas retracer les fraudes élaborées.

Dans la surveillance des finances communales, les indicateurs remplacent les relations avec les personnels de mairie. Solidaires dénonce une industrialisation des procédés et une centralisation massive des procédures. L’IA change la nature du travail et génère des tâches plus répétitives. La DGFiP a perdu plus de 30 000 emplois depuis sa création, dénonce le syndicat. L’IA amplifie les dysfonctionnements à l’œuvre et prolonge la dégradation des conditions de travail. Quant au rapport coût/bénéfice des innovations à base d’IA, le syndicat pose la question d’une innovation pour elle-même. Dans le cadre du projet Foncier Innovant, la mise en oeuvre à coûté 33 millions. La maintenance s’élève à quelques 2 millions par an… Alors que le projet aurait rapporté 40 millions de recettes fiscales. Le rapport coût bénéfice est bien souvent insuffisamment documenté.
Couverture du livre, l’IA aux impôts, par Solidaires Finances Publiques. Face à l’IA, réinventer les luttes
Pour Solidaires, ces constats invitent à réinventer le syndicalisme. Le syndicat estime qu’il est difficile de discuter des techniques mobilisées, des choix opérés. Solidaires constate que l’administration « s’exonère » de la communication minimale qu’elle devrait avoir sur les projets qu’elle déploie : coûts, bilans des expérimentations, communication sur les marchés publics passés, points d’étapes, documentation, rapports d’impacts… Pour Solidaires, l’omerta a bien une composante politique. Faire valoir le dialogue social technologique est une lutte constante, rapporte Solidaires. Trouver de l’information sur les projets en cours nécessite de mobiliser bien des méthodes, comme de surveiller le FTAP, les profils Linkedin des responsables des administrations, leurs interventions… mais également à mobiliser la CADA (commission d’accès aux documents administratifs) pour obtenir des informations que les représentants des personnels ne parviennent pas à obtenir autrement.

Ce patient travail de documentation passe aussi par le travail avec d’autres organisations syndicales et militantes, pour comprendre à quoi elles sont confrontées. Pour Solidaires, l’omerta volontaire de l’administration sur ses projets organise « l’obsolescence programmée du dialogue social » qui semble avoir pour but d’exclure les organisations syndicales du débat pour mieux externaliser et dégrader les services publics.

Pourtant, les personnels de terrains sont les mieux à même de juger de l’efficacité des dispositifs algorithmiques, insiste Solidaires. La difficulté à nouveau consiste à obtenir l’information et à mobiliser les personnels. Et Solidaires de s’inquiéter par exemple de l’expérimentation Sicardi, un outil RH qui vise à proposer une liste de candidats pour des postes à pourvoir, automatiquement, au risque de rendre fonctionnel des critères discriminatoires. Solidaires observe comme nombres d’autres organisations les dysfonctionnements à l’œuvre dans l’administration publique et au-delà. « Aujourd’hui, Solidaires Finances Publiques n’a aucun moyen pour confirmer ou infirmer que les algorithmes auto-apprenants utilisés dans le contrôle fiscal sont vierges de tout biais. À notre connaissance, aucun mécanisme n’a été institué en amont ou en aval pour vérifier que les listes de data mining ne comportaient aucun biais ».

Avec le déploiement de l’IA, on introduit un principe de rentabilité du contrôle fiscal, estiment les représentants du personnel. Ce souci de rentabilité du contrôle est dangereux, car il remet en cause l’égalité de tous devant l’impôt, qui est le principal gage de son acceptation.

Solidaires conclut en rappelant que le syndicat n’est pas contre le progrès. Nul ne souhaite revenir au papier carbone. Reste que la modernisation est toujours problématique car elle vient toujours avec des objectifs de réduction massive des moyens humains. Dans l’administration publique, l’IA est d’abord un prétexte, non pour améliorer les missions et accompagner les agents, mais pour réduire les personnels. Le risque est que cela ne soit pas un moyen mais un but. Faire que l’essentiel du contrôle fiscal, demain, soit automatisé.

« L’apparente complexité de ces outils ne saurait les faire échapper au débat démocratique ». En tout cas, ce petit livre montre, à l’image du travail réalisé par Changer de Cap auprès des usagers de la CAF, plus que jamais, l’importance de faire remonter les difficultés que les personnes rencontrent avec ces systèmes.

Bien souvent, quand on mobilise la transformation numérique, celle-ci ne se contente pas d’être une transformation technique, elle est aussi organisationnelle, managériale. A lire le petit livre de Solidaires Finances Publiques, on a l’impression de voir se déployer une innovation à l’ancienne, top down, peu impliquante, qui ne mobilise pas les savoir-faire internes, mais au contraire, les dévitalise. Les syndicalistes aussi ne comprennent pas pourquoi le terrain n’est pas mieux mobilisé pour concevoir ces outils. Certes, la fonction publique est structurée par des hiérarchies fortes. Reste que les transformations en cours ne considèrent pas l’expertise et les connaissances des agents. Les décideurs publics semblent répondre à des commandes politiques, sans toujours connaître les administrations qu’ils pilotent. Dans le discours officiel, ils disent qu’il faut associer les personnels, les former. Dans un sondage réalisé auprès des personnels, le syndicat a constaté que 85% des agents qui utilisent l’IA au quotidien n’ont pas reçu de formation.

Le sujet de l’IA vient d’en haut plutôt que d’être pensé avec les équipes, pour les aider à faire leur métier. Ces exemples nous rappellent que le déploiement de l’IA dans les organisations n’est pas qu’un enjeu de calcul, c’est d’abord un enjeu social et de collaboration, qui risque d’écarter les personnels et les citoyens des décisions et des orientations prises.
08 November 2024
9:56
Modération sur X : de 2,1% à 0,003%
sur Dans les algorithmes

Entre 2021 et 2024, la suspension de comptes sur Twitter est passée de 105 000 comptes pour 5 millions de signalements pour harcèlements à 2361 pour 66 millions de signalements. Effectivement, Musk a fait de l’un des problèmes les plus flagrants de Twitter une fonctionnalité essentielle de X.

MAJ du 21/11/2024 : Quant au programme participatif de vérifications des faits mis en place par X (Community Notes), souvent salué par la critique pour son aspect innovant, en vérité, la majorité des propositions de vérifications ne sont jamais exposées au public, rapporte le Washington Post. En fait, les participants aux notes communautaires, après avoir vu leur participation acceptée, votent pour déterminer quelles annotations peuvent être jointes à quelles publications. Ce vote algorithmisé ne met en avant que les notes qui « reçoivent le consensus d’utilisateurs ayant l’habitude de voter différemment », explique une analyse du Center for Countering Digital Hate. Et cette recherche de consensus écarte 91% des propositions d’ajouts de notes sur des messages problématiques. Sans compter qu’il faut en moyenne 11 heures pour qu’une note soit ajoutée à un tweet, ce qui lui laisse largement le temps d’atteindre l’essentiel de son public. Pire, la proportion d’ajout de notes communautaires a tendance à baisser plutôt qu’à se développer. Le crowdsourcing de la modération ne peut pas remplacer la modération traditionnelle faite par des employés, soulignent les experts. En tout cas, dans la pratique, pour l’instant, la modération communautaire sur X ne fonctionne pas ! Enfin, souligne le Post, seulement 24 tweet de Musk ont reçu une note de vérification, soit un peu moins de 4% de ses tweets signalés comme problématiques par la communauté.

Dans sa newsletter, Julia Angwin constate que les réseaux sociaux ont largement renoncé à la modération politique. Les plateformes ne seront pas les gardiennes de la vérité des faits qui remettent en cause le pouvoir. Il est « devenu évident que les plateformes technologiques ne risqueront pas leurs profits ou leur pouvoir politique en rejoignant la lutte pour la protection de l’information de bonne qualité. Et le gouvernement américain – désormais fermement sous le contrôle du parti républicain – ne les y poussera pas.

En d’autres termes, personne ne viendra nous sauver de cet environnement d’information pollué – ni le gouvernement ni les entreprises. Si nous voulons un environnement d’information de bonne qualité, nous allons devoir en construire un nouveau au-delà des murs des plateformes de médias sociaux existantes des Big Tech ».
7:30
Y aura-t-il une alternative au technofascisme ?
sur Dans les algorithmes

Le livre du journaliste Thibault Prévost, Les prophètes de l’IA (Lux éditeur, 2024), a une grande vertu : nettoyer notre regard de ce qui l’embrume.

Il permet d’abord de comprendre que la technologie ne mobilise pas tant des imaginaires, comme on l’entend trop souvent, mais bien des idéologies. Imaginaire, le terme fait référence à quelque chose qui n’existerait que dans l’imagination, qui serait sans réalité, comme dévitalisé, sans effet autre que sûr le rêve et l’irréel. Rien ne me semble moins vrai. Ce que nous sommes capables de composer dans nos esprits à une puissance d’évocation sans précédent, qui mobilise et galvanise les énergies et façonne le réel. Le terme d’imaginaire dépolitise ce que nos esprits façonnent, quand les récits que nous brodons et partageons construisent d’abord des ralliements, des adhésions ou leur exact inverse, des rejets, des défections, des oppositions. Ce que nous imaginons ne flotte pas dans l’éther, bien au contraire. Nos imaginaires reflètent tout le temps des idées et conduisent nos agissements, décrivent des façons de voir le monde, de le régir, de le gouverner. Imaginaire : le terme ne vise qu’à dépolitiser ce qui est à l’oeuvre dans la mise en représentation du monde, à savoir dévitaliser les luttes idéologiques par des récits neutralisés qui ont pour but de les rendre plus séduisants, plus accrocheurs, plus malléables, plus appropriables, plus diffusables. Mais derrière le storytelling, les récits que l’on construit sur l’IA, les discours que l’on porte sur la technologie, il n’est question de rien d’autre que d’une lutte idéologique.

A mesure que la technologie a pris une place prépondérante dans nos sociétés, le discours qui la porte s’est chargé de promesses, de prophéties, de mythes, de prédictions qui se sédimentent en idées politiques qui annoncent, au choix, la fin du monde ou le retour des Lumières. L’un comme l’autre d’ailleurs n’ont qu’un objectif : nous éloigner de la réalité et nous faire adhérer à leur promesse. À savoir qu’il n’y a pas d’alternative au futur que propose la technologie. Qu’il soit rose ou sombre, c’est la technologie qui le façonne, c’est l’élite technologique qui le construit. Le futur est devenu une religion.

Prévost rappelle trop rapidement la longue histoire de l’avènement des religions technologiques, schismes du rêve transhumaniste, pour se concentrer surtout sur les courants et les figures les plus récents. Ce qui l’intéresse, c’est de regarder les habits les plus neufs du transhumanisme, cette consécration de la science et de la technologie, qui promet d’améliorer la condition humaine. Qui souhaite rendre la religion, le capitalisme et le colonialisme fonctionnels, effectifs, comme pour les faire perdurer à jamais. Ces courants qui déifient les sciences de l’ingénierie ne proposent pas qu’une transcendance, c’est-à-dire un dépassement de l’homme par la technique, mais bien l’avènement d’une technocratie toute puissante. L’essai, qui se présente sous forme d’un catalogue des idées du secteur, devient vite épuisant à lire, tant ces délires mis bout à bout se concatènent dans leur logique rance, qui ne produit rien d’autre qu’un total mépris pour la société comme pour les individus qui la composent.
Un monde de… tarés
Le livre de Thibault Prévost a une autre vertu. Il nous montre que les grands ingénieurs, les grands investisseurs, les grands entrepreneurs et les grands penseurs de l’IA sont tous complètement… tarés ! Excusez du peu ! Les récits de dépassement, de conquête, de croisade, de puissance ou d’IApocalypse qu’ils nous vendent forment un ramassis de technodélires qui n’ont rien de sérieux ou de rationnel, malgré le fait qu’ils se présentent ainsi. Ces délires sur l’intelligence artificielle générale, sur la transcendance par la machine comme sur l’effondrement, nous abreuvent d’idéologies hors-sol, sectaires, fanatiques et vides pour mieux invisibiliser leur autoritarisme et leur cupidité débridées (à l’image de celle qu’exprimait Mustafa Syleyman dans son livre particulièrement confus, La déferlante). Tous les grands gourous de la tech que Prévost évoque dans son livre (et il n’y a pas que Musk) semblent d’abord et avant tout des individus totalement perchés et parfaitement lunaires. Ils sont tous profondément eugénistes, comme le répète le chercheur Olivier Alexandre (voir aussi dans nos pages). Ils sont obsédés par le QI et la race. Ils ont à peu près tous tenu à un moment ou à un autre des propos racistes. Ils sont tous profondément opposés à la démocratie. Ils partagent tous des discours autoritaires. Derrière leurs récits, aussi barrés les uns que les autres, tous n’oeuvrent qu’à leur propre puissance. A peu près tous partagent l’idée que ceux qui ne croient pas en leurs délires sont des parasites. Leur délire élitiste, eugéniste et cupide a de quoi inquiéter. Le futur qu’ils nous vendent n’a rien d’un paradis, puisqu’il ne remet en rien en cause des privilèges qui sont les leurs, bien au contraire. Tous nient les biens communs. Tous veulent détruire la régulation, à moins qu’ils en soient en maîtres. Ils nous exhortent à penser un futur si lointain qu’il permet de ne plus être fixé dans un cadre politique normé, ce qui permet de totalement le dépolitiser. Tous cachent les enjeux politiques qu’ils défendent sous des questions qui ne seraient plus que technologiques. Remplacer le discours politique par un discours technique permet d’abord de déplacer son caractère politique, comme pour l’aseptiser, l’invisibiliser.

A le lire, Prévost nous donne l’impression de nous plonger dans les disputes sectaires, rances et creuses… qui anônent un « cocktail d’arrogance élitiste et de naïveté qui défend férocement la légitimité morale des inégalités ». Qu’ils se définissent comme altruistes efficaces, longtermistes, doomers, ultralibertariens, extropiens ou rationalistes… (tescralistes, comme les ont qualifié Timnit Gebru et Emile Torres), ils semblent avant tout en voie de fascisation avancée.
L’IA ne va pas sauver le monde, elle vise à sauver leur monde !
L’IA ne va pas sauver le monde. Elle vise à sauver leur monde, celui d’une caste de milliardaires au-dessus des lois qui cherchent à se garder du reste de l’humanité qu’elle abhorre. « L’IA n’est que le paravent technique d’une entreprise tout à fait classique de privatisation et de captation des richesses ». L’IA vise d’abord la préservation du taux de profit.

La Tech a longtemps été Démocrate et pro-démocratie, rappelle le journaliste, mais c’est de moins en moins le cas. La perspective que la Silicon Valley perde de sa puissance, explique en partie son réalignement. Le techno-solutionnisme progressiste qu’ils ont longtemps poussé a fait long feu : la Tech n’a produit aucun progrès social, bien au contraire. Ses solutions n’ont amélioré ni la démocratie, ni l’économie, ni l’égalité, ni l’espérance de vie… surtout quand on les compare aux technologies sociales du XXe siècle comme l’hygiène publique, le développement des services publics ou la justice économique.

Si ces évolutions politiques ont plusieurs origines, l’influence de grandes figures, de financeurs milliardaires, sur le secteur, semble déterminant, à l’image des Marc Andreessen et Peter Thiel, qui ne sont pas tant des évangélistes de la tech, que des évangélistes néolibéraux ultra-conservateurs, qui promeuvent par leurs discours et leurs investissements des projets anti-régulation et autoritaires. Prévost rappelle que la grande caractéristique de cette élite financière est d’être férocement opposée à la démocratie. Ces milliardaires rêvent d’un monde où une poignée d’individus – eux – captent toutes les richesses et tous les pouvoirs. « La tech est un système immunitaire développé par le capitalisme pour lutter contre tout ce qui pourrait le mettre en crise », disait déjà Antoinette Rouvroy. Ces gens sont tous admirateurs de régimes autoritaires. Ils rêvent d’un progrès technique sans démocratie tel qu’ils le font advenir dans les outils qu’ils façonnent et les entreprises qu’ils dirigent.

En compilant toutes ces petites horreurs qu’on a déjà croisé, éparses, dans l’actualité, Prévost nous aide à regarder ce délire pour ce qu’il est. Nous sommes confrontés à « un groupe radicalisé et dangereux », d’autant plus dangereux que leur fortune astronomique leur assure une puissance et une impunité politique sans précédent. Leurs exploits entrepreneuriaux ou financiers ne peuvent suffire pour les absoudre des horreurs qu’ils prônent. Prévost les montre comme ce qu’ils sont, un freak-show, des sortes de monstres de foire, complotistes, fascistes, prêts à rejoindre leurs bunkers et dont le seul rêve est de faire sécession. Le journaliste décrit un monde réactionnaire qui ne craint rien d’autre que son renversement. « Ces patrons méprisent nos corps, nos droits, nos existences ». Leur discours sur les risques existentiels de l’IA permet de masquer les effets déjà bien réels que leurs outils produisent. « L’IA est une métaphore du système politique et économique capitaliste qui menace l’espèce humaine ». Pour sécuriser leur avenir, cette élite rêve d’un technofascisme qu’elle espère mettre en œuvre. Notamment en manipulant les peurs et les paniques morales pour en tirer profit.

Le pire finalement c’est de constater la grande audience que ces pensées rances peuvent obtenir. La réussite fait rêver, la domination fait bander… oubliant qu’il s’agit de la domination et de la réussite d’un petit monde, pas de celui de l’Occident ou de tous les entrepreneurs du monde. En nous répétant que le futur est déjà décidé et qu’ils en sont les maîtres, ils nous intoxiquent. « A force de se faire dire que le futur est déjà plié, que c’est la Silicon Valley qui décide de l’avenir de l’humanité, le public, convaincu qu’il n’a pas son mot à dire sur des enjeux qui le dépassent, remet son destin entre les mains des Google, Microsoft, Meta ou Amazon. » Ce déplacement permet d’orienter la régulation vers des dangers futurs pour mieux laisser tranquille les préjudices existants. Derrière la promotion de leur agenda néolibéral pour maximiser leurs profits aux dépens de l’intérêt général, se profile le risque d’une bascule vers un capitalisme autoritaire qui contamine le monde au-delà d’eux, comme le notait la chercheuse Rachel Griffin. « A l’instar de la Silicon Valley, l’Union européenne semble être en train de mettre à jour son logiciel idéologique vers un capitalisme autoritaire qui privilégie l’économie de la rente et les monopoles à l’économie de marché et la concurrence ». Cette transformation du capitalisme est assurée par la technologie. Les systèmes s’immiscent dans nos institutions, à l’image de leurs LLM que les acteurs publics s’arrachent en permettant aux entreprises de la Silicon Valley « d’étendre leur intermédiation sur un corps social médusé ». Qu’importe si ChatGPT raconte n’importe quoi. Les prophètes de l’IA, ces « bullionaires » (contraction de bullshitters et de millionnaires) eux aussi mentent avec assurance. Derrière leurs délires apparents, un transfert de pouvoir est en cours. Pas seulement une privatisation du futur, mais bien son accaparement par quelques individus qui font tout pour n’avoir de compte à rendre à personne. La fétichisation de l’individu rationnel, tout puissant, du génie solitaire, du milliardaire omnipotent, du grotesque individualiste ne nous conduit à aucune société qu’à son délitement. La métaphore computationnelle qui permet d’affirmer que la seule intelligence est désormais celle de la machine, vise à nous reléguer, à nous transformer en une marchandise dévaluée, puisque nos esprits valent désormais moins que le calcul, tout comme notre force de travail a été dévaluée par l’énergie fossile.
Couverture du livre de Thibault Prévost. Du grand leurre de l’IA au risque technofasciste
Prévost rappelle que les machines nous trompent. Que l’automatisation est un leurre qui masque les ingénieurs et les travailleurs du clic qui font fonctionner les machines à distance. L’IA générative aussi. Nombre d’utilisateurs de ChatGPT l’abandonnent au bout d’une quarantaine de jours, comme un jouet qu’on finit par mettre de côté. Google SGE produit des fausses informations après plus d’un an de tests. Par essence, la prédiction statistique ne permet pas de produire de résultats fiables. Partout où ils se déploient, ces systèmes se ridiculisent, obligeant à les surveiller sans cesse. Notre avenir sous IA n’est pas soutenable. Il repose sur un pillage sans précédent. Les « cleptomanes de la Valley » ne cessent de nous dire que l’IA doit être illégale pour être rentable. L’IA est une bulle financière qui risque de finir comme le Metavers (que McKinsey évaluait à 5000 milliards de dollars d’ici 2030 !).

« Arrêtons pour de bon de donner du crédit aux entrepreneurs de la tech. Depuis le début de la décennie 2020, le technocapitalisme ne fonctionne plus que par vagues d’hallucinations successives, suivies de (très) brèves périodes de lucidité. La Silicon Valley semble bloquée dans un trip d’acide qui ne redescent pas, et dont l’IA n’est que la plus récente hallucination », rappelle, cinglant, Thibault Prévost, fort des punchlines saisissantes auxquelles il nous a habitués dans ses articles pour Arrêt sur Images.

L’IA n’est que la nouvelle ligne de front de la lutte des classes, où les systèmes d’analyse dégradent les conditions d’existence des plus mal notés, ce lumpenscoretariat. Sa grande force est d’avancer masqué, opaque, invisible à ceux qu’il précarise. Nous n’utilisons pas l’IA, mais nous y sommes déjà assujettie, explique très justement Prévost. Les systèmes de calculs se démultiplient partout. « Aucun d’entre eux n’est fiable, transparent ou interprétable. Nous vivons tous et toutes à la merci de l’erreur de calcul sans recours ».

« Les systèmes d’IA sont le reflet des oligopoles qui les commercialisent : privés, opaques, impénétrables, intouchables, toxiques et dangereux. » L’IA prolonge le continuum des discriminations et de l’injustice sociale et raciale. La faute aux données bien sûr, jamais « à leurs beaux algorithmes neutres et apolitiques ».

« Comme l’idéologie d’extrême droite, l’IA échoue à représenter le monde. Elle ne fonctionne que par archétypes et biais, par catégorisation a priori ». Elle rappelle aux humains la distance qui les sépare de la norme masculine, blanche et riche. L’IA n’est rien d’autre qu’une « prothèse pour le maintien de l’ordre social racial et l’avancée des projets capitalistes impérialistes », comme le dit Yarden Katz dans son livre Artificial Whiteness. Elle n’est rien d’autre que le nouvel auxiliaire du pouvoir. Elle exploite la violence structurelle comme une grammaire et un grand modèle d’affaires. « Si la Silicon Valley essaie de nous vendre l’apocalypse, c’est parce que son projet technique, économique et politique en est une ». Ce que veulent les milliardaires de la tech, c’est la fin du monde social pour imposer le leur.

Avec l’élection de Trump, c’est exactement là où nous sommes. La Silicon Valley a obtenu ce qu’elle voulait, dit Brian Merchant.

Dan McQuillan nous avait mis en garde du risque fasciste de l’IA. Les opportunités politiques sont devenues des prises de risques financières. La victoire de Trump vient d’assurer à Musk et quelques autres la rentabilité de tous leurs investissements. Son rachat de Twitter n’était rien d’autre que l’achat d’une arme qu’il a transformé en site suprémaciste, pour amplifier ses délires, permettant d’attiser la haine en ligne et la traduire en vote et en violence dans le monde physique. Comme l’explique Martine Orange pour Mediapart, l’enjeu, désormais, consiste à éradiquer la régulation et mettre l’ensemble de l’appareil d’Etat à la disposition de la Tech, c’est-à-dire assurer la mainmise de la Tech sur le pouvoir politique.

Face au technofascisme qui vient, le risque est que nous soyons démunis d’alternatives technologiques et donc idéologiques. Sans récit et réalisations progressistes de la tech, la seule option pour beaucoup ne consistera qu’en une chose : abandonner la technologie et arrêter les machines.

Hubert Guillaud

MAJ du 19/11/2024 : Allez lire également ce très bon entretien avec Thibault Prévost qui explique que l’IA n’est pas qu’un outil de puissance au service des technoprophètes, il est aussi un outil d’asservissement et de déresponsabilisation de la puissance publique.
06 November 2024
12:49
Impartiale, l’IA ?
sur Dans les algorithmes

Malgré le fait que les grands volumes de données utilisés pour générer les grands modèles de l’IA générative soient sensiblement les mêmes, les LLM ont des visions du monde sensiblement différentes, expliquent un collectif de chercheurs qui ont interrogé un large panel de systèmes. Ces visions du monde changent selon la langue depuis laquelle ils sont interrogés, mais également selon les modèles utilisés : ils sont plus prochinois si vous les interrogez en chinois par exemple et certains modèles fourbissent des résultats plus libéraux que d’autres. « Les positions idéologiques des LLM reflètent souvent celles de ses créateurs ». L’impartialité réglementaire va être bien difficile à atteindre.
04 November 2024
11:10
« Un algorithme ne peut pas déterminer une intentionnalité »
sur Dans les algorithmes

Dans le 3e épisode d’Algorithmique, l’excellent podcast de Next, la journaliste Mathilde Saliou s’entretient avec Valérie, la responsable des enjeux du numérique du collectif Changer de Cap. Celle-ci revient très clairement sur les relations problématiques entre les usagers et la CAF que l’association a fait remonter dès 2021 par le recueil de témoignages d’allocataires. A savoir, la démultiplication des interruptions de versement des droits du fait de contrôles automatisés et l’envolée des indus, notamment sur les aides au logements, où les personnes se voient obliger de rembourser des trop perçus sans explications de l’administration. En 2013 déjà, l’IGAS soulignait pourtant que 30% des indus n’étaient pas le fait des allocataires mais pouvaient provenir d’une erreur de réglementation ou d’erreurs de la CAF elle-même.

Les allocataires ciblés par ce scoring sont souvent accusées de fraude, c’est-à-dire de fausse déclaration intentionnelle. Or, comme le rappelle Mathilde Saliou, pour une machine, la différence entre erreur et fraude est minime, les deux correspondent à des écarts par rapport au comportement normal. Pour les gens pourtant, la situation est très différente, surtout que quand l’accusation de fraude est déclenchée, la procédure de recours est plus complexe que lorsqu’on tente de faire corriger une erreur. « Lorsqu’il y a une accusation de fraude, on ne peut pas faire de recours amiable ni obtenir d’explication », explique la responsable numérique de Changer de Cap, qui rappelle que c’est la raison qui motive Changer de Cap à réclamer un droit aux explications algorithmiques. « On a repéré rapidement que les publics vulnérables étaient ciblés » ce qui impliquait un algorithme et un score de risque. Le score de risque amène à la démultiplication des contrôles, avec des allocataires qui peuvent subir plusieurs contrôles dans la même année. Quant au non-respect du reste à vivre que pratique la CAF, elle fait reposer sur les associations et les collectivités locales la précarité qu’elle renforce, celles-ci devant compenser l’interruption des droits que pratique la CAF.

Pour les indus, la recherche d’indus ou les contrôles, les CAF peuvent remonter jusqu’à 2 ans en arrière et 5 ans en arrière en cas de suspicion de fraude. Les retenues sur les aides sociales pour que les gens remboursent les indus dépendent de barèmes qui peuvent ne pas laisser aux gens de quoi vivre, notamment quand elles portent sur des prestations vitales, ce qui est souvent le cas pour les plus précaires. « Une personne qui a 600 euros de RSA peut se retrouver avec 300 euros seulement si 300 euros sont retenus par les CAF. Il n’y a pas de respect du reste à vivre ».

« Les documents obtenus par la Quadrature du Net ont permis d’apprendre qu’il y avait des variables qui font augmenter le score de risque, comme le fait d’être au RSA, d’être un parent isolé, de recevoir l’allocation adultes handicapés et avoir un petit boulot à côté. » Autant de caractéristiques discriminantes, comme l’ont mis également en avant le dossier réalisé par Le Monde et Lightouse Reports. Mais surtout, rappelle Changer de Cap, le qualificatif même de ces systèmes est faussé : « Nous on conteste l’idée que l’algorithme qui donne un score de risque fait des contrôles de fraudes, pour la simple et bonne raison qu’un algorithme ne peut pas déterminer une intentionnalité. Il calcule les aides attribuées par rapport aux aides auxquelles a droit l’allocataire. C’est un algorithme de recherche d’indus en réalité et non pas de recherche de fraude et qui traite le problème a posteriori, une fois que la somme a été versée ».

La fraude aux prestations sociales par les usagers est très faible rappelle l’association (notamment par rapport aux fraudes aux cotisations sociales) qui juge cette surveillance des usagers disproportionnée par rapport aux montants collectés. Changer de Cap et d’autres associations comme la Quadrature du Net et la Ligue des droits de l’homme ont récemment attaqué l’algorithme de la CAF devant le Conseil d’Etat. Changer de Cap souhaiterait que les erreurs soient résolues avant de venir frapper les usagers, que les indus et suspensions soient expliqués et motivées. Mais surtout, l’association estime que nous devrions abandonner tout système de scoring, que les traitements soient transparents et subissent des contrôles de légalité, comme des mesures d’impact, mis à disposition de tous.

L’épisode montre en tout cas très bien que le problème des algorithmes de scoring ne relève pas seulement des modalités de calcul, mais bien de ses agencements sociaux et légaux, comme les garanties et recours qu’il permet ou ne permet pas.
31 October 2024
12:12
Ouverture²
sur Dans les algorithmes

L’Open Data Institute publie une série de recommandations pour des pratiques de données responsables pour le développement de l’IA. Au menu, améliorer la transparence des données d’entraînements (en adoptant les outils dédiés et qui existent déjà et en regardant comment les adapter aux non spécialistes), moderniser le régime de propriété intellectuelle (en évitant de rechercher une solution universelle – la musique n’est pas la recherche scientifique -; en créant des compensations financières à l’utilisation pour l’IA, en imaginant des couches de consentements et en se défiant d’une IA dépendant de licences qui la réserverait uniquement aux plus puissants acteurs) ; améliorer le respect des droits dans toute la chaîne logistique de l’IA (en élargissant l’accès aux données par ceux qui sont concernés et impliqués, notamment les travailleurs) ; élargir l’accès aux données (en renforçant les répertoires communs et en imaginant des solutions pour ouvrir l’accès aux données du secteur privé) ; permettre aux citoyens d’avoir leur mot à dire dans le partage et l’utilisation des données pour l’IA (notamment en renforçant le contrôle réglementaire par les citoyens).
7:30
Le grand décalage
sur Dans les algorithmes

A l’occasion d’un rapport sur l’impact de l’IA générative sur le travail, les chercheurs de la Brookings Institution, estiment dans une tribune pour le Time que « les professions les plus susceptibles de connaître des perturbations dues à l’IA (à savoir les métiers de la connaissance et notamment les postes de bureau intermédiaire, comme les assistants et secrétaires) sont également les moins susceptibles d’employer des travailleurs appartenant à un syndicat ou disposant d’autres formes de voix et de représentation ». Les chercheurs parlent de « grand décalage », pour évoquer le fossé entre les menaces de l’IA et les possibilités de s’en prémunir, montrant que l’IA capacitante nécessite des organisations sociales fortes. Pourtant, les recherches montrent que les entreprises tirent de grands avantages de l’intégration des travailleurs et de leurs connaissances dans la conception et le déploiement de nouvelles technologies, par rapport à une mise en œuvre descendante. Or, à ce jour, ceux-ci ne sont pas impliqués dans les développements de l’IA. Les entreprises peinent à intégrer qu’elles ont un argument commercial puissant à faire valoir en intégrant l’engagement des travailleurs.
29 October 2024
7:30
Technologies de genre, technologies de pouvoir
sur Dans les algorithmes

Après avoir signé un étonnant livre sur le bestiaire matériel, qui cherchait à montrer l’intelligence des matériaux qui nous entourent et que nous construisons (Parallel Minds, MIT Press, Urbanomic, 2022, non traduit, qui se prolonge d’une newsletter toujours riche), ou un manifeste de démonologie révolutionnaire, la chercheuse, artiste et journaliste italienne Laura Tripaldi consacre un court essai aux technologies de genre.

Gender Tech, ce que la technologie fait au corps des femmes (Lux, 2024) est une réflexion particulièrement tonique sur le rôle de la technologie dans la connaissance. Depuis un point de vue radicalement féministe, Tripaldi questionne la fonction des outils technoscientifiques. Pour elle, ils ne sont pas des transmetteurs passifs, neutres, objectifs ou impartiaux, mais au contraire, ils participent à transformer et à construire la réalité qu’ils décrivent. Du spéculum gynécologique à la contraception hormonale, du test de grossesse à l’échographie, les outils dictent leurs vérités et exercent par là-même un contrôle et une domination sur les corps qu’ils révèlent. Leur contribution à l’émancipation des femmes est très ambivalente, rappelle la chercheuse. Le regard qu’ils projettent à l’intérieur des corps et la façon dont ces technologies transportent et traduisent l’expérience intime vers la sphère publique du savoir scientifique a d’abord des impacts politiques et normatifs. La technologie matérialise le genre, le construit, et avec lui construit des statuts identitaires comme sociaux.

Avec l’exemple de la pilule et de ses effets secondaires, Tripaldi rappelle le caractère inévitable et totalitaire de la technologie qui minimise toujours ses effets et infantilise ses utilisatrices. La pilule n’a pas été qu’une technologie contraceptive de maîtrise de la fertilité, elle a aussi été un dispositif de régulation sociale et biologique des femmes. « Je ne peux m’empêcher de penser que la recherche d’une solution pharmacologique au « problème » de la féminité est peut-être une façon détournée de légitimer les structures sociales et politiques oppressives qui font qu’il est si difficile d’habiter le monde dans un corps de femme ». Une pilule n’est pas qu’un principe actif, souligne-t-elle : c’est aussi et d’abord un « dispositif imprégné de discours politiques et de significations culturelles ». La technologie est à la fois émancipatrice et oppressive, notamment quand son action va au-delà de sa promesse, comme c’est souvent le cas, notamment en agissant sur la nature même du corps, des émotions, de la personnalité, comme le fait la pilule. Celle-ci ne régule pas seulement la fertilité, elle a des conséquences médicales, psychologiques et politiques sur celles auxquelles elle est prescrite. Tripaldi dissèque longuement les lourds effets de la pilule, administrée longtemps sans grande conscience de ses effets qui n’ont de secondaires que le nom. « La valeur d’une technologie ne peut jamais être dissociée de la position, hégémonique ou subalterne, des corps sur lesquels elle agit ».
« Avant de produire un savoir, la science produit des regards »
Le progrès technique est longtemps resté une promesse d’émancipation jusqu’à ce qu’on se rende compte que ce n’était pas nécessairement aussi évident, au contraire même. Le progrès social a bien plus tenu de réactions et de luttes contre le progrès technique le plus déshumanisant qu’il n’a été sa continuité naturelle. En revenant à la source, Tripaldi montre que l’inventeur de la pilule, l’endocrinologue Gregory Pincus n’avait pas beaucoup de scrupules éthiques. Son collègue, le gynécologue John Rock, catholique convaincu, voyait dans le dispositif un moyen pour discipliner les corps. Les effets psychologiques de la pilule sont pourtant démontrés dès les premiers tests réalisés sans le consentement des patientes, et dès les années 60, les risques de thrombose et de cancers sont documentés. « Dans l’histoire de la médecine, la pilule est le premier médicament conçu pour être administré de façon régulière à des personnes en parfaite santé ». Et les risques liés à sa prise sont longtemps minimisés sous les controverses scientifiques et du fait de l’absence d’autres technologies de contraception, notamment les technologies de contraceptions masculines, qui sont restées bien peu investiguées. Pour Tripaldi, ces conséquences montrent qu’on ne peut s’émanciper en utilisant ces technologies. Comme le disait Audrey Lorde, « les outils du maître ne détruiront jamais la maison du maître ». Les hormones elles-mêmes sont des « objets-frontières » qui « évoluent sur l’interface entre biologie et société », à la manière dont les principes actifs de la pilule agissent sur la sexualité, le rapport aux autres, les émotions, l’identité même de celles qui y ont recours. La corrélation entre la prise de la pilule et la dépression par exemple, soulignent que ce que la pilule produit va bien au-delà de ce sur quoi elle est censée agir, puisqu’elle bouleverse jusqu’à l’identité même de celles qui la prennent. Comme le dit le philosophe Paul B. Preciado, derrière les flux technologiques hormonaux, ce que l’on s’injecte, c’est « une chaîne de signifiants politiques ». Pour Tripaldi, les technologies produisent des discours, construisent des vérités, assemblent de nouvelles formes de nature. Depuis la généalogie problématique de la pilule, nous avons bien à faire à un dispositif de contrôle politique, qui, « derrière le masque de l’émancipation, n’a fait qu’intensifier et renforcer la discipline ».

« Avant de produire un savoir, la science produit des regards ». L’objectivité est toujours circonstanciée, conditionnelle, rappelle Laura Tripaldi. Pour elle, nous devons « redéfinir les conditions dans lesquelles l’objectivité prend forme », en interrogeant plus avant le rôle central des interfaces technologiques dans la construction même de la science.

En observant comment a été construit le test de grossesse, Tripaldi interroge le rôle actif de médiation de la technologie dans la construction du savoir. Les technologies, parce qu’elles sont les espaces mêmes où se construisent l’objectivité du savoir, sont à la fois des dispositifs de contrôle et des territoires de luttes. Et c’est le contrôle des moyens de production du savoir qui permettent à celui-ci de reproduire sa domination. Même constat pour le développement de l’échographie, qui produit la représentation du corps du foetus séparé de celui de la femme qui le produit. Pour Tripaldi, les technologies orientent nos regards, le construisent, construisent nos représentations. Les célèbres images de fœtus du photographe suédois Lennart Nilsson ont participé à transformer le fœtus en sujet politique, vivant, alors que ces célèbres images sont celles de cadavres, dissociés de leur contexte matériel, à savoir le corps de leur mère sans lequel ils ne peuvent vivre. L’échographie a donné naissance à la politisation du fœtus, privant les femmes de leur autonomie, rendant leurs corps, à elles, invisibles. En permettant de documenter un espace inconnu, l’échographie a permis de nouvelles dominations : d’abord et avant tout l’extension d’un regard et d’un jugement moral conservateur sur le corps des femmes. D’outils pour réduire le risque, l’échographie est devenu un moyen pour élargir le contrôle sur tous les aspects de la vie quotidienne de la femme enceinte. En devenant symbole, le fœtus est devenu bien plus politique que médical. « La représentation technologique d’un corps n’est jamais un processus neutre ».
Interroger la façon dont nous construisons les instruments qui vont produire la réalité
Le « masque de l’objectivité scientifique occulte le récit idéologique ». La réalité est toujours subjective et dépendante de l’observateur et de la manière dont le regard est dirigé sur ce et ceux qu’il observe. Le risque, estime Tripaldi, c’est que l’oppression politique ne s’impose pas seulement au niveau de la morale, mais la déborde, pour s’inscrire désormais au niveau de la réalité, ou plutôt au niveau dont on représente la réalité, c’est-à-dire au niveau dont sont construits nos instruments.

Cette compréhension nouvelle nous invite donc à interroger la façon même dont nous construisons les instruments qui produisent la réalité. A l’heure des données et des calculs par exemple, on voit bien qu’elles produisent des réalités très imparfaites, mais qui sont acceptées comme telles d’abord par ceux qui les produisent et ce d’autant qu’elles leur profitent, et qu’elles s’imposent aux autres, quelles que soient leurs limites ou défaillances.

Pour défaire ces récits, il faut les montrer tels qu’ils sont, c’est-à-dire des récits, explique Tripaldi. Des idéologies recouvertes de sciences. C’est très justement ce qu’explique le féminisme des données, en nous invitant à nous défaire des artefacts que nous construisons pour produire la science elle-même. C’est tout l’enjeu du discours anticolonial, qui montre également la relation profonde entre science et domination. Plus encore que des savoirs, la science sert à construire des regards, des représentations, des discours, qu’il faut savoir raconter, expliquer, situer.

Comme le fait Jeanne Guien dans son livre, Une histoire des produits menstruels (Divergences, 2023), Tripaldi termine le sien en montrant toutes les limites des applications de suivi du cycle menstruel. Pour Tripaldi, le corps devient une composante de la technologie, un périphérique, permettant de renforcer les règles normatives et politiques. C’est la technologie qui a recours à la biologie pour fonctionner, c’est elle qui nous envahit. Pour la chercheuse, nous devrions pourtant trouver des espaces pour échapper à la technologie et à la science, des moyens pour échapper à l’extension du contrôle, pour nous protéger du regard tout puissant de la tech. La science et la technologie sont d’abord des outils de puissance au service du contrôle, rappelle-t-elle, très concrètement. A mesure qu’ils s’étendent et nous gouvernent, le risque est qu’ils nous laissent sans leviers pour y résister. Les technologies ne peuvent être des vecteurs d’émancipations seulement si elles sont conçues comme des espaces ouverts et partagés, permettant de se composer et de se recomposer, plutôt que d’être assignés et normalisés. Les technologies devraient nous permettre de devenir ambigus plutôt que d’être parfaitement univoques. Elles devraient nous permettre de fuir le regard moral qui les constitue sous prétexte de science… comme d’échapper aux données qui tentent de nous définir, sans jamais y parvenir vraiment.
Couverture du livre de Laura Tripaldi, Gender Tech.
7:30
Glaçant : une démocratie qui n’aurait plus besoin d’humains
sur Dans les algorithmes

Faire discuter les machines à notre place pour trouver des terrains d’accords en évacuant les opinions personnelles pour atténuer la conflictualité. Tel est le projet glaçant de chercheurs de Google… Améliorer le contrôle social plutôt que favoriser l’action collective. Rob Horning.
18 October 2024
13:30
La matérialité de l’IA est une bombe
sur Dans les algorithmes

« L’IA, c’est traiter des quantités inouïes de données avec des quantités inouïes d’énergies et de matières. Mais quel type de société peut se permettre des superpuissances de calcul de cette taille ? » Celia Izoard
11:12
La modération de contenu est un travail traumatisant
sur Dans les algorithmes

Fascia Berhane Gebrekidan dans un rapport pour Data Workers Inquiry constate les effets dévastateurs de la modération de contenus sur la santé mentale des personnels qui en ont la charge, alors qu’ils sont employés selon des contrats qui ne leur permettent d’accéder à aucun soin adaptés. Les entreprises de la Tech font accomplir leur travail de modération psychologique sans en assumer les conséquences.
7:30
Acculés dans les stéréotypes
sur Dans les algorithmes

Les émulations d’images produites par l’IA sont en passe de ne plus pouvoir être distinguées de celles prises depuis un appareil photo – d’autant que ceux-ci permettent également de tronquer la réalité qu’ils sont sensés saisir –, explique le photographe et historien de l’art Julian Stallabrass dans un saisissant article pour la New Left Review.
Des images pour produire le monde tel qu’il devrait être
Dans le domaine culturel, le capitalisme encourage depuis longtemps un fort conformisme, allant de formats standards à des représentations avec des variations mineures. Nous sommes cernés par une uniformité de contenus et de tons, une « faible entropie », une forme de grande « prévisibilité culturelle », qui consacre le cliché, le stéréotype, la narration sur la réalité. Les photographies numériques que nous prenons sont déjà très largement régies par des processus intégrant de l’IA. L’image ressemble de plus en plus à une fusion d’images et d’effets. Le théoricien des médias, Lev Manovich parlait très justement d’une « manipulation des surfaces » qui ressemble aux portraits de l’ère soviétique, mi-photographies mi-peintures, comme un effet de débruitage réalisés par les algorithmes pour adapter les images, la netteté, les couleurs… mais également les motifs et le sens. Dans les « améliorations » des images que produit l’IA, il n’y a pas que la forme qui est altérée, le fond aussi. Dans les innombrables couches de traitements des réseaux neuronaux, l’adaptation de la luminosité ou des couleurs ne se distingue pas des représentations, du sens ou des signifiants. « Puisqu’ils sont entraînés à prédire ce qui est probable dans une vaste base de données d’images photographiques, les IA sont en effet des machines anti-entropiques, supprimant le « bruit » ou la complexité du matériel source, lissant les surfaces et cultivant le cliché. Les images qui en résultent ressemblent à ce que la plupart des gens pensent que la photographie devrait être. » A ce que le monde devrait être.

Quand on passe une image dans les assistants d’IA, il les corrigent, les nettoient, les rendent plus « à la mode »… Mais pas seulement : par nature, l’IA ajoute du sens, issu de la moyennisation de toutes les représentations qu’elle intègre. De même, quand on demande à une IA de produire une image dans le style d’un photographe, elle parvient à produire une forme d’archétype, une forme de moyennisation du style comme de la représentation, dans des arrangements souvent prévisibles.

Dans un livre consacré à l’esthétique artificielle qu’il signe avec Manovich, le philosophe Emanuele Arielli parle très justement de « maniérisme informatique » pour évoquer les effets très conventionnels, exagérés et étrangement similaires de ces productions. Pour Julian Stallabrass, ces outils produisent des formes de clichés, de déjà-vu, neutralisés, « dépolitisés »… comme s’ils parvenaient à capturer nos préjugés et représentations, tout en les neutralisant imparfaitement, en les rendant partout très semblables. Un peu comme si nous étions coincés quelque part entre le réel et la fiction.
Images : En haut, Stallabrass convoque l’étrange déréalité produite par les productions de dall-e en convoquant un SDF, d’un homme d’affaires et d’un amateur de livres assis sur un banc. En bas, l’image d’un Mexicain dans Midjourney est forcément un homme avec sombrero, explique le magazine Rest of the World qui montre comment l’IA réduit nos représentations culturelles à des stéréotypes. Stéréotypes partout
En psychologie, le déjà-vu correspond à l’impression de se souvenir d’un événement tout en pensant que ce souvenir est peut-être une illusion. Dans le domaine culturel, il évoque l’idée de mèmes avec des variations mineures… comme une forme de défaillance de la mémoire source. Ce n’est pas un hasard d’ailleurs si le déjà-vu culturel est né avec la reproduction mécanique des médias de masse. « Le sentiment de familiarité n’est pas une illusion – on l’a probablement déjà vu, peut-être plus d’une fois. Malgré tout, l’incapacité à situer le souvenir peut être dérangeante, produisant cette étrange familiarité qui est la qualité déterminante de l’étrange. » Pour le philosophe Paolo Virno, le déjà-vu est lié au cynisme, notamment à ceux qui, comme les habitués des médias sociaux, sont à la fois acteurs et spectateurs d’un état de déjà-vu collectif.

« Les images générées par le débruitage de l’IA, en particulier lorsqu’elles imitent la photographie, produisent trois types d’effets étranges : il y a l’impression de déjà-vu, ou de familiarité excessive, combinée au sentiment de douceur excessive ou de propreté excessive qui accompagne la réduction de l’entropie ; il y a des juxtapositions socialement bizarres, comme avec les nazis racialement divers de Google ; et enfin, il y a des problèmes flagrants, particulièrement marqués dans le rendu des visages et des mains. » À propos de ces problèmes, Manovich a suggéré que ce que l’on appelle IA à un moment donné est simplement une technologie inconnue. Une fois qu’elle s’installe dans une utilisation régulière et fiable, ce que l’on appelait autrefois IA sort de cette catégorie. L’un de ses exemples est l’outil de sélection automatique de Photoshop, la baguette magique, qui permet de sélectionner ou détourer des éléments le plus simplement du monde. La génération d’images par IA est actuellement nouvelle, étrange, en évolution et souvent défectueuse dans son fonctionnement anti-entropique et antibruit. Malgré tout, la trajectoire générale de l’élimination de l’entropie, et avec elle de la non-conformité culturelle, est claire.

Pour l’IA, la photographie ne semble qu’un ensemble de paramètres de « styles » obtenus par un entraînement statistique depuis des bases de données colossales d’images que les appareils photo produisent. Dans la gestion par une IA de champs statistiques aussi vastes, il n’existe pas de séparation nette entre les médias, le style et le contenu, explique encore Manovich. Le philosophe Willem Flusser, lui, était très préoccupé par ce qu’il considérait comme une tendance à l’augmentation de l’entropie dans la culture numérique, bien qu’il utilisait le terme dans le sens physique, pour exprimer sa profonde crainte de l’affaiblissement de la complexité dans une forme de mort thermique culturelle. Le danger, pensait-il, était que les entités commerciales, aidées par l’IA, réduisent la complexité des messages culturels, de sorte que « les images montreront toujours la même chose, et les gens verront toujours la même chose », et qu’un « ennui éternel et sans fin se répandra dans la société ». Pour lui, il faudrait qu’on évalue les images pour éliminer celles qui ne répondent pas à une norme de complexité minimale. C’est peut-être là où nous sommes rendus finalement : écartelés entre une culture de plus en plus normative et normalisée et ceux qui désespèrent de s’en échapper. Et il est intéressant que cette saturation des représentations se fasse au même moment où toutes les représentations dans lesquelles nous baignons sont profondément interrogées, questionnées politiquement… que ce soit à travers les enjeux de genre ou de racisme.
Avec l’IA, toutes les modifications sont activables
Nous nous dissolvons dans des archétypes, une moyennisation généralisée. Mais une moyennisation qui n’est pas sans effets concrets, comme l’expliquait dans un tweet la designer Elizabeth Laraki montrant que dans une image retouchée par l’IA pour que la taille de l’image soit plus adaptée aux spécificités requises, l’IA n’avait pas retouché l’image d’une manière neutre, mais élargi l’échancrure de son décolleté. Avec l’utilisation de l’IA, toutes les couches possibles de modifications sont activées.
Image : en modifiant la taille de l’image, il n’y a pas que la taille qui a été modifiée…
Aux effets statistiques sont ancrés des représentations que l’IA comme nous-mêmes prenons pour les choses elles-mêmes. Emile Durkheim parlait de « prénotions » pour parler de ces représentations schématiques et sommaires qui « défigurent le véritable aspect des choses et que nous prenons pourtant pour les choses elles-mêmes », rappelle le sociologue Denis Colombi dans son dernier livre. Ces représentations encombrant nos façons de penser, nous empêchent de percevoir le monde tel qu’il est. Bourdieu en appelait même à se détacher de ces prénotions, à nous éloigner des discours et des habitudes de pensées, à changer de regard, à nous doter de « nouveaux yeux ». Pour cela, encore nous faudrait-il pouvoir représenter le monde autrement. Mais nous n’avons pas de nouveaux yeux, nous avons désormais la somme de tous les yeux. C’est donc tout l’inverse que produisent ces images répétées à l’infini, saturées de signifiants et de significations. Dans La trahison des images, célèbre tableau de Magritte, le peintre nous invitait à nous rappeler que les représentations ne sont que des représentations. Dans la gestion par l’IA de nos représentations, il n’y a plus d’échappatoire ou d’innocence. Tout est sens. Modifier la taille de l’image, c’est accepter la modification de tous les autres éléments de sens. Le moindre détail est politique, car il est désormais la moyenne de tout le sens que nous y avons mis. Comme le disait pertinemment le spécialiste des images André Gunthert, les images générées par l’IA sont dans les clous des pratiques, elles les renforcent plus qu’elles les dénaturent ou les transforment. Dans une forme de saturation des sens. Comme si l’IA parvenait à exacerber le sens tout en l’atrophiant. Notre hypersensibilisation aux représentations risque surtout de devenir encore plus extrême à mesure que ces images se déploient. Le problème n’est pas tant la falsification du réel que ces images promettent, mais l’hypertrophie du sens qu’elles produisent. Le réel doit correspondre à sa fiction et la fiction au réel.

Dans l’excellent documentaire sur IA et cinéma de Mario Sixtus disponible sur Arte, on peut voir nombre de productions d’IA vidéo, toutes assez étranges, puissamment hallucinantes (comme celle de NiceAunties, les déstabilisant Heidi de Patrick Karpiczenko ou Alice de Justin Hackney…), mais qui derrière leurs déformations grotesques et étranges, semblent se jouer des signifiants que nous mettons dans nos images. C’est un peu comme si les clichés que les IA produisent amplifiaient surtout les nôtres, les déformant pour mieux les révéler. « L’IA est comme un outil qui permet d’explorer le subconscient de l’humanité », y explique l’artiste IA Melody Bossan. C’est un peu comme si l’IA nous plongeait dans la profondeur de nos raccourcis culturels pour mieux les révéler. Le risque, c’est qu’ils les exacerbent plus qu’ils nous permettent d’y remédier. A l’heure où nous voudrions justement les combattre, il semble paradoxal qu’émerge une machine à amplifier nos stéréotypes… A moins qu’elle ne nous serve à mieux les voir, partout où ils se glissent.
17 October 2024
11:15
Vers des systèmes qui connaissent le salaire que vous être prêts à accepter
sur Dans les algorithmes

Avec des systèmes de calcul basés sur l’IA, il est probable que votre salaire ne soit plus assuré ! Il y a 9 ans, un chauffeur Uber pouvait gagner 60 à 85 dollars pour une course dans la banlieue de Los Angeles, quand la même course aujourd’hui ne lui rapporte que 25 à 35 dollars, explique Slate. Depuis 2022, Uber et Lyft ont renforcé leurs algorithmes pour intégrer des données individualisées pour déterminer le montant de chaque course, ce qui expliquerait l’amplification des variations de paiements entre les conducteurs, rapporte le média vidéo de défense des travailleurs More Perfect Union. Les algorithmes semblent apprendre les montants les plus bas qu’acceptent les chauffeurs pour les transformer en normes individuelles. Le prix des courses n’est plus seulement déterminé par la tension entre l’offre et la demande ou la localisation, mais de plus en plus par le comportement individuel des chauffeurs et livreurs. Le risque, c’est que « le système ne s’arrête pas aux travailleurs indépendants. Les experts affirment que la discrimination salariale algorithmique et la rémunération influencée par l’IA de manière plus générale s’infiltrent dans un nombre croissant de domaines, tels que les soins de santé, la logistique et la technologie, et pourraient bouleverser le travail tel que nous le connaissons ». Grâce aux données, les systèmes peuvent calculer la rémunération la plus basse possible que les travailleurs de chaque secteur toléreront et suggérer des incitations pour contrôler leur comportement. Les systèmes de calculs peuvent optimiser les rémunérations variables pour les réduire, mais également utiliser des données comportementales pour les ajuster plus encore, tout comme on le constate dans la tarification dynamique.

D’autres travailleurs indépendants sont soumis à cette personalisation, estime la chercheuse Veena Dubal qui parle de discrimination salariale algorithmique. Les lieux de travail adoptent de plus en plus de logiciels de gestion basés sur l’IA, qui pourraient influencer indirectement les salaires en attribuant des projets et des équipes en fonction des données des employés, explique le chercheur Antonio Aloisi, co-auteur du livre Your boss is an algorithm. Plusieurs entreprises – comme Praisidio, HRBRain, Beqom ou HR Soft – proposent déjà des solutions pour évaluer les salaires, les avantages sociaux et les primes afin de les optimiser. La surveillance de la productivité des employés en temps réel se déploie, constatait déjà en 2022 le New York Times. Elle se complexifie d’outils de planning automatisés, d’outils de suivis du personnels… dans les secteurs de la santé, de la vente au détail, de l’hôtellerie… qui produisent une hyperpersonnalisation du traitement des travailleurs.

Le risque, c’est que les algorithmes décident de qui obtiendra le travail le mieux rémunéré, les meilleurs horaires, voir des horaires pleins. Le modèle dystopique du travail à la tâche à la Uber est en train de pénétrer l’économie du travail conventionnelle, estime Aloisi. Le salaire algorithmique personnalisé pourrait devenir la norme, explique la chercheuse Zephyr Teachout.

Le risque, c’est que ces calculs invisibilisent les discriminations salariales pourtant interdites, notamment en utilisant des données qui serviront de variables de substitutions aux discriminations, par exemple en favorisant les employés qui disposent de peu d’épargne pour plus mal les payer.

La résistance à ces nouvelles méthodes risque d’être compliquée. Au Japon, les avocats d’un syndicat ont obtenu que la direction d’IBM documente les données utilisées par son système d’IA pour évaluer les employés. Le système devra également expliquer sa pertinence par rapport aux règles salariales et, pour les travailleurs ayant de faibles notes, devra expliquer les raisons de ces notations aux salariés.
10:15
Contestations automatisées
sur Dans les algorithmes

Aux Etats-Unis, il est courant que les assurances maladies refusent les demandes d’indemnisation de leurs clients. Les clients ont certes le droit de faire appel, mais les procédures sont compliquées ce qui fait qu’ils sont très peu nombreux à remplir une demande. Fight Health Assurance propose un outil d’IA générative pour aider les clients à faire appel depuis la lettre de refus et certaines de leurs données médicales, explique Fast Company. L’outil aide les patients à surmonter le premier obstacle : ne pas savoir par où commencer. Rien n’assure que les recours soient efficaces, prévient le développeur. Mais, « à l’heure actuelle, lorsque la compagnie d’assurance maladie refuse quelque chose, la plupart du temps, elle n’a rien à payer, donc c’est une victoire pour elle. Mais je pense que si la plupart du temps, lorsqu’elle fait un refus, elle doit payer et traiter également des documents supplémentaires, elle ne refuserait peut-être pas autant de choses. »

Pas sûr que tous les services clients soient prêts !
16 October 2024
7:30
IA Lock-in
sur Dans les algorithmes

« Mais pourquoi les Gafams veulent-ils intégrer l’IA générative partout, alors que les produits proposés jusqu’à présent, se sont révélés plutôt très décevants ? », questionne avec sa pertinence habituelle Ed Zitron. Pour comprendre cet enthousiasme pour ces technologies qui se révèlent souvent médiocres, il faut comprendre comment les entreprises de la tech gagnent de l’argent. Le modèle économique de nombreuses entreprises technologiques repose sur celui du logiciel en tant que service (SaaS, software as a service), où l’on vous facture un montant mensuel par utilisateur « pour un logiciel que vous ne possédez pas et ne contrôlez pas ». Si la proposition a plein d’avantages pour les entreprises qui y ont recours, cela conduit à une forme d’externalisation où les fonctionnalités de votre entreprise sont accomplies par d’autres, avec le risque d’un lock-in problématique, c’est-à-dire d’un verrouillage du client, un « enfermement propriétaire » qui rend le client totalement dépendant de la solution qu’il achète. Et Zitron de comparer le SaaS a un parasite qui devient d’autant plus puissant que votre entreprise grandit et qui finit par limiter votre capacité d’innovation à celle du fournisseur auquel vous êtes lié.

Outre l’infrastructure de calcul et de logiciels, les entreprises de la tech vendent d’innombrables services liés pour permettre aux entreprises de faire tourner leurs services. « Plus vous dépensez d’argent, plus il devient coûteux de partir, et ce coût devient d’autant plus lourd que votre organisation devient grande ». Quant aux cris d’exaspération et les récriminations à l’encontre de ces gammes logicielles, elles sont d’autant plus ignorées qu’elles proviennent de « personnes totalement différentes de celles qui prennent les décisions d’achats ». La seule force de ces solutions médiocres c’est d’être très utilisées et de faciliter une « conformité » qui rend la concurrence quasiment impossible pour les petites entreprises du logiciel d’autant que l’interopérabilité reste la grande absente de toutes ces solutions. Ce fonctionnement explique que les logiciels d’entreprises soient « si nuls » et pourquoi le modèle d’abonnement s’est imposé pour assurer des revenus récurrents.

Le problème estime Zitron, c’est que ce modèle pousse les entreprises qui fournissent des services à toujours en proposer de nouveaux. L’autre problème, c’est qu’elle crée des entreprises captives et favorise la concentration des activités des fournisseurs. On peut comprendre qu’une petite entreprise externalise ses besoins, mais il devient plus difficile de tout externaliser à mesure qu’elle grandit, surtout si cette externalisation passe par d’innombrables prestataires logiciels. La tendance à la concentration autour d’un seul prestataire logiciel grandit avec les clients et pousse les entreprises qui fournissent des services à proposer une gamme de plus en plus étendue de services (d’outils de visioconférence aux logiciels de paye…).

« C’est le fondement de l’ensemble de l’industrie technologique et d’une grande partie de la valorisation des entreprises technologiques : des milliers de milliards de dollars de capitalisation boursière sont soutenus par le modèle économique qui consiste à externaliser votre infrastructure et vos logiciels et à les facturer mensuellement, et à inventer de nouvelles façons de vous faire « investir dans votre infrastructure » en acceptant de les payer un peu plus chaque mois. »

Le problème, estime Zitron, c’est que cette industrie du service logiciel n’a plus d’idée pour assurer sa croissance autre que de faire croître le parasite. En fait, ce revenu annuel récurrent ne progresse plus (enfin, il progresse encore de plus de 20% par an, mais c’est la moitié de son niveau de progression d’il y a 5 ans). Non seulement les revenus baissent, mais la satisfaction des clients baisse également alors que le coût d’acquisition de nouveaux clients est plus élevé. Récemment une étude a montré que le nombre d’applications SaaS par entreprise, pour la première fois, a baissé (passant de 130 applications par entreprise en moyenne à 112). « Il se pourrait bien qu’il ne reste plus grand chose à vendre ! », ironise Zitron.

Dans ce paysage en berne, l’IA est une nouvelle promesse à vendre aux clients qui permet de renouveler le fond de services proposés. Tous les acteurs du SaaS ont donc produit des « gadgets IA ». « Il n’est pas évident de savoir ce que font ces produits alimentés par l’IA, et quand vous vous en rendez compte, ils ne semblent pas faire grand-chose », tance, cinglant, Zitron. « Presque toutes ces entreprises affirment que ces systèmes « réduisent la pénibilité » ou « améliorent la productivité », sans fournir d’explication réelle sur la manière dont cela pourrait se produire. » Pour l’instant, certains proposent de l’offrir gratuitement contre le renouvellement de leurs contrats premiums, d’autres la font payer assez cher, bien qu’il leur en coûte parfois plus cher encore, comme c’est le cas de Microsoft. Et Zitron d’évaluer par exemple que très peu des clients de Microsoft 365 semblent avoir opté pour l’option IA. Que le Github copilot de Microsoft semble coûter plus cher à l’entreprise que ce qu’il rapporte (alors qu’il est l’un des produits d’IA parmi les plus populaires et presque utile, bien qu’il semble générer beaucoup de bugs). En février, Microsoft annonçait 1,3 millions de comptes payants à Github copilot et 1,8 millions en septembre… La progression ralentit déjà !

L’IA générative semble le remède miracle pour facturer aux clients « ce qu’ils devraient déjà avoir ». « Au lieu de trouver un moyen d’organiser et de hiérarchiser intelligemment les messages, vous pouvez payer Slack (propriété de Salesforce) 10 $ de plus par utilisateur et par mois pour des résumés de fils de discussion et de canaux alimentés par l’IA ».

Le problème du boom de l’IA en service, « c’est qu’on ne sait pas si ces logiciels seront utiles, si nous avons vraiment besoin que nos e-mails soient résumés ou si les utilisateurs veulent vraiment un chatbot pour répondre à leurs questions ». Pour Zitron, l’IA générative pour l’instant ne se vend pas et elle coûte plus d’argent qu’elle ne rapporte lorsqu’elle se vend. « Dans tous les cas, le problème le plus évident de tous est qu’il ne semble pas y avoir beaucoup de croissance des revenus attribuables à ces outils, ce qui signifie qu’ils doivent soit devenir moins chers (ce qui rendrait leurs coûts intenables), soit meilleurs, ce qui obligerait ces entreprises à trouver un moyen de les rendre plus utiles, ce qu’aucune d’entre elles ne semble être en mesure de faire, et qui est probablement impossible ».
7:30
Uber : le grand contournement continue
sur Dans les algorithmes

A New-York, la loi oblige les VTC a rémunérer les temps d’attente des chauffeurs. Uber et Lyft ont déjà trouvé la parade : ils déconnectent les chauffeurs dès qu’ils ont fini une course, effaçant ainsi leurs attentes des données enregistrées. Dans une enquête, Bloomberg montre que les blocages n’ont pas lieu seulement lors des périodes de faibles demandes, mais tout le temps, même lors des tensions. Un nouvel exemple (après l’augmentation des tarifs pour les livreurs en France qui a conduit à les réduire) qui montre que la caractéristique principale de l’ubérisation est le contournement de la règle.
15 October 2024
7:30
Quand la productivité est sous stéroïdes, les problèmes le sont aussi
sur Dans les algorithmes

Quels sont les impacts réels de l’IA sur la productivité des programmeurs ? Selon une étude randomisée auprès d’environ 5000 codeurs des grandes entreprises américaines, les développeurs qui utilisent Github Copilot terminent 26% de tâches de plus que les développeurs qui ne l’utilisent pas. Mais terminer les tâches ne fait pas tout ! La génération de code sous IA est loin d’être parfaite (le code sans bugs, selon les outils d’IA, varie passablement, entre 60 et 30%) et nécessite de fastidieuses révisions qui semblent pour l’instant peu adaptées à la vitesse d’adoption de l’IA, explique TechRepublic. D’autant que les programmeurs semblent être plus laxistes dans la révision du code produit par les IA qu’ils ne le sont pour le leur.

MAJ du 17/10/2014 : une étude montre que l’activité sur Stack Overflow, le grand forum pour développeur, a baissé de 25% dans les 6 mois suivant la sortie de ChatGPT.
14 October 2024
7:35
« J’ai postulé à 2483 postes en 3 mois »
sur Dans les algorithmes

Vous vous souvenez ? En conclusion de notre dossier sur le recrutement automatisé, on évoquait la possibilité prochaine qu’à l’automatisation des recrutements répondent l’automatisation des candidatures. Eh bien nous y sommes, explique 404media en évoquant AIHawk, un assistant de recherche d’emploi déposé sur Github, qui permet de postuler à des emplois sur Linked-in à grande échelle. Il permet de générer des lettres de motivation et CV basés sur une série de détails biographiques que l’utilisateur encode et que le logiciel modifie en fonction de la description de poste et d’autres informations que l’entreprise a mise sur Linked-in. Le programme semble être devenu populaire et des clones sont déjà disponible (une application dédiée se prépare : « Job Magic : candidatez pendant que vous dormez »).

Dans la communauté Telegram d’AIHawk, des candidats expliquent avoir déjà obtenus des entretiens d’embauches aux dizaines ou centaines de candidatures que le logiciel a envoyé en leur nom ! Nous sommes entrés dans la boucle de l’étrange où « des gens utilisent des CV et des lettres de motivation générés par l’IA pour postuler automatiquement à des emplois examinés par des logiciels d’IA automatisés ». Le développeur italien d’AIHawk, Federico Elia, a déclaré que son projet était né pour « rééquilibrer l’utilisation de l’intelligence artificielle dans le processus de recrutement ». On ne saurait être plus en accord.

Linked-in a déjà réagit en informant que les outils automatisés ne sont pas autorisés sur la plateforme… enfin, pour les candidats ! On espère que le régulateur va vite réagir… pour rappeler qu’il n’y aucune raison que l’automatisation soit réservée aux employeurs !
7:30
Les 700 risques de l’IA
sur Dans les algorithmes

Ça fait beaucoup !
11 October 2024
7:30
Arbitraire managérial : une lutte à géométrie variable
sur Dans les algorithmes

Amazon a récemment décidé que tous ses employés devaient revenir au bureau. Elle n’est pas la seule. Derrière ce symbole de l’arbitraire managérial, aucune loi n’exige qu’Amazon fournisse la preuve que le travail à distance nuit à sa productivité. Le législateur est bien timide, défendent les chercheurs Nicola Contouris et Valerio De Stafano, alors qu’il a bien souvent accompagné l’encadrement du télétravail. Le législateur ne remet en cause l’arbitraire managérial que dans les cas de harcèlement, de licenciement déguisé ou de faute grave de la direction, comme si le caractère raisonnable de toutes les autres politiques sur les lieux de travail n’avaient pas à être discutées – et ce alors que mettre fin unilatéralement au télétravail demeure bien souvent un moyen de contourner les obligations légales qui incombent aux entreprises, comme ici, en provoquant des démissions pour s’éviter des licenciements.

L’acteur public devrait avoir à redire des décisions capricieuses des entreprises… Mais à force de les considérer comme des décisions uniquement contractuelles et privées, le législateur oublie qu’il sait aussi parfaitement leur imposer des normes publiques, par exemple la proportionnalité. Si l’acteur public voit des avantages sociétaux au travail à distance (meilleur équilibre vie professionnelle et vie privée, réduction des coûts environnementaux…), pourquoi alors ne l’impose-t-il pas plus fortement ? « Lorsque l’action collective est insuffisante ou que les représentants des travailleurs ne sont pas présents, comme c’est le cas dans un nombre croissant de lieux de travail, les législateurs et les tribunaux doivent faire leur part, en évitant de se cacher derrière le vernis de nature privée qui recouvre l’autorité de l’employeur et en limitant les décisions managériales à des normes plus strictes de raisonnabilité et de proportionnalité ».
10 October 2024
7:30
Comprendre ce que l’IA sait faire et ce qu’elle ne peut pas faire
sur Dans les algorithmes
Quand on parle d’Intelligence artificielle on mobilise un terme qui qualifie un ensemble de technologies vaguement reliées, expliquent les chercheurs Arvind Narayanan et Sayash Kapoor dans le livre qu’ils viennent de faire paraître, AI Snake Oil (Princeton University Press, 2024, non traduit).

Il y a peu de liens entre l’IA générative dont on entend tant parler et l’IA prédictive, certainement bien plus utilisée encore, mais où se concentrent les systèmes les plus défaillants qui soient. C’est là surtout que se concentre cette « huile de serpent » à laquelle font référence les deux chercheurs. Sous ce terme, qui qualifie des remèdes miraculeux mais inefficaces, comme tant de charlatans en vendaient dans tout l’Ouest américain, les deux chercheurs désignent une technologie qui ne fonctionne pas et ne peut pas fonctionner comme attendu, et qui ne fonctionnera probablement jamais. Toute la difficulté aujourd’hui, pour le grand public, consiste à être capable de distinguer l’IA qui ne fonctionne pas de celle qui fonctionne. C’est tout l’enjeu de leur livre.
IA générative vs. IA prédictive
L’IA est désormais devenue un produit de consommation grand public. Le problème, c’est que son utilisation abusive s’est également généralisée. Les deux ingénieurs restent pourtant très confiants. L’IA générative est un outil amusant et utile défendent-ils. Elle peut même être un outil d’apprentissage passionnant, expliquent-ils un peu légèrement. Certes, l’IA générative comporte des risques et peut avoir un coût social élevé. Mais ce n’est rien comparé à l’IA prédictive. Dans leur livre, les deux chercheurs accumulent les exemples pour montrer que dès que nous tentons d’utiliser l’IA pour des prédictions, notamment dans le domaine du social, elle produit des discriminations. De l’emploi à la santé, en passant par le crime… partout ces modèles restent englués dans leurs biais. Mais surtout, leurs résultats ne sont bien souvent pas meilleurs qu’un résultat aléatoire. C’est, il me semble, la grande force de leur démonstration et le point le plus original du livre. Pour les chercheurs, l’une des raisons d’une si faible performance tient beaucoup au fait que très souvent, la donnée n’est ni disponible ni décisive. Le problème c’est que l’IA prédictive est très attirante parce qu’elle promet des décisions plus efficaces… Mais l’efficacité est bien plus relative qu’annoncée et surtout bien moins responsable.

L’IA n’a pas vraiment de définition fixe. Les deux chercheurs s’en amusent d’ailleurs et remarquent que ce qu’on qualifie comme IA correspond souvent à ce qui n’a pas été fait. Dès qu’une application fonctionne avec fiabilité, on ne parle plus d’IA, comme c’est le cas avec les aspirateurs autonomes, l’autopilote des avions, les filtres à Spam, ou l’autocomplétion. Autant d’exemples qui nous montrent d’ailleurs des formes d’IA qu’on souhaiterait plus souvent. Ces exemples doivent nous rappeler qu’elle n’est pas toujours problématique, loin de là. L’IA sait résoudre des problèmes difficiles. Mais elle ne sait pas prédire les comportements sociaux des gens et la prédiction du social n’est pas un problème technologique soluble.

Il y a aussi certains domaines du social où l’IA peut-être très forte, très précise et très efficace, mais qui posent des problèmes de société majeurs. C’est le cas notamment de la reconnaissance faciale. Le taux d’erreur de la reconnaissance faciale est devenu minuscule (0,08% selon le Nist). Cela n’enlève rien au fait que ces erreurs soient très problématiques, notamment quand elles conduisent à des arrestations qui ne devraient pas avoir lieu. Mais dans le domaine de la reconnaissance faciale, le problème, désormais, n’est plus que la technologie soit défaillante. Ce sont les pratiques, les erreurs humaines, les échecs policiers et d’encadrement de son usage qui posent problèmes. « L’IA de reconnaissance faciale, si elle est utilisée correctement, a tendance à être précise car il y a peu d’incertitude ou d’ambiguïté dans la tâche à accomplir ». Identifier si une personne sur une photo correspond à une autre personne sur une autre photo est assez simple, pour autant que les systèmes aient suffisamment d’images pour s’y entraîner et de moyens pour trouver les éléments qui permettent de distinguer un visage d’un autre. Cela ne signifie pas que l’analyse faciale puisse tout faire, précisent les deux chercheurs : identifier le genre où l’émotion depuis un visage n’est pas possible, car ni l’un ni l’autre n’est inscrit dans l’image. Désormais, « le plus grand danger de la reconnaissance faciale vient du fait qu’elle fonctionne très bien ». Ce ne sont plus ses défaillances techniques qui posent un problème de société, comme c’est le cas des systèmes de prédiction de risques. C’est l’usage qui peut en être fait… comme de pouvoir identifier n’importe qui n’importe où et pour n’importe quelle raison. Attention cependant, préviennent les chercheurs : la reconnaissance faciale peut-être très performante quand elle est utilisée correctement, mais peut très facilement échouer en pratique, comme le montre l’identification depuis des images de mauvaise qualité qui a tendance à produire de nombreux faux positifs. Elle n’est donc ni parfaite ni magique. Et surtout, elle pose un enjeu de société qui nécessite de cadrer son usage, pour trouver les moyens afin qu’elle ne soit pas utilisée de manière inappropriée – et ce n’est pas si simple – et pour que la société se dote de garde-fous et de garanties pour prévenir des abus ou d’utilisations inappropriées.

Nombre d’usages de l’IA demeurent problématiques avertissent les chercheurs. Nombre de ses utilisations relèvent ni plus ni moins de l’imposture. L’IA échoue d’abord et très souvent dès qu’on l’utilise pour produire des prédictions, comme l’a montré Google Flu, l’outil pour prédire la grippe de Google qui se basait sur l’évolution des recherches de symptômes sur le moteur de recherche et dont la précision a fini par s’effondrer sous les requêtes. Non seulement la prédiction est difficile, mais bien souvent son efficacité s’effondre dans le temps.

Les deux chercheurs nous invitent à intégrer une sirène d’alerte aux projets d’IA. Dès qu’ils abordent le social, dès qu’ils souhaitent prédire quelque chose, dès qu’ils utilisent une variable pour une autre (comme de vouloir reconnaître le genre depuis des images de visages), nous devons être vigilants.
Couverture du livre AI Snake Oil d’Arvind Narayanan et Sayash Kapoor. Les défaillances de l’IA prédictive
Mais il y a d’autres motifs d’inquiétudes auxquels prêter attention. Le battage médiatique autour de l’IA fait que bien souvent ses qualités sont exagérées. Les capacités de prédiction de nouveaux services ou outils sont très souvent survendues. L’une des erreurs les plus courantes consiste à annoncer un taux de réussite particulièrement élevé, alors que très souvent, l’outil est évalué sur les mêmes données que celles sur lesquelles il a été entraîné. C’est un peu comme réviser les questions qui seront posées à un examen avant l’examen. L’étude des résultats de recherche dans nombre de secteurs de la recherche en machine learning a montré partout des résultats problématiques. Ce n’est pas nécessairement intentionnel ou malveillant, excusent un peu facilement les deux ingénieurs, le machine learning est une discipline délicate et il est facile de s’embrouiller. En tout cas, la qualité s’effondre très souvent avec le battage médiatique. Ainsi, des centaines d’études ont proclamé pouvoir détecter le Covid depuis des radiographies des poumons : une revue systématique de plus de 400 articles de recherche a montré qu’AUCUNE n’était fiable. Tant et si bien qu’une équipe de chercheurs a mis au point une chek-list pour aider les développeurs et les chercheurs à minimiser les erreurs. Dans une étude sur l’usage de l’IA prédictive dans l’industrie et l’administration, Narayanan et Kapoor ont fait les mêmes constats et ont listé les principaux défauts de la prédiction :
- Un outil qui fait de bonnes prédictions ne signifie pas qu’il mènera à de bonnes décisions, notamment du fait de la rétroaction des décisions sur les prédictions (??par exemple un montant de caution plus élevé basé sur une prédiction de récidive peut augmenter le taux de récidive… et d’ailleurs, les peines sévères ont tendance à augmenter la récidive) ;
- Pour prédire, on fait souvent appel à une variable-cible qui ne correspond pas exactement à ce que l’on souhaite prédire, comme d’utiliser la moyenne générale d’un étudiant pour prédire sa réussite l’année suivante.
- Lorsque la distribution des données sur lesquelles un modèle est formé n’est pas représentative de la distribution sur laquelle il sera déployé, les performances du modèle seront problématiques.
- Il y a toujours des limites à la prédiction. Les résultats sociaux ne sont pas prévisibles avec précision, même avec l’apprentissage.
- Les différences de performances entre différents groupes sociaux ne peuvent pas toujours être corrigées.
- Bien souvent les systèmes manquent de possibilité pour en contester les résultats alors que cette contestabilité est un levier important pour se rendre compte de ses erreurs.
- La prédiction oublie souvent de prendre en compte le comportement stratégique qui risque de la rendre moins efficace dans le temps.
Au XIXe siècle, dans l’Ouest américain, d’innombrables colporteurs vendaient des médicaments miracles, inefficaces et inoffensifs, pour la plupart… mais pas tous. Certains de ces faux remèdes laisseront des morts derrière eux. En 1906, la Food and Drug Administration (FDA) est imaginée pour remédier au problème et rendre ces colporteurs responsables de leurs produits, comme l’explique le dernier rapport de l’AI Now Institute qui revient en détail sur la naissance de l’agence américaine et comment elle a changé le monde du médicament par la construction de mesures préalables à leur mise sur le marché – l’AI Now Institute invite d’ailleurs à s’inspirer de cette histoire pour rendre l’IA responsable en pointant qu’une « réglementation ex ante solide, adaptée à un marché en évolution et à ses produits, peut créer des avantages significatifs à la fois pour l’industrie et pour le public ».

Si l’AI Snake Oil est une IA qui ne marche pas et qui ne peut pas marcher, souvenons-nous que même une IA qui fonctionne bien peut être nocive. Face aux produits d’IA, il faut pouvoir mesurer à la fois les préjudices qu’ils peuvent provoquer mais également la véracité qu’ils produisent.

Mais si l’IA défaillante est si omniprésente, c’est parce qu’elle offre des solutions rapides à n’importe quels problèmes. Oubliant que les solutions qui ne fonctionnent pas n’en sont pas, rappellent Kapoor et Narayanan. « Dans le sillage de la révolution industrielle, des millions d’emplois furent créés dans les usines et les mines, avec d’horribles conditions de travail. Il a fallu plusieurs décennies pour garantir les droits du travail et améliorer les salaires et la sécurité des travailleurs. » Nous devons imaginer et construire un mouvement similaire pour garantir la dignité humaine face à l’automatisation qui vient. Nous devons trouver les moyens d’éradiquer le déploiement de l’huile de serpent et construire les modalités pour bâtir une technologie responsable comme nous avons réussi à bâtir une médecine et une industrie agro-alimentaire (plutôt) responsable.
Pourquoi les prédictions échouent-elles ?
Dans leur livre, les deux auteurs mobilisent d’innombrables exemples de systèmes défaillants. Parmis ceux qu’ils classent comme les pires, il y a bien sûr les outils de prédiction qui prennent des décisions sur la vie des gens, dans le domaine de la santé, des soins ou de l’orientation notamment.

Un algorithme n’est qu’une liste d’étapes ou de règles pour prendre une décision, rappellent-ils. Très souvent, les règles sont manuelles mais sont appliquées automatiquement, comme quand on vous demande de ne pas percevoir au-delà d’un certain revenu pour bénéficier d’un droit. Le problème, c’est que de plus en plus, les règles se complexifient : elles sont désormais souvent apprises des données. Ce type d’algorithme est appelé modèle, c’est-à-dire qu’il découle d’un ensemble de nombres qui spécifient comment le système devrait se comporter. Ces modèles sont très utilisés pour allouer des ressources rares, comme des prêts ou des emplois, ouvrant ou fermant des possibilités. C’est typiquement ce qu’on appelle l’IA prédictive. C’est par exemple ainsi que fonctionne Compas, le système de calcul de risque de récidive utilisé par la justice américaine, entraîné depuis le comportement passé des justiciables. L’hypothèse de ces systèmes et de nombre de systèmes prédictifs consiste à dire que des gens avec les mêmes caractéristiques se comporteront de la même manière dans le futur. Ces systèmes prédictifs sont déployés dans de nombreux secteurs : la santé, l’emploi, l’assurance… Le problème, c’est que de petits changements dans la vie des gens peuvent avoir de grands effets. La plupart des entreprises qui développent des systèmes prédictifs assurent que ceux-ci sont performants et équitables. Pourtant, on ne peut pas garantir que les décisions qu’ils prennent soient sans biais ou équitables.

Une bonne prédiction ne signifie pas une bonne décision. L’IA peut faire de bonne prédictions… si rien ne change, c’est-à-dire si elles ne sont pas utilisées pour modifier les comportements, expliquent les chercheurs en prenant l’exemple d’un système prédictif de la pneumonie qui montrait que les gens atteints d’asthme étaient à moindre risque, parce qu’ils recevaient des soins adaptés pour éviter les complications. Déployer un tel modèle, en fait, aurait signifié renvoyer les patients asthmatiques chez eux, sans soins. Corrélation n’est pas causalité, dit l’adage.

Ces erreurs de prédictions ont souvent pour origine le fait que les chercheurs s’appuient sur des données existantes plutôt que des données collectées spécifiquement pour leur produit. Trop souvent, parce que créer des données spécifiques ou faire des contrôles aléatoires est coûteux, les entreprises s’en abstiennent. Comprendre l’impact des outils de décision est également important et nécessite aussi de collecter des données et de faire des contrôles d’autant plus coûteux que ces vérifications, élémentaires, viennent souvent remettre en question l’efficacité proclamée. Techniquement, cela signifie qu’il faut toujours s’assurer de savoir si le système a évalué ses impacts sur de nouvelles données et pas seulement sur les données utilisées pour la modélisation.

Ces effets sont d’autant plus fréquents que le développement de systèmes conduit souvent les gens à y réagir, à se comporter stratégiquement. C’est le cas quand des candidats à l’embauche répondent aux outils d’analyse des CV en inondant leurs CV de mots clefs pour contourner leurs limites. Une étude a même montré que changer le format de son CV d’un PDF en texte brut, changeait les scores de personnalité que les systèmes produisent sur les candidatures. Quand les entreprises assurent que leurs outils fonctionnent, elles oublient souvent de tenir compte du comportement stratégique des individus. Or, « quand les résultats du modèle peuvent être facilement manipulés en utilisant des changements superficiels, on ne peut pas dire qu’ils sont efficaces ». C’est toute la limite de trop de modèles opaques que dénoncent les deux chercheurs avec constance.

Le risque, c’est que ces systèmes nous poussent à une sur-automatisation. La sur-automatisation, pour les chercheurs, c’est quand le système de prise de décision ne permet aucune voie de recours, comme l’ont connu les individus suspectés de fraude par l’algorithme de contrôle des aides sociales de Rotterdam. Pour éviter cela, les bonnes pratiques invitent à « conserver une supervision humaine ». Problème : tous les développeurs de systèmes assurent que c’est le cas, même si cette supervision ne conduit à aucune modification des décisions prises. En réalité, les développeurs d’IA vendent des IA prédictives « avec la promesse d’une automatisation complète. La suppression d’emplois et les économies d’argent constituent une grande partie de leur argumentaire ». La supervision n’a donc la plupart du temps pas lieu. Même quand elle existe, elle est bien souvent inappropriée. Et surtout, les résultats et suggestions génèrent une sur-confiance particulièrement pervasive, qui affecte tous les utilisateurs dans tous les secteurs. Dans des simulateurs de vol, quand les pilotes reçoivent un signal d’alarme incorrect, 75% d’entre eux suivent les recommandations défaillantes. Quand ils ont recours à une checklist, ils ne sont plus que 25% à se tromper.

Mais surtout, insistent les deux chercheurs, les prédictions sur les gens sont bien plus fluctuantes qu’on le pense. Un outil similaire à Compas développé en Ohio et utilisé en Illinois a produit des aberrations car les taux de criminalité n’étaient pas les mêmes entre les deux Etats. Trop souvent les prédictions se font sur les mauvaises personnes. C’était le cas de l’outil de calcul de risque de maltraitance des enfants de Pennsylvanie étudié par Virginia Eubanks, qui n’avait aucune donnée sur les familles qui avaient recours à des assurances privées et donc qui visait disproportionnellement les plus pauvres. « Les outils d’IA regardent ce qui est sous le lampadaire. Et très souvent, le lampadaire pointe les plus pauvres ». L’IA prédictive exacerbe les inégalités existantes. « Le coût d’une IA défectueuse n’est pas supporté de manière égale par tous. L’utilisation de l’IA prédictive nuit de manière disproportionnée à des groupes qui ont été systématiquement exclus et défavorisés par le passé. » Les outils de prédiction de risque de santé, déployés pour réduire les dépenses d’hospitalisation, ont surtout montré leurs biais à l’encontre des minorités. L’un de ces outils, Optum’s Impact Pro par exemple, écartait systématiquement les personnes noires, parce que le système ne prédisait pas tant le besoin de soins, que combien l’assurance allait dépenser en remboursement des soins de santé. L’entreprise a continué d’ailleurs à utiliser son outil défaillant, même après qu’il ait montré son inéquité. « Les intérêts des entreprises sont l’une des nombreuses raisons pour lesquelles l’IA prédictive augmente les inégalités. L’autre est la trop grande confiance des développeurs dans les données passées. »

Trop souvent, on utilise des proxies, des variables substitutives qui nous font croire qu’on peut mesurer une chose par une autre, comme les coûts de la santé plutôt que les soins. C’est le même problème pour Compas. Compas utilise des données sur qui a été arrêté pas sur les crimes. Compas dit prédire le crime alors qu’en fait il ne prédit que les gens qui ont été arrêtés. Ces confusions sur les données expliquent beaucoup pourquoi les systèmes d’IA prédictive nuisent d’abord aux minorités et aux plus démunis.

S’ils sont défaillants, alors peut-être faudrait-il faire le deuil des outils prédictifs, suggèrent les chercheurs. Ce serait effectivement dans bien des cas nécessaires, mais nos sociétés sont mal à l’aise avec l’imprévisibilité, rappellent-ils. Pourtant, trop souvent nous pensons que les choses sont plus prévisibles qu’elles ne sont. Nous avons tendance à voir des régularités là où elles n’existent pas et nous pensons bien souvent être en contrôle sur des choses qui sont en fait aléatoires. Rien n’est plus difficile pour nous que d’accepter que nous n’avons pas le contrôle. Cela explique certainement notre engouement pour l’IA prédictive malgré ses défaillances. Pourtant, expliquent les chercheurs, embaucher ou promouvoir des employés aléatoirement, plutôt que sur de mauvais critères de performances, pourrait peut-être être plus bénéfique qu’on le pense, par exemple en favorisant une plus grande diversité ou en favorisant un taux de promotion fixe. Accepter l’aléatoire et l’incertitude pourrait nous conduire à de meilleures décisions et de meilleures institutions. « Au lieu de considérer les gens comme des êtres déterminés, nous devons travailler à la construction d’institutions qui sont véritablement ouvertes au fait que le passé ne prédit pas l’avenir. »
Pourquoi l’IA ne peut pas prédire le futur ?
La météorologie est l’un des secteurs où la prédiction est la plus avancée. Pourtant, la météo est un système particulièrement chaotique. Des petits changements conduisent à de grandes erreurs. Plus la prédiction est éloignée dans le temps, plus l’erreur est grande. Les données, les équations, les ordinateurs ont pourtant permis d’incroyables progrès dans le domaine. Nos capacités de prédiction météo se sont améliorées d’un jour par décade : une prévision sur 5 jours d’il y a 10 ans est aussi précise qu’une prévision sur 6 jours aujourd’hui ! Ces améliorations ne viennent pas d’une révolution des méthodes, mais de petites améliorations constantes.

La prévision météo repose beaucoup sur la simulation. Les succès de prévision des phénomènes géophysiques a conduit beaucoup de chercheurs à penser qu’avec les bonnes données et la puissance de calcul, on pourrait prédire n’importe quel type d’évènements. Mais cela n’est pas toujours très bien marché. Le temps est bien plus observable que le social, certainement parce que les conditions géophysiques, contrairement à ce que l’on pourrait penser, sont plus limitées. La prévision météo repose sur des lois physiques calculables. Ce n’est pas le cas des calculs du social. « Cela n’a pas restreint pour autant le développement de prédictions dans le contexte social, même si bien souvent, nous avons assez peu de preuves de leur efficacité ». Le score de risque de défaillance de crédit, Fico, est né dans les années 50 et se déploie à la fin des années 80, en même temps que naissent les premiers scores de risque criminels… Mais c’est avec le développement du machine learning dans les années 2010 que les systèmes prédictifs vont exploser dans d’innombrables systèmes.

Toutes les prédictions ne sont pas difficiles. Le trafic, l’évolution de certaines maladies… sont assez faciles. Les prédictions individuelles, elles, sont toujours plus difficiles. Et cela pose la question de savoir ce qui définit une bonne prédiction. Est-ce qu’une prédiction météo est bonne si elle est au degré près ou si elle prédit bien la pluie indépendamment de la température ? Notre capacité à prédire les tremblements de terre est excellente, notamment les lieux où ils auront lieu, mais notre capacité à prédire la nécessité d’une évacuation est nulle, car prédire quand ils auront lieu avec suffisamment de précision est bien plus difficile. Bien souvent, la précision de la prédiction s’améliore quand on ajoute plus de données et de meilleurs modèles. Mais ce n’est pas nécessairement vrai. On ne peut prédire le résultat d’un jet de dé quel que soit le volume de données que l’on collecte !

Quand les choses sont difficiles à prédire, on a recours à d’autres critères, comme l’utilité, la légitimité morale ou l’irréductibilité des erreurs pour apprécier si la prédiction est possible. Et tout ce qui a rapport à l’individu est bien souvent difficile à prédire, ce qui n’empêche pas beaucoup d’acteurs de le faire, non pas tant pour prédire quelque chose que pour exercer un contrôle sur les individus.

Kapoor et Narayanan reviennent alors sur le Fragile Families Challenge qui a montré que les modèles d’IA prédictibles développés n’amélioraient pas notablement la prédiction par rapport à un simple modèle statistique. Pour les chercheurs, le défi a surtout montré les limites fondamentales à la prédiction du social. Dans le social, « on ne peut pas prédire très bien le futur, et nous ne connaissons pas les limites fondamentales de nos prédictions ». Les données du passé ne suffisent pas à construire ce type de prédictions, comme les données d’une précédente élection ne peuvent pas prédire la suivante. Améliorer la précision des prédictions du social relève du problème à 8 milliards de Matt Salganik : il n’y a pas assez de gens sur terre pour découvrir les modèles de leurs existences ! Cela n’empêche pas qu’il existe d’innombrables outils qui affirment pouvoir faire des prédictions à un niveau individuel.

En vérité, bien souvent, ces outils ne font guère mieux qu’une prédiction aléatoire. Compas par exemple ne fait que prédire la partialité de la police à l’encontre des minorités (et dans le cas de Compas, l’amélioration par rapport à un résultat aléatoire est assez marginale… et dans nombre d’autres exemples, l’amélioration du calcul se révèle bien souvent plus mauvaise qu’un résultat aléatoire). Utiliser seulement 2 données, l’âge et le nombre d’infractions antérieures, permet d’avoir un résultat aussi précis que celui que propose Compas en mobilisant plus d’une centaine de données. Dans le cas de la récidive, le modèle est assez simple : plus l’âge est bas et plus le nombre d’infractions antérieures est élevé, plus la personne sera à nouveau arrêtée. On pourrait d’ailleurs n’utiliser que le nombre d’infractions antérieures pour faire la prédiction sans que les résultats ne se dégradent vraiment (qui serait moralement plus acceptable car en tant que société, on pourrait vouloir traiter les plus jeunes avec plus d’indulgence qu’ils ne le sont). L’avantage d’une telle règle, c’est qu’elle serait aussi très compréhensible et transparente, bien plus que l’algorithme opaque de Compas.

Avec ces exemples, les deux chercheurs nous rappellent que la grande disponibilité des données et des possibilités de calculs nous font oublier que l’opacité et la complexité qu’ils génèrent produisent des améliorations marginales par rapport au problème démocratique que posent cette opacité et cette complexité. Nous n’avons pas besoin de meilleurs calculs – que leur complexification ne produit pas toujours –, que de calculs capables d’être redevables. C’est je pense le meilleur apport de leur essai.
Nous sommes obnubilés à l’idée de prédire un monde imprévisible
Prédire le succès est aussi difficile que prédire l’échec, rappellent-ils. Certainement parce que contrairement à ce que l’on pense, le premier ne repose pas tant sur les qualités des gens que le second ne repose sur les circonstances. Les deux reposent sur l’aléatoire. Et en fait, le succès repose plus encore sur l’aléatoire que l’échec ! Le succès est encore moins prévisible que l’échec, tant la chance, c’est-à-dire l’imprévisible, joue un rôle primordial, rappellent-ils. Le succès dans les études, le succès de produits… rien n’est plus difficile à prédire, rappellent les chercheurs en évoquant les nombreux rejets du manuscrit de Harry Potter. Matt Salganik avait ainsi créé une application de musique et recruté 14 000 participants pour évaluer des musiques de groupes inconnus avec des indicateurs sociaux qui variaient entre groupes de participants. Des chansons médiocres étaient appréciées et de très bonnes musiques négligées. Une même chanson pouvait performer dans un endroit où les métriques sociales étaient indisponibles et sous performer là où elles étaient disponibles. Mais l’expérience a surtout montré que le succès allait au succès. Dans l’environnement où personne ne voyait de métriques : il y avait bien moins d’inégalités entre les musiques.

Les médias sociaux reposent sur des principes d’accélération de la viralité d’une petite fraction des contenus. Mais la popularité est très variable, d’un contenu l’autre. Ce que font les plateformes, ce n’est pas tant de prédire l’imprévisible que de tenter d’amplifier les phénomènes. Sur YouTube, Charlie Bit My Finger fut l’une des premières vidéos virales de la plateforme. Malgré ses qualités, son succès n’avait rien d’évident. En fait, les médias sociaux sont « une loterie à mèmes géante ». Plus un mème est partagé, plus il a de la valeur et plus les gens vont avoir tendance à le partager. Mais il est impossible de prédire le succès d’une vidéo ou d’un tweet. Même la qualité ne suffit pas, même si les contenus de meilleure qualité ont plus de chance que les contenus médiocres. Par contre l’on sait que les contenus plus partisans, plus négatifs reçoivent plus d’engagements. Reste que la polarisation perçue est plus forte que la polarisation réelle – et il est probable que cette mauvaise perception la renforce.

D’une manière assez surprenante, nous prédisons très bien des effets agrégés et très mal ces mêmes effets individuellement. Les ordres de grandeur aident à prédire des effets, mais les experts eux-mêmes échouent bien souvent à prédire l’évidence. Aucun n’a prévu l’effondrement de l’URSS, rappelait Philip Tetlock. Et ce n’est pas une question de données ou de capacité d’analyse. Les limitations à la prédictions sont dues aux données indisponibles et au fait qu’elles sont parfois impossibles à obtenir. Mais la prédiction est également difficile à cause d’événements imprévisibles, mais plus encore à cause de boucles d’amplification complexes. Dans de nombreux cas, la prédiction ne peut pas s’améliorer, comme dans le cas de la prédiction du succès de produits culturels. Dans certains cas, on peut espérer des améliorations, mais pas de changements majeurs de notre capacité à prédire l’avenir. Pour Narayanan et Kapoor, notre obnubilation pour la prédiction est certainement le pire poison de l’IA.
L’IA générative, ce formidable bullshiter

Bien moins intéressants sont les 2 chapitres dédiés à l’IA générative, où les propos des deux chercheurs se révèlent assez convenus. S’il est difficile de prédire l’impact qu’elle va avoir sur l’économie et la culture, la technologie est puissante et les avancées réelles. Pour Narayanan et Kapoor, l’IA générative est déjà utile, expliquent-ils en évoquant par exemple Be My Eyes, une application qui connectait des aveugles à des volontaires voyants pour qu’ils les aident à décrire le monde auquel ils étaient confrontés en temps réel. L’application s’est greffée sur ChatGPT pour décrire les images avec un réel succès, permettant de remplacer les descriptions du monde réel des humains par celles des machines.

Si l’IA générative fonctionne plutôt très bien, ce n’est pas pour autant qu’elle ne peut pas porter préjudices aux gens qui l’utilisent. Ses biais et ses erreurs sont nombreuses et problématiques. Sa capacité à nous convaincre est certainement plus problématique encore.

Les deux chercheurs bien sûr retracent l’histoire des améliorations de la discipline qui a surtout reposé sur des améliorations progressives, la disponibilité des données et l’amélioration des capacités de calcul. Tout l’enjeu de la technologie a été d’apprendre à classer les images ou les mots depuis les connexions entre eux en appliquant des poids sur les critères.

En 2011, à l’occasion d’une compétition ImageNet, visant à classifier les images, Hinton, Krizhevsky et Sutskever proposent un outil d’apprentissage profond qui se distingue par le fait qu’il ait bien plus de couches de traitements que les outils précédents : ce sera AlexNet. Tout l’enjeu ensuite, consistera à augmenter le nombre de couches de traitements en démultipliant les données… À mesure que les données deviennent plus massives, les contenus vont aussi avoir tendance à devenir plus problématiques, malgré les innombrables mesures de filtrages. Les problèmes vont y être enfouis plus que résolus, comme l’étiquetage de personnes noires sous le terme de Gorille. On va se mettre alors à mieux observer les données, mais la plupart des critères de référence ne mesurent pas dans quelle mesure les modèles reflètent les préjugés et les stéréotypes culturels. Le problème, c’est que dans le domaine de l’IA, les ingénieurs sont convaincus que découvrir les connaissances dans les données surpasse l’expertise, minimisant son importance.

« Alors que l’IA prédictive est dangereuse parce qu’elle ne fonctionne pas. L’IA pour la classification des images est dangereuse parce qu’elle fonctionne trop bien. »

Les systèmes de génération de texte fonctionnent sur le même principe que les systèmes de génération d’image. Jusqu’aux années 2010, il était difficile que les systèmes de traduction automatique gardent en tête le contexte. Ils fonctionnaient bien sur les courts extraits, mais avaient des problèmes avec des textes plus longs. En 2017, Google a trouvé la solution en proposant une matrice plus grande permettant de mieux relier les mots entre eux. C’est la technologie Transformer. L’IA générative textuelle n’est rien d’autre qu’un système d’autocomplétion qui fait de la prédiction du mot suivant.

La puissance de ces machines est à la fois leur force et leur faiblesse. « Pour générer un simple token – un bout de mot – ChatGPT doit accomplir environ un milliard de milliard d’opérations. Si vous demandez à générer un poème d’une centaine de tokens (une centaine de mots) cela nécessitera un quadrillion de calculs. Pour apprécier la magnitude de ce nombre, si tous les individus au monde participaient à ce calcul au taux d’un calcul par minute, 8 heures par jour, un quadrillon de calcul prendrait environ une année. Tout cela pour générer une simple réponse. » La capacité générative de ces outils repose sur une puissance sans limite. Une puissance dont les coûts énergétiques, matériels et économiques finissent par poser question. Avons-nous besoin d’une telle débauche de puissance ?

Pour que ces modèles répondent mieux et plus exactement, encore faut-il adapter les modèles à certaines tâches. Cette adaptation, le fine-tuning ou pré-entraînement, permet d’améliorer les résultats. Reste que ces adaptations, ces filtrages, peuvent finir par sembler être une cuillère pour écoper les problèmes de l’océan génératif…

Les chatbots peuvent avoir d’innombrables apports en interagissant avec l’utilisateur, mais le fait qu’ils dépendent profondément des statistiques et le manque de conscience de leurs propres limites, émousse leur utilité, soulignent les deux chercheurs. Jouer à Pierre-papier-ciseaux avec eux par exemple rappellent qu’ils ne comprennent pas l’enjeu de simultanéité.

Le problème de ces outils, c’est que la compréhension, n’est pas tout ou rien. Les chatbots ne comprennent rien, et leur regard sur un sujet est limité par leurs données. Mais ils sont configurés pour répondre avec confiance, comme un expert, alors qu’ils sont capables d’erreurs basiques qu’un enfant ne ferait pas. Cela signifie que ces outils ne sont pas sans écueils, rappellent les chercheurs. Ils produisent très facilement de la désinformation, des deepfakes, et permettent à ceux qui les déploient de concentrer un pouvoir très important. Les chatbots sont des bullshiters de première, des menteurs. « Ils sont entraînés pour produire des textes plausibles, pas des vérités ». Ils peuvent sembler très convaincants alors qu‘ »il n’y a aucune source vérifiée durant leur entraînement ». Même si on était capable de ne leur fournir que des affirmations vraies, le modèle ne les mémoriserait pas, mais les remixerait pour générer du texte. Ils répondent souvent correctement, mais sont capables parfois de produire des choses sans aucun sens. Cela tient certainement au fait que « les affirmations vraies sont plus plausibles que les fausses ». Les erreurs, les plagiats sont consubstantiels à la technologie.

Les usages problématiques de ces technologies sont nombreux, notamment les deepfakes et toutes les tentatives pour tromper les gens que ces outils rendent possibles. Pour l’instant, les réponses à ces enjeux ne sont pas à la hauteur. Les chercheurs ne proposent que de mieux éduquer les utilisateurs aux contenus trompeurs et aux sources fiables. Pas sûr que ce soit une réponse suffisante.

Les chercheurs rappellent que la grande difficulté à venir va être d’améliorer l’IA générative, alors que ses limites sont au cœur de son modèle, puisqu’elle ne peut qu’imiter et amplifier les stéréotypes des données qui l’ont entraîné. Pour y parvenir, il faudrait parvenir à bien mieux labelliser les données, mais l’effort devient herculéen à mesure que les moissons sont plus massives. Pour l’instant, cette labellisation repose surtout sur des travailleurs du clic mal payés, chargés de faire une labellisation à minima. Pas sûr que cela suffise à améliorer les choses…

Malgré ces constats inquiétants, cela n’empêche pas les deux chercheurs de rester confiants. Pour eux, l’IA générative reste une technologie utile, notamment aux développeurs. Ils rappellent que ces dernières années, la question des biais a connu des progrès, grâce au fine-tuning. L’atténuation des bias est un secteur de recherche fructueux. Les chatbots progressent et deviennent aussi fiables que la recherche en ligne, notamment en étant capable de citer leurs sources. Pour les chercheurs, le plus gros problème demeure l’exploitation du travail d’autrui. Nous devons opter pour les entreprises qui ont des pratiques les plus éthiques, concluent-ils, et faire pression sur les autres pour qu’ils les améliorent. Oubliant qu’il n’est pas simple de connaître l’éthique des pratiques des entreprises…

Les deux ingénieurs terminent leur livre par un chapitre qui se demande si l’IA pose une menace existentielle. Un sujet sans grand intérêt face aux menaces déjà bien réelles que fait peser l’IA. Ils le balayent d’ailleurs d’un revers de main et rappellent que l’IA générale est encore bien loin. « La plupart des connaissances humaines sont tacites et ne peuvent pas être codifiées ». C’est comme apprendre à nager ou à faire du vélo à quelqu’un simplement en lui expliquant verbalement comment faire. Ça ne marche pas très bien. Le risque à venir n’est pas que l’IA devienne intelligente, nous en sommes bien loin. Le risque à venir repose bien plus sur les mauvais usages de l’IA, et ceux-ci sont déjà très largement parmi nous. Pour améliorer notre protection contre les menaces, contre la désinformation ou les deepfakes, nous devons renforcer nos institutions démocratiques avancent les auteurs. On ne saurait être plus en accord, surtout au moment où les avancées de l’IA construisent des empires techniques qui n’ont pas grand chose de démocratique.

*

Malgré ses qualités et la richesse de ses exemples, le livre des deux chercheurs peine à rendre accessible ce qu’ils voudraient partager. Parvenir à distinguer ce que l’IA sait faire et ce qu’elle ne peut pas faire n’est pas évident pour ceux qui sont amenés à l’utiliser sans toujours comprendre sa complexité. Distinguer la bonne IA de la mauvaise n’est pas si simple. Le livre permet de comprendre que la prédiction fonctionne mal, mais sans nous aider à saisir où elle peut progresser et où elle est durablement coincée.

On a bien constaté que dès que ces outils agissent sur le social où l’individu, ils défaillent. On a bien compris que l’IA générative était puissante, mais les deux ingénieurs peinent à nous montrer là où elle va continuer à l’être et là où elle risque de produire ses méfaits. Les deux spécialistes, eux, savent très bien identifier les pièges que l’IA nous tend et que l’IA tend surtout aux ingénieurs eux-mêmes, et c’est en cela que la lecture d’AI Snake Oil est précieuse. Leur livre n’est pourtant pas le manuel qui permet de distinguer le poison du remède. Certainement parce que derrière les techniques de l’IA, le poison se distingue du remède d’abord et avant tout en regardant les domaines d’applications où elle agit. Un outil publicitaire défaillant n’a rien à voir avec un outil d’orientation défaillant.. Gardons les bons côtés. Les ingénieurs ont enfin un livre critique sur leurs méthodes avec un regard qui leur parlera. Ce n’est pas un petit gain. Si le livre se révèle au final un peu décevant, cela n’empêche pas qu’Arvind Narayanan et Sayash Kapoor demeurent les chercheurs les plus pertinents du milieu. Leur grande force est d’être bien peu perméables au bullshit de la tech, comme le montre leur livre et leur excellente newsletter. Leur défense de la science sur l’ingénierie par exemple – « les essais contrôlés randomisés devraient être un standard dans tous les domaines de la prise de décision automatisée » – demeure une boussole que l’ingénierie devrait plus souvent écouter.
09 October 2024
9:47
Neutralisme
sur Dans les algorithmes

En 2017, Mark Zuckerberg semblait se préparer à la candidature suprême. 7 ans plus tard, cela ne semble absolument plus le cas, rapporte le New York Times. L’activisme politique de Meta, c’est terminé ! Alors qu’une large part de la Valley semble faire allégeance conservatrice, d’autres, comme Zuckerberg, ont opté pour une prudente « neutralité » qui reste tout de même très libérale. Le temps où Zuckerberg promettait d’éliminer la pauvreté et la faim, semble bien loin. Mais il n’y a pas que Zuck qui prend ses distances avec la politique : les algorithmes de ses entreprises également, explique un second article du New York Times. Depuis l’assaut du capitole en janvier 2021, Meta n’a cessé de réduire la portée des contenus politiques sur ses plateformes. Cela ne signifie pas que la désinformation a disparu, mais que l’entreprise oeuvre activement à la rendre peu visible. A croire que Meta est à la recherche d’une « neutralité » qui, comme toute neutralité, n’existe pas.
08 October 2024
7:30
Est-ce que la complexité des calculs les améliore ?
sur Dans les algorithmes

Malgré leurs promesses, les calculs, notamment quand ils s’appliquent au social, sont très souvent défaillants. Pour remédier à leurs limites, l’enjeu est d’accéder à toujours plus de données pour les affiner. La promesse est répétée ad nauseam : c’est en accédant à toujours plus de données que nous améliorerons les calculs ! Un mantra dont il est toujours très difficile de démontrer les limites.

En 2017, le programme d’études conjoint de Princeton et de Columbia sur l’avenir des familles et le bien être des enfants a donné accès à un immense jeu de données de grande qualité sur des centaines d’enfants et leurs familles, invitant plus de 450 chercheurs et 160 équipes de recherches à les utiliser dans le cadre d’un défi de data science visant à améliorer la prévisibilité des trajectoires de vies. Le jeu de données portait sur plus de 4000 familles avec plus de 12 000 variables par familles centrées sur des enfants de la naissance à leurs 9 ans, expliquent les chercheurs (par exemple des données démographiques, des données sur le territoire, sur la santé ou l’évolution professionnelle des parents, sur le comportement, avec des tests cognitifs et de vocabulaire réalisés à intervalles réguliers…).

Pour la moitié des familles, les chercheurs ont également donné accès aux données relatives à ces enfants et familles à l’âge de 15 ans afin que les chercheurs puissent prédire des résultats sur l’évolution sociale de l’autre moitié des familles. Un jeu d’entraînement rare et particulièrement riche qui avait pour ambition de permettre d’améliorer l’exactitude des prédictions sociales. Le défi consistait à prédire les résultats scolaires des enfants, évaluer leurs capacités psychologiques à la persévérance dans l’effort, prédire les difficultés matérielles des familles comme les risques de licenciement ou d’expulsion ainsi que le niveau de formation professionnelle des parents.

Pourtant, aucun des 160 résultats proposés par quelques-uns des meilleurs laboratoires de recherche du monde n’a été particulièrement performant. Aucune solution?malgré la diversité des techniques de machine learning utilisées ? n’a permis de produire des prédictions fiables, rapportent les organisateurs dans le bilan de ce défi.

Les scientifiques ont également comparé les modèles issus du machine learning et les modèles prédictifs traditionnels qui n’utilisent que 4 variables pour produire des prédictions (à savoir en utilisant seulement l’origine éthnique de la mère, le statut marital des parents à la naissance, leur niveau d’éducation et un résultat de l’enfant à 9 ans). Les chercheurs ont montré que les modèles prédictifs traditionnels faisaient d’aussi bonnes prédictions voire de meilleures que les modèles plus élaborés reposant sur le machine learning?même si, les uns comme les autres se révèlent très mauvais à prédire le futur.
Image : De la difficulté à prédire. En bleu, les résultats de prédiction des meilleures méthodes de machine learning sur les différents éléments à prédire depuis les 12 000 variables disponibles dans le cadre du défi des familles fragiles. En vert, les résultats obtenus depuis de simples et traditionnelles régressions linéaires depuis seulement 4 variables, dans les mêmes domaines, à savoir (de gauche à droite) celle des difficultés matérielles, la moyenne scolaire (GPA, Grade point average), la persévérance (Grit), le risque d’expulsion (eviction), la formation professionnelle et le risque de licenciement. Via la présentation d’Arvind Narayanan. Le graphique montre que les prédictions du social sont difficiles et que les meilleures techniques de machine learning ne les améliorent pas vraiment puisqu’elles ne font pas significativement mieux que des calculs plus simples.
Ces résultats devraient nous interroger profondément. A l’heure où les data scientists ne cessent d’exiger plus de données pour toujours améliorer leurs prédictions, cette étude nous rappelle que plus de données n’est pas toujours utile. Que l’amélioration est trop souvent marginale pour ne pas dire anecdotique. Pire, la complexité qu’introduit l’IA dans les calculs rend les résultats très difficiles à expliquer, à reproduire, à vérifier… alors que les méthodes traditionnelles?comme la régression statistique qui permet d’identifier les variables qui ont un impact ?, elles, n’utilisent que peu de données, sont compréhensibles, vérifiables et opposables… sans compter qu’elles permettent d’éviter d’accumuler des données problématiques dans les calculs. Collecter peu de données cause moins de problèmes de vie privée, moins de problèmes légaux comme éthiques… et moins de discriminations, explique le chercheur Arvind Narayanan dans une de ses excellentes présentations, où il dénonce les défaillances majeures et durables de l’IA à prédire le social.

Dans le livre que le chercheur signe avec son collègue Sayash Kapoor, AI Snake Oil (Princeton University Press, 2024, non traduit), ils montrent à plusieurs reprises que la complexification des calculs ne les améliore pas toujours ou alors de manière bien trop marginale par rapport à la chape d’opacité que la complexité introduit. Nous n’avons pas besoin de meilleurs calculs (pour autant que leur complexification les améliore) que de calculs qui puissent être redevables, opposables et compréhensibles, rappellent-ils.

Le problème, c’est que le marketing de la technique nous invite massivement à croire le contraire. Trop souvent, nous privilégions une débauche de calculs, là où des calculs simples fonctionnent aussi bien, simplement parce qu’il y a un fort intérêt commercial à vendre des produits de calculs complexes. A l’ère du calcul, tout l’enjeu est de vendre plus de calculs et de nous faire croire qu’ils fonctionnent mieux.

Qu’est-ce que la complexité améliore ? Est-ce que cette amélioration est suffisante ou signifiante pour en valoir le coup ? A l’avantage de qui et au détriment de qui ? Est-ce que cette complexité est nécessaire ?… sont d’autres formes de cette même question que nous ne posons pas suffisamment. Ajouter de la complexité crée de l’opacité et renforce l’asymétrie de pouvoir. Et nous fait oublier que la simplicité des calculs les améliore certainement bien plus que leur complexification.

Hubert Guillaud

PS : 4 ans plus tard, le sociologue Ian Lundberg, responsable du défi de data science sur les trajectoires de vie des enfants, publie une étude pour comprendre pourquoi l’avenir des enfants est si imprévisible, rapporte Nautilus. Les lacunes de la prédiction ne résulteraient pas d’un manque de données mais plutôt de limites fondamentales de notre capacité à prédire les complexités de la vie, du fait notamment d’événements inattendus ainsi que d’erreurs d’apprentissages : quand il y a trop de variables, les algorithmes ont du mal à déceler le bon modèle. C’est là un problème irréductible de la complexité ! Enfin, soulignent les chercheurs, la recherche qualitative fournit des informations qu’il reste très difficile de traduire en chiffres. Les résultats ne s’amélioreront pas avec plus de données ou de calcul : « Les résultats sociaux sont imprévisibles et complexes. Et nous devons simplement faire la paix avec cette imprévisibilité ».
07 October 2024
14:29
Le numérique est le problème, pas la solution
sur Dans les algorithmes

« Nous n’allons pas résoudre nos problèmes avec plus de technique : c’est précisément l’excès de technique le problème ». Arnaud Levy, promoteur d’un numérique d’intérêt général.
04 October 2024
7:30
De l’automatisation des inégalités
sur Dans les algorithmes

Cet article inaugure une nouvelle catégorie de publications, celle d’articles de fond essentiels à nos compréhensions communes. Ici, nous vous proposons un article publié en janvier 2018 sur Internet Actu, qui revenait en détail sur le livre que venait de faire paraître Virginia Eubanks, Automating Inequality (MacMillan, 2018, non traduit).

Dans une tribune pour le New York Times, l’avocate Elisabeth Mason, directrice du Laboratoire pauvreté et technologie qui dépend du Centre sur la pauvreté et l’inégalité de Stanford, soulignait que le Big data et l’intelligence artificielle étaient amenés à être des outils puissants pour lutter contre la pauvreté. Les grands ensembles de données peuvent désormais être exploités pour mieux prédire l’efficacité des programmes d’aides et les évaluer. « Le big data promet quelque chose proche d’une évaluation impartiale, sans idéologie, de l’efficacité des programmes sociaux », explique-t-elle en rêvant d’une société parfaitement méritocratique, tout entière fondée sur la « preuve de ce qui marche » (Evidence-based policymaking). Un propos qui pourrait paraître un peu naïf, si on l’éclaire par le livre que vient de publier la spécialiste de science politique, Virginia Eubanks :  Automatiser les inégalités : comment les outils high-tech profilent, policent et punissent les pauvres.
Vous avez été signalés ! Couverture du livre d’Eubanks.
Les processus de décision sont de plus en plus confiés à des machines, rappelle la chercheuse. « Des systèmes d’éligibilité automatisés, des algorithmes de classements, des modèles de prédiction des risques contrôlent les quartiers qui doivent être policés, quelles familles peuvent obtenir des aides, qui peut accéder à un emploi, qui doit être contrôlé pour fraude. (…) Notre monde est parcouru de sentinelles informationnelles (…)  : d’agents de sécurité numérique qui collectent de l’information sur nous, qui fabriquent des inférences à partir de nos comportements et contrôlent l’accès aux ressources ». Si certains sont visibles, la plupart sont impénétrables et invisibles. « Ces outils sont si profondément tissés dans la fabrique de la vie sociale, que la plupart du temps, nous ne remarquons même pas que nous avons été surveillés et analysés ».

Reste que bien peu de personnes s’intéressent à ce que signifie d’être signalés par ces programmes et les catastrophes individuelles que cela engendre. Se voir retirer son assurance santé au moment où vous êtes le plus vulnérable laisse ceux qui en sont victimes désespérés et acculés. Le problème, souligne très bien Virginia Eubanks est « qu’il n’y a pas de règles qui vous notifient le fait que vous avez été signalé » (ref-flagged) par un programme. La plupart des gens ne savent pas qu’ils ont été la cible de systèmes de décisions automatisés.

Eubanks souligne que ce contrôle s’exerce sur des membres de groupes sociaux plus que des individus : gens de couleurs, migrants, groupes religieux spécifiques, minorités sexuelles, pauvres et toutes populations oppressées et exploitées. Les groupes les plus marginalisés sont ceux sur lesquels le plus de données sont collectées. Et le problème, souligne Virginia Eubanks, c’est que « cette collecte de données renforce leur marginalité » en créant « une boucle de rétroaction de l’injustice » qui renforce à son tour la surveillance et le soupçon.
Des hospices… aux hospices numériques
Le propos de la chercheuse est éminemment politique : en enquêtant sur une poignée de systèmes automatisés développés pour optimiser les programmes sociaux américains, elle dénonce une politique devenue performative… c’est-à-dire qui réalise ce qu’elle énonce. Selon elle, les programmes sociaux n’ont pas pour objectif de fonctionner, mais ont pour objectif d’accumuler de la stigmatisation sur les programmes sociaux et renforcer le discours montrant que ceux qui bénéficient de l’assistance sociale sont, au choix, des criminels, des paresseux ou des profiteurs. La rationalisation des programmes d’aide publics du fait de la crise et des coupes budgétaires les contraint à toujours plus de performance et d’efficacité. Or cette performance et cette efficacité s’incarnent dans des outils numériques qui n’ont rien de neutre, pointe la chercheuse.

Le problème, c’est que ces outils de surveillance sont partout : dans les marges où nous entraîne la chercheuse, les histoires où les technologies facilitent la communication et ouvrent des opportunités sont rares. Pour les plus démunis, la révolution numérique ressemble surtout à un cauchemar. Comme elle le soulignait déjà, pour comprendre l’avenir de la surveillance, il faut regarder comment elle se développe déjà auprès des populations les plus marginalisées.

Dans la première partie de l’ouvrage, Virginia Eubanks dresse un rapide historique pour rappeler que, à la suite de Michel Foucault, les communautés les plus démunies ont toujours été les plus surveillées. Elle souligne la continuité entre les asiles, les prisons, les hospices de la fin du XVIIIe siècle aux bases de données d’aujourd’hui, rappelant que les premières bases de données ont été créées par les promoteurs de l’eugénisme pour discriminer les criminels et les faibles d’esprit.

Elle souligne aussi combien cette histoire de l’assistance publique est intimement liée, surtout aux Etats-Unis, à des vagues régulières de critiques contre l’aide sociale. Partout, l’enjeu a été de mettre en place des règles pour limiter et contrôler le nombre de bénéficiaires des aides sociales, privées comme publiques. Une histoire qui s’intrique à celle des représentations de la pauvreté, de son coût, de la fraude, de la dénonciation de l’inefficacité des aides… Les « hospices numériques » (digital poorhouse), c’est-à-dire les systèmes automatisés de contrôle des aides que reçoivent les plus pauvres, naissent dès les années 70, avec l’informatique elle-même, rappelle la chercheuse. La recherche d’outils neutres pour évaluer les dépenses publiques pour ces bénéficiaires a surtout consisté dans le développement d’outils de surveillance des récipiendaires de l’aide publique. Des programmes de détection des fraudes, des bases de données de bénéficiaires ont été créées et reliées pour tracer les dépenses et les comportements de leurs bénéficiaires dans de multiples programmes sociaux. « Le conflit entre le développement des droits pour les bénéficiaires de l’aide sociale et le faible soutien aux programmes d’assistance publique a été résolu par le développement d’outils technologiques punitifs ». Alors que le droit développait l’aide publique, la technologie était utilisée pour réduire le nombre de leurs allocataires ! Certains programmes d’aides multipliant les situations de non-conformité et les sanctions pour un retard à un rendez-vous, ou pour ne pas avoir consulté un médecin prescrit… Pour Virginia Eubanks, ces systèmes automatisés sont une continuité et une expansion des systèmes de gestion des pauvres punitifs et moralistes, des hospices de la fin du XVIIIe siècle et du début du XIXe siècle que pointait le travail de Michel Foucault. « Si ces systèmes sont présentés pour rationaliser et gérer les bénéficiaires, leur but premier reste et demeure de profiler, surveiller et punir les pauvres ».
S’intéresser aux effets des calculs sur la société
Dans son livre, Virginia Eubanks se concentre sur l’étude de 3 systèmes : un système mis en place par l’Indiana pour automatiser l’éligibilité de candidats aux programmes d’assistance publique de l’Etat ; un répertoire des SDF de Los Angeles ; et un système d’analyse du risque pour prédire les abus ou négligence sur enfants dans un comté de la Pennsylvanie. Des exemples et des systèmes assez spécifiques, par nature très Américains, qui pourraient nous laisser indifférents, nous Européens, si leur étude ne révélait pas une nature des outils numériques, un fonctionnement qu’on peut potentiellement retrouver dans chacun de ceux qui sont déployés.

La chercheuse prend le temps de les explorer en détail. Elle nous rappelle leur histoire, comment et pourquoi ils ont été mis en place. Comment ils fonctionnent. Elle nous présente quelques personnes qui les font fonctionner, d’autres qui en sont les bénéficiaires ou les victimes. Dans ce travail ethnographique, elle ne présente pas toujours en détail les systèmes, les critères, les questions, le fonctionnement des algorithmes eux-mêmes. La manière dont sont calculés les scores depuis le répertoire des SDF pour leur attribuer une priorité dans la demande de logement n’est pas par exemple ce que cherche à nous montrer Virginia Eubanks. En fait, c’est un peu comme si pour elle ces systèmes étaient par nature incapables d’optimiser le monde qu’on leur demande d’optimiser. L’important n’est pas le calcul qu’ils produisent qui seront toujours imparfait que leurs effets concrets. C’est eux qu’elle nous invite à observer. Et ce qu’elle en voit n’est pas très agréable à regarder.

Chacun des exemples qu’elle prend est édifiant. Le système automatique de gestion de l’assistance de l’Indiana, confié à un opérateur privé, montre toute l’incompétence du délégataire : durant son fonctionnement, l’aide publique a reculé de 54 %. Au moindre oubli, au moindre document manquant, les bénéficiaires étaient tout simplement éjectés du système au prétexte d’un culpabilisant « défaut de coopération » cachant surtout ses défaillances techniques et organisationnelles. Le taux de demande d’aides refusées s’est envolé. Des personnes sourdes, handicapés mentaux, malades, étaient contraintes de joindre un centre d’appel pour bénéficier d’aides… Le contrat entre l’Etat de l’Indiana et IBM a fini par être rompu. Les procès entre le maître d’oeuvre et le délégataire ont duré des années. Son coût n’a jamais été pleinement évalué, hormis pour les gens qu’il a privés des aides auxquelles ils avaient droit. « En retirant l’appréciation humaine des agents en première ligne au profit des métriques d’ingénieurs et de prestataires privés, l’expérience de l’Indiana a suralimenté la discrimination ». Les spécifications sociales pour l’automatisation se sont basées sur l’épuisement et l’usure des bénéficiaires, sur des postulats de classes et de races qui ont été encodées en métriques de performances.

Dans le comté de Los Angeles, Virginia Eubanks évoque longuement la mise en place d’une base de données centralisée des SDF créée pour améliorer l’appariement entre l’offre de logement d’urgence et la demande. L’enjeu était de pouvoir prioriser les demandes, entre sans-abris en crise et sans abris chroniques, en aidant les premiers pour éviter qu’ils ne tombent dans la seconde catégorie. Les partenaires du projet ont donc créé une base de données pour évaluer les demandeurs collectant de vastes quantités d’information personnelle avec un algorithme pour classer les demandeurs selon un score de vulnérabilité et un autre pour les apparier avec les offres de logements : le VI-SPDAT (index de vulnérabilité ou outil d’aide à la décision de priorisation des services). Tout sans-abri accueilli par un organisme doit alors répondre à un long questionnaire, particulièrement intime, posant des questions sur sa santé, sa sexualité, les violences commises à son encontre ou dont il a été l’auteur… La base de données est accessible à quelque 168 organisations différentes : services de la ville, association de secours, organisations religieuses, hôpitaux, centre d’aides et d’hébergements… et même la police de Los Angeles. Chaque sans-abri reçoit un score allant de 1 à 17, du moins au plus vulnérable. Ceux qui ont un score élevé reçoivent alors un accord d’hébergement qu’ils peuvent porter (avec les justificatifs nécessaires) aux autorités du logement de la ville qui peuvent alors leur proposer un logement ou un financement. Virginia Eubanks pointe là encore les multiples difficultés de ces questionnaires qui se présentent comme neutres, sans l’être. Selon la manière dont les SDF répondent aux questions (seuls ou accompagnés, par quelqu’un qui les connait ou pas…), leur score peut varier du tout au tout. Ainsi, un SDF sortant de prison se voit attribuer un score faible au prétexte qu’il a eu un hébergement stable durant son séjour en établissement pénitentiaire.

Elle souligne que le manque de solutions de logements pour sans-abris fait que le système sert plus à gérer les SDF qu’à résoudre le problème. Selon le service des sans-abris de Los Angeles, la ville comptait 57 794 SDF en 2017. 31 000 sont enregistrés dans la base depuis sa création en 2014. 9 627 ont été aidé pour trouver un logement. Si pour Virginia Eubanks le système n’est pas totalement inopérant, reste que sa grande disponibilité pose question. Ces enregistrements consultables par trop d’organisations sur simple requête – et notamment par les forces de l’ordre, sans avoir à justifier d’une cause, d’une suspicion ou autre -, transforment des données administratives et les services sociaux en extension des systèmes de police et de justice. L’absence d’une protection des données de ce registre, nous rappelle combien toute base de données créée pour répondre à un objectif finit toujours par être utilisée pour d’autres objectifs… Les bases de données coordonnées sont des centres de tri qui rendent ceux qui en sont l’objet « plus visibles, plus traçables, plus prévisibles ». « Les personnes ciblées émergent désormais des données » : les personnes jugées à risque sont codées pour la criminalisation. Si ces systèmes produisent certes des chiffres pour mieux orienter les budgets, les données ne construisent pas d’hébergements.

Le dernier exemple que prend Virginia Eubanks est une enquête sur le fonctionnement d’un outil de prédiction du risque de maltraitance et d’agression d’enfants, développé par le bureau de l’enfance, de la jeunesse et des familles du comté d’Allegheny (Pennsylvanie). Elle nous plonge dans le quotidien des travailleurs sociaux d’un centre d’appel à la recherche d’informations sur les dénonciations qu’ils reçoivent, là encore, via une multitude de bases de données : provenant des services du logement, de la santé, de la police, de l’enseignement… Elle explore comment le système prioritise certains critères sur d’autres, comme l’âge des enfants et surtout, le fait que les familles soient déjà sous surveillance des services sociaux. Elle détaille également longuement l’histoire de cet outil prédictif, développé par Rhema Vaithianathan (@rvaithianathan), directrice du Centre pour l’analyse de données sociales de l’université d’Auckland en Nouvelle-Zélande qui s’appuie sur plus de 130 variables pour produire un score de risque allant 1 (le plus faible) à 20… Un programme abandonné par la Nouvelle-Zélande du fait de son manque de fiabilité et de l’opposition qu’il suscita. Dans les pages qu’elle consacre à ce système, Virginia Eubanks prend le temps de nous montrer comment les travailleurs sociaux interprètent les informations dont ils disposent, comment les familles sont sommées de répondre aux enquêtes sociales que ces alertes déclenchent. Elle souligne combien les données censées être neutres cachent une succession d’appréciations personnelles. Elle souligne également combien le système peine à guider celui qui mène enquête suite à un signalement. Combien certains critères ont plus de poids que d’autres : à l’image du fait de recevoir un appel pour un enfant pour lequel le centre a déjà reçu un appel sur les deux années précédentes ou qui a déjà été placé. Elle souligne les limites du modèle prédictif construit qui produit chaque année de trop nombreux faux positifs et négatifs. Comme le soulignait la mathématicienne Cathy O’Neil @mathbabedotorg), les choix qui président aux outils que nous développons reflètent toujours les priorités et les préoccupations de leurs concepteurs. Et la prédictivité est d’autant moins assurée quand nombre de variables sont subjectives. Qu’importe, comme le soulignait une récente enquête du New York Times, l’outil, malgré ses défauts, semble prometteur. Pour ses concepteurs, il nécessite surtout d’être peaufiné et amélioré. Ce n’est pas le constat que dresse Virginia Eubanks.

Eubanks montre combien l’outil mis en place estime que plus les familles recourent à l’aide publique, plus le score de risque progresse. Le système mis en place s’intéresse d’ailleurs bien plus à la négligence dans l’éducation des enfants qu’à la maltraitance ou qu’aux abus physiques ou sexuels des enfants. Or, rappelle la chercheuse, « tous les indicateurs de la négligence sont aussi des indicateurs de pauvreté » : manque de nourriture, de vêtements, de soins de santé, habitation inadaptée… Elle pointe également la grande ambiguïté de ces programmes, à la fois juge et partie, qui ont souvent deux rôles qui devraient être distingués : l’aide aux familles et l’enquête sur les comportements. Trop souvent explique-t-elle, les familles pauvres échangent leur droit à la vie privée contre l’obtention d’aide. Pour Eubanks, on est plus là dans un profilage de la pauvreté que dans un profilage de la maltraitance : le modèle confond la parenté avec la parenté pauvre. Le système voit toujours les parents qui bénéficient d’aides publiques comme un risque pour leurs enfants. Eubanks souligne aussi l’inexistence d’un droit à l’oubli dans ces systèmes : toute information entrée dans le système est définitive, même fausse. Le système enregistre des décisions sans traces d’humanités. Pire, encore, le score de risque se renforce : quand une bénéficiaire d’aides est devenue mère, son enfant s’est vu attribuer un fort taux de risque, car sa mère avait déjà eu des interactions avec les services sociaux quand elle était elle-même enfant. La reproduction de la surveillance est bouclée.
Déconstruire la boucle de rétroaction de l’injustice
De son observation patiente, la chercheuse dresse plusieurs constats. Partout, les plus pauvres sont la cible de nouveaux outils de gestion qui ont des conséquences concrètes sur leurs vies. Les systèmes automatisés ont tendance à les décourager de réclamer les ressources dont ils ont besoin. Ces systèmes collectent des informations très personnelles sans grande garantie pour leur vie privée ou la sécurité des données, sans leur ménager les moindres contreparties (aucun SDF référencé dans le répertoire de Los Angeles par exemple n’a conscience qu’il n’est jamais ôté de cette base, même s’ils retrouvent un logement… et peut nombreux sont ceux qui ont conscience de la constellation d’organismes qui ont accès à ces informations).

Tous les systèmes caractérisent les plus démunis comme personne à risques. Tous ces systèmes rendent chacun de leur mouvement plus visible et renforcent la surveillance dont ils sont l’objet. Ils visent plus à « manager les pauvres qu’à éradiquer la pauvreté ». Enfin, ces systèmes suscitent très peu de discussion sur leurs réels impacts et leur efficacité. Or, ils font naître des « environnements aux droits faibles », où la transparence et la responsabilité politique semblent absentes.

Pourtant, rappelle-t-elle, la pauvreté n’est pas un phénomène marginal. La pauvreté en Amérique n’est pas invisible. 51 % des Américains passent une année de leur vie au moins dans une situation de pauvreté. La pauvreté n’est pas une aberration qui n’arrive qu’à une petite minorité de gens souffrants de pathologies. Si les techniques de surveillance de la pauvreté ont changé, les résultats sont les mêmes. « Les institutions de secours et leurs technologies de contrôle rationalisent un brutal retour à  une forme d’asservissement en sapant les pouvoirs des plus pauvres et en produisant de l’indifférence pour les autres ».

« Quand on parle de technologies, on évoque toujours leurs qualités. Leurs promoteurs parlent de technologies disruptives, arguant combien elles secouent les relations de pouvoirs instituées, produisant une gouvernementalité plus transparente, plus responsable, plus efficace, et intrinsèquement plus démocratique. » Mais c’est oublier combien ces outils sont intégrés dans de vieux systèmes de pouvoirs et de privilèges. Ces systèmes s’inscrivent dans une histoire. Et ni les modèles statistiques ni les algorithmes de classement ne vont renverser comme par magie la culture, la politique et les institutions.
La métaphore de l’hospice numérique qu’elle utilise permet de résister à l’effacement du contexte historique, à la neutralité, que la technologie aimerait produire. L’hospice numérique produit les mêmes conséquences que les institutions de surveillance passées : elle limite le nombre de bénéficiaires des aides, entrave leur mobilité, sépare les familles, diminue les droits politiques, transforme les pauvres en sujets d’expérience, criminalise, construit des suspects et des classifications morales, créé une distance avec les autres classes sociales, reproduit les hiérarchies racistes et ségrégationnistes… Sa seule différence avec les institutions d’antan est de ne plus produire de l’enfermement physique. Certainement parce que l’enfermement dans les institutions de surveillance a pu produire des solidarités qui ont permis de les combattre… Les outils numériques produisent non seulement de la discrimination, mais aussi de l’isolement entre ceux qui partagent pourtant les mêmes souffrances.

Les problèmes sont toujours interprétés comme relevant de la faute du demandeur, jamais de l’Etat ou du prestataire. La présomption d’infaillibilité des systèmes déplace toujours la responsabilité vers l’élément humain. Elle renforce le sentiment que ces systèmes fonctionnent et que ceux qui échouent dans ces systèmes sont ingérables ou criminels. Ces systèmes produisent une « classification morale ». Ils mesurent des comportements non pas individuels, mais relatifs : chacun est impacté par les actions de ceux avec qui ils vivent, de leurs quartiers, de leurs relations… En cela, l’impact de ces modèles est exponentiel : les prédictions et les mesures reposent sur des réseaux relationnels, qui ont un potentiel contagieux pareil à des virus. Ces modèles distinguent les pauvres parmi les pauvres. La classe moyenne ne tolérerait pas qu’on applique des outils de ce type sur elle. Ils sont déployés à l’encontre de ceux qui n’ont pas le choix.

Virginia Eubanks insiste : ces hospices numériques sont difficiles à comprendre. Les logiciels et les modèles qui les font fonctionner sont complexes et souvent secrets. D’où la nécessité d’exiger l’ouverture et le libre accès au code qui les font fonctionner. Ils sont massivement extensibles et évolutifs. Ils peuvent se répandre très rapidement. Ils sont persistants et sont très difficiles à démanteler et ce d’autant qu’ils s’intègrent et s’enchevêtrent les uns avec les autres, tout comme l’infrastructure des innombrables outils de Google, rendant toujours plus difficile pour l’utilisateur de s’en passer. ‘Une fois que vous brisez les fonctions des travailleurs sociaux en activités distinctes et interchangeables, que vous installez un algorithme de classement et un système d’information que vous intégrez dans tous vos systèmes d’information, il est quasiment impossible d’en renverser le cours (…), tout comme produire un chiffre qui prédit le risque devient impossible à ignorer ». A mesure que ces technologies se développent, « elles deviennent de plus en plus difficiles à défier, à réorienter, à déraciner ». Les hospices numériques sont éternels. Alors que les enregistrements papier, du fait de leur physicalité et des contraintes de stockage qu’ils impliquaient, pouvaient permettre à ceux qui étaient enregistrés d’accéder à un droit à l’oubli, les bases de données numériques construisent des enregistrements éternels, et d’autant plus éternels qu’elles sont interreliées. Et cet enregistrement éternel est une punition supplémentaire, qui intensifie les risques de fuites de données et de divulgation.

Le risque bien sûr est que les technologies expérimentées sur les pauvres deviennent notre lot commun, soient demain utilisées sur chacun d’entre nous. Aujourd’hui, seuls les plus pauvres sont placés sous surveillance, mais ces outils sont là pour destituer demain chacun d’entre nous, prévient la chercheuse. Nous vivons dans des sociétés qui n’ont pas l’usage des plus âgés ou des invalides. « Nous mesurons la valeur humaine seulement sur la capacité à gagner sa vie ». « Nous voyons le monde comme une rivière sanglante de compétition ». Et Eubanks de dénoncer, à la suite d’Oscar Gandy, la « discrimination rationnelle », cette façon que nous avons d’ignorer les biais qui existent déjà. « Quand les outils d’aide à la décision automatisés ne sont pas construits pour démanteler explicitement les inégalités structurelles, elles les augmentent, les précipitent, les étendent, les intensifient. »

« Les ingénieurs qui construisent ces outils attirent notre attention sur les biais qui impactent leurs systèmes. Indirectement, ils font retomber leurs responsabilités sur la société, sans voir que le racisme et le comportement de classe des élites sont « mathwashés » (blanchis par les mathématiques, comme les pratiques de Greenwashing, c’est-à-dire qui se donnent une image de responsabilité par les mathématiques – NDT), c’est-à-dire neutralisés par la mystification technologique et la magie des bases de données ». Les nouveaux outils high-tech sont vus comme de simples mises à jour administratives, sans conséquence politiques. Ils ne sont montrés que comme des solutions anodines pour améliorer l’efficacité des systèmes, alors que les transformations qu’ils proposent sont bien plus radicales. Comme le soulignait Rhema Vaithianathan, la conceptrice du système prédictif de maltraitance : « d’ici 2040, le Big data devrait avoir ratatiné le secteur public jusqu’à n’être plus reconnaissable ». Comme le confesse Eubanks : « Je trouve troublant la philosophie qui voit les êtres humains comme des boites noires inconnaissables et les machines comme transparentes. Ce me semble être un point de vue qui renonce à toute tentative d’empathie et qui verrouille toute possibilité de développement éthique. L’hypothèse qui veut que la décision humaine soit opaque et inaccessible est un aveu que nous avons abandonné la responsabilité que nous avons à nous comprendre les uns les autres. »

Le problème, souligne encore la chercheuse, est que ces systèmes se développent. Les systèmes prédictifs se déploient : dans la justice, la police, les services sociaux, scolaires… Les bases de données deviennent la matrice du fonctionnement de nos sociétés.

Eubanks souligne très bien combien les garanties sont trop souvent absentes. Elle pointe les apports des principes dont nous bénéficions, en Europe ou en France, comme l’interdiction d’interconnexion des bases de données, le droit à l’oubli, les droits à la protection de la vie privée et notamment le fait que le stockage et l’exploitation des informations doivent être limités par leur finalité ou leur pertinence. Autant de garanties qui ne sont pas si fortes de l’autre côté de l’Atlantique. Pour Virginia Eubanks, face à ces technologies de l’efficacité, il est plus que nécessaire de protéger les droits humains. D’offrir des garanties, des contreparties et des contre-pouvoirs aussi puissants que le sont ces outils. Comme le souligne son travail : nous en sommes bien loin.

Pour Virginia Eubanks, il nous faut changer le discours et le regard sur la pauvreté. Il faut rendre l’assistance publique moins punitive et plus généreuse. Il est aussi nécessaire de développer des principes de conception techniques qui minimisent les dommages. Elle propose ainsi un intéressant serment d’Hippocrate pour les data-scientists, les ingénieurs et les responsables administratifs. Et esquisse un standard éthique minimum : est-ce que l’outil que je développe augmente l’autodétermination et les capacités des pauvres ? Est-ce que cet outil serait toléré si sa cible n’était pas des personnes pauvres ?

Bien sûr les observations de Virginia Eubanks ont lieu dans un autre contexte que le nôtre. On peut se rassurer en se disant que les lacunes qu’elle pointe ne nous concernent pas, que nous avons d’autres réglementations, que notre système n’est pas aussi libéral. Certainement. A la lecture du livre, je constatais surtout pour ma part, que je ne connaissais pas les équivalents français ou européens des systèmes que décrivait Eubanks. Cela ne signifie pas pour autant qu’ils n’existent pas ou que leur automatisation n’est pas en cours.

Virginia Eubanks signe une analyse radicalement différente de celles que l’on voit d’habitude autour des nouvelles technologies. C’est bien sûr un livre politique. Tant mieux : il n’en est que plus fort. Il me rappelle pour ma part la synthèse que Didier Fassin avait fait de ses travaux autour de la police, de la justice et de la prison, dans son remarquable réquisitoire Punir, une passion contemporaine, où il montrait combien la sévérité de nos systèmes pénitentiaires, policiers et judiciaires renforçait l’injustice et les inégalités, en dénonçant combien la justification morale de la punition ne produit qu’une répression sélective.

La chercheuse américaine pointe en tout cas combien la technologie est trop souvent « un mirage », comme le souligne sa consoeur danah boyd, qui nous masque les coûts réels des systèmes, leurs impacts sur les gens. Le travail ethnographique de Virginia Eubanks rend visible la politique derrière les outils. Elle nous montre que pour comprendre les systèmes, il ne faut pas seulement se plonger dans le code, mais regarder leurs effets concrets. Aller au-delà des bases de données, pour constater ce qu’elles produisent, ce qu’elles réduisent. Comme le souligne le journaliste Brian Bergstein dans une tribune pour la Technology Review, « l’instabilité déjà causée par l’inégalité économique ne fera qu’empirer si l’Intelligence artificielle est utilisée à des fins étroites ». Nous y sommes déjà !
02 October 2024
7:30
Les mythes de l’IA
sur Dans les algorithmes

La technologie ne produit pas que des solutions, elle produit aussi beaucoup de promesses, d’imaginaires, d’idéologies et de mythes. Derrière le marketing des produits et des services, les entreprises déploient des métaphores simples et convaincantes qui réduisent la complexité des transformations à l’œuvre. « Ils pollinisent l’imagination sociale avec des métaphores qui mènent à des conclusions, et ces conclusions façonnent une compréhension collective » plus ou moins fidèle à la réalité. Les discours sur l’IA générative reposent sur de nombreux mythes et promesses, explique Eryk Salvaggio pour Tech Policy Press qui tente d’en dresser la liste. Ces promesses produisent souvent une compréhension erronée du fonctionnement de l’IA et induisent en erreur ceux qui veulent les utiliser.

Il y a d’abord les mythes du contrôle qui visent à nous faire croire que ces systèmes sont plus fiables qu’ils ne sont. Parmi les mythes du contrôle, il y a celui de la productivité, qui nous répète que ces systèmes nous font gagner du temps, nous font produire plus rapidement. « Le mythe de la productivité suggère que tout ce à quoi nous passons du temps peut être automatisé ». L’écriture se réduit à un moyen pour remplir une page plutôt qu’un processus de réflexion. Le mythe du prompt suggère que nous aurions un contrôle important sur ces systèmes, nous faisant oublier que très souvent, nos mots mêmes sont modifiés avant d’atteindre le modèle, via des filtres qui vont modifier nos invites elles-mêmes. D’où l’incessant travail à les peaufiner pour améliorer le résultat. « Le mythe de l’invite permet de masquer le contrôle que le système exerce sur l’utilisateur en suggérant que l’utilisateur contrôle le système ».

Outre le mythe du contrôle, on trouve également le mythe de l’intelligence. Le mythe de l’intelligence confond le fait que le développement des systèmes d’IA aient été inspirés par des idées sur le fonctionnement de la pensée avec la capacité à penser. On nous répète que ces systèmes pensent, raisonnent, sont intelligents… suggérant également qu’ils devraient être libres d’apprendre comme nous le sommes, pour mieux faire oublier que leur apprentissage repose sur un vol massif de données et non pas sur une liberté éducative. Parmi les mythes de l’intelligence, on trouve donc d’abord le mythe de l’apprentissage. Mais cette métaphore de l’apprentissage elle aussi nous induit en erreur. Ces modèles n’apprennent pas. Ils sont surtout le produit de l’analyse de données. Un modèle n’évolue pas par sélection naturelle : il est optimisé pour un ensemble de conditions dans lesquelles des motifs spécifiques sont renforcés. Ce n’est pas l’IA qui collecte des données pour en tirer des enseignements, mais les entreprises qui collectent des données puis optimisent des modèles pour produire des représentations de ces données à des fins lucratives. Le mythe de l’apprentissage vise à produire une équivalence entre les systèmes informatiques et la façon dont nous mêmes apprenons, alors que les deux sont profondément différents et n’ont pas la même portée ni la même valeur sociale. Le mythe de l’apprentissage permet surtout de minimiser la valeur des données sans lesquelles ces systèmes n’existent pas.

Le mythe de la créativité fait lui aussi partie du mythe de l’intelligence. Il entretient une confusion entre le processus créatif et les résultats créatifs. Si les artistes peuvent être créatifs avec des produits d’IA, les systèmes d’IA génératifs, eux, ne sont pas créatifs : ils ne peuvent pas s’écarter des processus qui leurs sont assignés, hormis collision accidentelles. Le mythe de la créativité de l’IA la redéfinit comme un processus strict qui relèverait d’une série d’étapes, une méthode de production. Il confond le processus de créativité avec le produit de la créativité. Et là encore, cette confusion permet de suggérer que le modèle devrait avoir des droits similaires à ceux des humains.

Salvaggio distingue une 3e classe de mythes : les mythes futuristes qui visent à produire un agenda d’innovation. Ils spéculent sur l’avenir pour mieux invisibiliser les défis du présent, en affirmant continûment que les problèmes seront résolus. Dans ces mythes du futur, il y a d’abord le mythe du passage à l’échelle ou de l’évolutivité : les problèmes de l’IA seront améliorés avec plus de données. Mais ce n’est pas en accumulant plus de données biaisées que nous produiront moins de résultats biaisés. L’augmentation des données permet surtout des améliorations incrémentales et limitées, bien loin de la promesse d’une quelconque intelligence générale. Aujourd’hui, les avantages semblent aller surtout vers des modèles plus petits mais reposant sur des données plus organisées et mieux préparées. Le mythe de l’évolutivité a lui aussi pour fonction d’agir sur le marché, il permet de suggérer que pour s’accomplir, l’IA ne doit pas être entravée dans sa course aux données. Il permet de mobiliser les financements comme les ressources… sans limites. Oubliant que plus les systèmes seront volumineux, plus ils seront opaques et pourront échapper aux réglementations.

Un autre mythe du futur est le mythe du comportement émergent. Mais qu’est-ce qui conduit à un comportement émergent ? « Est-ce la collecte de grandes quantités d’écrits qui conduit à une surperintelligence ? Ou est-ce plutôt la conséquence de la précipitation à intégrer divers systèmes d’IA dans des tâches de prise de décision pour lesquelles ils ne sont pas adaptés ? » Les risques de l’IA ne reposent pas sur le fait qu’elles deviennent des machines pensantes, mais peut-être bien plus sur le fait qu’elles deviennent des machines agissantes, dans des chaînes de décisions défaillantes.

Salvaggio plaide pour que nous remettions en question ces mythes. « Nous devons travailler ensemble pour créer une compréhension plus rigoureuse de ce que ces technologies font (et ne font pas) plutôt que d’élaborer des déclarations de valeur (et des lois) qui adhèrent aux fictions des entreprises ».

C’est peut-être oublier un peu rapidement la valeur des mythes et des promesses technologiques. Les mythes de l’IA visent à produire non seulement une perception confuse de leur réalité, mais à influer sur les transformations légales. Les promesses et les mythes participent d’un narratif pour faire évoluer le droit en imposant un récit qui légitime le pouvoir perturbateur de la technologie. Les mythes permettent de crédibiliser les technologies, expliquait déjà le chercheur Marc Audetat dans l’excellent livre collectif Sciences et technologies émergentes : pourquoi tant de promesses ? (Hermann, 2015). Comme le disait l’ingénieur Pierre-Benoît Joly dans ces pages, « les promesses technoscientifiques ont pour fonction de créer un état de nécessité qui permet de cacher des intérêts particuliers ». Les mythes et les croyances de l’IA ont d’abord et avant tout pour fonction de produire le pouvoir de l’IA et de ceux qui la déploient.
Les 9 mythes de l’IA
30 September 2024
7:30
Se libérer du technocolonialisme
sur Dans les algorithmes

En cartographiant la logique profondément coloniale de nos technologies, avec Anatomy of AI et Calculating Empires, Kate Crawford et Vladan Joker ont attiré notre attention sur le caractère extractiviste sans précédent des technologies numériques, construites depuis « les logiques du capital, du maintien de l’ordre et de la militarisation » qui accélèrent les asymétries de pouvoir existantes. Dans leur nouveau livre, Data Grab : the new colonialism of Big Tech (and how to fight back) (Pillage de données : le nouveau colonialisme des Big Tech (et comment le combattre), WH Allen, 2024, non traduit), Ulises A. Mejias et Nick Couldry interrogent la métaphore technocoloniale. Peut-on dire que la technologie procède d’un colonialisme ? Et si c’est le cas, alors comment nous en libérer ?
Explorer, étendre, exploiter, exterminer : une continuité
A la fin de leur précédent livre, The costs of connection (Stanford University Press, 2019) Mejias et Couldry en appelaient déjà à « décoloniser internet » de l’emprise des multinationales qui le dominent. Mais derrière la formule qui fait florès, peut-on vraiment affirmer que le colonialisme technologique repose sur les mêmes caractéristiques que le colonialisme d’hier ?

Le colonialisme, historique, repose d’abord sur un accaparement sans précédent des terres, des biens, des ressources, des personnes, dont les effets, les conséquences et les répercussions continuent encore aujourd’hui. Il repose sur un quadriptyque, expliquent les chercheurs : « explorer, étendre, exploiter, exterminer ». Comparativement, l’accaparement des données semble bien anodin. Pourtant, estiment les chercheurs, ce technocolonialisme partage beaucoup de caractéristiques avec son ancêtre. D’abord, il est comme lui global et se déroule à très large et très vaste échelle. Mais surtout, il « prolonge et renouvelle cet héritage de dépossession et d’injustice » commencé avec la colonisation. En 1945, un habitant de la planète sur trois était dépendant de l’ordre colonial. Aujourd’hui, un habitant de la planète sur trois a un compte Facebook, comparent un peu rapidement les auteurs. Les contextes et impacts sont différents, mais l’échelle du déploiement de la domination des Big Tech rappelle nécessairement cette histoire, estiment-ils. Le pouvoir de Meta par exemple contribue à une diffusion étendue de la désinformation qui a conduit jusqu’à des violences génocidaires et des interférences politiques.

Le colonialisme s’est toujours justifié par sa mission civilisatrice, visant non seulement à contrôler les corps, mais également les esprits et les consciences, comme l’ont fait dans le passé l’Eglise et la Science. Et les Big Tech aussi se targuent d’une mission civilisatrice. La mission civilisatrice, les motifs économiques, l’exercice du pouvoir et l’introduction de technologies spécifiques façonnent l’histoire du colonialisme. Par le passé, la mission civilisatrice s’est toujours faite par le déploiement de nouvelles force de surveillance, de discrimination, d’exploitation. Et c’est également ce qu’on retrouve aujourd’hui avec l’extension de la surveillance au travail, la généralisation de la reconnaissance faciale, du scoring, ou l’exploitation des travailleurs du clic du monde entier. Comme le dit le philosophe Achille Mbembe dans Sortir de la grande nuit : Essai sur l’Afrique décolonisée (2010) : « Notre époque tente de remettre au goût du jour le vieux mythe selon lequel l’Occident seul a le monopole de l’avenir. »
Image : couverture du livre de Ulises A. Mejias et Nick Couldry, Data Grab.
Le colonialisme de données est « un ordre social dans lequel l’extraction continue de données génère des richesses massives et des inégalités à un niveau global ». Ce nouvel ordre social repose un nouveau contrat social où le progrès nécessite de remettre nos données aux entreprises, sans condition. Certes, les grandes entreprises de la tech ne nous proposent pas de nous réduire en esclavage et le fait de refuser leurs services ne conduit pas à l’extermination. Reste que le pillage de données n’est pas le fait de quelques entreprises malhonnêtes, mais se produit à tous les niveaux. L’exemple le plus éclairant est certainement l’IA générative qui a eu besoin de collecter toutes les données possibles pour alimenter ses moteurs. Une sorte de prédation généralisée motivée pour le bien de l’humanité. Pour Mejias et Couldry, chausser les lunettes du colonialisme pour regarder la prédation en cours permet surtout de faire apparaître les similarités entre le colonialisme historique et le technocolonialisme, qui reposent, l’un comme l’autre sur l’appropriation de ressources et qui se justifie toujours pour servir un but plus grand (le progrès économique). Ce pillage est toujours imposé par une alliance entre les Etats et les entreprises. Il a toujours des effets désastreux sur l’environnement et il renforce toujours les inégalités, entre des élites extractivistes et des populations exploitées. Enfin, cette prédation se justifie toujours par des alibis : un narratif civilisationnel.

La numérisation de nos existences implique un profond changement dans les relations de pouvoir dans lesquelles nous sommes pris. Le capitalisme ne peut pas être compris sans le rôle qu’a joué le colonialisme dans son expansion, rappellent les chercheurs. « Le capitalisme a une dimension coloniale, non pas par accident, mais par conception ». Et l’exploitation est une fonction des opérations routinières de nos outils numériques. Le colonialisme des données exploite nos existences mêmes. Comme le disait Achille Mbembe dans Brutalisme : « nous sommes le minerai que nos objets sont chargés d’extraire ».
Piller, c’est déposséder sans égard pour les droits de ceux qu’on dépossède
Ce pillage de données transforme déjà en profondeur tous les aspects de nos vies : l’éducation, la santé, les lieux de travail, la consommation, la production… La grande différence que l’on pourrait faire entre le colonialisme historique et ce nouveau colonialisme, c’est que la violence physique semble y être largement absente. En fait, estiment les chercheurs, la violence est devenue plus symbolique. Le pillage lui-même est devenu sans friction, puisqu’il suffit d’accepter les conditions d’utilisation pour qu’il se déploie. Cela ne signifie pas pour autant que toute violence ait disparu. L’enjeu colonial, d’extraction et de dépossession, lui, continue. Il signifie toujours déposséder l’autre sans égard pour ses droits. La justification est d’ailleurs toujours la même : « rendre ce qui est pillé plus productif », selon une définition de la productivité qui correspond aux intérêts du pilleur. Quant à l’exploitation du travail humain, elle n’a pas disparu, comme le rappellent les travailleurs du clic. Cette exploitation est toujours aussi intensive en technologie, nécessite toujours des outils très spécifiques et spécialisés et bénéficie d’abord à ceux à qui ils appartiennent, à l’image des plateformes d’IA qui bénéficient d’abord à ceux qui les proposent et les exploitent.

« L’exploitation des données est une continuation de la violence coloniale via d’autres moyens ». Elle produit toujours de la discrimination et de la perte d’opportunité pour ceux qui en sont les victimes, selon des logiques de classification sociales. Les distinctions de « classe, de genre, de race ont toujours été instrumentées pour créer le mythe que ces différences avaient besoin d’être gérées et organisées par la rationalité occidentale ». Le colonialisme des données renouvelle la mission historique du colonialisme via de nouveaux moyens que sont les systèmes de prise de décision automatisés, les plateformes… dont les effets « sont plus subtils et difficiles à tracer qu’avant ». La discrimination s’inscrit désormais dans nos outils numériques, comme le montrait Virginia Eubanks dans Automating Inequality, en inscrivant les inégalités dans des plateformes profondément asymétriques. L’extraction de données permet d’attacher les personnes à des catégories. Les systèmes de scoring déterminent des scores qui reflètent et amplifient les discriminations forgées par le colonialisme.

Les deux auteurs ont des mots assez durs sur la science occidentale, rappelant qu’elle naît en partie pour la gestion coloniale (la botanique, la zoologie, l’anthropologie…). Qu’elle invente des techniques et des outils (la carte, les rapports, les tableaux…) pas seulement au profit de la science, mais bien également en coordination avec l’expansion économique et militaire. Cette science a été très vite appliquée pour surveiller, contrôler et gérer les populations colonisées. La Big Science et les Big Techs aujourd’hui sont toujours au service de relations de pouvoir asymétriques. Or, rappellent les chercheurs, le colonialisme des données à besoin de nous. « Sans nos données, il ne fonctionne pas ». Nous participons à notre propre exploitation.

La donnée a une caractéristique particulière cependant. C’est un bien non-rival. Elle peut-être copiée et réutilisée sans fin. Cela n’empêche pas qu’elle soit exploitée dans des territoires de données très spécifiques que sont les plateformes, interreliées, qui imposent leurs propres lois depuis les codes qu’elles produisent. Ce nouveau monde de données dirige nos activités vers des canaux numériques qui sont entièrement sous le contrôle des entreprises qui les proposent. Si les données sont un bien non-rival, ce qu’elles capturent (nous !) est bien une ressource finie.

Pour les deux chercheurs, l’exploitation des données est née en 1994, quand Lou Montulli, employé de Netscape, invente le cookie. En 30 ans, les structures de pouvoir du net ont domestiqué la surveillance en avantage commercial via une machinerie numérique tentaculaire, comme le montrait Soshana Zuboff. Les ordinateurs ont été placés au cœur de toute transaction, comme l’expliquait Hal Varian, l’économiste en chef de Google dès 2013. Tout ce qui est personnel ou intime est devenu un terrain d’exploitation. Nous sommes au cœur de territoires de données où le monde des affaires écrit les contrats, en les présentant comme étant à notre bénéfice. Nous sommes cernés par des relations d’exploitation de données qui maximisent l’extraction d’une manière particulièrement asymétrique. Une forme d’hypernudge qui optimise nos comportements pour servir les objectifs des collecteurs. Ce colonialisme n’opère pas que dans le domaine de la publicité ciblée, rappellent les auteurs, elle s’étend aux finances personnelles, à l’agriculture de précision, à l’éducation, la santé, le travail… selon des logiques d’opacité (on ne sait pas exactement quelles données sont collectées), d’expansionnisme (les données d’un secteur servent à d’autres), d’irresponsabilité (sans rendre de comptes) et dans une conformité juridique très incertaine. La gestion des humains est devenue rien d’autre que la gestion d’une base de données, au risque d’y délaisser les plus vulnérables. Ces systèmes ravivent les inégalités du vieil ordre colonial.
La mission civilisatrice des données : produire notre acceptation
Dans un chapitre sur la mission civilisatrice des données, les deux chercheurs expliquent que celle-ci repose d’abord sur la commodité. Elle repose également sur une narration connectiviste, quasi religieuse, qui invisibilise la surveillance qu’elle active en suggérant que l’extraction de données est inévitable. Qu’elle doit être continue, profonde, totale. Ce narratif met de côté tous les problèmes que cette extraction génère, comme le fait qu’elle divise les gens, les épuise, les traumatise… On oublie que la connexion limite plus qu’elle augmente la diversité. « Les plateformes plus que les gens, décident quelles connexions sont plus avantageuses pour elles », à l’image des recommandations qu’elles produisent sans qu’on ait notre mot à dire, qu’importe la polarisation ou la radicalisation qu’elles produisent. La viralité est le modèle économique. Nous sommes le jeu auquel joue l’algorithme.

Ce storytelling impose également un autre discours, celui que l’IA serait plus intelligente que les humains. Comme le microscope a participé au succès de l’impérialisme (soulignant le lien entre la méthode scientifique et l’entreprise coloniale comme moyen de réduire et d’abstraire le monde naturel en objets capables d’être gérés), l’IA est l’outil pour rendre l’extraction de données inévitable. D’un outil pour comprendre le monde, la méthode scientifique est aussi devenue un processus pour éliminer l’opposition à la gestion coloniale. Couldry et Mejias rappellent pourtant que la science n’a pas servi qu’un sombre objectif colonial, mais que l’abstraction scientifique et le développement technologique qu’elle a produit a accompagné l’extractivisme colonial. Le narratif sur l’intelligence de l’IA, comme l’explique Dan McQuillan dans Resisting AI, sert à opacifier ses effets. Il nous pousse à croire que l’optimisation statistique serait le summum de la rationalité, qu’il permettrait justement d’éliminer nos biais quand il ne fait que les accélérer. Pour les deux chercheurs, l’IA discriminatoire et opaque par essence sert d’abord et avant tout à dissimuler les limites de la rationalité, à la parer de neutralité, à automatiser la violence et la discrimination qu’elle produit. L’IA n’est que la nouvelle étape d’une production coloniale de connaissance qui prend toutes les productions humaines pour générer une connaissance qui nous est présentée comme son apothéose, quand elle est avant tout un moyen de s’assurer la continuité de l’appropriation des ressources.

Si le discours civilisationnel fonctionne, c’est d’abord parce que ce narratif renforce la hiérarchie des pouvoirs et vise à verrouiller la position des dominés comme dominés. Il colonise l’imagination de ce que doit être le futur : un avenir connecté, un avenir que l’on doit accepter, un avenir normal et inaltérable. Ce que ce narratif vise à produire, c’est notre acceptation. Il n’y a pas d’alternative !
La nouvelle classe coloniale
La surveillance se porte bien, comme le pointent les chiffrages du site Big Tech sells War. La sécurité, la défense et la surveillance sont désormais largement aux mains des grandes entreprises de la tech. Le pire colonialisme d’hier ressemble à celui d’aujourd’hui. Et comme hier, il implique l’existence d’une véritable classe coloniale. Celle-ci ne porte plus le casque blanc. Elle opère à distance, dans les bureaux feutrés de quelques grandes entreprises. Mejias et Couldry rappellent qu’à la grande époque, la Compagnie britannique des Indes orientales était une entreprise commerciale de 250 000 employés gérés depuis Londres par une équipe de 35 à 159 employés seulement. Uber, avec 32 000 employés coordonne les opérations de 5 000 0000 de livreurs et chauffeurs pour quelques 131 millions d’utilisateurs.

La classe coloniale de la donnée naît dès le milieu des années 80 dans les entreprises qui proposent les premières cartes de crédit et qui se mettent à collecter des données sur les consommateurs pour cela. Leur but ? Distinguer les consommateurs afin de trouver les plus fidèles. Dans les années 90, ces conceptions commencent à essaimer dans les théories de gestion. Couplées aux data sciences, elles donneront naissance aux Big data, c’est-à-dire aux théories de l’exploitation des données qu’incarnent les plus grandes entreprises de la tech. Amazon incarne l’explorateur, celui qui conquiert de nouveaux territoires pour l’extraction depuis le commerce de détail. Google et Apple, les expansionnistes de la données qui dominent de vastes empires de services et d’infrastructures cherchant à pousser toujours plus loin leurs emprises. Facebook est l’exploiteur le plus systémique des données. Les deux auteurs dressent rapidement les évolutions extractivistes des grands acteurs de la tech et de bien d’autres. Nous sommes désormais cernés par une infrastructure d’extraction, dominée par une bureaucratie d’acteurs, qui n’est pas sans rappeler la bureaucratie de l’administration coloniale. Celle-ci est dominée par la figure du data scientist, miroir de l’administrateur colonial, qui œuvre dans tous les domaines d’activité. Qu’ils oeuvrent pour Palantir, Salesforce ou LexisNexis, ils façonnent l’Etat algorithmique, transforment la nature même du gouvernement par de nouvelles formes de connaissance et de contrôle, dans un rapprochement dont on peine à prendre la mesure – 6500 agences publiques américaines utilisent Amazon Cloud Services. Partout, la technologie est devenue la modalité d’action sur la société. Partout, la technologie est convoquée pour optimiser les financements publics et notamment réduire les dépenses par un profilage toujours plus intensif des administrés en y appliquant partout des calculs probabilistes pour améliorer leur rentabilité, changeant profondément la nature du bien public et la conception de l’Etat providence. Pour ces acteurs, tout ce qui peut être utilisé le sera, simplement parce qu’il est disponible. Toutes les données sont collectées et sont rendues productives du fait même de leur disponibilité. La précision, l’exactitude ou la justice sont sans conséquences, tant que les données produisent des résultats.
S’inspirer des résistances anticoloniales
La critique de l’extractivisme colonial est nourrie. Les données, par nature, sont des objets sans contexte. L’historien et politicien Eric Williams, auteur de Capitalisme et esclavage (1930), a pourtant rappelé que la révolution industrielle qui a survalorisé l’innovation occidentale n’aurait pas été possible sans les ressources tirées de la colonisation. Pour lui, le capitalisme n’aurait pas pu se développer sans le colonialisme et sans la sujétion au travail, notamment par l’esclavage. Le sociologue péruvien, Anibal Quijano a parlé lui de « colonialité » du pouvoir pour parler des liens entre capitalisme et racisme, qui ne se sont pas achevés avec la décolonisation, mais se sont prolongés bien au-delà. Pour résister à la colonialité, Quijano invite à développer une rationalité et une connaissance débarrassée des idées de hiérarchies et de discrimination. Pour lui, la connaissance par exemple se construit bien plus par la diversité des perspectives que par le rejet de la diversité sous un prétexte rationaliste. Pour Mejias et Couldry, la connaissance que produit le Big Data est une connaissance depuis le point de vue des institutions qui les produisent, pas des gens et encore moins des gens depuis leur grande diversité. En cela, elle perpétue les caractéristiques de la science occidentale et la rend profondément colonialiste.

Sylvia Wynter est une autre chercheuse que les auteurs convoquent pour nous aider à trouver un autre rapport à la connaissance, à la science et à la rationalité. Pour elle, nous devons résister à la vision dominante de la science occidentale pour promouvoir une vision plus inclusive. Pour elle, nous avons besoin d’un mode de pensée sur la donnée qui inclut plus de gens et de perspectives, à l’image de ce que répètent les data scientists les plus critiques des perspectives technologiques comme Safiya Noble, Timnit Gebru ou les sociologues Ruha Benjamin, Virginia Eubanks… C’est également les perspectives que défendent Catherine D’Ignazio et Lauren Klein depuis le féminisme de données. C’est le même point de vue qu’exprime le philosophe Achille Mbembe quand il dénonce la continuité du colonialisme par d’autres moyens et nous invite à ne plus voir dans l’occident le centre de gravité du monde, dénonçant l’expansion de l’IA, comme le devenir artificiel de l’humanité. C’est le même enjeu qu’exprime Naomi Klein quand elle dénonce le capitalisme du désastre, qui utilise celui-ci pour créer des opportunités pour exploiter les populations les plus vulnérables. Pour Klein, l’extractivisme est lié au colonialisme qui ne voit le monde que comme une terre de conquête, plutôt que notre maison commune. Un extractivisme qui s’étend dans la plus grande impunité.

Les deux chercheurs terminent leur essai par des exemples de résistance qui peuvent paraître, comme souvent, bien fragiles face au rouleau compresseur de l’extractivisme des données. Pour eux, « le colonialisme de données n’est pas un problème facile à réparer ». On ne peut pas l’effacer d’une loi ou d’une nouvelle technologie… Ils nous invitent cependant à apprendre des résistances anticoloniales passées et de celles qui continuent de se déployer aujourd’hui, comme des résistances locales contre le déploiement des technologies de reconnaissance faciale, comme le propose la coalition Reclaim your Face. Dans de nombreuses industries de la tech, les travailleurs tentent de se syndiquer, non sans difficultés. D’autres montent des mouvements pour résister à l’extractivisme, comme No Tech for ICE, le mouvement qui s’oppose à l’usage des technologies par les agences d’immigration américaines ou No Tech for Apartheid qui s’oppose aux technologies de surveillance des Palestiniens ou Our Data Bodies, qui s’oppose aux technologies de surveillance sur les communautés pauvres et racisées américaines. Quand les Big Tech sont partout, c’est à chacun d’entre nous de résister, expliquent-ils en invitant à boycotter les plateformes, à éteindre ou déposer nos téléphones, comme le propose le Luddite Club des adolescents newyorkais. Mais nous devons aussi radicalement réimaginer la façon dont on utilise les données, comme nous y invite la penseuse argentine Veronica Gago, auteure de La puissance féministe, qui invite à s’extraire des zones d’extractivisme ou encore Ivan Illich qui nous invitait à construire une société conviale, faite d’outils responsables par lesquels les humains contrôleraient les technologies qu’ils utilisent.

Ils nous invitent d’ailleurs à nous défaire des réponses technologiques. Les solutions sont également sociales, politiques, culturelles, éducatives et légales… Et elles doivent se connecter aux gens et aux luttes. Mejias et Couldry nous invitent à travailler ces systèmes en demandant des droits et des régulations, comme l’a fait le RGPD en Europe. Il nous faut protester contre les pratiques extractivistes, oeuvrer avec les autorités pour exiger des transformations concrètes, oeuvrer avec d’autres organisations pour changer l’allocation des financements, exiger des sanctions et des boycotts, mobiliser les citoyens sur ces enjeux, soutenir la taxation des entreprises de la tech, exiger des garanties pour protéger les citoyens, comme le proposent People vs Big Tech. Mais il faut aussi oeuvrer contre les systèmes et développer de nouveaux outils politiques permettant de refuser le colonialisme sur nos données en œuvrant pour le développement de plateformes plus locales que globales. Si choisir un colonisateur national plutôt qu’un service global ne règle pas la question, Mejias et Couldry nous invitent à trouver les moyens de rendre l’extractivisme des données inacceptable. A la suite de Ben Tarnoff, ils nous invitent à imaginer comment nationaliser l’internet et développer à la suite des travaux de Trebor Scholz, des plateformes coopératives. Ils nous invitent à renverser le discours dominant en relayant les critiques à l’égard des systèmes algorithmiques, à partager les histoires édifiantes des victimes des calculs, et à soutenir les organisations qui œuvrent en ce sens. Ils nous invitent à redéfinir la frontière entre ce que nous voulons et ce que nous ne voulons pas. « La crise du colonialisme des données exige notre participation mais sans notre approbation consciente. Elle ne nous confronte pas à la disparition des glaciers ou des forêts tropicales (même si le colonialisme des données vient avec des coûts environnementaux très significatifs), mais à des environnements sociaux appauvris organisés dans un seul but : l’extraction de données et la poursuite du profit. Et c’est un problème, car résoudre la crise environnementale – et toutes les crises auxquelles nous sommes confrontés – nécessite une collaboration sociale renforcée. Si nos environnements sociaux sont contrôlés par les États et les entreprises, il y a un risque que nous soyons manipulés pour servir leurs intérêts plutôt que les nôtres, ce qui pourrait saper les politiques collectives dont nous avons réellement besoin ». C’est aux colonisés d’agir. Il n’y a rien à attendre des colonisateurs de données. « L’extraction de données est le dernier stade d’un projet qui vise à gouverner le monde dans l’intérêt des puissants. Il nous faut inventer un monde où la donnée est quelque chose que les communautés contrôlent pour les buts qu’elles ont elles-mêmes choisies ». L’IA ne nous sauvera pas. Elle n’est « qu’un mécanisme de plus pour continuer à faire de l’argent et pour transformer le monde en espaces impénétrables que nous ne comprenons pas et sur lesquels nous n’avons aucun contrôle » et qui agit sur nos chances d’accès à des ressources cruciales (prêts, éducation, santé, protection sociale, travail…). Les données discriminent. Les tisser dans des algorithmes et des systèmes toujours plus complexes qui amplifient les biais ne générera que des systèmes de pouvoir encore plus inégaux. Ces systèmes exigent notre transparence la plus totale alors qu’eux-mêmes sont de plus en plus opaques, comme le disaient Ryan Calo et Danielle Citron. Si nous ne démantelons pas ces structures de pouvoir, le colonialisme de données produira de nouvelles injustices, pas leur disparition.

*

Si les perspectives critiques que tirent Mejias et Couldry sont intéressantes, on reprochera néanmoins à leur essai d’être plus philosophique que pragmatique. Les deux chercheurs peinent à documenter concrètement la prédation dont nous sommes l’objet, alors que les exemples ne manquent pas. Leurs propositions conclusives donnent un peu l’impression qu’ils nous invitent à prolonger la lutte, sans documenter justement le coût de la connexion. Leurs recommandations s’inscrivent dans un dictionnaire des luttes bien établies sans parvenir à proposer des leviers sur lesquels celles-ci pourraient converger. Dans leur radicalité, on pourrait s’attendre à ce que leurs propositions le soient également, permettant de construire des objectifs plus ambitieux, comme l’interdiction de la collecte de données, l’interdiction de leurs croisements, l’interdiction des inférences et de la segmentation des publics… On aurait pu attendre d’un livre sur le pillage des données qu’il soit plus radical encore, qu’il nous invite à combattre « la traite » dont nous sommes l’objet par le rétablissement de nos droits, comme l’abolition de l’esclavage ou l’indépendance ont été les leviers décisifs permettant d’envisager de mettre fin au colonialisme. Mejias et Couldry nous offrent une métaphore qui ouvre des perspectives, mais qui semblent bien moins mobilisables qu’on l’attendait.

MAJ du 4/10/2024 : Sur Mais où va le web, Irénée Régnauld revient sur le livre de l’anthropologue Payal Arora, From pessimism to to promise, qui offre un contrepoint au technocolonialisme de Mejias et Couldry. « Pour beaucoup, la peur d’être anonyme et perdu est plus grande que celle d’être surveillé. »
17 September 2024
9:56
ChatGPT : le mythe de la productivité
sur Dans les algorithmes

« Pourquoi pensons-nous que dans l’art, il y a quelque chose qui ne peut pas être créé en appuyant sur un bouton ? » Les grands modèles de langage pourraient-ils devenir meilleurs que les humains dans l’écriture ou la production d’image, comme nos calculatrices sont meilleures que nous en calcul ? se demande l’écrivain de science-fiction Ted Chiang dans une remarquable tribune pour le New Yorker. Il y rappelle, avec beaucoup de pertinence, que l’IA vise à prendre des décisions moyennes partout où nous n’en prenons pas. Quand on écrit une fiction, chaque mot est une décision. Mais quand on demande à une IA de l’écrire pour nous, nos décisions se résument au prompt et toutes les autres décisions sont déléguées à la machine.

Chiang rappelle l’évidence. Que l’écriture, par la lecture, tisse une relation sociale. « Tout écrit qui mérite votre attention en tant que lecteur est le résultat d’efforts déployés par la personne qui l’a écrit. L’effort pendant le processus d’écriture ne garantit pas que le produit final vaille la peine d’être lu, mais aucun travail valable ne peut être réalisé sans lui. Le type d’attention que vous accordez à la lecture d’un e-mail personnel est différent de celui que vous accordez à la lecture d’un rapport d’entreprise, mais dans les deux cas, elle n’est justifiée que si l’auteur y a réfléchi. » Il n’y a pas de langage sans intention de communiquer. Or, c’est bien le problème des IA génératives : même si ChatGPT nous dit qu’il est heureux de nous voir, il ne l’est pas.
« Pourquoi l’IA ne fera pas d’art ». L’article de Ted Chiang pour le New Yorker.
« Comme l’a noté la linguiste Emily M. Bender, les enseignants ne demandent pas aux étudiants d’écrire des essais parce que le monde a besoin de plus d’essais d’étudiants. Le but de la rédaction d’essais est de renforcer les capacités de réflexion critique des étudiants. De la même manière que soulever des poids est utile quel que soit le sport pratiqué par un athlète, écrire des essais développe les compétences nécessaires pour tout emploi qu’un étudiant obtiendra probablement. Utiliser ChatGPT pour terminer ses devoirs, c’est comme amener un chariot élévateur dans la salle de musculation : vous n’améliorerez jamais votre forme cognitive de cette façon. Toute écriture n’a pas besoin d’être créative, sincère ou même particulièrement bonne ; parfois, elle doit simplement exister. Une telle écriture peut soutenir d’autres objectifs, comme attirer des vues pour la publicité ou satisfaire aux exigences bureaucratiques. Lorsque des personnes sont obligées de produire un tel texte, nous pouvons difficilement leur reprocher d’utiliser tous les outils disponibles pour accélérer le processus. Mais le monde se porte-t-il mieux avec plus de documents sur lesquels un effort minimal a été consacré ? Il serait irréaliste de prétendre que si nous refusons d’utiliser de grands modèles de langage, les exigences de création de textes de mauvaise qualité disparaîtront. Cependant, je pense qu’il est inévitable que plus nous utiliserons de grands modèles de langage pour répondre à ces exigences, plus ces exigences finiront par devenir importantes. Nous entrons dans une ère où quelqu’un pourrait utiliser un modèle de langage volumineux pour générer un document à partir d’une liste à puces, et l’envoyer à une personne qui utilisera un modèle de langage volumineux pour condenser ce document en une liste à puces. Quelqu’un peut-il sérieusement affirmer qu’il s’agit d’une amélioration ? »

« L’informaticien François Chollet a proposé la distinction suivante : la compétence correspond à la façon dont vous accomplissez une tâche, tandis que l’intelligence correspond à l’efficacité avec laquelle vous acquérez de nouvelles compétences. » Pour apprendre à jouer aux échecs, Alpha Zero a joué quarante-quatre millions de parties ! L’IA peut-être compétente, mais on voit bien qu’elle n’est pas très intelligente. Notre capacité à faire face à des situations inconnues est l’une des raisons pour lesquelles nous considérons les humains comme intelligents. Une voiture autonome confrontée à un événement inédit, elle, ne sait pas réagir. La capacité de l’IA générative à augmenter la productivité reste théorique, comme le pointait Goldman Sachs en juillet. « La tâche dans laquelle l’IA générative a le mieux réussi est de réduire nos attentes, à la fois envers les choses que nous lisons et envers nous-mêmes lorsque nous écrivons quelque chose pour que les autres le lisent. C’est une technologie fondamentalement déshumanisante, car elle nous traite comme des êtres inférieurs à ce que nous sommes : des créateurs et des appréhenseurs de sens. Elle réduit la quantité d’intention dans le monde. » Oui, ce que nous écrivons ou disons n’est pas très original le plus souvent, rappelle l’écrivain. Mais ce que nous disons est souvent significatif, pour nous comme pour ceux auxquels l’on s’adresse, comme quand nous affirmons être désolé. « Il en va de même pour l’art. Que vous créiez un roman, une peinture ou un film, vous êtes engagé dans un acte de communication entre vous et votre public ». « C’est en vivant notre vie en interaction avec les autres que nous donnons un sens au monde ».

Le philosophe du net, Rob Horning, dresse le même constat. Ces machines « marchandisent l’incuriosité », explique-t-il. « Les LLM peuvent vous donner des informations, mais pas les raisons pour lesquelles elles ont été produites ou pourquoi elles ont été organisées de certaines manières ». Ils permettent assez mal de les situer idéologiquement. Or, la recherche, l’écriture, permettent de construire de la pensée et pas seulement des résultats. A contrario, les solutions d’IA et les entreprises technologiques promeuvent le « mythe de la productivité », l’idée selon laquelle économiser du temps et des efforts est mieux que de faire une activité particulière pour elle-même. Le mythe de la productivité suggère que tout ce à quoi nous passons du temps peut-être automatisé. La production peut-être accélérée, sans limite. Les raisons pour lesquelles nous le faisons, la profondeur que cela nous apporte n’ont pas d’importance. Selon ce mythe, le but de l’écriture c’est de remplir une page, pas de réaliser le processus de réflexion qui l’accompagne… Comme si le but de l’existence n’était que de déployer des techniques pour gagner du temps. Pour Horning, ce n’est pas tant un mythe qu’une idéologie d’ailleurs, qui « découle directement de la demande du capitalisme pour un travail aliéné, qui consiste à contraindre des gens à faire des choses qui ne les intéressent pas, orchestrées de telles manières qu’ils en tirent le moins de profit possible ». Dans le travail capitaliste, le but est d’ôter la maîtrise des travailleurs en les soumettant aux processus de travail cadencés. La page de contenus est une marchandise dont la valeur dépend du prix payé pour elle, plutôt que de l’expérience de celui qui l’a produite ou de celui qui l’a consommée.

Pour les entreprises, l’efficacité est supérieure au but : elle est le but qui invalide tous les autres. Quand le but de l’art, de l’éducation ou de la pensée, est d’être confronté à l’intentionnalité, à la preuve irréfutable de la subjectivité, comme le pointe Chiang. « L’IA générative est la quintessence de l’incurie, parfaite pour ceux qui détestent l’idée de devoir s’intéresser à quoi que ce soit. »

Le problème, c’est que ces effets délétères ne concernent pas une production textuelle en roue libre qui serait limitée au seul monde de l’entreprise, où un argumentaire en remplacerait un autre sans que ni l’un ni l’autre ne soit lu. Les effets de cette productivité pour elle-même sont bien réels, notamment dans le monde scolaire, s’inquiétait récemment Ian Bogost qui estime que depuis le lancement de ChatGPT, nous sommes passé de la consternation à l’absurdité : des étudiants génèrent des devoirs avec l’IA que les enseignants font corriger par l’IA. Certes, bien sûr, tout le monde va devoir s’y adapter. Mais le risque est grand que ces technologies rendent caduc l’un des meilleur outil d’apprentissage qui soit : l’écriture elle-même.
9:46
L’IA va-t-elle élargir l’expertise ou la réduire ?
sur Dans les algorithmes

David Autor est l’un des grands experts du travail. Economiste au MIT, il est l’un des responsables du laboratoire de recherche sur l’avenir du travail. Le chercheur publie avec parcimonie, mais quand il s’exprime, cela vaut souvent le coup de s’y intéresser. Jusqu’à présent, Autor n’a pas toujours été tendre avec l’impact de la technologie sur le travail, montrant que celle-ci sert surtout à améliorer la rentabilité des entreprises et que l’automatisation et la mondialisation ont surtout servi à se débarrasser des travailleurs et à les remplacer par des travailleurs moins chers. Autor a dénoncé le risque d’une innovation sans emplois – notamment en contestant l’étude de Michael Osborne et Karl Benedickt Frey de 2013 qui estimait qu’une profession sur deux était menacée de disparition du fait de l’automatisation, Autor montrant que les effets de l’automatisation sont plus complexes.

Alors que de nombreuses perspectives que fait peser l’IA sur le travail semblent s’annoncer comme catastrophiques, tout le monde s’inquiétant d’un grand remplacement par les machines, David Autor, estime, au contraire et avec un certain optimisme, que l’IA pourrait nous aider à reconstruire la classe moyenne ! Si l’IA fait peser une réelle menace sur l’emploi, elle offre également la possibilité d’étendre l’expertise à un plus grand nombre de travailleurs, défend Autor, c’est-à-dire de faire monter en compétences plus de monde que ce n’était possible jusqu’alors !

Si la peur que l’IA nous pique nos jobs est légitime, c’est oublier que le monde industrialisé regorge d’emplois, rappelle-t-il. Et la pénurie de main-d’œuvre à venir, liée à la chute de la natalité, ne devrait pas remettre en cause le besoin de travailleurs, au contraire. « Ce n’est pas une prédiction, c’est un fait démographique. Tous ceux qui auront 30 ans en 2053 sont déjà nés et nous ne pouvons pas créer davantage de personnes qu’il n’y en a. À moins d’un changement massif de la politique d’immigration, les États-Unis et les autres pays riches manqueront de travailleurs avant qu’ils ne manquent d’emplois. »
L’IA, remède à l’automatisation ?
Certes, l’IA va bouleverser le monde du travail, mais pas comme le pensent Elon Musk ou Geoffrey Hinton, en mettant tout le monde au chômage ! L’IA va remodeler la valeur et la nature de l’expertise humaine, explique Autor. L’expertise, rappelle-t-il, fait référence aux connaissances et compétences requises pour accomplir une tâche particulière. Celle-ci a beaucoup de valeur quand elle est relativement rare et difficile à acquérir. Elle est la principale source de valeur au travail : les emplois qui nécessitent peu de formation ou de certification restent traditionnellement les moins bien rémunérés, contrairement à ceux qui en nécessitent beaucoup. Les domaines d’expertise évoluent à travers les époques technologiques. Les ingénieurs logiciels n’existaient pas jusqu’à ce que les innovations technologiques et sociales en créent le besoin.

Longtemps, la vision utopique de l’ère de l’information était que les ordinateurs aplaniraient les hiérarchies économiques en démocratisant l’information. N’importe qui accédant à un ordinateur pouvait désormais tout faire, tout accomplir… Pourtant, estime Autor, ce n’est pas exactement ce qui se produit. En fait, estime-t-il, l’information n’est qu’un apport à une fonction économique plus déterminante : à savoir la prise de décision, qui, elle, relève de l’élite des experts. « En rendant l’information et les calculs abondants et bons marchés, l’informatisation a catalysé une concentration sans précédent du pouvoir de décision et des ressources qui l’accompagnent dans les mains d’une petite élite experte ». Avec le numérique, une large strate d’emplois moyennement qualifiés se sont automatisés, notamment dans le travail de bureau ou le soutien administratif. Quant aux individus sans qualification, ils ont été relégués à des emplois de service non spécialisés et mal payés.

Pour Autor, l’IA nous offre la possibilité de contrecarrer le processus amorcé par l’informatisation, c’est-à-dire améliorer l’expertise du plus grand nombre. L’IA peut permettre à un plus grand nombre de travailleurs d’effectuer des tâches décisionnelles confiées jusqu’à présent à une petite élite. « Bien utilisée, l’IA peut aider à restaurer la classe moyenne du marché du travail qui a été vidée par l’automatisation et la mondialisation », soutient l’économiste. Si elle peut également rendre l’expertise redondante et les experts superflus, réduisant encore leur nombre, l’IA pourrait également démocratiser l’expertise, pour autant qu’on accompagne les utilisateurs. Pour les travailleurs possédant une formation et une expérience de base, l’IA peut les aider à tirer parti de leur expertise afin de pouvoir effectuer un travail à plus forte valeur ajoutée, comme le pointait l’étude d’Erik Brynjolfsson, Danielle Li et Lindsey Raymond sur l’usage de l’IA générative au travail, qui montrait que dans des centres d’appel, les gains de productivité de l’IA étaient nuls pour les agents les plus performants, mais maximum pour les moins productifs.

Certes, concède Autor, l’IA va certainement automatiser une part importante du travail existant et rendra certains domaines d’expertise existants inutiles. Mais, assure l’optimiste professeur, l’IA va également créer de nouveaux biens et services et de nouvelles demandes d’expertises. L’IA offre de nombreuses possibilités pour augmenter le nombre de travailleurs et améliorer le travail.
« L’IA pourrait aider à reconstruire la classe moyenne ». L’article de David Autor chez Noemag. L’expertise a longtemps été laminée par l’industrialisation et l’automatisation
Autor rappelle que jusqu’au XIXe siècle et le début de la production de masse, le savoir artisanal était vénéré. Et puis, l’industrialisation a tout changé. La production de masse s’est imposée par la force de sa productivité et les conditions de travail des travailleurs sont devenues dangereuses, pénibles, pour des salaires extrêmement faibles. Les petits ateliers de tisserands ont été laminés par l’industrie. Et il a fallu des dizaines d’années de luttes sociales avant que le niveau de vie de la classe ouvrière ne se sécurise peu à peu. A mesure que les outils, les processus et les produits de l’industrie gagnaient en sophistication, l’expertise des travailleurs a été peu à peu reconnue. Les ouvriers qui opéraient et entretenaient des équipements complexes avaient besoin de formations dédiées. Ce n’est pas un hasard si une fraction toujours croissante de la main d’œuvre est désormais dotée d’un diplôme d’études secondaires qui a contribué à construire ce que l’on a appelé la classe moyenne des pays industrialisés. Mais cette « expertise de masse », cette expertise « procédurale », des ouvriers qualifiés aux contremaîtres, a été peu à peu laminée par le développement de procédures toujours plus avancées et surtout par l’ère de la mécanique, de la robotique et de l’informatique, capables d’exécuter à moindre coût, de manière fiable et rapide, des tâches cognitives et manuelles codées dans des règles explicites et déterministes : des programmes. « Avant l’ère informatique, il n’existait essentiellement qu’un seul outil de traitement symbolique : l’esprit humain ». « Avant l’ère informatique, les travailleurs spécialisés dans les tâches de bureau et de production qualifiées incarnaient l’expertise de masse ». Ces procédés ont « érodé la valeur du savoir-faire de masse tout comme les technologies de la révolution industrielles ont érodé la valeur du savoir-faire artisanal ».

Toutes les tâches ne suivent pas des règles bien comprises et maîtrisables, toutes ne sont pas routinières, ne s’obtiennent pas en apprenant des règles mais plutôt en apprenant par la pratique, par essai-erreur, comme lorsqu’on apprend à faire du vélo. Avant l’IA, un programmeur devait spécifier toutes les étapes pour qu’un robot apprenne à faire du vélo. Désormais, le robot va apprendre par essai-erreur. De nombreux emplois bien rémunérés, avec un haut niveau d’expertise, nécessitent d’accomplir des tâches non routinières où la connaissance des règles ne suffit pas. « Semblables aux artisans de l’ère préindustrielle, l’élite des experts modernes tels que les médecins, les architectes, les pilotes, les électriciens et les éducateurs combinent leurs connaissances procédurales avec leurs jugements d’experts et, souvent, leur créativité, pour s’attaquer à des cas spécifiques, aux enjeux élevés et souvent incertains ». Les ordinateurs permettent aux professionnels de passer moins de temps à acquérir et à organiser des informations et plus de temps à interpréter et appliquer ces informations, c’est-à-dire à prendre des décisions… ce qui a augmenté la valeur du jugement professionnel des experts. A mesure que l’informatisation progressait, les revenus des experts ont augmenté.

Mais l’informatisation a eu également des impacts sur les travaux non experts : dans les métiers des services pratiques (entretien, soin, restauration…) peu rémunérés car exigeant peu d’expertise, pouvant être accompli avec une formation minimale. Si les ordinateurs ne peuvent pas encore accomplir ces travaux, ils ont augmenté le nombre de travailleurs en compétition pour obtenir ces postes, notamment par le déclassement des emplois d’expertise de masse dans les domaines de l’administration ou du travail de bureau. Plutôt que de produire un renouveau de l’expertise de masse, comme on l’a connu avec la révolution industrielle, l’informatisation l’a réduite et a conduit à une hausse des inégalités.
L’IA, une technologie d’inversion ?
Mais l’ère de l’intelligence artificielle est un point d’inflexion, estime David Autor. Avant l’IA, la capacité principale de l’informatique était l’exécution sans faille et presque sans frais de tâches procédurales et de routines. Les capacités de l’IA sont l’exact inverse, ce qui implique qu’elle ne soit pas fiable. Mais l’IA sait assez bien acquérir des connaissances tacites : elle apprend par l’exemple, sans instruction explicite. A l’instar d’un expert humain, l’IA peut créer des règles avec l’expérience qu’elle acquiert et prendre des décisions. Demain, quand ses capacités de jugements s’amélioreront, elle pourra encadrer les décideurs dans l’application de leurs jugements experts.

Pour l’instant, les décisions de l’IA se limitent à vous conseiller d’écrire tels mots plutôt que tels autres, mais il est probable que ces décisions soient de plus en plus importantes à mesure que ses performances progressent. Pour David Autor, ces perspectives devraient permettre à des travailleurs non experts de participer à des prises de décision à enjeux élevés, pour tempérer le monopole de décision des élites, médecins comme avocats par exemple. Pour lui, l’IA est une « technologie d’inversion », capable de fournir une aide à la décision sous forme d’orientations et de garde-fous, permettant à un grand nombre de travailleurs d’effectuer des tâches décisionnelles aujourd’hui confiés à des médecins, des avocats, des codeurs… Ce qui permettrait d’améliorer la qualité des emplois, de modérer les inégalités de revenus, tout en réduisant les coûts des services clés comme la santé, l’éducation ou l’expertise juridique.

La production de masse a réduit le coût des biens de consommation. Le défi contemporain consiste à réduire celui des services essentiels, comme la santé, l’enseignement supérieur ou le droit, monopolisés par des corporations d’experts très qualifiés. Les prix des soins de santé et d’éducation au cours des quatre dernières décennies ont augmenté de 200 et 600% par rapport aux revenus des ménages américains. L’expertise qui ne cesse de se complexifier, justifie certainement ce coût, mais l’IA a le potentiel de réduire ces coûts en réduisant la rareté de l’expertise. Autor prend l’exemple d’infirmières spécialisées qui peuvent administrer et interpréter des diagnostics, évaluer et diagnostiquer les patients et prescrire des médicaments. Entre 2011 et 2022, le nombre de ces infirmières spécialisées a explosé aux Etats-Unis et leur nombre devrait continuer à croître. Ces infirmières spécialisées sont nées dans les années 60 pour répondre à la pénurie de médecin. Outre une formation dédiée, c’est surtout la numérisation de l’activité de santé qui a permis aux infirmières spécialisées d’avoir accès à de meilleurs outils pour prendre de meilleures décisions. Pour Autor, à terme, l’IA pourrait venir accompagner nombre d’autres professions, pour les aider à effectuer des tâches expertes, que ce soit en complétant leurs compétences ou en complétant leur jugement.

Autor verse à son hypothèse trois études qui lui servent de preuve de concept. L’étude de Sida Peng de Microsoft Research qui montre que GitHub Copilot peut augmenter considérablement la productivité des programmeurs. Une autre étude auprès de spécialistes de l’écriture, comme des consultants, des responsables marketing ou des gens chargés de répondre à des demandes de subventions ou appels à projet qui a montré des améliorations significatives en vitesse et en qualité pour ceux qui ont pu utiliser des outils d’IA générative. « Les rédacteurs les moins efficaces du groupe ChatGPT étaient à peu près aussi efficaces que l’écrivain médian sans ChatGPT – un énorme saut de qualité. » L’écart de productivité entre les travailleurs s’est rétréci. Et bien sûr, l’étude de Erik Brynjolfsson dans les centres d’appels qui montrait également une forte amélioration de la productivité chez les salariés utilisant ces outils, notamment pour les travailleurs les plus novices et les moins qualifiés. « Les outils d’IA ont aidé les travailleurs novices à atteindre les capacités des agents expérimentés en trois mois au lieu de dix. » « Les taux de démission parmi les nouveaux agents ont également diminué considérablement, probablement en raison d’une moindre colère des clients dirigée contre eux dans les fenêtres de discussion. Grâce à l’outil d’IA, les travailleurs de support ont ressenti beaucoup moins d’hostilité de la part de leurs clients et également envers leurs clients. »

Dans ces trois cas, les outils d’IA ont complété l’expertise plutôt que de remplacer les experts. Cela s’est produit grâce à une combinaison d’automatisation et d’augmentation. L’IA a été utilisée pour produire des premières ébauches de code, de textes ou de réponses aux clients. Dans ces exemples, grâce à l’IA, les travailleurs les moins qualifiés ont pu produire un travail de qualité, plus proche de celui de leurs pairs les plus expérimentés et qualifiés. Mais ils ont aussi appliqué leur expertise pour produire le produit final tout en exploitant les suggestions de l’IA.

Le problème, c’est que ce n’est pas toujours le cas, rappelle Autor. Dans une autre expérience qui a mis l’expertise de l’IA au service de radiologues, la qualité de leurs diagnostics n’a pas été améliorée, notamment parce que les médecins avaient tendance à négliger les prédictions les plus fiables de l’IA et à faire confiance aux moins bonnes prédictions de la machine. Pour Autor, cela montre plutôt que les résultats de l’IA ne vont pas de soi et que toute la difficulté est de comprendre la qualité de ses performances. C’est-à-dire comprendre là où l’IA performe et là où elle est inutile voire nuisible. Comme le pointait une étude du Boston Consulting Group, « les gens se méfient de l’IA générative dans les domaines où elle peut apporter une valeur considérable et lui font trop confiance lorsque la technologie n’est pas compétente ».

Mais si l’IA déclenche une poussée de productivité dans de nombreux domaines, le risque n’est-il pas alors que nous nous retrouvions avec moins de personnes pour effectuer ces tâches, questionne Autor. Dans certains secteurs, le contraire pourrait être vrai, soutient Autor. La demande en santé, en code, en éducation… semble illimitée et va continuer à augmenter, notamment si l’IA en réduit les coûts. Dans certains domaines, la croissance de la productivité risque pourtant bien de conduire à une chute de l’emploi, convient pourtant le spécialiste, rappelant qu’en 1900, 35% des emplois américains étaient dans le secteur agricole, alors que celui-ci ne représente plus que 1% de l’emploi en 2022.

La grande majorité des emplois contemporains ne sont pas des vestiges de métiers historiques qui auraient jusqu’ici échappé à l’automatisation. Il s’agit plutôt de nouvelles spécialités liées à des innovations technologiques spécifiques qui n’étaient pas disponibles ou imaginables avant. Il n’y avait ni contrôleurs aériens ni électriciens avant que les innovations n’en fassent naître le besoin. De nombreuses professions sont nées également non pas d’innovations technologiques spécifiques, mais de l’augmentation des revenus.

« Face à une croissance démographique stagnante et à une part croissante de citoyens ayant dépassé la retraite depuis longtemps, le défi pour le monde industrialisé n’est pas un manque de travail mais un manque de travailleurs« . Pour Autor, l’IA peut nous aider à résoudre ce défi, en permettant à davantage de travailleurs d’utiliser leur expertise et d’augmenter les emplois à haute productivité tout en atténuant les pressions démographiques sur le marché du travail.
Substitution ou complémentarité ?
Si vous êtes bricoleur, vous passez certainement beaucoup de temps à regarder des vidéos sur Youtube pour apprendre à remplacer un interrupteur ou poser du placo. Ces vidéos ne sont pas utiles aux experts, bien souvent d’ailleurs, ce sont eux qui les produisent. Mais cela ne suffit pas toujours à faire tous les travaux nécessaires. « Plutôt que de rendre l’expertise inutile, les outils la valorisent souvent en étendant son efficacité et sa portée ». Même si l’IA est bien plus qu’une simple vidéo YouTube, son rôle dans l’extension des capacités des experts sera primordial, car l’exécution, la pratique, le jugement de l’expérience restent essentiels. L’IA ne permettra pas à des travailleurs non formés et non experts d’effectuer des tâches à enjeux élevés, mais devrait aider ceux disposant d’une base d’expertise à progresser, pour autant qu’elle soit conçue pour cela. Le risque majeur, estime Autor, c’est donc de mettre l’outil dans des mains non expertes – comme on le voit quand les élèves s’en saisissent.

Reste à savoir si les robots augmentés par l’IA pourraient demain nous remplacer. Autor en doute. Si l’IA va accélérer la robotique, l’ère où il sera plus rentable de déployer des robots pour effectuer des tâches exigeantes dans des environnements imprévisibles plutôt que dans des espaces étroitement contrôlés, semble encore lointaine. Pour Autor, les difficultés des voitures autonomes en sont un bon exemple. Certes, les robots savent conduire, mais l’environnement urbain très imprévisible montre que leur application concrète dans le monde réel est encore lointaine.
Entre l’aube et le crépuscule de l’expertise ?
« On pourrait objecter que je ne fais que décrire le crépuscule serein de l’expertise humaine », constate encore David Autor. Un avenir dans lequel le travail humain n’a aucune valeur économique fabrique un cauchemar, estime-t-il. Le risque est bien que l’IA rende caduque l’expertise humaine, comme la chaîne de montage a rendu caduque l’expertise artisanale.

L’innovation fournit de nouveaux outils qui sont souvent des outils d’automatisation. Les applications GPS ont rendu obsolète le fait de connaître par cœur les rues d’une ville et donc les outils peuvent rendre l’expertise des utilisateurs obsolète. Mais le contraire est tout aussi vrai. En l’absence de radars, les contrôleurs aériens devaient observer le ciel et les médecins sans outils peinent parfois à mobiliser leur expertise. Les outils du contrôleur aérien ont surtout créé de nouveaux types de travail d’experts. Les innovations ne produisent pas que de l’automatisation, estime Autor, bien souvent, elles ouvrent des perspectives et de nouvelles possibilités, elles génèrent de nouveaux emplois et de nouvelles formes d’expertises. L’IA automatisera et éliminera certaines tâches et en remodelera d’autres, générant de nouveaux besoins d’expertise.

Certes, rien n’assure que la création de nouveaux emplois compensera l’automatisation à venir et effectivement, les travailleurs dont l’expertise sera remplacée par l’IA ne seront pas les mêmes que ceux pour lesquels l’expertise sera augmentée.

Pour Autor, la perspective que l’IA vienne renforcer la classe moyenne est un scénario, pas une prévision. « L’histoire et les études démontrent que les technologies développées par les sociétés et la manière dont elles les utilisent – à des fins d’exploitation ou d’émancipation, d’élargissement de la prospérité ou de concentration des richesses – sont avant tout déterminées par les institutions dans lesquelles elles ont été créées et les incitations dans le cadre desquelles elles sont déployées. » La manière dont l’IA sera déployée dépend de choix collectifs et ce sont ces choix qui généreront gagnants et perdants. Ces choix affecteront l’efficacité économique, la répartition des revenus, le pouvoir politique comme les droits civils. Certains pays vont utiliser l’IA pour surveiller leurs populations, étouffer les dissidences, d’autres pour accélérer la recherche, aider les gens à développer leur expertise… « L’IA présente un risque réel pour les marchés du travail, mais pas celui d’un avenir technologiquement sans emploi. Le risque est la dévalorisation de l’expertise. Un avenir dans lequel les humains ne fournissent qu’un travail générique et indifférencié est un avenir dans lequel personne n’est un expert parce que tout le monde est un expert. Dans ce monde, la main-d’œuvre est jetable et la plupart des richesses reviendraient aux propriétaires de brevets sur l’intelligence artificielle. »

Pour Autor, la complexité de l’innovation ne se réduit pas à la seule dimension de l’automatisation, à une IA qui surpasse l’humain et qui deviendrait plus rentable qu’eux, comme le prophétisent nombre de spécialistes de l’IA. En fait, reproduire nos capacités plus rapidement et à moindre coûts n’a pas grand intérêt. L’enjeu est que ces nouveaux outils complètent les capacités humaines et ouvrent de nouvelles frontières de possibilités. L’IA nous offre l’opportunité d’inverser la dévalorisation de l’emploi et la montée des inégalités, estime Autor. « C’est-à-dire d’étendre la pertinence, la portée et la valeur de l’expertise humaine à un plus grand nombre de travailleurs. » L’enjeu est qu’elle pourrait permettre d’atténuer les inégalités de revenus, de réduire les coûts des services essentiels, comme la santé ou l’éducation, restaurer la qualité du travail. Cette perspective alternative n’est pas gagnée. « Elle est cependant technologiquement plausible, économiquement cohérente et moralement convaincante. Conscients de ce potentiel, nous devrions nous demander non pas ce que l’IA va nous faire, mais ce que nous voulons qu’elle fasse pour nous. »

*

Si le discours d’Autor est stimulant, il laisse de côté plusieurs points et notamment le principal : comment faire advenir l’IA qui renforce l’expertise plutôt que l’IA qui la prolétarise ? Et notamment quand, dans bien des métiers, l’informatisation et l’automatisation ont surtout produit de la précarisation et de l’intensification…
Capitalism matters
Dans la démonstration de David Autor, on comprend assez mal pourquoi l’IA ferait différemment de l’automatisation ? Le plus probable est bien que l’IA prenne des décisions à notre place, partout, tout le temps, quelle que soit notre capacité de jugement ou d’expertise. En tout cas, là où elle commence à être déployé, on voit bien qu’elle a tendance à accélérer les décisions et à les supplanter plutôt que les démocratiser. Le déploiement technologique a tendance à enlever des compétences plutôt qu’en ajouter, comme le montrait Madison Van Oort dans son livre sur le déclassement des vendeuses de la fast fashion. Le contexte économique, le capitalisme, la course à la rentabilité… ont tendance à reproduire les mêmes effets.

Pourtant, le propos d’Autor est stimulant parce qu’il n’est pas réducteur. Il montre qu’il y a plusieurs manières d’envisager l’usage de l’IA. Reste qu’on peut en pointer certaines limites. D’abord le fait que la rentabilité des développements techniques demeure primordiale, ce qui conduit la plupart des acteurs à utiliser l’IA pour réduire les coûts et à opter pour l’option du remplacement partout où cela semble possible. Ensuite, il y a un fort enjeu de fiabilité : pour qu’elle améliore l’expertise, encore faut-il que sa fiabilité soit plus forte qu’elle n’est. Or bien souvent, elle risque de dégrader l’expertise professionnelle en proposant de très mauvaises solutions. Des scientifiques en IA comme Melanie Mitchell nous avertissent que nous devons être extrêmement sceptiques quant aux affirmations selon lesquelles, par exemple, les LLM sont meilleurs que les humains pour les tâches de base. Et il semble, comme l’ont noté le spécialiste des sciences cognitives Gary Marcus et d’autres, que les modèles d’IA ne s’améliorent pas aussi rapidement que par le passé – ils pourraient en fait stagner. Si tel est le cas, bon nombre de ces modèles resteront bloqués à des taux de fiabilité incertains, ce qui est suffisant pour la génération de texte et d’images non critiques, mais rien sur lequel une entreprise sérieuse ne voudrait s’appuyer pour des documents importants ou des documents destinés au public.

Enfin, il reste une question qu’Autor semble éluder ou ne pas regarder. Une critique de l’étude d’Erik Brynjolfsson, menée par Ben Waber et Nathanael J. Fast a souligné que la performance des tâches dans les centres d’appel augmentés par l’IA est différenciée : elle diminue pour les employés les plus performants et augmente pour les moins performants. Une perspective qui n’est pas sans poser problème. Comment retenir alors les meilleurs employés ? Comment innover si les plus innovants sont déclassés ? Waber et Fast soulignent qu’on mesure très mal à ce stade les effets négatifs probables à long terme de l’utilisation des LLM sur les employés et processus internes. Le risque n’est-il pas que ces outillages viennent soutenir l’amélioration de la productivité des tâches à court terme, tout en menaçant la productivité à long terme ?
De l’impact de l’IA sur la productivité
La question de la productivité reste d’ailleurs problématique. L’économiste Robert Gordon montre depuis longtemps que les ordinateurs sont partout, sauf dans les statistiques de croissance économique. Les nouvelles technos n’ont pas amélioré la productivité, pourquoi en serait-il autrement de l’IA ? L’économiste Daron Acemoglu estime que les effets de productivité liée à l’IA au cours des 10 prochaines années seront modestes, mais pas insignifiants (environ 0,064% par an, bien moindre que les 1,5% par an que promettent les économistes de Goldman Sachs – étude). Dans le Financial Times, Acemoglu estime que cette amélioration pourrait être meilleure si l’IA était plus fiable qu’elle n’est, ce qui suppose une réorientation fondamentale du secteur. A défaut, l’IA risque surtout de continuer à élargir l’écart entre les revenus du capital et ceux du travail qu’à déjà élargit la numérisation… En tout cas, aucune preuve ne suggère qu’elle devrait permettre de réduire les inégalités ou de stimuler la croissance des salaires, insiste-t-il.

Certes, l’IA pourrait bien être utilisée pour aider les travailleurs à devenir plus informés, plus productifs, plus indépendants et plus polyvalents, comme l’explique Autor. « Malheureusement, l’industrie technologique semble avoir d’autres utilisations en tête », rappelait Acemoglu dans un autre article. Comme il le souligne dans son livre, Power and Progress (Basic Books, 2023, voir le compte-rendu d’Irénée Régnault), les grandes entreprises qui développent et déploient l’IA privilégient massivement l’automatisation (remplacer les personnes) à l’augmentation (rendre les personnes plus productives). Le progrès technique n’amène pas nécessairement au progrès humain, au contraire. Les technologies numériques se sont bien plus révélées « les fossoyeuses de la prospérité partagée » qu’autre chose. Il est toujours possible d’avoir une IA favorable aux travailleurs, mais seulement si nous parvenons à changer la direction de l’innovation dans l’industrie technologique et à introduire de nouvelles réglementations et institutions, rappelle Acemoglu.

Quant au rythme d’adoption de l’IA et de transformation qu’elle promet, il risque d’être bien plus incrémental que transformateur. Les économistes de l’OCDE soulignent que son adoption est très faible, moins de 5% des entreprises américaines déclarent l’utiliser. Les technologies à usage général précédentes, comme les ordinateurs ou l’électricité) ont mis en moyenne une vingtaine d’années à se diffuser pleinement… L’IA a encore un long chemin à parcourir pour atteindre des taux d’adoption élevés pour générer des gains macro-économiques. Enfin, comme l’explique l’économiste britannique Michael Roberts, l’IA sous le capitalisme n’est pas une innovation visant à étendre les connaissances humaines et à soulager l’humanité du travail. Pour les innovateurs capitalistes comme Sam Altman, l’innovation est d’abord une source de profits. Le journaliste Steven Levy pour Wired est également sceptique. Pour lui aussi, l’IA risque bien plus de concentrer le pouvoir économique qu’autre chose. Si les propos de David Autor sont stimulants, rien ne nous assure que l’IA puisse stabiliser l’égalité des revenus qu’il dessine.

En fait, la perspective plutôt stimulante que dresse Autor pose un problème de fond : comment la faire advenir dans un monde hypercapitaliste où l’IA n’est vue que comme un outil pour améliorer la rentabilité plutôt que comme un outil de développement des compétences ?
L’IA va-t-elle généraliser l’expertise ou la dégrader ?
Pour le journaliste Brian Merchant, auteur du livre Blood in the Machine, un livre sur la révolte luddite, il est peu probable que l’IA ne nous remplace, par contre cela n’empêchera pas les patrons d’essayer d’utiliser l’IA pour remplacer certains emplois, maintenir les salaires à la baisse et accélérer la productivité, bref chercher une excuse pour réduire les coûts ou paraître innovant. Mais pour Merchant, il n’y aura pas d’apocalypse à l’horizon. L’IA n’est ni meilleure ni plus performante que l’humain, par contre elle risque d’être « assez bonne » (good enough) pour se substituer à certaines tâches humaines. Mais si l’on file la métaphore de Merchant, les machines contre lesquelles se battaient les luddites permettaient de produire des vêtements certes moins chers, mais surtout de moins bonne qualité. Est-ce à dire que c’est ce qui nous attend avec l’IA générative ? Produire du texte et du code de moins bonne qualité, pour généraliser des produits numériques sans grande valeur ? Si c’est le cas, l’IA générative ne nous promet pas une généralisation de l’expertise, comme le prophétise Autor, mais son exacte contraire.

L’IA s’annonce perturbatrice pour des métiers créatifs et précaires, que ce soit des métiers des arts graphiques, de la rédaction, de la traduction, du marketing et de la relation client. Mais surtout, rappelle Merchant, ces gains d’efficacité que vont produire ces nouvelles machines vont profiter à ceux qui investissent sur celles-ci et à personne d’autre. Keynes, lui-même, estimait qu’à la vue de la courbe du progrès technique, ses petits-enfants ne travailleraient que 15h par semaine. C’est effectivement le cas. Nombre des emplois les plus précaires ne sont plus que partiels. Nombre de gens ne travaillent plus que 15h par semaine, mais ne gagnent pas assez pour en vivre. « L’erreur de Keynes a été d’ignorer avec quelle agressivité les élites s’empareraient des gains économiques réalisés grâce à toute cette technologie productive. » Il semble qu’Autor fasse la même erreur. Au final, les entreprises licencient préventivement et ouvrent des postes sous IA aux employés restants. Certes, le grand remplacement par les machines n’est pas encore là. Et il est probable que, dans un premier temps, le boom de l’IA produise de l’emploi, tout comme le boom de l’automatisation et de l’informatisation a produit de l’emploi du fait de la hausse de la demande pour ces produits, comme l’expliquait James Bessen dans son livre, The New Goliaths.

Mais, comme l’explique Merchant, l’IA risque surtout d’être appelée à compenser les pertes de productivité des licenciements à venir, pour le prix d’un abonnement mensuel à Copilot ou à ChatGPT ! Quant aux travailleurs qui restent, il vont devoir assurer une plus lourde charge de travail ! ChatGPT va vous donner plus de travail et pas nécessairement du travail intéressant. La grande inquiétude du remplacement par l’IA permet surtout de faire peser une menace renouvelée sur l’emploi.

Pour l’instant, le développement de l’IA vient impacter les métiers des cols blancs comme ceux des petites mains de la production de connaissances. Il vient raboter les rentes des métiers de la connaissance, comme le pointait l’économiste Daron Acemoglu. Une érosion qui pourrait même dissiper les gains de productivité de l’automatisation. Le déploiement d’une « IA capacitante » comme l’évoque les conclusions du rapport LaborIA, c’est-à-dire qui augmente les capacités de ceux chargés de l’utiliser, n’est pas acquise et risque de demeurer très marginale sans évolution de la logique hypercapitaliste.

Le risque, au final, n’est pas que l’expertise se déploie grâce à l’IA, mais au contraire se restreigne. Qu’elle soit confiée aux systèmes et enlevés aux humains, comme quand le marketing numérique engrange la connaissance des clients au détriment des vendeurs. C’est ce qu’explique le journaliste Tyler Austin Harper dans The Atlantic en se référant à un texte d’Illich critique sur l’essor des professions expertes venues déclasser nos inexpertises. Le grand enjeu consiste à remplacer l’expertise des experts par des systèmes experts. Nous voici entrés dans l’ère de « l’invalidation algorithmique » ou les machines sont là pour nous apprendre à être humains ou faire le travail humain à notre place tout en nous dépouillant de notre humanité. Comme disait sur X la traductrice Joanna Maciejewska, « Je veux que l’IA fasse ma lessive et ma vaisselle pour que je puisse faire de l’art et de l’écriture, pas que l’IA fasse de l’art et de l’écriture pour que je puisse faire ma lessive et ma vaisselle. » Ce qu’il nous faut comprendre, c’est pourquoi nous prenons le chemin inverse ?
10 September 2024
17:47
Réguler, réguler, réguler
sur Dans les algorithmes

La régulation se présente comme un nouvel art de gouverner, rappelle le politiste Antoine Vauchez dans l’introduction au livre collectif qu’il a dirigé, Le moment régulateur, naissance d’une contre-culture de gouvernement, parue dans l’excellente collection « Gouvernances », des presses de SciencesPo (également disponible sur Cairn). Désormais, on régule plus qu’on ne réglemente, c’est-à-dire qu’on oriente, on met en conformité, on corrige… Le droit s’équilibre de normes, d’outils, d’indicateurs qui s’écrivent à plusieurs, avec des autorités dédiées et plus encore avec les entreprises régulées elles-mêmes. Avec ses sanctions et surtout ses amendes, les bureaucraties gouvernantes semblent avoir trouvé là de nouvelles manières de faire de la politique, de nouvelles formes de puissances.

Le numérique a participé activement à la montée des instruments de régulations. Des regtechs aux outils de la compliance, en passant par la transparence et l’open government, la régulation semble s’armer d’une double modernité, technique et politique.

Mais l’Etat régulateur se construit également en opposition à l’État interventionniste et redistributeur. Il incarne la transformation d’un État providence en État libéral, qui doit désormais composer avec le secteur privé. La régulation semble un art de gouverner néolibéral, qui valorise l’auto-contrôle et qui s’appuie sur un ensemble d’autorités nées de la libéralisation des anciens secteurs des monopoles d’État, qui vont initier des rapports plus collaboratifs avec les régulés, au risque d’endormir bien souvent la régulation elle-même. La régulation va pourtant produire de nouveaux savoirs techniques : amendes, outils déontologiques pour organiser les rapports entre régulateur et régulé, indicateurs de conformité, bac à sable réglementaires et expérimentations permettant de déroger aux règles de droit pour stimuler l’innovation et trouver de nouvelles modalités de réglementations directement avec ceux qu’elles concernent. Pourtant, souligne le directeur de l’entreprise éditoriale, les structures publiques de la régulation restent d’abord des institutions faibles et fragiles, qui tentent de se présenter plus en arbitre qu’en gendarme, sans toujours réussir à être l’un comme l’autre.

L’ouvrage revient par exemple sur l’histoire de nombreux acteurs qui composent ce champ de la régulation qui vont naître avec la fin des entreprises monopolistiques d’État pour permettre à celui-ci de continuer ses contrôles, via de nouvelles contraintes pour régir la corruption, la concurrence, les données, les questions environnementales… L’État semble ouvrir une parenthèse faite de dialogue, de souplesse, de clémence (les amendes records annoncées, très visibles, sont cependant rarement payées et très souvent reportées via des appels en justice souvent suspensifs et des procès qui s’éternisent et qui vident bien souvent les décisions de leurs effets, comme l’explique très bien Yann-Antony Noghès dans son excellent documentaire sur la fabrication du DMA et du DSA européen). C’est le cas par exemple de la CNIL dont Anne Bellon et Pierre France montrent la transformation d’institution militante à une agence d’enregistrement de la conformité qui peine à exercer son pouvoir de contrôle et surtout de sanction.
Image : Les niveaux de plaintes, de contrôles et d’amendes prononcées par la CNIL depuis 2013. France Info.
L’ouvrage s’intéresse beaucoup aux personnes de la régulation, à la sociologie des régulateurs, pour montrer la grande porosité des acteurs. Dans un article sur Google, Charles Thibout, montre comment Google va investir le champ de la régulation pour tenter de mieux l’orienter et le subvertir à son profit, lui permettant de transformer et contourner le droit pour le transformer en « norme processuelle fonctionnelle ». L’ouvrage s’intéresse également aux modalités que la régulation met en place et notamment au développement et au déploiement des outils de la régulation avec les régulés. Les chercheurs soulignent que dans cet univers, le niveau de technicité est très élevé, au risque de produire une régulation professionnalisée, très éloignée des citoyens censés en bénéficier. Là encore, le numérique est un moteur fort de la régulation, non seulement parce qu’il en est l’un des principaux objets, mais aussi parce qu’il permet de développer des outils nouveaux et dédiés.

On regrettera pourtant que l’ouvrage regarde peu la réalité du travail accompli par ces agences et ces acteurs. Le livre observe finalement assez peu ce que la régulation produit et notamment ses impasses. A force d’insister sur le fait que la régulation est un changement de gouvernance, une vision moderne de celle-ci, l’ouvrage oublie de montrer qu’elle est peut-être bien plus dévitalisée qu’on ne le pense. Isabelle Boucobza évoque pourtant le brouillage qu’elle produit, en opposant finalement la protection des droits et libertés fondamentaux qu’elle mobilise, et la régulation de l’économie de marché sur laquelle elle agit. La régulation produit au final d’abord de l’efficacité économique au détriment de la protection des droits et libertés, subordonnant ces derniers à la première. La conformité, en structurant l’auto-régulation, permet surtout aux entreprises d’éviter les condamnations. A se demander en fait, si la régulation ne propose pas d’abord un contournement du droit, une clémence, qui vide la réglementation même de ses effets, à l’image de la difficulté de la CNIL à passer des plaintes, aux contrôles ou aux sanctions. En surinvestissant par exemple le reporting, c’est-à-dire le fait d’exiger des rapports, des chiffres, des données… la régulation semble bien souvent s’y noyer sans toujours lui permettre d’agir. Comme le montrent Antoine Vauchez et Caroline Vincensini dans leur article sur la compliance, la régulation démultiplie ses exigences (dans le domaine de la prévention de la corruption, elle exige codes de conduite, dispositifs d’alertes, cartographie des risques, évaluations des clients, contrôles comptables, de la formation, des sanctions internes, et un dispositif d’évaluation des mesures mises en place). Mais la démultiplication des pratiques pour montrer qu’on est en conformité ne s’accompagne d’aucun durcissement du contrôle ni des sanctions. La régulation produit surtout une « standardisation technique », une technicisation du régulateur.

Plus qu’une contre-culture de gouvernement qui proposerait de nouvelles méthodes qui seraient enfin agiles et puissantes, on peut se demander si au final, la régulation ne produit pas l’exact inverse. Comme le pointe Antoine Vauchez en conclusion, la régulation s’est développée en collant aux intérêts du secteur privé, « au risque de n’accorder aux intérêts diffus des causes citoyennes qu’une attention seconde ». Dans notre article sur l’AI Act (newsletter #8), on concluait sur les risques d’une réglementation qui ne protège ni les citoyens, ni les entreprises, c’est-à-dire une régulation qui produit des amendes, mais finalement peu de transformations des pratiques.
Image : Couverture du livre, Le moment régulateur dirigé par Antoine Vauchez.
17:35
Que peut vraiment la régulation ?
sur Dans les algorithmes

Dans le procès antitrust qui oppose depuis quatre ans Google au ministère de la Justice américain, le juge, Amit Mehta, a pris une décision (elle fait 300 pages), confirmant ce que nous avons tous sous les yeux depuis plusieurs années : Google est en situation d’abus de position dominante dans la recherche en ligne et la publicité, lui permettant de forcer l’usage de son moteur de recherche comme d’obliger à des tarifs sans concurrence dans les résultats de recherche sponsorisés. Le jugement montre comment Google a réussi à imposer partout son moteur de recherche, en payant des sommes conséquentes à Samsung, Apple ou Mozilla pour devenir le moteur de recherche par défaut. Pour le juge Mehta, Google a violé le Sherman Act, la loi antitrust vieille d’un siècle qui a notamment conduit à la dissolution de Standard Oil en 1910, ainsi qu’à la dissolution d’AT&T en 1982.

Même si Google a fait appel, l’entreprise risque de se voir imposer d’importants changements, explique très pédagogiquement Jérôme Marin dans CaféTech. Plusieurs scénarios sont possibles à ce stade. Les accords commerciaux pour imposer son moteur comme choix par défaut pourraient être interdits, ce qui risque, contre-intuitivement, de fragiliser certains acteurs parmi les plus fragiles, notamment Mozilla car l’accord financier passé avec Google pour qu’il soit le moteur par défaut de Firefox représente l’essentiel des revenus de la fondation.

Comme le souligne Ed Zitron, Il s’agit d’un moment important dans l’histoire de la Silicon Valley. Mais est-ce une réelle menace pour Google ? Certes, plus de la moitié des revenus annuels de Google proviennent de Google Search, soit plus de 175 milliards de dollars. Ce monopole explique en grande partie pourquoi l’expérience de recherche de Google est devenue aussi désastreuse – Zitron avait montré dans un précédent billet que le recul de l’efficacité des résultats de Google depuis 2019 étaient concomitants avec la nomination d’un gestionnaire à la tête du moteur venu développer les revenus au détriment de la qualité, corroborant l’entrée dans l’âge du cynisme des calculs que nous avions nous-mêmes pointés.
Marchés clos
Zitron évoque les nombreux combats actuels des régulateurs américains contre le développement de monopoles qui ont tendance à être considérablement renforcés par le numérique. La spécificité du numérique, rappelle-t-il, c’est que les entreprises possèdent à la fois les clients et ceux qui ont quelque chose à leur vendre. Le monopole de Meta sur les publicités d’Instagram ou de Facebook, comme sur ses algorithmes, lui permet de rendre ses produits moins performants pour vous montrer des publicités et d’augmenter leurs prix comme elle le souhaite. Et c’est la même chose sur toutes les plateformes. Meta l’a fait pour vendre la publicité vidéo aux annonceurs, assurant qu’elle fonctionnait bien mieux qu’elle ne le faisait, et est d’ailleurs poursuivi dans le cadre d’une class action par des publicitaires pour avoir falsifié leurs chiffres d’audience. « Sans concurrence, les plateformes ne sont pas incitées à agir honnêtement », rappelle Zitron. Même chose pour Apple qui a le monopole des applications autorisées sur son Apple Store (et le monopole des publicités). Au prétexte de « contrôler » l’expérience utilisateur, toutes les plateformes l’organisent et la ferment pour exercer leur domination sur tous : utilisateurs, développeurs, publicitaires… Les entreprises du numérique échafaudent toutes des monopoles et l’IA est une tentative pour en imposer de nouveaux (après ceux du Cloud), notamment en dominant les grands modèles que les autres services vont utiliser.

Les plateformes contrôlent toute la publicité sur leurs réseaux. « Google et Meta possèdent à la fois les produits et les services publicitaires disponibles sur ces produits, et définissent ainsi les conditions de chaque partie de la transaction, car il n’existe aucun autre moyen de faire de la publicité sur Google, Facebook ou Instagram. Il y a des entités qui se font concurrence pour le placement, mais cette concurrence se fait selon des conditions fixées par les plateformes elles-mêmes, qui à leur tour contrôlent comment et quand les publicités sont diffusées et combien elles vous seront facturées. » Et elles contrôlent également les données impliquées, c’est-à-dire à qui et comment elles les adressent sans permettre à leurs clients de savoir vraiment où elles ont été diffusées ni auprès de qui, comme l’explique parfaitement Tim Hwang dans Le grand krach de l’attention. « Elles sont à la fois l’entreprise qui vous vend l’espace publicitaire et l’entreprise qui l’audite », rappelle Zitron.
Un numérique sans monopole est-il possible ?
Le problème, estime Zitron, c’est qu’il est fort probable que Google comme Meta ne puissent pas fonctionner sans leurs monopoles – rien n’est moins sûr, si elles n’étaient pas en situation de monopole sur la publicité, leurs revenus seraient certainement moins élevés, mais cela ne signifie pas que le modèle ne soit pas soutenable. Ces plateformes génèrent des milliards de revenus publicitaires (les revenus publicitaires représentent 98% des revenus de Meta et 50% pour Google) dans des conditions de plus en plus délabrées, rendant les deux structures particulièrement fragiles (comparées à Microsoft ou Apple). Les grandes entreprises de la tech n’ont plus de marché en hypercroissance de disponibles, estime Zitron dans un autre billet, elles ne peuvent que faire de l’amélioration de produit, pour autant qu’elles ne les mettent pas à mal. Le risque donc, c’est qu’elles n’aient pas les moyens de continuer à croître à mesure que leurs marges de croissances se réduisent – pour Meta et Google, cela signifie que leurs entreprises pourraient avoir du mal à passer la prochaine décennie, prophétise un peu rapidement Zitron en oubliant leur très haut niveau de fortune. Chez Meta, le trafic est en berne. Et le monopole de Google sur la recherche pourrait être redistribué avec l’avènement de l’IA générative.

Mais la bonne question à se poser est certainement de savoir comment ces entreprises, si elles devaient ouvrir leur régie publicitaire, pourraient-elles donner accès à un réseau publicitaire alternatif, dont elles ne maîtriseraient plus les tenants et les aboutissants ? Pour l’instant, le jugement qu’a reçu Google est sans sanction (elles viendront peut-être après quelques appels et longues discussions visant à trouver des modalités de sanctions adaptées). Et il est probable que les juristes de Google parviennent à les édulcorer voire à faire annuler la décision… Google a les moyens d’une bataille sans fin, et il est probable que, comme Microsoft avant elle, elle parvienne a éviter le démantèlement. A la fin des années 80, Microsoft détenait 80% du marché des systèmes d’exploitation. Un succès qui ne s’est pas construit uniquement sur le fait que Microsoft avait de meilleurs logiciels ou de meilleures ressources. L’histoire a montré que Microsoft s’était entendu avec des fabricants de matériels pour qu’ils vendent des ordinateurs avec Windows. En 2000, la justice américaine avait demandé la scission de l’entreprise, l’une pour le système d’exploitation et l’autre pour les applications. Microsoft a fait appel. La condamnation a été suspendue pour vice de forme et l’entreprise a conclu un accord avec le ministère de la justice lui permettant d’échapper au démantèlement. C’était les premières d’une longue série de poursuites pour entrave à la concurrence de Microsoft. Des poursuites qui ont plutôt montré la grande fragilité des actions de régulation qu’autre chose.

Dans la perspective de Google, la séparation de Google Search et de sa plateforme publicitaire serait l’équivalent de la séparation de l’Eglise et de l’Etat, mais il probable que cette perspective ne se réalise jamais. Quand la commission européenne a forcé Apple à ouvrir la distribution d’applications à d’autres entreprises, Apple a répondu par un ensemble de règles qui contraignent les fournisseurs d’alternatives à céder un si fort pourcentage de leurs revenus, qu’elle les empêche de rivaliser en termes de prix comme de bénéfices. Il est probable que Google ne soit pas démantelé et que l’entreprise imagine une solution pour continuer son monopole sans finalement rien changer. Comme nous l’avions déjà constaté dans les batailles de la FTC pour réguler le marketing numérique, Zitron entérine le scénario d’une régulation qui n’arrive finalement pas à s’imposer.
Une régulation désabusée

Doctorow estime lui aussi que contraindre Google sera difficile. Il est probable que la justice impose des mesures correctives, mais ces mesures ont souvent peu d’effets, d’autant qu’elles obligent le régulateur à déployer une intense et coûteuse surveillance pour s’assurer de leur application. Il est probable également que la justice propose tout simplement à Google d’arrêter de payer d’autres entreprises pour imposer le monopole de son moteur voire de vendre son activité publicitaire. Mais le plus probable estime Doctorow, c’est que Google fasse comme IBM ou Microsoft, c’est-à-dire fasse traîner les choses par des recours jusqu’à ce que l’administration abandonne l’affaire suite à un changement politique. Doctorow regrette néanmoins que le juge estime, comme trop de gens d’ailleurs, que l’espionnage des utilisateurs pour faire de la publicité est justifiée tant que celle-ci est pertinente. Le risque finalement de ce jugement, c’est qu’il conduise à une démocratisation de la surveillance, bien au-delà de Google, s’inquiète Doctorow. Pour lui, briser Google ne devrait pas permettre à d’autres entreprises de se partager le marché de la surveillance publicitaire, mais y mettre fin.

Google a récemment annoncé, après avoir longtemps affirmé le contraire, qu’il ne supprimerait pas les cookies tiers, ces outils de surveillance commerciale qu’il voulait remplacer la privacy sandbox de Chrome qui aurait permis à Google d’être le maître de l’espionnage commercial au détriment de tous les autres. Cette suppression des cookies tiers au profit de sa seule technologie aurait été certainement jugée comme anticoncurrentielle. Mais garder les cookies tiers permet que les entreprises technologiques continuent de nous espionner, alors que nous devrions d’abord les en empêcher, estime Doctorow. Certains défenseurs de la publicité imaginent même qu’on attribue un identifiant publicitaire à chaque internaute pour mieux les pister et que grandes comme petites entreprises puissent mieux cibler leurs produits ! « Le fait que les commerçants souhaitent pouvoir scruter chaque recoin de notre vie pour déterminer la performance de leurs publicités ne justifie pas qu’ils le fassent – ??et encore moins qu’ils interviennent sur le marché pour faciliter encore plus l’accès des espions commerciaux sur nos activités ! » « Nous ne résolverons pas le monopole de Google en créant une concurrence dans la surveillance ». Se débarrasser du monopole de Google devrait surtout être l’occasion de nous débarrasser de la surveillance, estime-t-il. Nous n’en sommes pas du tout là.

Pour Ian Bogost, quelle que soit la décision du tribunal, il est probable que rien ne change pour les consommateurs comme pour Google. Google a déjà gagné. Lui aussi semble désabusé en rappelant que les condamnations à l’encontre de Microsoft n’ont rien changé. Windows est toujours le système d’exploitation dominant et Microsoft est plus dominant que jamais. Certes, il est probable que les pots-de-vin de Google pour soutenir la domination de son moteur cessent… Mais cela ne signifie pas qu’une concurrence pourra surgir demain. Les Gafams sont devenus trop puissants pour être concurrencés. On peut regretter que l’acquisition de la régie publicitaire DoubleClick par Google en 2007 n’ait pas été interdite, elle aurait pu empêcher ou retarder la mainmise de Google sur la publicité en ligne… Mais aujourd’hui, concurrencer Google est devenu bien difficile. Oui Google est en situation de monopole, mais il est probable que ce constat produise bien plus d’articles de presse que de changement dans la pratique réelle de la recherche en ligne.

Mêmes constats pour Paris Marx : plus de compétition ne suffira pas à démanteler le pouvoir de la Silicon Valley. Pour lui aussi, il est probable que les règles et contrôles se renforcent. Mais y’a-t-il pour autant une vraie volonté de remodeler l’industrie technologique ? Pas vraiment. « Les politiciens veulent un paysage technologique légèrement plus compétitif », mais ne souhaitent pas vraiment remettre en cause sa puissance.

Se conformer aux règles européennes est ennuyeux et coûteux, mais n’est pas menaçant pour les entreprises, explique clairement Christina Caffarra pour Tech Policy Press. Non seulement les règles européennes ne changent pas vraiment la donne technologique des grandes entreprises américaines, mais elles n’améliorent pas non plus la position, la productivité ou l’innovation des entreprises européennes. Les Gafams ont « réduit internet à une collection de points d’accès propriétaires que nous, Européens, ne possédons ni ne contrôlons, et dont nous sommes profondément dépendants. » Que se passera-t-il lorsque (et non si) l’infrastructure sur laquelle nous comptons, mais que nous ne possédons pas actuellement, devient hostile ? Des services sont déjà refusés aux consommateurs européens au motif que l’environnement réglementaire est trop incertain (comme quand Meta et Apple annoncent qu’ils ne lanceront pas certains services d’IA en Europe). Et cela va probablement empirer, comme le soutiennent les politistes Henry Farrell et Abraham Newman dans Underground Empire: How America Weaponized the World Economy ou la parlementaire européenne Marietje Schaake dansThe Tech Coup: How to Save Democracy from Silicon Valley. Comment croire que nous puissions développer la croissance et l’innovation depuis des entreprises dont la capacité à fonctionner est totalement à la merci des grands acteurs de la Silicon Valley ? Pourtant, pour l’instant, c’est en Europe que Google a connu le plus de difficultés. L’entreprise s’est vue infligée plus de 8 milliards d’amendes dans 3 affaires (liée à son système d’exploitation mobile Android, son service d’achat en ligne et son activité publicitaire). Mais Google a fait appel dans chacune…
Un démantèlement politique ?
Pour la journaliste du New York Times, Julia Angwin, « démanteler Google n’est pas suffisant »…. Car démanteler Google n’aurait que peu d’impact sur la distribution des résultats de recherche. Cela ne permettrait pas de favoriser la création de moteurs concurrents que Google a empêché par ses pratiques. Pour la journaliste, nous devrions également briser le monopole de Google sur les données de requêtes de recherche. Même Bing, le seul rival, ne peut pas concurrencer la force de Google. Il faut 17 ans à Bing pour collecter une quantité de données équivalente à celle que Google collecte en 13 mois.

Pour obtenir de meilleurs résultats, nous devons favoriser l’innovation dans la recherche, estime Angwin. Et l’un des moyens d’y parvenir est de donner aux concurrents l’accès aux données de requêtes de recherche de Google (avec la difficulté que les utilisateurs pourraient ne pas être tout à fait d’accord avec l’idée de partager leurs données avec de nombreux autres moteurs… sans compter que cette solution ne résout pas celle du coût pour développer des moteurs à impacts mondiaux dans un univers où la prédominance de Google continuerait). Certes, Google dispose déjà d’une API qui permet aux développeurs d’accéder aux données de recherche, mais les règles d’utilisation sont trop contraignantes pour le moment. Ces accès permettraient aux concurrents de proposer des moteurs de recherche capables de proposer des options différentes, valorisant la confidentialité, le commerce ou l’actualité…

Angwin évoque par exemple Kagi, un moteur de recherche sur abonnement (10 $ par mois), sans publicité, qui permet de personnaliser les résultats ou de les trier par exemple en fonction des changements des pages web. Elle rappelle que si le spam est si omniprésent, c’est d’abord parce que tout le monde tente de subvertir les résultats de Google qui optimise le monde pour ses résultats de recherche plus que pour ses lecteurs. Dans une étude récente sur la qualité des résultats de Google, les chercheurs soulignaient qu’il était de plus en plus difficile d’évaluer la qualité des résultats car « la frontière entre le contenu bénin et le spam devient de plus en plus floue ». Si la diversité des moteurs était plus forte, s’ils proposaient des fonctionnalités plus variées, peut-être pourrions-nous avoir un web plus optimisé pour les lecteurs que pour le spam, imagine Angwin, un web plus décentralisé, comme il l’était à l’origine !

Le plus étonnant finalement, c’est que désormais, ce n’est plus tant la gauche démocrate qui pousse l’idée d’un démantèlement que l’extrême droite républicaine. Comme le raconte le journaliste François Saltiel dans sa chronique sur France Culture, c’est le colistier de Trump, J.D. Vance, qui est l’un des plus ardents promoteurs du démantèlement de Google ou de Meta. Derrière sa motivation à favoriser l’innovation, « ce désir de démantèlement initié par le camp trumpiste a également des airs de règlement de compte ». Pour les trumpistes, Google comme Facebook seraient trop démocrates et sont régulièrement accusés de censurer les propos de l’alt-right. Pour eux, l’enjeu n’est pas tant de limiter les monopoles et ses dangers, mais de punir ceux qu’ils considèrent comme n’étant pas du même avis politique qu’eux. Comme l’explique Ben Tarnoff, la perspective d’un démantèlement s’aligne aux intérêts du patriciat technologique du capital-risque qui semble plus trumpiste que les entrepreneurs de startups, notamment parce que le démantèlement des Gafams permettrait de relancer une course aux investissements technologiques en berne.
Régler le curseur de la régulation
Alors que d’un côté, beaucoup semblent regretter par avance que le démantèlement de Google n’aille pas assez loin, de l’autre, beaucoup estiment que le blackout de X au Brésil, lui, va trop loin. En avril, le juge à la Cour suprême du Brésil, Alexandre de Moraes, a demandé à X de supprimer des comptes de militants pro-Bolsonaro qui remettaient en question les résultats du vote ou en appelaient à l’insurrection. Alors que normalement l’entreprise répond régulièrement aux demandes de gouvernements en ce sens (d’ailleurs, contrairement aux déclarations d’Elon Musk à l’encontre de la censure, l’entreprise se conforme à ces décisions bien plus qu’avant, comme le montrait une enquête de Forbes), pour une fois pourtant, X s’y est opposé et Musk en a même appelé à la destitution du juge, rappelle Paris Marx. Bien évidemment, les choses se sont envenimées, jusqu’à ce que le juge décide fin août de débrancher X au Brésil, suite aux refus de l’entreprise de se conformer aux décisions de la justice brésilienne.

La question reste de savoir si la justice est allée trop loin, questionne le New York Times. L’équilibre n’est pas si simple. « En faire trop peu c’est permettre aux discussions en ligne de saper la démocratie ; en faire trop, c’est restreindre la liberté d’expression légitime des citoyens ». Pour Jameel Jaffer, directeur exécutif du Knight First Amendment Institute de l’Université de Columbia, ce blackout est « absurde et dangereux ». Couper l’accès à un réseau social utilisé par 22 millions de Brésiliens pour quelques comptes problématiques semble disproportionné, d’autant plus que les gouvernements non démocratiques pourront désormais prendre l’exemple de gouvernements démocratiques pour justifier des actions de coupure de réseaux sociaux. Mais qu’était-il possible de faire alors que X n’a cessé de bafouer plusieurs ordonnances judiciaires ? Le juge brésilien a lui-même éprouvé la difficulté à imposer le blackout de X. En coupant X, il a demandé à Apple et Google d’empêcher le téléchargement d’applications VPN permettant de contourner le blackout brésilien et a menacé de lourdes amendes les brésiliens qui contourneraient l’interdiction, alors que la fermeture du réseau a suffi à le rendre en grande partie inopérant. La cour suprême du Brésil vient de confirmer le jugement de blocage de X, rapporte le New York Times, mais peine à définir jusqu’où ce blocage doit s’exercer. Dans le monde numérique, le fait que les contournements soient toujours possibles, rendent l’effectivité des actions légales difficiles. Le blackout est certainement suffisamment démonstratif pour qu’il n’y ait rien à ajouter. L’interdiction totale de X pour une poignée de comptes qui n’ont pas été fermés semble disproportionnée, mais cette disproportion est bien plus le reflet de l’intransigeance à géométrie variable d’Elon Musk qu’autre chose. Si Musk veut se comporter de façon irresponsable, c’est à lui d’en assumer les conséquences.

Reste que l’exemple montre bien les difficultés dans lesquelles s’englue la régulation à l’heure du numérique. Ce n’est pas qu’une question de souveraineté, où les entreprises américaines sont capables de coloniser et d’imposer au monde leur conception de la liberté d’expression, mais il semble que ces stress tests interrogent profondément la capacité à réguler des acteurs numériques surpuissants. Paris Marx a raison : les plateformes vont être soumises à une réglementation plus forte qu’elles ne l’ont été jusqu’à présent. Le problème, c’est que cette régulation va devoir aussi trouver des modalités d’applications adaptées pour parvenir à changer le numérique… qui seront d’autant plus difficiles à imposer dans un contexte de plus en plus politisé et radicalisé. Reste qu’il va être difficile pour les régulateurs de se confronter à des entreprises qui ne souhaitent pas se conformer à la loi, remarque Bloomberg, que ce soit au Brésil ou aux Etats-Unis aujourd’hui, ou en Europe demain. Que ce soit par l’affrontement direct, comme l’impose Musk, ou par le contournement de l’épuisement des recours légaux qu’envisage Google.
03 September 2024
16:57
Vers le retour de la transparence des traitements ?
sur Dans les algorithmes

C’est apparemment une première qui servira certainement de modèle à de nombreuses collectivités. Le département d’Ile-et-Vilaine publie une liste de 91 traitements algorithmes qu’elle utilise ! Visiblement, le département est le premier à se conformer à la loi Pour une République numérique et à publier un registre dédié.

Pour chaque traitement, la liste indique la finalité, le degré d’automatisation (de 1 à 3, c’est-à-dire de faible à fort), une indication de la maîtrise que la collectivité a du système, l’impact sur le public, le niveau d’explicabilité, le public concerné, les données concernées, le nombre de décision annuelles prises avec l’algorithme… Ce qui est très intéressant également, c’est de constater le large champ couvert par ces systèmes, allant de l’attribution d’ordinateurs aux personnels, à la voirie, au social, en passant par le logement social, la maintenance… On constatera que beaucoup de systèmes prennent très peu de décision par an.

Reste que pour l’instant les algorithmes eux-mêmes ne sont pas accessibles… ce qui ne permet pas leur inspection par les usagers, afin d’être sûr qu’ils font bien ce qu’on attend d’eux !

On espère que la publication de ce registre mette fin à la panne de l’ouverture des traitements que nous constations en début d’année.
Exemple d’une fiche du registre qui montre les différentes catégories de classement des traitements.
14:47
Vers une surveillance au travail sans limite
sur Dans les algorithmes

La surveillance des comportements et l’accélération des cadences jusqu’à leurs limites ?
Vous avez certainement vu passer cette vidéo dans vos flux. C’est une image vidéo de l’intérieur d’un café où un système de reconnaissance d’image analyse différents éléments, comme le temps d’attente des clients, le nombre de cafés que servent les vendeurs ou le fait que les tables soient propres. Des systèmes de ce type, développés par Hoptix ou Neurospot, se proposent de surveiller les employés et leurs comportements, mais également affirment être capables d’analyser les conversations entre serveurs et clients, par exemple pour détecter le nombre de fois où ils proposent aux clients des suggestions supplémentaires à leurs commandes pour les convertir directement en bonus sur leurs fiches de paye. Les logiciels promettent de suivre la préparation de commande, leur rapidité, la gestion de la clientèle. Neurospot propose même aux patrons de recevoir « des alertes instantanées lorsqu’une insatisfaction client est détectée », s’énerve Contre-Attaque.
Image : capture d’écran d’une vidéo de surveillance d’un café par Neurospot qui montre le temps que les clients passent à leur place et le nombre de cafés que servent les employés.
Comme dans tous les autres secteurs, la collecte de données au travail procède toujours d’une justification positive. Elle est accomplie pour comptabiliser les heures travaillées, quantifier le travail, s’assurer du respect des délais, améliorer la facturation… D’un côté, les entreprises cherchent à augmenter leur collecte de données personnelles pour améliorer la sécurité au travail par exemple, de l’autre les travailleurs suspectent que ces nouvelles collectes permettent une surveillance et un cadencement accru quand ce n’est pas une utilisation punitive, comme c’est déjà le cas dans la logistique pour ceux qui ne suivent pas les cadences. C’est ce qu’expliquait la journaliste Anna Kramer pour le défunt site d’information Protocol, en revenant sur le développement d’outils de surveillance des postures, qui peuvent effectivement identifier les mouvements à risques, mais qui risquent surtout de renvoyer les employés à leurs responsabilités pour mieux soustraire l’entreprise à ses propres responsabilités.

En fait, en matière de sécurité au travail, l’évidence rappelle surtout que le corps humain n’est pas conçu pour répéter à un rythme rapide les tâches requises par de nombreux emplois de la logistique. Pourtant, avec des appareils de mesure des postures, comme StrongArm ou Modjul qui commencent à coloniser les entrepôts de Walmart et d’Amazon, la question de la sécurité au travail devient un score que les employés doivent respecter, quand ils ne sont pas renvoyés à une forme de compétition entre eux. Les outils d’analyses intégrés fournissent une mine de données granulaires sur chaque travailleur en surveillant les mouvements, les inclinaisons, les torsions, les portages que chacun accomplit. Le problème est que ces données pourraient aider les entreprises à se soustraire à leurs responsabilités et à accabler les travailleurs individuellement. Par exemple en poussant les entreprises à se séparer des travailleurs les moins sûrs ou ceux dont les scores sont mauvais et qui risquent de se blesser, plutôt que d’avoir à revoir leurs protocoles et cadencements. Pour les responsables de StrongArm ou de Modjul, ces données ne doivent pas être utilisées de manières punitives, mais doivent permettre d’identifier les emplois et postes qui posent problèmes pour les améliorer. Or, rien dans leur usage n’assure que les entreprises ne les utiliseront pas pour accabler les travailleurs. Les blessures dans les entrepôts d’Amazon, pourtant très automatisés, sont élevées et n’ont cessé d’augmenter ces dernières années (6 à 9 blessures pour 100 employés chez Amazon contre 3 à 4 pour 100 employés chez Walmart). Reste que si votre travail vous oblige à vous pencher pour être réalisé, un appareil vibrant n’y changera rien. C’est la tâche et le poste de travail qu’il faut revoir où les situations où les gens ont tendance à être en difficulté.

Pour Debbie Berkovitz, experte en protection des salariés, ces appareils ne font qu’informer de ce que ces entreprises savent très bien : elles connaissent déjà les personnes qui ont des douleurs et les postes qui génèrent des douleurs et des blessures. Pour l’ergonome Richard Gogins, le problème n’est pas nécessairement les mauvais mouvements et les mauvaises positions, c’est souvent les objectifs élevés et les cadences trop fortes qui poussent les gens à faire de mauvais mouvements.

Dans trop de situations encore, finalement, quand un employé se blesse, c’est trop souvent sa responsabilité qui est convoquée plus que celle de l’employeur. Les douleurs générées par le travail restent bien plus souvent prises en charge par la collectivité et les individus que par l’entreprise qui les provoque, comme le soulignait l’excellente enquête du journaliste Jules Thomas pour Le Monde, qui rappelait que les accidents du travail sont d’abord la réalité persistante de la dégradation du travail. La précarité, le manque de prévention dans nombre de secteurs qui paraissent peu propices aux accidents graves viennent renforcer leur invisibilisation, du fait de leur sous-déclaration. Une sous-déclaration qui est à la fois le fait des entreprises, mais également des salariés précarisés. Reste que quand les employés sont abîmés par le travail, c’est d’abord eux qui en supportent les conséquences, d’abord et avant tout en ne pouvant plus accomplir ce travail. Les risques professionnels sont profondément liés à l’intensification, rappelle le sociologue Arnaud Mias qui souligne, lui aussi, que le travail devient insoutenable par déni de diversité du fait de la standardisation des indicateurs. En comparant tous les employés entre eux, la moyenne de leurs performances à tendance à discriminer ceux qui s’en éloignent. A terme, le risque est que les données favorisent le stakhanovisme. La compétition entre travailleurs qu’induit la surveillance des indicateurs de productivité risque de favoriser l’exclusion de tous ceux qui n’entrent pas dans la course parce que trop vieux, trop faibles… Le pilotage par les indicateurs de productivité risque de renforcer partout les discriminations.
Si facile, si pratique ! Une surveillance institutionnalisée en roue libre !
Le problème est que la surveillance des employés, démultipliée par les innombrables outils du panoptique numérique disponibles, semble être devenue un champ de développement du contrôle sans plus aucun obstacle, sans plus aucune limite. Pourquoi ? Ce n’est pas seulement parce que « la surveillance est le business model du numérique », comme disait Bruce Schneier. Mais plus encore parce que les outils la rendent possible et incroyablement facile !

C’est ce qu’explique le chercheur Wolfie Christl qui, via le laboratoire Cracked Lab, enquête sur la montée de la surveillance au travail en observant simplement les fonctionnalités proposées par les outils numériques que les entreprises utilisent. Il vient de produire une étude sur Dynamics 365, une suite d’applications de Microsoft qui permet de construire des applications pour surveiller les travailleurs de terrain, comme les réparateurs, les agents de sécurité, de nettoyage, les aides à domicile… Christl montre que le système applicatif permet de structurer, diriger et microgérer le travail, en l’alignant sur des processus strictement cadrés et définis qui vont de la surveillance des déplacements en passant par le contrôle des tâches ou du comportement, jusqu’à la synthèse d’indicateurs qui permettent d’évaluer l’ensemble et de les comparer aux résultats des autres employés. Le système permet même de gérer des alertes si les processus ne sont pas respectés où si le salarié s’éternise. Chaque tâche peut-être spécifiée selon des instructions et des durées… Et les applications peuvent générer des plannings qui se mettent à jour à la demande, en tenant compte de la disponibilité, de l’emplacement, des temps de trajet prévus et des profils de compétences des travailleurs, ainsi que de l’historique des travailleurs ou de la satisfaction des clients. Bien sûr, tous ces développements sont facultatifs, mais les fonctionnalités s’entremêlent pour créer des possibilités de suivi accrues. Si la localisation peut-être désactivée par exemple, Microsoft recommande cependant de l’utiliser et même de l’enregistrer toutes les « 60 à 300 secondes », puisque cette localisation va être utile pour nombre de calculs : durées, trajets, plannings… Pour le chercheur, les processus standardisés, les objectifs de performance rigides et la planification automatisée risquent d’intensifier le travail sans limites. Wolfie Christl parle de « fouets numériques »pour évoquer le développement d’un rapport soumis aux indicateurs, tant des patrons que des employés. Mais dans cette vision moderne de l’esclavage, quand l’employé se rebelle contre les capteurs, il est renvoyé à son utilisation individuelle, comme quand il jette la commande vocale qui siffle ses ordres à son oreille, il n’a plus le moyen d’abattre le système qui le dirige.

Un autre rapport du chercheur étudie le développement des logiciels de points de vente dans les magasins de détails, les restaurants et les hôtels. Là encore, le suivi de performance s’étend jusqu’au contrôle comportemental. Sur les tableaux de bords d’indicateurs, les employeurs peuvent classer les travailleurs « du meilleur au pire », identifier les « moins rentables » et prédire leur productivité future. Ces systèmes disent être capables de prévenir la fraude et peuvent placer des employés sur des listes de surveillance. Ils peuvent répartir les tâches automatiquement, sous minuteurs, avec d’innombrables alertes pour mettre la pression. La logique industrielle du taylorisme de la chaîne de montage colonise toutes les professions, conclut le chercheur. Mais les systèmes sont encore loin d’être parfaits, souligne-t-il. Bien souvent, les enregistrements défectueux et les tâches non documentées conduisent à des problèmes qui renvoient à la responsabilité de l’employé plus qu’à celle des systèmes. Quand la machinerie défaille, c’est le comportement de l’employé qui est pointé du doigt par la machine : c’est toujours lui dont la performance est dégradée et enregistrée comme problématique. Christl remarque encore que ces logiciels sont certes configurables. Les employeurs peuvent décider de les utiliser de manière plus ou moins intrusive, par exemple en ne faisant pas s’afficher les minuteurs (ce qui ne signifie pas que les tâches ne sont pas chronométrées). Mais ils peuvent également les rendre plus intrusives, en les intégrant à un logiciel RH ou en exportant les données vers d’autres plateformes d’analyses. Le panoptique est un espace de réglage en boucle sur lui-même, très simple à mettre en place.
Image : exemple d’un tableau de productivité d’employés travaillant dans une chaîne de restaurant. Via Cracked Labs.
Ce que montrent les enquêtes du chercheur en observant les outils mis à disposition des employeurs, c’est qu’ils institutionnalisent la surveillance pour produire des métriques, des ratios, des indicateurs pour piloter la productivité de l’activité. La surveillance est normalisée, inéluctable. Et son accélération également, puisque de meilleurs indicateurs produiront nécessairement une meilleure productivité, qu’importe si cela passe trop souvent par des indicateurs défaillants.

Outre les défaillances des systèmes, le panoptique de surveillance élargit également les possibilités d’abus, explique Christl dans un nouveau rapport. Rien n’est plus facile désormais que d’espionner les employés, réprimer la dissidence, appliquer une surveillance excessive ou imposer des mesures disciplinaires arbitraires. En permettant un accès à une grande étendue de données, l’asymétrie de pouvoir entre les organisations et les employés s’agrandit… au risque d’une surveillance sans plus aucune limite.
Image : un tableau de bord qui classe les employés à risque selon leur activité.
Via Cracked Labs. Vers le « despotisme à la demande » : la surveillance est la conséquence de la dégradation de l’emploi !
Dans son livre, Temporaire : comment Manpower et McKinsey ont inventé le travail précaire (Les arènes, 2021), Louis Hyman, avait montré que l’invention du travail intérimaire puis temporaire était une entreprise idéologique. Peu à peu, pour les entreprises, la stabilité de l’emploi est devenu un problème plutôt qu’un but. L’invention du contrat à durée déterminée (CDD) en 1979 en France n’était pas qu’une solution à la crise économique. Il marque aussi le début d’une dérégulation des conditions de travail qui ne va pas cesser de s’accélérer avec la montée de l’externalisation, la micro-entreprise, les contrats zéro-heures, l’ubérisation…  Pour caractériser cette montée d’un travail temporaire de plus en plus flexible, le sociologue Alex J. Wood parle quant à lui de « despotisme à la demande ». Dans son livre éponyme (Cornell University Press, 2020, non traduit), le sociologue ne parle pas beaucoup des outils numériques visiblement, il observe seulement l’impact qu’ont eu les horaires flexibles et le temps partiel sur la disciplinarisation des travailleurs. La disparition de la sécurité qu’offrait un travail à temps plein a conduit les travailleurs précaires à se discipliner pour obtenir leurs quotas d’heures. Pour obtenir les heures promises, ils doivent accepter les contraintes qui vont avec, comme les horaires fragmentés et une disponibilité à la demande, en temps réel. Wood montre d’ailleurs que les employés qui se soumettent le mieux aux injonctions sont aussi ceux qui obtiennent, en récompense, les meilleurs horaires. La précarisation renforce l’autoritarisme des organisations.  La sociologue Madison Van Oort dans son livre, Worn out : how retailers surveil and exploit workers in the digital age and how workers are fighting back (Épuisé : Comment les détaillants surveillent et exploitent les travailleurs à l’ère numérique et comment les travailleurs ripostent, MIT Press, 2023, non traduit) dresse le même constat en observant l’impact de l’outillage numérique dans les enseignes de la Fast Fashion, comme H&M ou Zara. Elle montre que, là aussi, les employés travaillent à la demande, notamment depuis des applications de planning automatisées profondément imprédictibles et qui font peser sur leurs épaules toute l’insécurité de l’emploi.
Image : couverture du livre de Madison Van Oort, Worn out.
Les technologies numériques transforment en profondeur le secteur des services à bas salaires, explique Madison Van Oort. Pour elle, la fast fashion, qui est une forme de commerce industriel, est le secteur emblématique d’une industrie totalement orientée par les données et qui promeut partout la jetabilité. Non seulement les produits sont aussi vites produits, vendus que remplacés, mais les employés subissent le même traitement (dans le secteur, 60% des employés des magasins sont embauchés de manière temporaire, l’essentiel l’est à temps partiel). Et la chercheuse suggère que cette vision du monde, cette chosification, est façonnée par la numérisation, par le fait que tout est considéré comme des données – le designer italien Stefano Diana estimait que cette mise à distance qui transforme tout en chiffre nous ôte toute empathie.  Or la fast fashion est bien l’enfant de la numérisation. La révolution de l’interconnexion a permis d’accélérer la production et la circulation de la chaîne d’approvisionnement et a permis la consécration d’une production temps réel. Une production directement pilotée depuis ce qui se vend et non plus depuis ce que les commerçants proposent. Une production plus réactive, capable de répondre aux demandes des clients. La fast fashion est bien sûr connue pour exploiter tous les travailleurs de la chaîne d’approvisionnement, notamment ceux qui fabriquent les vêtements à l’autre bout du monde. Mais c’est également le cas de ceux chargés de vendre les produits disponibles en continu.

Au XXe siècle, à l’époque des grands magasins, un vendeur était embauché pour ses compétences et on attendait de lui qu’il soit proche des clients pour mieux les conseiller. A l’époque des magasins de marques, on n’attendait plus des vendeurs qu’ils soient commerciaux, seulement un intense travail émotionnel pour vendre l’expérience que propose la marque en magasin. Mais à l’époque de la fast fashion, le vendeur n’est plus qu’un magasinier constamment sous surveillance numérique. Cette prolétarisation s’explique par le fait que la relation au client a été déléguée aux machines. Dans le monde de la fast fashion, les employés ont été dépossédés de la vente parce que les connaissances sur les clients ont été automatisées via les outils du marketing numériques. Ce sont eux qui prédisent les préférences des consommateurs et qui pilotent la relation clients. La sociologue explique que le travail émotionnel (que définissait la sociologue Arlie Russel Hochschild), celui qui connecte l’employé au client, qui prédit les désirs du consommateur, est désormais automatisé. Les magasins ont été dépossédés de cette compétence, renvoyée au travail des équipes marketing.  L’analyse des données est omniprésente. Elle permet de personnaliser l’inventaire des magasins selon les ventes, mais pilote également la vie des employés, puisque ces mêmes données vont produire les moments d’affluences et décider des besoins en personnels, décider des plannings imprévisibles et également rendre les employés plus remplaçables et interchangeables qu’ils n’étaient. Ce n’est pas tant que les habits proposés sont si peu chers qu’ils se vendent d’eux-mêmes, mais que le marketing automatisé met les ventes sous stéroïdes et produit une accélération en chaîne. Les vendeurs ne sont plus que des employés à la demande, qui sont là pour mettre les vêtements en place et nettoyer le magasin. Plier, ranger, nettoyer. Faire tourner les flux. Ils sont là pour faire ce que les robots ne savent pas faire. « En numérisant la connaissance des désirs des consommateurs, le travail de vente au détail de la fast-fashion a été déqualifié et accéléré, et les travailleurs sont devenus jetables. Et ont pu être contrôlés de manière toujours plus impersonnelle. » Pour Van Oort, la montée de la surveillance des travailleurs de terrain est consubstantielle au développement du marketing numérique permettant de mieux connaître les consommateurs. Son analyse montre qu’il y a des effets d’entraînements dans toute la chaîne de la numérisation.
Comment l’automatisation renforce la prolétarisation qui renforce la surveillance
Pour Madison Van Oort, c’est la technologie qui a rendu ces conditions de travail possible. Après avoir construit une production en temps réel, informée par les données de ventes, le savoir produit par la datafication a été appliqué aux magasins. Les outils de planning automatisés (comme ceux développés par Kronos, devenu UKG, Ultimate Kronos Group, l’un des leaders du secteur) sont composés d’innombrables modules pour adapter les ressources humaines aux besoins. Pourtant, comme le pointait la journaliste Esther Kaplan dans un article pour Harper’s Magazine en 2015, la première conséquence de l’introduction de ces outils de plannings reste bien souvent de démultiplier les emplois à temps partiels, comme l’ont connu les employés de la chaîne de vêtements Forever 21 lorsque leurs magasins s’en sont équipés ! Van Oort rappelle que le planning automatisé est né chez McDonald dès les années 70, mais c’est pourtant avec le déploiement d’outils logiciels dédiés que ceux-ci vont changer le commerce de détail (et bien d’autres secteurs…), notamment en popularisant le temps partiel afin d’améliorer les rendements et les profits.

Les systèmes de planning automatisés calculent pour chaque employé, branche, secteur, des ratios de productivité et font des prédictions de besoins de main d’œuvre très précis, pouvant aller jusqu’à recommander des employés, sans qu’on sache parfaitement depuis quels critères – or, certains critères de ce calcul peuvent être profondément problématiques, qu’ils soient discriminatoires ou qu’ils s’ajustent pour optimiser les salaires vers le bas, en minimisant les primes. Van Oort ne creuse hélas pas la question, mais remarque néanmoins que l’efficacité high-tech de ces outils est très souvent survendue. Ces systèmes d’agendas automatisés ont beaucoup de mal à prendre en compte les contraintes des employés (garde d’enfants, etc.) et les employés en contournent les rigidités en proposant d’échanger leurs astreintes via des messageries partagées. Les problèmes que génèrent les planning partagés conduisent à renforcer les astreintes : les employés doivent être tout le temps connectés pour répondre aux astreintes, les accepter comme pour les rejeter ou les faire circuler. Cela transforme les relations de travail, crée des tensions entre les employés qui sont tous à chercher à faire des heures que la machine ne leur donne pas. Les conflits d’emploi du temps sont permanents, mais ils ne sont pas tant avec la direction qu’avec les autres employés, vus comme concurrents.

Alors que les employés des grands magasins étaient souvent employés à vie, intéressés aux ventes par des commissions, ceux de la fast fashion sont d’abord précarisés, souvent employés à bas coûts et à temps partiel. Alors que dans les grands magasins les employés se plaignaient de faire trop d’heures, ceux de la fast fashion se plaignent de n’en avoir pas assez. Aux horaires instables répondent des paies qui le sont également. « Avec les horaires flexibles, les risques et l’instabilité du commerce reposent sur les épaules des travailleurs ». Le stress aussi, ce sont eux qui sont confrontés à des calendriers toujours changeants.

Ce que la sociologue suggère, c’est que l‘acceptation de la flexibilité conduit automatiquement à accepter une flexibilité renforcée qui, grâce à l’optimalité des calculs, ne cesse de s’étendre. Il n’y a pas d’alternative aux horaires fixes et réguliers, rappelle-t-elle. « Le planning automatisé crée une profonde insécurité et beaucoup d’imprévisibilité ». Il est la première brique qui renforce le développement du travail à la demande. La chercheuse souligne également que la surveillance à toujours tendance à s’étendre et qu’elle se renforce d’un outil l’autre, d’une interconnexion l’autre. Les scanners biométriques complètent les agendas automatisés (et techniquement, s’y intègrent comme des plug-ins), la surveillance vidéo complète la surveillance logicielle des caisses… L’introduction d’une forme de surveillance en entraîne une autre et elles se renforcent les unes les autres.

Pourtant, la surveillance n’est jamais aboutie. Dans le panoptique, la réalité est que les outils dysfonctionnent souvent, au détriment des employés. Quand le scanner bug, c’est les heures de travail des employés qui ne sont pas comptabilisés. Quand les besoins de personnels sont calculés au plus justes, ce sont les employés qui voient leurs cadences s’accélérer ou leur charge de travail augmenter.

La surveillance développe une forme de paranoïa qui se renforce avec la surveillance. Plus les travailleurs sont précarisés et plus ils sont considérés comme des criminels potentiels, et inversement. Or, comme le suggère Richard Hollinger un spécialiste de la criminalité des employés, pour réduire le vol en interne, il suffit d’abord d’augmenter les heures de travail et d’améliorer les rémunérations ! Les employés veulent d’abord un travail fixe et régulier et un travail qui paye bien. La surveillance est bien une conséquence de la dégradation du travail qui renforce l’autoritarisme des organisations. Nous construisons des lieux de travail où tout est sous surveillance (les produits, les consommateurs, les employés). La normalisation de la surveillance, son institutionnalisation, exacerbe les inégalités. Le turn over des employés est aussi fort que celui des produits. « Des conditions de travail injustes conduisent à des politiques de surveillances injustes ». L’un permet l’autre, l’un renforce l’autre et inversement. Le Precarity Lab de l’université du Michigan parle d’ailleurs de « technoprécarité » pour expliquer que le numérique amplifie les conditions d’exploitations.

Le numérique floute les distinctions entre management, marketing et surveillance. Mais la surveillance ne pose pas qu’une question de respect de l’intimité ou de la vie privée, elle pose également une question de justice, qui semble aujourd’hui se perdre dans le délire d’un contrôle, en roue libre, qui ne rend pas compte de ses effets. Les données au travail sont de plus en plus instrumentalisées pour servir voire renforcer l’asymétrie des rapports de travail.
Surveillance prédictive : le risque d’une surveillance de moins en moins factuelle !
En plus du délire du contrôle que la numérisation facilite, sans plus en voir les conséquences… il faut également ajouter des mesures prédictives particulièrement défaillantes qui viennent encore renforcer et justifier la surveillance. C’est le cas par exemple de Visier, une startup qui compte de nombreux clients, de Adobe à Uber… Visier promet de prédire le burn-out comme la démission. Le système, entraîné sur des profils d’employés démissionnaires, promet de calculer ce risque sur tous les autres employés en utilisant toutes les données disponibles, notamment les emails professionnels échangés, les relations aux autres employés, les publications sur les réseaux sociaux… pour mesurer l’engagement, l’absentéisme, la performance, le délai entre les promotions, l’activité sur Linked-in… Le problème, c’est que ces prédictions générales ont du mal à se prononcer sur les individus, explique la journaliste Hilke Schellmann dans son livre, The Algorithm (Hachette, 2024, non traduit). En fait, ces systèmes se concentrent sur des données internes pour tenter de faire des prédictions, comme d’évaluer l’évolution des fonctions, le niveau de salaire, la performance ou le niveau de responsabilité. Comme souvent, les données y rappellent la force de l’évidence : une personne au même poste pendant 2 ans a tendance à vouloir partir ! Le problème est qu’il n’y a pas que des raisons internes au départ des gens, il y a beaucoup de raisons externes sur lesquelles les entreprises n’ont pas toujours de données (situation familiale, proposition d’embauche externe, niveau de salaire et de tension du secteur…) et beaucoup de raisons internes sur lesquelles les données n’ont pas prises (comme la toxicité du management, même si des proxies plus ou moins fiables peuvent être trouvés, comme la durée d’un manager en poste ou le temps de rétention du personnel sous ses ordres – mais là encore, rien n’est moins fiable : un manager a ainsi été identifié comme toxique parce que ceux qui rejoignaient son équipe avaient tendance à changer de poste dans les 7 à 8 mois, alors que c’était surtout lui qui les aidait à évoluer dans l’entreprise). Mais ces prédictions de risque sont tout aussi problématiques que nombre d’autres prédictions. Et leur amélioration peut vite devenir discriminante, par exemple en portant plus d’attention aux jeunes hommes non mariés qui ont plus tendance à changer de job que les jeunes femmes mariées. Au final, ces systèmes là encore fonctionnent assez mal. Schellmann prend l’exemple d’une responsable RH de Pepsi pour laquelle le logiciel de Visier indiquait qu’elle avait 0,03% de chance de partir dans les 20 prochains mois et qui a quitté l’entreprise bien avant ce délai !

Là encore, l’analyse de données, par nature, s’abstrait du contexte. La prédiction défaille. Comme le disent Arvind Narayanan et Sayash Kapoor dans leur livre, AI Snake Oil (Princeton University Press, 2024, non traduit), la prédiction cumule trop de biais pour être fiable. Trop souvent, les prédictions abusent de proxies, de variables de substitutions, ce qui démultiplie les erreurs en cascade. Trop souvent, les prédictions cherchent des modèles qui n’existent pas. Les deux chercheurs estiment d’ailleurs que la promotion d’employés au hasard mais selon un taux fixe pourrait avoir plus de conséquences positives que la recherche illusoire de critères de promotion perfectibles. Les prévisions ne sont pas un modèle objectif. Elles restent probabilistes, quand leur mise en œuvre cherche à les rendre déterministes, au risque de prendre pour la réalité des calculs d’abord défaillants, qui entremêlent entre eux des suppositions en cascade.

La surveillance numérique des lieux de travail propose un panoptique idéal, où la surveillance du travailleur est omniprésente et infatigable. La surveillance est mécanique. L’exosquelette numérique est moins là pour nous aider à faire des tâches que pour surveiller le moindre de nos faits et gestes. Dans ce panoptique, les traitements de données, les données inférées parlent pour les employés, au risque de ne leur laisser aucun droit. Ni droits à explications, ni droit à contester les décisions automatisées qui ne leurs sont mêmes pas expliquées comme telles.

Sans limites, la surveillance ne propose que de renforcer l’autoritarisme des organisations.
09 July 2024
16:39
La fin du techno-solutionnisme ?
sur Dans les algorithmes

Les patrons de la tech et les capitaux-risqueurs, ces hérauts de l’innovation de la Silicon Valley, qui se sont très longtemps affirmé massivement progressistes et démocrates, sont en train de se rallier massivement à Trump, auquel ils se sont pourtant longtemps opposé, constate Evgeny Morozov dans une tribune pour le Guardian.

Morozov rappelle que les investisseurs de la Silicon Valley ont longtemps partagé avec les démocrates une croyance commune dans le techno-solutionnisme, c’est-à-dire dans l’idée que les marchés, renforcés par la technologie numérique, pourraient produire des biens sociaux là où la politique gouvernementale avait échoué. Mais cette utopie n’a cessé de se dissoudre à mesure qu’elle tentait de se réaliser. On nous a promis que les médias sociaux pourraient renverser les dictateurs, que les cryptomonnaies pourraient lutter contre la pauvreté, que l’IA allait guérir le cancer… Autant de techno-promesses qui ne se sont pas réalisées. Morozov rappelle que l’histoire d’amour entre la Tech et les démocrates a commencé dans les années 80 quand ceux-ci ont vu dans la Silicon Valley le moyen de promouvoir un progrès social, économique et environnemental qui reposerait sur l’innovation technologique. Les démocrates ont alors accepté toutes les mesures favorables à l’extension du capital-risque. Une alliance politico-économique qui a changé le financement de l’innovation : aux institutions publiques la science fondamentale et aux sociétés de capital-risque les startups qui en commercialisent les résultats. Un modèle qui permet aux américains de payer des prix de médicaments parmi les plus élevés au monde, ironise Morozov.
Les grandes promesses techno-solutionnistes
Depuis des années, les investisseurs ne cessent de se tresser leurs propres lauriers, vantant le rôle essentiel qu’ils jouent dans le progrès et l’innovation qu’ils rendent possible, tout en célébrant des marchés libres et sans limites, à l’image du ringard manifeste techno-optimiste de Marc Andreessen, ode à la « machine techno-capitaliste ». Une machine qui permet aux investisseurs de contrôler l’orientation de l’innovation à leur plus grand profit, et qui, à force de s’auto-célébrer, nous conduit à penser qu’il n’y a pas d’alternative au techno-capitaliste. Pourtant, les grandes promesses techno-solutionnistes se sont dissoutes. Le bitcoin n’a enrichi aucun démuni. L’IA semble bien plus promettre la fin des emplois que leur renouveau. Quant aux médias sociaux, l’idée qu’ils puissent promouvoir la démocratie a été abandonnée, et les leaders technologiques semblent désormais bien plus soucieux d’échapper aux responsabilités que leurs plateformes ont joué dans la subversion de la démocratie.
Une croyance commune
Morozov rappelle que les investisseurs de la Silicon Valley ont longtemps partagé avec les démocrates une croyance commune dans le techno-solutionnisme, c’est-à-dire dans l’idée que les marchés, renforcés par la technologie numérique, pourraient produire des biens sociaux là où la politique gouvernementale avait échoué. Mais cette utopie n’a cessé de se dissoudre à mesure qu’elle tentait de se réaliser. On nous a promis que les médias sociaux pourraient renverser les dictateurs, que les cryptomonnaies pourraient lutter contre la pauvreté, que l’IA allait guérir le cancer… Autant de techno-promesses qui ne se sont pas réalisées. Morozov rappelle que l’histoire d’amour entre la Tech et les démocrates a commencé dans les années 80 quand ceux-ci ont vu dans la Silicon Valley le moyen de promouvoir un progrès social, économique et environnemental qui reposerait sur l’innovation technologique. Les démocrates ont alors accepté toutes les mesures favorables à l’extension du capital-risque. Une alliance politico-économique qui a changé le financement de l’innovation : aux institutions publiques la science fondamentale et aux sociétés de capital-risque les startups qui en commercialisent les résultats. Un modèle qui permet aux américains de payer des prix de médicaments parmi les plus élevés au monde, ironise Morozov.
La machine techno-capitaliste
Dans les années 70, comme Morozov l’explique dans une série en podcast, a sense of rebellion, quelques hippies radicaux promouvaient la technologie écologique et la contre-technologie. Ils considéraient la technologie comme le produit de relations de pouvoir et souhaitaient modifier fondamentalement le système lui-même. Pour eux, notre problème n’était pas « la technologie », mais la technologie spécifiquement capitaliste. Après la seconde guerre mondiale, le sénateur démocrate Harley Kilgore a prédit les dangers de voir la science devenir « la servante de la recherche commerciale ou industrielle ». Il proposait que la National Science Foundation (NSF) soit gouvernée par des représentants des syndicats, des consommateurs, de l’agriculture et de l’industrie pour garantir que la technologie réponde aux besoins sociaux et reste sous contrôle démocratique. Il proposait également que les entreprises soient obligées de partager leur propriété intellectuelle si elles s’appuyaient sur de la recherche publique et qu’elles ne puissent être les seules fournisseurs de solutions aux problèmes sociaux. Notre approche actuelle, portée par les commerçants de la Silicon Valley, qui est l’exact inverse, doit être profondément réinterrogée estime Morozov. La Silicon Valley est obsédée par la l’accélération de la machine techno-capitaliste d’Andreessen qui « repose sur le détachement des marchés et des technologies du contrôle démocratique ». Avec la perspective de voir Trump revenir à la Maison Blanche, leur techno-solutionisme n’aura aucun mal à servir l’autoritarisme comme ils ont servi finalement les programmes néolibéraux des démocrates. A terme, l’horizon n’est pas tant la fin du techno-solutionnisme sous-entend Morozov, que le risque qu’il ne soit plus du tout un horizon progressiste. Pour lui, les démocrates devraient comprendre que les capitaux-risqueurs sont le problème plus que des alliés. Les démocrates devraient se défaire de leur fascination pour la Silicon Valley et son techno-solutionnisme. « Pour construire une machine techno-publique véritablement progressiste, nous devons repenser la relation entre la science et la technologie, d’une part, et la démocratie et l’égalité, d’autre part ». C’est-à-dire construire une « machine techno-publique » qui repense le rapport entre la science et la techno par la démocratie… gouvernée et orientée par les besoins sociaux et les représentants de la société. Simple et stimulant ! Pas sûr pourtant que nous en prenions le chemin.

MAJ du 11/07/2024 : Dans AOC, le sociologue Olivier Alexandre dresse le même constat. Il estime que la Tech après avoir été un symbole du progrès, est entrée dans un moment conservateur…
Le site dédié à la série, un sens de la rébellion.

← Mappemonde Imagerie Géospatiale →

Communauté	Ressources	L'emploi	Le marché	L'association	Fils RSS
Forum Blogs Wiki Planet Sites amis	Agenda Biblio Fiches AMO-CNIG Paris PCGIS Téléchargements	Offres d'emploi Banque de CV Formations Démarche Métiers	Geo-Entreprises Geo-Communiqué Appels d'offres	L'association Qui sommes-nous ? Nous aider Bienfaiteurs Partenaires Historique Statuts	Tout le site Job Géomatique Services GeoBlogs ...	Faire un don Mentions légales

Le portail francophone de la géomatique

Canaux

Dans les algorithmes