Planet Georezo » Dans les algorithmes

Un Planet est un site Web dynamique qui agrÃ¨ge le plus souvent sur une seule page, le contenu de notes, d'articles ou de billets publiÃ©s sur des blogs ou sites Web afin d'accentuer leur visibilitÃ© et de faire ressortir des contenus pertinents aux multiples formats (texte, audio, vidÃ©o, Podcast). C'est un agrÃ©gateur de flux RSS. Il s'apparente Ã un portail web.
Vous pouvez lire le billet sur le blog La Minute pour plus d'informations sur les RSS !

Canaux

4050 éléments (50 non lus) dans 55 canaux

Dans la presse

Cybergeo (10 non lus)
Revue Internationale de Géomatique (RIG)
SIGMAG & SIGTV.FR - Un autre regard sur la géomatique (3 non lus)
Mappemonde (10 non lus)
Dans les algorithmes (10 non lus)

Du côté des éditeurs

Toile géomatique francophone

Géoblogs (GeoRezo.net)
Conseil national de l'information géolocalisée (1 non lus)
Geotribu (1 non lus)
Les cafés géographiques (1 non lus)
UrbaLine (le blog d'Aline sur l'urba, la géomatique, et l'habitat)
Icem7
Séries temporelles (CESBIO) (2 non lus)
Datafoncier, données pour les territoires (Cerema) (2 non lus)
Cartes et figures du monde
SIGEA: actualités des SIG pour l'enseignement agricole
Data and GIS tips
Neogeo Technologies (1 non lus)
ReLucBlog
L'Atelier de Cartographie
My Geomatic
archeomatic (le blog d'un archéologue à l’INRAP)
Cartographies numériques (5 non lus)
Veille cartographie
Makina Corpus (1 non lus)
Oslandia (3 non lus)
Camptocamp
Carnet (neo)cartographique
Le blog de Geomatys
GEOMATIQUE
Geomatick
CartONG (actualités)

Géomatique anglophone

Blogs GeoRezo.net

Abonnez vous à cette page (RSS) !

Dans les algorithmes (10 non lus)

04 October 2024
7:30
De l’automatisation des inégalités
sur Dans les algorithmes

Cet article inaugure une nouvelle catégorie de publications, celle d’articles de fond essentiels à nos compréhensions communes. Ici, nous vous proposons un article publié en janvier 2018 sur Internet Actu, qui revenait en détail sur le livre que venait de faire paraître Virginia Eubanks, Automating Inequality (MacMillan, 2018, non traduit).

Dans une tribune pour le New York Times, l’avocate Elisabeth Mason, directrice du Laboratoire pauvreté et technologie qui dépend du Centre sur la pauvreté et l’inégalité de Stanford, soulignait que le Big data et l’intelligence artificielle étaient amenés à être des outils puissants pour lutter contre la pauvreté. Les grands ensembles de données peuvent désormais être exploités pour mieux prédire l’efficacité des programmes d’aides et les évaluer. « Le big data promet quelque chose proche d’une évaluation impartiale, sans idéologie, de l’efficacité des programmes sociaux », explique-t-elle en rêvant d’une société parfaitement méritocratique, tout entière fondée sur la « preuve de ce qui marche » (Evidence-based policymaking). Un propos qui pourrait paraître un peu naïf, si on l’éclaire par le livre que vient de publier la spécialiste de science politique, Virginia Eubanks :  Automatiser les inégalités : comment les outils high-tech profilent, policent et punissent les pauvres.
Vous avez été signalés ! Couverture du livre d’Eubanks.
Les processus de décision sont de plus en plus confiés à des machines, rappelle la chercheuse. « Des systèmes d’éligibilité automatisés, des algorithmes de classements, des modèles de prédiction des risques contrôlent les quartiers qui doivent être policés, quelles familles peuvent obtenir des aides, qui peut accéder à un emploi, qui doit être contrôlé pour fraude. (…) Notre monde est parcouru de sentinelles informationnelles (…)  : d’agents de sécurité numérique qui collectent de l’information sur nous, qui fabriquent des inférences à partir de nos comportements et contrôlent l’accès aux ressources ». Si certains sont visibles, la plupart sont impénétrables et invisibles. « Ces outils sont si profondément tissés dans la fabrique de la vie sociale, que la plupart du temps, nous ne remarquons même pas que nous avons été surveillés et analysés ».

Reste que bien peu de personnes s’intéressent à ce que signifie d’être signalés par ces programmes et les catastrophes individuelles que cela engendre. Se voir retirer son assurance santé au moment où vous êtes le plus vulnérable laisse ceux qui en sont victimes désespérés et acculés. Le problème, souligne très bien Virginia Eubanks est « qu’il n’y a pas de règles qui vous notifient le fait que vous avez été signalé » (ref-flagged) par un programme. La plupart des gens ne savent pas qu’ils ont été la cible de systèmes de décisions automatisés.

Eubanks souligne que ce contrôle s’exerce sur des membres de groupes sociaux plus que des individus : gens de couleurs, migrants, groupes religieux spécifiques, minorités sexuelles, pauvres et toutes populations oppressées et exploitées. Les groupes les plus marginalisés sont ceux sur lesquels le plus de données sont collectées. Et le problème, souligne Virginia Eubanks, c’est que « cette collecte de données renforce leur marginalité » en créant « une boucle de rétroaction de l’injustice » qui renforce à son tour la surveillance et le soupçon.
Des hospices… aux hospices numériques
Le propos de la chercheuse est éminemment politique : en enquêtant sur une poignée de systèmes automatisés développés pour optimiser les programmes sociaux américains, elle dénonce une politique devenue performative… c’est-à-dire qui réalise ce qu’elle énonce. Selon elle, les programmes sociaux n’ont pas pour objectif de fonctionner, mais ont pour objectif d’accumuler de la stigmatisation sur les programmes sociaux et renforcer le discours montrant que ceux qui bénéficient de l’assistance sociale sont, au choix, des criminels, des paresseux ou des profiteurs. La rationalisation des programmes d’aide publics du fait de la crise et des coupes budgétaires les contraint à toujours plus de performance et d’efficacité. Or cette performance et cette efficacité s’incarnent dans des outils numériques qui n’ont rien de neutre, pointe la chercheuse.

Le problème, c’est que ces outils de surveillance sont partout : dans les marges où nous entraîne la chercheuse, les histoires où les technologies facilitent la communication et ouvrent des opportunités sont rares. Pour les plus démunis, la révolution numérique ressemble surtout à un cauchemar. Comme elle le soulignait déjà, pour comprendre l’avenir de la surveillance, il faut regarder comment elle se développe déjà auprès des populations les plus marginalisées.

Dans la première partie de l’ouvrage, Virginia Eubanks dresse un rapide historique pour rappeler que, à la suite de Michel Foucault, les communautés les plus démunies ont toujours été les plus surveillées. Elle souligne la continuité entre les asiles, les prisons, les hospices de la fin du XVIIIe siècle aux bases de données d’aujourd’hui, rappelant que les premières bases de données ont été créées par les promoteurs de l’eugénisme pour discriminer les criminels et les faibles d’esprit.

Elle souligne aussi combien cette histoire de l’assistance publique est intimement liée, surtout aux Etats-Unis, à des vagues régulières de critiques contre l’aide sociale. Partout, l’enjeu a été de mettre en place des règles pour limiter et contrôler le nombre de bénéficiaires des aides sociales, privées comme publiques. Une histoire qui s’intrique à celle des représentations de la pauvreté, de son coût, de la fraude, de la dénonciation de l’inefficacité des aides… Les « hospices numériques » (digital poorhouse), c’est-à-dire les systèmes automatisés de contrôle des aides que reçoivent les plus pauvres, naissent dès les années 70, avec l’informatique elle-même, rappelle la chercheuse. La recherche d’outils neutres pour évaluer les dépenses publiques pour ces bénéficiaires a surtout consisté dans le développement d’outils de surveillance des récipiendaires de l’aide publique. Des programmes de détection des fraudes, des bases de données de bénéficiaires ont été créées et reliées pour tracer les dépenses et les comportements de leurs bénéficiaires dans de multiples programmes sociaux. « Le conflit entre le développement des droits pour les bénéficiaires de l’aide sociale et le faible soutien aux programmes d’assistance publique a été résolu par le développement d’outils technologiques punitifs ». Alors que le droit développait l’aide publique, la technologie était utilisée pour réduire le nombre de leurs allocataires ! Certains programmes d’aides multipliant les situations de non-conformité et les sanctions pour un retard à un rendez-vous, ou pour ne pas avoir consulté un médecin prescrit… Pour Virginia Eubanks, ces systèmes automatisés sont une continuité et une expansion des systèmes de gestion des pauvres punitifs et moralistes, des hospices de la fin du XVIIIe siècle et du début du XIXe siècle que pointait le travail de Michel Foucault. « Si ces systèmes sont présentés pour rationaliser et gérer les bénéficiaires, leur but premier reste et demeure de profiler, surveiller et punir les pauvres ».
S’intéresser aux effets des calculs sur la société
Dans son livre, Virginia Eubanks se concentre sur l’étude de 3 systèmes : un système mis en place par l’Indiana pour automatiser l’éligibilité de candidats aux programmes d’assistance publique de l’Etat ; un répertoire des SDF de Los Angeles ; et un système d’analyse du risque pour prédire les abus ou négligence sur enfants dans un comté de la Pennsylvanie. Des exemples et des systèmes assez spécifiques, par nature très Américains, qui pourraient nous laisser indifférents, nous Européens, si leur étude ne révélait pas une nature des outils numériques, un fonctionnement qu’on peut potentiellement retrouver dans chacun de ceux qui sont déployés.

La chercheuse prend le temps de les explorer en détail. Elle nous rappelle leur histoire, comment et pourquoi ils ont été mis en place. Comment ils fonctionnent. Elle nous présente quelques personnes qui les font fonctionner, d’autres qui en sont les bénéficiaires ou les victimes. Dans ce travail ethnographique, elle ne présente pas toujours en détail les systèmes, les critères, les questions, le fonctionnement des algorithmes eux-mêmes. La manière dont sont calculés les scores depuis le répertoire des SDF pour leur attribuer une priorité dans la demande de logement n’est pas par exemple ce que cherche à nous montrer Virginia Eubanks. En fait, c’est un peu comme si pour elle ces systèmes étaient par nature incapables d’optimiser le monde qu’on leur demande d’optimiser. L’important n’est pas le calcul qu’ils produisent qui seront toujours imparfait que leurs effets concrets. C’est eux qu’elle nous invite à observer. Et ce qu’elle en voit n’est pas très agréable à regarder.

Chacun des exemples qu’elle prend est édifiant. Le système automatique de gestion de l’assistance de l’Indiana, confié à un opérateur privé, montre toute l’incompétence du délégataire : durant son fonctionnement, l’aide publique a reculé de 54 %. Au moindre oubli, au moindre document manquant, les bénéficiaires étaient tout simplement éjectés du système au prétexte d’un culpabilisant « défaut de coopération » cachant surtout ses défaillances techniques et organisationnelles. Le taux de demande d’aides refusées s’est envolé. Des personnes sourdes, handicapés mentaux, malades, étaient contraintes de joindre un centre d’appel pour bénéficier d’aides… Le contrat entre l’Etat de l’Indiana et IBM a fini par être rompu. Les procès entre le maître d’oeuvre et le délégataire ont duré des années. Son coût n’a jamais été pleinement évalué, hormis pour les gens qu’il a privés des aides auxquelles ils avaient droit. « En retirant l’appréciation humaine des agents en première ligne au profit des métriques d’ingénieurs et de prestataires privés, l’expérience de l’Indiana a suralimenté la discrimination ». Les spécifications sociales pour l’automatisation se sont basées sur l’épuisement et l’usure des bénéficiaires, sur des postulats de classes et de races qui ont été encodées en métriques de performances.

Dans le comté de Los Angeles, Virginia Eubanks évoque longuement la mise en place d’une base de données centralisée des SDF créée pour améliorer l’appariement entre l’offre de logement d’urgence et la demande. L’enjeu était de pouvoir prioriser les demandes, entre sans-abris en crise et sans abris chroniques, en aidant les premiers pour éviter qu’ils ne tombent dans la seconde catégorie. Les partenaires du projet ont donc créé une base de données pour évaluer les demandeurs collectant de vastes quantités d’information personnelle avec un algorithme pour classer les demandeurs selon un score de vulnérabilité et un autre pour les apparier avec les offres de logements : le VI-SPDAT (index de vulnérabilité ou outil d’aide à la décision de priorisation des services). Tout sans-abri accueilli par un organisme doit alors répondre à un long questionnaire, particulièrement intime, posant des questions sur sa santé, sa sexualité, les violences commises à son encontre ou dont il a été l’auteur… La base de données est accessible à quelque 168 organisations différentes : services de la ville, association de secours, organisations religieuses, hôpitaux, centre d’aides et d’hébergements… et même la police de Los Angeles. Chaque sans-abri reçoit un score allant de 1 à 17, du moins au plus vulnérable. Ceux qui ont un score élevé reçoivent alors un accord d’hébergement qu’ils peuvent porter (avec les justificatifs nécessaires) aux autorités du logement de la ville qui peuvent alors leur proposer un logement ou un financement. Virginia Eubanks pointe là encore les multiples difficultés de ces questionnaires qui se présentent comme neutres, sans l’être. Selon la manière dont les SDF répondent aux questions (seuls ou accompagnés, par quelqu’un qui les connait ou pas…), leur score peut varier du tout au tout. Ainsi, un SDF sortant de prison se voit attribuer un score faible au prétexte qu’il a eu un hébergement stable durant son séjour en établissement pénitentiaire.

Elle souligne que le manque de solutions de logements pour sans-abris fait que le système sert plus à gérer les SDF qu’à résoudre le problème. Selon le service des sans-abris de Los Angeles, la ville comptait 57 794 SDF en 2017. 31 000 sont enregistrés dans la base depuis sa création en 2014. 9 627 ont été aidé pour trouver un logement. Si pour Virginia Eubanks le système n’est pas totalement inopérant, reste que sa grande disponibilité pose question. Ces enregistrements consultables par trop d’organisations sur simple requête – et notamment par les forces de l’ordre, sans avoir à justifier d’une cause, d’une suspicion ou autre -, transforment des données administratives et les services sociaux en extension des systèmes de police et de justice. L’absence d’une protection des données de ce registre, nous rappelle combien toute base de données créée pour répondre à un objectif finit toujours par être utilisée pour d’autres objectifs… Les bases de données coordonnées sont des centres de tri qui rendent ceux qui en sont l’objet « plus visibles, plus traçables, plus prévisibles ». « Les personnes ciblées émergent désormais des données » : les personnes jugées à risque sont codées pour la criminalisation. Si ces systèmes produisent certes des chiffres pour mieux orienter les budgets, les données ne construisent pas d’hébergements.

Le dernier exemple que prend Virginia Eubanks est une enquête sur le fonctionnement d’un outil de prédiction du risque de maltraitance et d’agression d’enfants, développé par le bureau de l’enfance, de la jeunesse et des familles du comté d’Allegheny (Pennsylvanie). Elle nous plonge dans le quotidien des travailleurs sociaux d’un centre d’appel à la recherche d’informations sur les dénonciations qu’ils reçoivent, là encore, via une multitude de bases de données : provenant des services du logement, de la santé, de la police, de l’enseignement… Elle explore comment le système prioritise certains critères sur d’autres, comme l’âge des enfants et surtout, le fait que les familles soient déjà sous surveillance des services sociaux. Elle détaille également longuement l’histoire de cet outil prédictif, développé par Rhema Vaithianathan (@rvaithianathan), directrice du Centre pour l’analyse de données sociales de l’université d’Auckland en Nouvelle-Zélande qui s’appuie sur plus de 130 variables pour produire un score de risque allant 1 (le plus faible) à 20… Un programme abandonné par la Nouvelle-Zélande du fait de son manque de fiabilité et de l’opposition qu’il suscita. Dans les pages qu’elle consacre à ce système, Virginia Eubanks prend le temps de nous montrer comment les travailleurs sociaux interprètent les informations dont ils disposent, comment les familles sont sommées de répondre aux enquêtes sociales que ces alertes déclenchent. Elle souligne combien les données censées être neutres cachent une succession d’appréciations personnelles. Elle souligne également combien le système peine à guider celui qui mène enquête suite à un signalement. Combien certains critères ont plus de poids que d’autres : à l’image du fait de recevoir un appel pour un enfant pour lequel le centre a déjà reçu un appel sur les deux années précédentes ou qui a déjà été placé. Elle souligne les limites du modèle prédictif construit qui produit chaque année de trop nombreux faux positifs et négatifs. Comme le soulignait la mathématicienne Cathy O’Neil @mathbabedotorg), les choix qui président aux outils que nous développons reflètent toujours les priorités et les préoccupations de leurs concepteurs. Et la prédictivité est d’autant moins assurée quand nombre de variables sont subjectives. Qu’importe, comme le soulignait une récente enquête du New York Times, l’outil, malgré ses défauts, semble prometteur. Pour ses concepteurs, il nécessite surtout d’être peaufiné et amélioré. Ce n’est pas le constat que dresse Virginia Eubanks.

Eubanks montre combien l’outil mis en place estime que plus les familles recourent à l’aide publique, plus le score de risque progresse. Le système mis en place s’intéresse d’ailleurs bien plus à la négligence dans l’éducation des enfants qu’à la maltraitance ou qu’aux abus physiques ou sexuels des enfants. Or, rappelle la chercheuse, « tous les indicateurs de la négligence sont aussi des indicateurs de pauvreté » : manque de nourriture, de vêtements, de soins de santé, habitation inadaptée… Elle pointe également la grande ambiguïté de ces programmes, à la fois juge et partie, qui ont souvent deux rôles qui devraient être distingués : l’aide aux familles et l’enquête sur les comportements. Trop souvent explique-t-elle, les familles pauvres échangent leur droit à la vie privée contre l’obtention d’aide. Pour Eubanks, on est plus là dans un profilage de la pauvreté que dans un profilage de la maltraitance : le modèle confond la parenté avec la parenté pauvre. Le système voit toujours les parents qui bénéficient d’aides publiques comme un risque pour leurs enfants. Eubanks souligne aussi l’inexistence d’un droit à l’oubli dans ces systèmes : toute information entrée dans le système est définitive, même fausse. Le système enregistre des décisions sans traces d’humanités. Pire, encore, le score de risque se renforce : quand une bénéficiaire d’aides est devenue mère, son enfant s’est vu attribuer un fort taux de risque, car sa mère avait déjà eu des interactions avec les services sociaux quand elle était elle-même enfant. La reproduction de la surveillance est bouclée.
Déconstruire la boucle de rétroaction de l’injustice
De son observation patiente, la chercheuse dresse plusieurs constats. Partout, les plus pauvres sont la cible de nouveaux outils de gestion qui ont des conséquences concrètes sur leurs vies. Les systèmes automatisés ont tendance à les décourager de réclamer les ressources dont ils ont besoin. Ces systèmes collectent des informations très personnelles sans grande garantie pour leur vie privée ou la sécurité des données, sans leur ménager les moindres contreparties (aucun SDF référencé dans le répertoire de Los Angeles par exemple n’a conscience qu’il n’est jamais ôté de cette base, même s’ils retrouvent un logement… et peut nombreux sont ceux qui ont conscience de la constellation d’organismes qui ont accès à ces informations).

Tous les systèmes caractérisent les plus démunis comme personne à risques. Tous ces systèmes rendent chacun de leur mouvement plus visible et renforcent la surveillance dont ils sont l’objet. Ils visent plus à « manager les pauvres qu’à éradiquer la pauvreté ». Enfin, ces systèmes suscitent très peu de discussion sur leurs réels impacts et leur efficacité. Or, ils font naître des « environnements aux droits faibles », où la transparence et la responsabilité politique semblent absentes.

Pourtant, rappelle-t-elle, la pauvreté n’est pas un phénomène marginal. La pauvreté en Amérique n’est pas invisible. 51 % des Américains passent une année de leur vie au moins dans une situation de pauvreté. La pauvreté n’est pas une aberration qui n’arrive qu’à une petite minorité de gens souffrants de pathologies. Si les techniques de surveillance de la pauvreté ont changé, les résultats sont les mêmes. « Les institutions de secours et leurs technologies de contrôle rationalisent un brutal retour à  une forme d’asservissement en sapant les pouvoirs des plus pauvres et en produisant de l’indifférence pour les autres ».

« Quand on parle de technologies, on évoque toujours leurs qualités. Leurs promoteurs parlent de technologies disruptives, arguant combien elles secouent les relations de pouvoirs instituées, produisant une gouvernementalité plus transparente, plus responsable, plus efficace, et intrinsèquement plus démocratique. » Mais c’est oublier combien ces outils sont intégrés dans de vieux systèmes de pouvoirs et de privilèges. Ces systèmes s’inscrivent dans une histoire. Et ni les modèles statistiques ni les algorithmes de classement ne vont renverser comme par magie la culture, la politique et les institutions.
La métaphore de l’hospice numérique qu’elle utilise permet de résister à l’effacement du contexte historique, à la neutralité, que la technologie aimerait produire. L’hospice numérique produit les mêmes conséquences que les institutions de surveillance passées : elle limite le nombre de bénéficiaires des aides, entrave leur mobilité, sépare les familles, diminue les droits politiques, transforme les pauvres en sujets d’expérience, criminalise, construit des suspects et des classifications morales, créé une distance avec les autres classes sociales, reproduit les hiérarchies racistes et ségrégationnistes… Sa seule différence avec les institutions d’antan est de ne plus produire de l’enfermement physique. Certainement parce que l’enfermement dans les institutions de surveillance a pu produire des solidarités qui ont permis de les combattre… Les outils numériques produisent non seulement de la discrimination, mais aussi de l’isolement entre ceux qui partagent pourtant les mêmes souffrances.

Les problèmes sont toujours interprétés comme relevant de la faute du demandeur, jamais de l’Etat ou du prestataire. La présomption d’infaillibilité des systèmes déplace toujours la responsabilité vers l’élément humain. Elle renforce le sentiment que ces systèmes fonctionnent et que ceux qui échouent dans ces systèmes sont ingérables ou criminels. Ces systèmes produisent une « classification morale ». Ils mesurent des comportements non pas individuels, mais relatifs : chacun est impacté par les actions de ceux avec qui ils vivent, de leurs quartiers, de leurs relations… En cela, l’impact de ces modèles est exponentiel : les prédictions et les mesures reposent sur des réseaux relationnels, qui ont un potentiel contagieux pareil à des virus. Ces modèles distinguent les pauvres parmi les pauvres. La classe moyenne ne tolérerait pas qu’on applique des outils de ce type sur elle. Ils sont déployés à l’encontre de ceux qui n’ont pas le choix.

Virginia Eubanks insiste : ces hospices numériques sont difficiles à comprendre. Les logiciels et les modèles qui les font fonctionner sont complexes et souvent secrets. D’où la nécessité d’exiger l’ouverture et le libre accès au code qui les font fonctionner. Ils sont massivement extensibles et évolutifs. Ils peuvent se répandre très rapidement. Ils sont persistants et sont très difficiles à démanteler et ce d’autant qu’ils s’intègrent et s’enchevêtrent les uns avec les autres, tout comme l’infrastructure des innombrables outils de Google, rendant toujours plus difficile pour l’utilisateur de s’en passer. ‘Une fois que vous brisez les fonctions des travailleurs sociaux en activités distinctes et interchangeables, que vous installez un algorithme de classement et un système d’information que vous intégrez dans tous vos systèmes d’information, il est quasiment impossible d’en renverser le cours (…), tout comme produire un chiffre qui prédit le risque devient impossible à ignorer ». A mesure que ces technologies se développent, « elles deviennent de plus en plus difficiles à défier, à réorienter, à déraciner ». Les hospices numériques sont éternels. Alors que les enregistrements papier, du fait de leur physicalité et des contraintes de stockage qu’ils impliquaient, pouvaient permettre à ceux qui étaient enregistrés d’accéder à un droit à l’oubli, les bases de données numériques construisent des enregistrements éternels, et d’autant plus éternels qu’elles sont interreliées. Et cet enregistrement éternel est une punition supplémentaire, qui intensifie les risques de fuites de données et de divulgation.

Le risque bien sûr est que les technologies expérimentées sur les pauvres deviennent notre lot commun, soient demain utilisées sur chacun d’entre nous. Aujourd’hui, seuls les plus pauvres sont placés sous surveillance, mais ces outils sont là pour destituer demain chacun d’entre nous, prévient la chercheuse. Nous vivons dans des sociétés qui n’ont pas l’usage des plus âgés ou des invalides. « Nous mesurons la valeur humaine seulement sur la capacité à gagner sa vie ». « Nous voyons le monde comme une rivière sanglante de compétition ». Et Eubanks de dénoncer, à la suite d’Oscar Gandy, la « discrimination rationnelle », cette façon que nous avons d’ignorer les biais qui existent déjà. « Quand les outils d’aide à la décision automatisés ne sont pas construits pour démanteler explicitement les inégalités structurelles, elles les augmentent, les précipitent, les étendent, les intensifient. »

« Les ingénieurs qui construisent ces outils attirent notre attention sur les biais qui impactent leurs systèmes. Indirectement, ils font retomber leurs responsabilités sur la société, sans voir que le racisme et le comportement de classe des élites sont « mathwashés » (blanchis par les mathématiques, comme les pratiques de Greenwashing, c’est-à-dire qui se donnent une image de responsabilité par les mathématiques – NDT), c’est-à-dire neutralisés par la mystification technologique et la magie des bases de données ». Les nouveaux outils high-tech sont vus comme de simples mises à jour administratives, sans conséquence politiques. Ils ne sont montrés que comme des solutions anodines pour améliorer l’efficacité des systèmes, alors que les transformations qu’ils proposent sont bien plus radicales. Comme le soulignait Rhema Vaithianathan, la conceptrice du système prédictif de maltraitance : « d’ici 2040, le Big data devrait avoir ratatiné le secteur public jusqu’à n’être plus reconnaissable ». Comme le confesse Eubanks : « Je trouve troublant la philosophie qui voit les êtres humains comme des boites noires inconnaissables et les machines comme transparentes. Ce me semble être un point de vue qui renonce à toute tentative d’empathie et qui verrouille toute possibilité de développement éthique. L’hypothèse qui veut que la décision humaine soit opaque et inaccessible est un aveu que nous avons abandonné la responsabilité que nous avons à nous comprendre les uns les autres. »

Le problème, souligne encore la chercheuse, est que ces systèmes se développent. Les systèmes prédictifs se déploient : dans la justice, la police, les services sociaux, scolaires… Les bases de données deviennent la matrice du fonctionnement de nos sociétés.

Eubanks souligne très bien combien les garanties sont trop souvent absentes. Elle pointe les apports des principes dont nous bénéficions, en Europe ou en France, comme l’interdiction d’interconnexion des bases de données, le droit à l’oubli, les droits à la protection de la vie privée et notamment le fait que le stockage et l’exploitation des informations doivent être limités par leur finalité ou leur pertinence. Autant de garanties qui ne sont pas si fortes de l’autre côté de l’Atlantique. Pour Virginia Eubanks, face à ces technologies de l’efficacité, il est plus que nécessaire de protéger les droits humains. D’offrir des garanties, des contreparties et des contre-pouvoirs aussi puissants que le sont ces outils. Comme le souligne son travail : nous en sommes bien loin.

Pour Virginia Eubanks, il nous faut changer le discours et le regard sur la pauvreté. Il faut rendre l’assistance publique moins punitive et plus généreuse. Il est aussi nécessaire de développer des principes de conception techniques qui minimisent les dommages. Elle propose ainsi un intéressant serment d’Hippocrate pour les data-scientists, les ingénieurs et les responsables administratifs. Et esquisse un standard éthique minimum : est-ce que l’outil que je développe augmente l’autodétermination et les capacités des pauvres ? Est-ce que cet outil serait toléré si sa cible n’était pas des personnes pauvres ?

Bien sûr les observations de Virginia Eubanks ont lieu dans un autre contexte que le nôtre. On peut se rassurer en se disant que les lacunes qu’elle pointe ne nous concernent pas, que nous avons d’autres réglementations, que notre système n’est pas aussi libéral. Certainement. A la lecture du livre, je constatais surtout pour ma part, que je ne connaissais pas les équivalents français ou européens des systèmes que décrivait Eubanks. Cela ne signifie pas pour autant qu’ils n’existent pas ou que leur automatisation n’est pas en cours.

Virginia Eubanks signe une analyse radicalement différente de celles que l’on voit d’habitude autour des nouvelles technologies. C’est bien sûr un livre politique. Tant mieux : il n’en est que plus fort. Il me rappelle pour ma part la synthèse que Didier Fassin avait fait de ses travaux autour de la police, de la justice et de la prison, dans son remarquable réquisitoire Punir, une passion contemporaine, où il montrait combien la sévérité de nos systèmes pénitentiaires, policiers et judiciaires renforçait l’injustice et les inégalités, en dénonçant combien la justification morale de la punition ne produit qu’une répression sélective.

La chercheuse américaine pointe en tout cas combien la technologie est trop souvent « un mirage », comme le souligne sa consoeur danah boyd, qui nous masque les coûts réels des systèmes, leurs impacts sur les gens. Le travail ethnographique de Virginia Eubanks rend visible la politique derrière les outils. Elle nous montre que pour comprendre les systèmes, il ne faut pas seulement se plonger dans le code, mais regarder leurs effets concrets. Aller au-delà des bases de données, pour constater ce qu’elles produisent, ce qu’elles réduisent. Comme le souligne le journaliste Brian Bergstein dans une tribune pour la Technology Review, « l’instabilité déjà causée par l’inégalité économique ne fera qu’empirer si l’Intelligence artificielle est utilisée à des fins étroites ». Nous y sommes déjà !
02 October 2024
7:30
Les mythes de l’IA
sur Dans les algorithmes

La technologie ne produit pas que des solutions, elle produit aussi beaucoup de promesses, d’imaginaires, d’idéologies et de mythes. Derrière le marketing des produits et des services, les entreprises déploient des métaphores simples et convaincantes qui réduisent la complexité des transformations à l’œuvre. « Ils pollinisent l’imagination sociale avec des métaphores qui mènent à des conclusions, et ces conclusions façonnent une compréhension collective » plus ou moins fidèle à la réalité. Les discours sur l’IA générative reposent sur de nombreux mythes et promesses, explique Eryk Salvaggio pour Tech Policy Press qui tente d’en dresser la liste. Ces promesses produisent souvent une compréhension erronée du fonctionnement de l’IA et induisent en erreur ceux qui veulent les utiliser.

Il y a d’abord les mythes du contrôle qui visent à nous faire croire que ces systèmes sont plus fiables qu’ils ne sont. Parmi les mythes du contrôle, il y a celui de la productivité, qui nous répète que ces systèmes nous font gagner du temps, nous font produire plus rapidement. « Le mythe de la productivité suggère que tout ce à quoi nous passons du temps peut être automatisé ». L’écriture se réduit à un moyen pour remplir une page plutôt qu’un processus de réflexion. Le mythe du prompt suggère que nous aurions un contrôle important sur ces systèmes, nous faisant oublier que très souvent, nos mots mêmes sont modifiés avant d’atteindre le modèle, via des filtres qui vont modifier nos invites elles-mêmes. D’où l’incessant travail à les peaufiner pour améliorer le résultat. « Le mythe de l’invite permet de masquer le contrôle que le système exerce sur l’utilisateur en suggérant que l’utilisateur contrôle le système ».

Outre le mythe du contrôle, on trouve également le mythe de l’intelligence. Le mythe de l’intelligence confond le fait que le développement des systèmes d’IA aient été inspirés par des idées sur le fonctionnement de la pensée avec la capacité à penser. On nous répète que ces systèmes pensent, raisonnent, sont intelligents… suggérant également qu’ils devraient être libres d’apprendre comme nous le sommes, pour mieux faire oublier que leur apprentissage repose sur un vol massif de données et non pas sur une liberté éducative. Parmi les mythes de l’intelligence, on trouve donc d’abord le mythe de l’apprentissage. Mais cette métaphore de l’apprentissage elle aussi nous induit en erreur. Ces modèles n’apprennent pas. Ils sont surtout le produit de l’analyse de données. Un modèle n’évolue pas par sélection naturelle : il est optimisé pour un ensemble de conditions dans lesquelles des motifs spécifiques sont renforcés. Ce n’est pas l’IA qui collecte des données pour en tirer des enseignements, mais les entreprises qui collectent des données puis optimisent des modèles pour produire des représentations de ces données à des fins lucratives. Le mythe de l’apprentissage vise à produire une équivalence entre les systèmes informatiques et la façon dont nous mêmes apprenons, alors que les deux sont profondément différents et n’ont pas la même portée ni la même valeur sociale. Le mythe de l’apprentissage permet surtout de minimiser la valeur des données sans lesquelles ces systèmes n’existent pas.

Le mythe de la créativité fait lui aussi partie du mythe de l’intelligence. Il entretient une confusion entre le processus créatif et les résultats créatifs. Si les artistes peuvent être créatifs avec des produits d’IA, les systèmes d’IA génératifs, eux, ne sont pas créatifs : ils ne peuvent pas s’écarter des processus qui leurs sont assignés, hormis collision accidentelles. Le mythe de la créativité de l’IA la redéfinit comme un processus strict qui relèverait d’une série d’étapes, une méthode de production. Il confond le processus de créativité avec le produit de la créativité. Et là encore, cette confusion permet de suggérer que le modèle devrait avoir des droits similaires à ceux des humains.

Salvaggio distingue une 3e classe de mythes : les mythes futuristes qui visent à produire un agenda d’innovation. Ils spéculent sur l’avenir pour mieux invisibiliser les défis du présent, en affirmant continûment que les problèmes seront résolus. Dans ces mythes du futur, il y a d’abord le mythe du passage à l’échelle ou de l’évolutivité : les problèmes de l’IA seront améliorés avec plus de données. Mais ce n’est pas en accumulant plus de données biaisées que nous produiront moins de résultats biaisés. L’augmentation des données permet surtout des améliorations incrémentales et limitées, bien loin de la promesse d’une quelconque intelligence générale. Aujourd’hui, les avantages semblent aller surtout vers des modèles plus petits mais reposant sur des données plus organisées et mieux préparées. Le mythe de l’évolutivité a lui aussi pour fonction d’agir sur le marché, il permet de suggérer que pour s’accomplir, l’IA ne doit pas être entravée dans sa course aux données. Il permet de mobiliser les financements comme les ressources… sans limites. Oubliant que plus les systèmes seront volumineux, plus ils seront opaques et pourront échapper aux réglementations.

Un autre mythe du futur est le mythe du comportement émergent. Mais qu’est-ce qui conduit à un comportement émergent ? « Est-ce la collecte de grandes quantités d’écrits qui conduit à une surperintelligence ? Ou est-ce plutôt la conséquence de la précipitation à intégrer divers systèmes d’IA dans des tâches de prise de décision pour lesquelles ils ne sont pas adaptés ? » Les risques de l’IA ne reposent pas sur le fait qu’elles deviennent des machines pensantes, mais peut-être bien plus sur le fait qu’elles deviennent des machines agissantes, dans des chaînes de décisions défaillantes.

Salvaggio plaide pour que nous remettions en question ces mythes. « Nous devons travailler ensemble pour créer une compréhension plus rigoureuse de ce que ces technologies font (et ne font pas) plutôt que d’élaborer des déclarations de valeur (et des lois) qui adhèrent aux fictions des entreprises ».

C’est peut-être oublier un peu rapidement la valeur des mythes et des promesses technologiques. Les mythes de l’IA visent à produire non seulement une perception confuse de leur réalité, mais à influer sur les transformations légales. Les promesses et les mythes participent d’un narratif pour faire évoluer le droit en imposant un récit qui légitime le pouvoir perturbateur de la technologie. Les mythes permettent de crédibiliser les technologies, expliquait déjà le chercheur Marc Audetat dans l’excellent livre collectif Sciences et technologies émergentes : pourquoi tant de promesses ? (Hermann, 2015). Comme le disait l’ingénieur Pierre-Benoît Joly dans ces pages, « les promesses technoscientifiques ont pour fonction de créer un état de nécessité qui permet de cacher des intérêts particuliers ». Les mythes et les croyances de l’IA ont d’abord et avant tout pour fonction de produire le pouvoir de l’IA et de ceux qui la déploient.
Les 9 mythes de l’IA
30 September 2024
7:30
Se libérer du technocolonialisme
sur Dans les algorithmes

En cartographiant la logique profondément coloniale de nos technologies, avec Anatomy of AI et Calculating Empires, Kate Crawford et Vladan Joker ont attiré notre attention sur le caractère extractiviste sans précédent des technologies numériques, construites depuis « les logiques du capital, du maintien de l’ordre et de la militarisation » qui accélèrent les asymétries de pouvoir existantes. Dans leur nouveau livre, Data Grab : the new colonialism of Big Tech (and how to fight back) (Pillage de données : le nouveau colonialisme des Big Tech (et comment le combattre), WH Allen, 2024, non traduit), Ulises A. Mejias et Nick Couldry interrogent la métaphore technocoloniale. Peut-on dire que la technologie procède d’un colonialisme ? Et si c’est le cas, alors comment nous en libérer ?
Explorer, étendre, exploiter, exterminer : une continuité
A la fin de leur précédent livre, The costs of connection (Stanford University Press, 2019) Mejias et Couldry en appelaient déjà à « décoloniser internet » de l’emprise des multinationales qui le dominent. Mais derrière la formule qui fait florès, peut-on vraiment affirmer que le colonialisme technologique repose sur les mêmes caractéristiques que le colonialisme d’hier ?

Le colonialisme, historique, repose d’abord sur un accaparement sans précédent des terres, des biens, des ressources, des personnes, dont les effets, les conséquences et les répercussions continuent encore aujourd’hui. Il repose sur un quadriptyque, expliquent les chercheurs : « explorer, étendre, exploiter, exterminer ». Comparativement, l’accaparement des données semble bien anodin. Pourtant, estiment les chercheurs, ce technocolonialisme partage beaucoup de caractéristiques avec son ancêtre. D’abord, il est comme lui global et se déroule à très large et très vaste échelle. Mais surtout, il « prolonge et renouvelle cet héritage de dépossession et d’injustice » commencé avec la colonisation. En 1945, un habitant de la planète sur trois était dépendant de l’ordre colonial. Aujourd’hui, un habitant de la planète sur trois a un compte Facebook, comparent un peu rapidement les auteurs. Les contextes et impacts sont différents, mais l’échelle du déploiement de la domination des Big Tech rappelle nécessairement cette histoire, estiment-ils. Le pouvoir de Meta par exemple contribue à une diffusion étendue de la désinformation qui a conduit jusqu’à des violences génocidaires et des interférences politiques.

Le colonialisme s’est toujours justifié par sa mission civilisatrice, visant non seulement à contrôler les corps, mais également les esprits et les consciences, comme l’ont fait dans le passé l’Eglise et la Science. Et les Big Tech aussi se targuent d’une mission civilisatrice. La mission civilisatrice, les motifs économiques, l’exercice du pouvoir et l’introduction de technologies spécifiques façonnent l’histoire du colonialisme. Par le passé, la mission civilisatrice s’est toujours faite par le déploiement de nouvelles force de surveillance, de discrimination, d’exploitation. Et c’est également ce qu’on retrouve aujourd’hui avec l’extension de la surveillance au travail, la généralisation de la reconnaissance faciale, du scoring, ou l’exploitation des travailleurs du clic du monde entier. Comme le dit le philosophe Achille Mbembe dans Sortir de la grande nuit : Essai sur l’Afrique décolonisée (2010) : « Notre époque tente de remettre au goût du jour le vieux mythe selon lequel l’Occident seul a le monopole de l’avenir. »
Image : couverture du livre de Ulises A. Mejias et Nick Couldry, Data Grab.
Le colonialisme de données est « un ordre social dans lequel l’extraction continue de données génère des richesses massives et des inégalités à un niveau global ». Ce nouvel ordre social repose un nouveau contrat social où le progrès nécessite de remettre nos données aux entreprises, sans condition. Certes, les grandes entreprises de la tech ne nous proposent pas de nous réduire en esclavage et le fait de refuser leurs services ne conduit pas à l’extermination. Reste que le pillage de données n’est pas le fait de quelques entreprises malhonnêtes, mais se produit à tous les niveaux. L’exemple le plus éclairant est certainement l’IA générative qui a eu besoin de collecter toutes les données possibles pour alimenter ses moteurs. Une sorte de prédation généralisée motivée pour le bien de l’humanité. Pour Mejias et Couldry, chausser les lunettes du colonialisme pour regarder la prédation en cours permet surtout de faire apparaître les similarités entre le colonialisme historique et le technocolonialisme, qui reposent, l’un comme l’autre sur l’appropriation de ressources et qui se justifie toujours pour servir un but plus grand (le progrès économique). Ce pillage est toujours imposé par une alliance entre les Etats et les entreprises. Il a toujours des effets désastreux sur l’environnement et il renforce toujours les inégalités, entre des élites extractivistes et des populations exploitées. Enfin, cette prédation se justifie toujours par des alibis : un narratif civilisationnel.

La numérisation de nos existences implique un profond changement dans les relations de pouvoir dans lesquelles nous sommes pris. Le capitalisme ne peut pas être compris sans le rôle qu’a joué le colonialisme dans son expansion, rappellent les chercheurs. « Le capitalisme a une dimension coloniale, non pas par accident, mais par conception ». Et l’exploitation est une fonction des opérations routinières de nos outils numériques. Le colonialisme des données exploite nos existences mêmes. Comme le disait Achille Mbembe dans Brutalisme : « nous sommes le minerai que nos objets sont chargés d’extraire ».
Piller, c’est déposséder sans égard pour les droits de ceux qu’on dépossède
Ce pillage de données transforme déjà en profondeur tous les aspects de nos vies : l’éducation, la santé, les lieux de travail, la consommation, la production… La grande différence que l’on pourrait faire entre le colonialisme historique et ce nouveau colonialisme, c’est que la violence physique semble y être largement absente. En fait, estiment les chercheurs, la violence est devenue plus symbolique. Le pillage lui-même est devenu sans friction, puisqu’il suffit d’accepter les conditions d’utilisation pour qu’il se déploie. Cela ne signifie pas pour autant que toute violence ait disparu. L’enjeu colonial, d’extraction et de dépossession, lui, continue. Il signifie toujours déposséder l’autre sans égard pour ses droits. La justification est d’ailleurs toujours la même : « rendre ce qui est pillé plus productif », selon une définition de la productivité qui correspond aux intérêts du pilleur. Quant à l’exploitation du travail humain, elle n’a pas disparu, comme le rappellent les travailleurs du clic. Cette exploitation est toujours aussi intensive en technologie, nécessite toujours des outils très spécifiques et spécialisés et bénéficie d’abord à ceux à qui ils appartiennent, à l’image des plateformes d’IA qui bénéficient d’abord à ceux qui les proposent et les exploitent.

« L’exploitation des données est une continuation de la violence coloniale via d’autres moyens ». Elle produit toujours de la discrimination et de la perte d’opportunité pour ceux qui en sont les victimes, selon des logiques de classification sociales. Les distinctions de « classe, de genre, de race ont toujours été instrumentées pour créer le mythe que ces différences avaient besoin d’être gérées et organisées par la rationalité occidentale ». Le colonialisme des données renouvelle la mission historique du colonialisme via de nouveaux moyens que sont les systèmes de prise de décision automatisés, les plateformes… dont les effets « sont plus subtils et difficiles à tracer qu’avant ». La discrimination s’inscrit désormais dans nos outils numériques, comme le montrait Virginia Eubanks dans Automating Inequality, en inscrivant les inégalités dans des plateformes profondément asymétriques. L’extraction de données permet d’attacher les personnes à des catégories. Les systèmes de scoring déterminent des scores qui reflètent et amplifient les discriminations forgées par le colonialisme.

Les deux auteurs ont des mots assez durs sur la science occidentale, rappelant qu’elle naît en partie pour la gestion coloniale (la botanique, la zoologie, l’anthropologie…). Qu’elle invente des techniques et des outils (la carte, les rapports, les tableaux…) pas seulement au profit de la science, mais bien également en coordination avec l’expansion économique et militaire. Cette science a été très vite appliquée pour surveiller, contrôler et gérer les populations colonisées. La Big Science et les Big Techs aujourd’hui sont toujours au service de relations de pouvoir asymétriques. Or, rappellent les chercheurs, le colonialisme des données à besoin de nous. « Sans nos données, il ne fonctionne pas ». Nous participons à notre propre exploitation.

La donnée a une caractéristique particulière cependant. C’est un bien non-rival. Elle peut-être copiée et réutilisée sans fin. Cela n’empêche pas qu’elle soit exploitée dans des territoires de données très spécifiques que sont les plateformes, interreliées, qui imposent leurs propres lois depuis les codes qu’elles produisent. Ce nouveau monde de données dirige nos activités vers des canaux numériques qui sont entièrement sous le contrôle des entreprises qui les proposent. Si les données sont un bien non-rival, ce qu’elles capturent (nous !) est bien une ressource finie.

Pour les deux chercheurs, l’exploitation des données est née en 1994, quand Lou Montulli, employé de Netscape, invente le cookie. En 30 ans, les structures de pouvoir du net ont domestiqué la surveillance en avantage commercial via une machinerie numérique tentaculaire, comme le montrait Soshana Zuboff. Les ordinateurs ont été placés au cœur de toute transaction, comme l’expliquait Hal Varian, l’économiste en chef de Google dès 2013. Tout ce qui est personnel ou intime est devenu un terrain d’exploitation. Nous sommes au cœur de territoires de données où le monde des affaires écrit les contrats, en les présentant comme étant à notre bénéfice. Nous sommes cernés par des relations d’exploitation de données qui maximisent l’extraction d’une manière particulièrement asymétrique. Une forme d’hypernudge qui optimise nos comportements pour servir les objectifs des collecteurs. Ce colonialisme n’opère pas que dans le domaine de la publicité ciblée, rappellent les auteurs, elle s’étend aux finances personnelles, à l’agriculture de précision, à l’éducation, la santé, le travail… selon des logiques d’opacité (on ne sait pas exactement quelles données sont collectées), d’expansionnisme (les données d’un secteur servent à d’autres), d’irresponsabilité (sans rendre de comptes) et dans une conformité juridique très incertaine. La gestion des humains est devenue rien d’autre que la gestion d’une base de données, au risque d’y délaisser les plus vulnérables. Ces systèmes ravivent les inégalités du vieil ordre colonial.
La mission civilisatrice des données : produire notre acceptation
Dans un chapitre sur la mission civilisatrice des données, les deux chercheurs expliquent que celle-ci repose d’abord sur la commodité. Elle repose également sur une narration connectiviste, quasi religieuse, qui invisibilise la surveillance qu’elle active en suggérant que l’extraction de données est inévitable. Qu’elle doit être continue, profonde, totale. Ce narratif met de côté tous les problèmes que cette extraction génère, comme le fait qu’elle divise les gens, les épuise, les traumatise… On oublie que la connexion limite plus qu’elle augmente la diversité. « Les plateformes plus que les gens, décident quelles connexions sont plus avantageuses pour elles », à l’image des recommandations qu’elles produisent sans qu’on ait notre mot à dire, qu’importe la polarisation ou la radicalisation qu’elles produisent. La viralité est le modèle économique. Nous sommes le jeu auquel joue l’algorithme.

Ce storytelling impose également un autre discours, celui que l’IA serait plus intelligente que les humains. Comme le microscope a participé au succès de l’impérialisme (soulignant le lien entre la méthode scientifique et l’entreprise coloniale comme moyen de réduire et d’abstraire le monde naturel en objets capables d’être gérés), l’IA est l’outil pour rendre l’extraction de données inévitable. D’un outil pour comprendre le monde, la méthode scientifique est aussi devenue un processus pour éliminer l’opposition à la gestion coloniale. Couldry et Mejias rappellent pourtant que la science n’a pas servi qu’un sombre objectif colonial, mais que l’abstraction scientifique et le développement technologique qu’elle a produit a accompagné l’extractivisme colonial. Le narratif sur l’intelligence de l’IA, comme l’explique Dan McQuillan dans Resisting AI, sert à opacifier ses effets. Il nous pousse à croire que l’optimisation statistique serait le summum de la rationalité, qu’il permettrait justement d’éliminer nos biais quand il ne fait que les accélérer. Pour les deux chercheurs, l’IA discriminatoire et opaque par essence sert d’abord et avant tout à dissimuler les limites de la rationalité, à la parer de neutralité, à automatiser la violence et la discrimination qu’elle produit. L’IA n’est que la nouvelle étape d’une production coloniale de connaissance qui prend toutes les productions humaines pour générer une connaissance qui nous est présentée comme son apothéose, quand elle est avant tout un moyen de s’assurer la continuité de l’appropriation des ressources.

Si le discours civilisationnel fonctionne, c’est d’abord parce que ce narratif renforce la hiérarchie des pouvoirs et vise à verrouiller la position des dominés comme dominés. Il colonise l’imagination de ce que doit être le futur : un avenir connecté, un avenir que l’on doit accepter, un avenir normal et inaltérable. Ce que ce narratif vise à produire, c’est notre acceptation. Il n’y a pas d’alternative !
La nouvelle classe coloniale
La surveillance se porte bien, comme le pointent les chiffrages du site Big Tech sells War. La sécurité, la défense et la surveillance sont désormais largement aux mains des grandes entreprises de la tech. Le pire colonialisme d’hier ressemble à celui d’aujourd’hui. Et comme hier, il implique l’existence d’une véritable classe coloniale. Celle-ci ne porte plus le casque blanc. Elle opère à distance, dans les bureaux feutrés de quelques grandes entreprises. Mejias et Couldry rappellent qu’à la grande époque, la Compagnie britannique des Indes orientales était une entreprise commerciale de 250 000 employés gérés depuis Londres par une équipe de 35 à 159 employés seulement. Uber, avec 32 000 employés coordonne les opérations de 5 000 0000 de livreurs et chauffeurs pour quelques 131 millions d’utilisateurs.

La classe coloniale de la donnée naît dès le milieu des années 80 dans les entreprises qui proposent les premières cartes de crédit et qui se mettent à collecter des données sur les consommateurs pour cela. Leur but ? Distinguer les consommateurs afin de trouver les plus fidèles. Dans les années 90, ces conceptions commencent à essaimer dans les théories de gestion. Couplées aux data sciences, elles donneront naissance aux Big data, c’est-à-dire aux théories de l’exploitation des données qu’incarnent les plus grandes entreprises de la tech. Amazon incarne l’explorateur, celui qui conquiert de nouveaux territoires pour l’extraction depuis le commerce de détail. Google et Apple, les expansionnistes de la données qui dominent de vastes empires de services et d’infrastructures cherchant à pousser toujours plus loin leurs emprises. Facebook est l’exploiteur le plus systémique des données. Les deux auteurs dressent rapidement les évolutions extractivistes des grands acteurs de la tech et de bien d’autres. Nous sommes désormais cernés par une infrastructure d’extraction, dominée par une bureaucratie d’acteurs, qui n’est pas sans rappeler la bureaucratie de l’administration coloniale. Celle-ci est dominée par la figure du data scientist, miroir de l’administrateur colonial, qui œuvre dans tous les domaines d’activité. Qu’ils oeuvrent pour Palantir, Salesforce ou LexisNexis, ils façonnent l’Etat algorithmique, transforment la nature même du gouvernement par de nouvelles formes de connaissance et de contrôle, dans un rapprochement dont on peine à prendre la mesure – 6500 agences publiques américaines utilisent Amazon Cloud Services. Partout, la technologie est devenue la modalité d’action sur la société. Partout, la technologie est convoquée pour optimiser les financements publics et notamment réduire les dépenses par un profilage toujours plus intensif des administrés en y appliquant partout des calculs probabilistes pour améliorer leur rentabilité, changeant profondément la nature du bien public et la conception de l’Etat providence. Pour ces acteurs, tout ce qui peut être utilisé le sera, simplement parce qu’il est disponible. Toutes les données sont collectées et sont rendues productives du fait même de leur disponibilité. La précision, l’exactitude ou la justice sont sans conséquences, tant que les données produisent des résultats.
S’inspirer des résistances anticoloniales
La critique de l’extractivisme colonial est nourrie. Les données, par nature, sont des objets sans contexte. L’historien et politicien Eric Williams, auteur de Capitalisme et esclavage (1930), a pourtant rappelé que la révolution industrielle qui a survalorisé l’innovation occidentale n’aurait pas été possible sans les ressources tirées de la colonisation. Pour lui, le capitalisme n’aurait pas pu se développer sans le colonialisme et sans la sujétion au travail, notamment par l’esclavage. Le sociologue péruvien, Anibal Quijano a parlé lui de « colonialité » du pouvoir pour parler des liens entre capitalisme et racisme, qui ne se sont pas achevés avec la décolonisation, mais se sont prolongés bien au-delà. Pour résister à la colonialité, Quijano invite à développer une rationalité et une connaissance débarrassée des idées de hiérarchies et de discrimination. Pour lui, la connaissance par exemple se construit bien plus par la diversité des perspectives que par le rejet de la diversité sous un prétexte rationaliste. Pour Mejias et Couldry, la connaissance que produit le Big Data est une connaissance depuis le point de vue des institutions qui les produisent, pas des gens et encore moins des gens depuis leur grande diversité. En cela, elle perpétue les caractéristiques de la science occidentale et la rend profondément colonialiste.

Sylvia Wynter est une autre chercheuse que les auteurs convoquent pour nous aider à trouver un autre rapport à la connaissance, à la science et à la rationalité. Pour elle, nous devons résister à la vision dominante de la science occidentale pour promouvoir une vision plus inclusive. Pour elle, nous avons besoin d’un mode de pensée sur la donnée qui inclut plus de gens et de perspectives, à l’image de ce que répètent les data scientists les plus critiques des perspectives technologiques comme Safiya Noble, Timnit Gebru ou les sociologues Ruha Benjamin, Virginia Eubanks… C’est également les perspectives que défendent Catherine D’Ignazio et Lauren Klein depuis le féminisme de données. C’est le même point de vue qu’exprime le philosophe Achille Mbembe quand il dénonce la continuité du colonialisme par d’autres moyens et nous invite à ne plus voir dans l’occident le centre de gravité du monde, dénonçant l’expansion de l’IA, comme le devenir artificiel de l’humanité. C’est le même enjeu qu’exprime Naomi Klein quand elle dénonce le capitalisme du désastre, qui utilise celui-ci pour créer des opportunités pour exploiter les populations les plus vulnérables. Pour Klein, l’extractivisme est lié au colonialisme qui ne voit le monde que comme une terre de conquête, plutôt que notre maison commune. Un extractivisme qui s’étend dans la plus grande impunité.

Les deux chercheurs terminent leur essai par des exemples de résistance qui peuvent paraître, comme souvent, bien fragiles face au rouleau compresseur de l’extractivisme des données. Pour eux, « le colonialisme de données n’est pas un problème facile à réparer ». On ne peut pas l’effacer d’une loi ou d’une nouvelle technologie… Ils nous invitent cependant à apprendre des résistances anticoloniales passées et de celles qui continuent de se déployer aujourd’hui, comme des résistances locales contre le déploiement des technologies de reconnaissance faciale, comme le propose la coalition Reclaim your Face. Dans de nombreuses industries de la tech, les travailleurs tentent de se syndiquer, non sans difficultés. D’autres montent des mouvements pour résister à l’extractivisme, comme No Tech for ICE, le mouvement qui s’oppose à l’usage des technologies par les agences d’immigration américaines ou No Tech for Apartheid qui s’oppose aux technologies de surveillance des Palestiniens ou Our Data Bodies, qui s’oppose aux technologies de surveillance sur les communautés pauvres et racisées américaines. Quand les Big Tech sont partout, c’est à chacun d’entre nous de résister, expliquent-ils en invitant à boycotter les plateformes, à éteindre ou déposer nos téléphones, comme le propose le Luddite Club des adolescents newyorkais. Mais nous devons aussi radicalement réimaginer la façon dont on utilise les données, comme nous y invite la penseuse argentine Veronica Gago, auteure de La puissance féministe, qui invite à s’extraire des zones d’extractivisme ou encore Ivan Illich qui nous invitait à construire une société conviale, faite d’outils responsables par lesquels les humains contrôleraient les technologies qu’ils utilisent.

Ils nous invitent d’ailleurs à nous défaire des réponses technologiques. Les solutions sont également sociales, politiques, culturelles, éducatives et légales… Et elles doivent se connecter aux gens et aux luttes. Mejias et Couldry nous invitent à travailler ces systèmes en demandant des droits et des régulations, comme l’a fait le RGPD en Europe. Il nous faut protester contre les pratiques extractivistes, oeuvrer avec les autorités pour exiger des transformations concrètes, oeuvrer avec d’autres organisations pour changer l’allocation des financements, exiger des sanctions et des boycotts, mobiliser les citoyens sur ces enjeux, soutenir la taxation des entreprises de la tech, exiger des garanties pour protéger les citoyens, comme le proposent People vs Big Tech. Mais il faut aussi oeuvrer contre les systèmes et développer de nouveaux outils politiques permettant de refuser le colonialisme sur nos données en œuvrant pour le développement de plateformes plus locales que globales. Si choisir un colonisateur national plutôt qu’un service global ne règle pas la question, Mejias et Couldry nous invitent à trouver les moyens de rendre l’extractivisme des données inacceptable. A la suite de Ben Tarnoff, ils nous invitent à imaginer comment nationaliser l’internet et développer à la suite des travaux de Trebor Scholz, des plateformes coopératives. Ils nous invitent à renverser le discours dominant en relayant les critiques à l’égard des systèmes algorithmiques, à partager les histoires édifiantes des victimes des calculs, et à soutenir les organisations qui œuvrent en ce sens. Ils nous invitent à redéfinir la frontière entre ce que nous voulons et ce que nous ne voulons pas. « La crise du colonialisme des données exige notre participation mais sans notre approbation consciente. Elle ne nous confronte pas à la disparition des glaciers ou des forêts tropicales (même si le colonialisme des données vient avec des coûts environnementaux très significatifs), mais à des environnements sociaux appauvris organisés dans un seul but : l’extraction de données et la poursuite du profit. Et c’est un problème, car résoudre la crise environnementale – et toutes les crises auxquelles nous sommes confrontés – nécessite une collaboration sociale renforcée. Si nos environnements sociaux sont contrôlés par les États et les entreprises, il y a un risque que nous soyons manipulés pour servir leurs intérêts plutôt que les nôtres, ce qui pourrait saper les politiques collectives dont nous avons réellement besoin ». C’est aux colonisés d’agir. Il n’y a rien à attendre des colonisateurs de données. « L’extraction de données est le dernier stade d’un projet qui vise à gouverner le monde dans l’intérêt des puissants. Il nous faut inventer un monde où la donnée est quelque chose que les communautés contrôlent pour les buts qu’elles ont elles-mêmes choisies ». L’IA ne nous sauvera pas. Elle n’est « qu’un mécanisme de plus pour continuer à faire de l’argent et pour transformer le monde en espaces impénétrables que nous ne comprenons pas et sur lesquels nous n’avons aucun contrôle » et qui agit sur nos chances d’accès à des ressources cruciales (prêts, éducation, santé, protection sociale, travail…). Les données discriminent. Les tisser dans des algorithmes et des systèmes toujours plus complexes qui amplifient les biais ne générera que des systèmes de pouvoir encore plus inégaux. Ces systèmes exigent notre transparence la plus totale alors qu’eux-mêmes sont de plus en plus opaques, comme le disaient Ryan Calo et Danielle Citron. Si nous ne démantelons pas ces structures de pouvoir, le colonialisme de données produira de nouvelles injustices, pas leur disparition.

*

Si les perspectives critiques que tirent Mejias et Couldry sont intéressantes, on reprochera néanmoins à leur essai d’être plus philosophique que pragmatique. Les deux chercheurs peinent à documenter concrètement la prédation dont nous sommes l’objet, alors que les exemples ne manquent pas. Leurs propositions conclusives donnent un peu l’impression qu’ils nous invitent à prolonger la lutte, sans documenter justement le coût de la connexion. Leurs recommandations s’inscrivent dans un dictionnaire des luttes bien établies sans parvenir à proposer des leviers sur lesquels celles-ci pourraient converger. Dans leur radicalité, on pourrait s’attendre à ce que leurs propositions le soient également, permettant de construire des objectifs plus ambitieux, comme l’interdiction de la collecte de données, l’interdiction de leurs croisements, l’interdiction des inférences et de la segmentation des publics… On aurait pu attendre d’un livre sur le pillage des données qu’il soit plus radical encore, qu’il nous invite à combattre « la traite » dont nous sommes l’objet par le rétablissement de nos droits, comme l’abolition de l’esclavage ou l’indépendance ont été les leviers décisifs permettant d’envisager de mettre fin au colonialisme. Mejias et Couldry nous offrent une métaphore qui ouvre des perspectives, mais qui semblent bien moins mobilisables qu’on l’attendait.

MAJ du 4/10/2024 : Sur Mais où va le web, Irénée Régnauld revient sur le livre de l’anthropologue Payal Arora, From pessimism to to promise, qui offre un contrepoint au technocolonialisme de Mejias et Couldry. « Pour beaucoup, la peur d’être anonyme et perdu est plus grande que celle d’être surveillé. »
17 September 2024
9:56
ChatGPT : le mythe de la productivité
sur Dans les algorithmes

« Pourquoi pensons-nous que dans l’art, il y a quelque chose qui ne peut pas être créé en appuyant sur un bouton ? » Les grands modèles de langage pourraient-ils devenir meilleurs que les humains dans l’écriture ou la production d’image, comme nos calculatrices sont meilleures que nous en calcul ? se demande l’écrivain de science-fiction Ted Chiang dans une remarquable tribune pour le New Yorker. Il y rappelle, avec beaucoup de pertinence, que l’IA vise à prendre des décisions moyennes partout où nous n’en prenons pas. Quand on écrit une fiction, chaque mot est une décision. Mais quand on demande à une IA de l’écrire pour nous, nos décisions se résument au prompt et toutes les autres décisions sont déléguées à la machine.

Chiang rappelle l’évidence. Que l’écriture, par la lecture, tisse une relation sociale. « Tout écrit qui mérite votre attention en tant que lecteur est le résultat d’efforts déployés par la personne qui l’a écrit. L’effort pendant le processus d’écriture ne garantit pas que le produit final vaille la peine d’être lu, mais aucun travail valable ne peut être réalisé sans lui. Le type d’attention que vous accordez à la lecture d’un e-mail personnel est différent de celui que vous accordez à la lecture d’un rapport d’entreprise, mais dans les deux cas, elle n’est justifiée que si l’auteur y a réfléchi. » Il n’y a pas de langage sans intention de communiquer. Or, c’est bien le problème des IA génératives : même si ChatGPT nous dit qu’il est heureux de nous voir, il ne l’est pas.
« Pourquoi l’IA ne fera pas d’art ». L’article de Ted Chiang pour le New Yorker.
« Comme l’a noté la linguiste Emily M. Bender, les enseignants ne demandent pas aux étudiants d’écrire des essais parce que le monde a besoin de plus d’essais d’étudiants. Le but de la rédaction d’essais est de renforcer les capacités de réflexion critique des étudiants. De la même manière que soulever des poids est utile quel que soit le sport pratiqué par un athlète, écrire des essais développe les compétences nécessaires pour tout emploi qu’un étudiant obtiendra probablement. Utiliser ChatGPT pour terminer ses devoirs, c’est comme amener un chariot élévateur dans la salle de musculation : vous n’améliorerez jamais votre forme cognitive de cette façon. Toute écriture n’a pas besoin d’être créative, sincère ou même particulièrement bonne ; parfois, elle doit simplement exister. Une telle écriture peut soutenir d’autres objectifs, comme attirer des vues pour la publicité ou satisfaire aux exigences bureaucratiques. Lorsque des personnes sont obligées de produire un tel texte, nous pouvons difficilement leur reprocher d’utiliser tous les outils disponibles pour accélérer le processus. Mais le monde se porte-t-il mieux avec plus de documents sur lesquels un effort minimal a été consacré ? Il serait irréaliste de prétendre que si nous refusons d’utiliser de grands modèles de langage, les exigences de création de textes de mauvaise qualité disparaîtront. Cependant, je pense qu’il est inévitable que plus nous utiliserons de grands modèles de langage pour répondre à ces exigences, plus ces exigences finiront par devenir importantes. Nous entrons dans une ère où quelqu’un pourrait utiliser un modèle de langage volumineux pour générer un document à partir d’une liste à puces, et l’envoyer à une personne qui utilisera un modèle de langage volumineux pour condenser ce document en une liste à puces. Quelqu’un peut-il sérieusement affirmer qu’il s’agit d’une amélioration ? »

« L’informaticien François Chollet a proposé la distinction suivante : la compétence correspond à la façon dont vous accomplissez une tâche, tandis que l’intelligence correspond à l’efficacité avec laquelle vous acquérez de nouvelles compétences. » Pour apprendre à jouer aux échecs, Alpha Zero a joué quarante-quatre millions de parties ! L’IA peut-être compétente, mais on voit bien qu’elle n’est pas très intelligente. Notre capacité à faire face à des situations inconnues est l’une des raisons pour lesquelles nous considérons les humains comme intelligents. Une voiture autonome confrontée à un événement inédit, elle, ne sait pas réagir. La capacité de l’IA générative à augmenter la productivité reste théorique, comme le pointait Goldman Sachs en juillet. « La tâche dans laquelle l’IA générative a le mieux réussi est de réduire nos attentes, à la fois envers les choses que nous lisons et envers nous-mêmes lorsque nous écrivons quelque chose pour que les autres le lisent. C’est une technologie fondamentalement déshumanisante, car elle nous traite comme des êtres inférieurs à ce que nous sommes : des créateurs et des appréhenseurs de sens. Elle réduit la quantité d’intention dans le monde. » Oui, ce que nous écrivons ou disons n’est pas très original le plus souvent, rappelle l’écrivain. Mais ce que nous disons est souvent significatif, pour nous comme pour ceux auxquels l’on s’adresse, comme quand nous affirmons être désolé. « Il en va de même pour l’art. Que vous créiez un roman, une peinture ou un film, vous êtes engagé dans un acte de communication entre vous et votre public ». « C’est en vivant notre vie en interaction avec les autres que nous donnons un sens au monde ».

Le philosophe du net, Rob Horning, dresse le même constat. Ces machines « marchandisent l’incuriosité », explique-t-il. « Les LLM peuvent vous donner des informations, mais pas les raisons pour lesquelles elles ont été produites ou pourquoi elles ont été organisées de certaines manières ». Ils permettent assez mal de les situer idéologiquement. Or, la recherche, l’écriture, permettent de construire de la pensée et pas seulement des résultats. A contrario, les solutions d’IA et les entreprises technologiques promeuvent le « mythe de la productivité », l’idée selon laquelle économiser du temps et des efforts est mieux que de faire une activité particulière pour elle-même. Le mythe de la productivité suggère que tout ce à quoi nous passons du temps peut-être automatisé. La production peut-être accélérée, sans limite. Les raisons pour lesquelles nous le faisons, la profondeur que cela nous apporte n’ont pas d’importance. Selon ce mythe, le but de l’écriture c’est de remplir une page, pas de réaliser le processus de réflexion qui l’accompagne… Comme si le but de l’existence n’était que de déployer des techniques pour gagner du temps. Pour Horning, ce n’est pas tant un mythe qu’une idéologie d’ailleurs, qui « découle directement de la demande du capitalisme pour un travail aliéné, qui consiste à contraindre des gens à faire des choses qui ne les intéressent pas, orchestrées de telles manières qu’ils en tirent le moins de profit possible ». Dans le travail capitaliste, le but est d’ôter la maîtrise des travailleurs en les soumettant aux processus de travail cadencés. La page de contenus est une marchandise dont la valeur dépend du prix payé pour elle, plutôt que de l’expérience de celui qui l’a produite ou de celui qui l’a consommée.

Pour les entreprises, l’efficacité est supérieure au but : elle est le but qui invalide tous les autres. Quand le but de l’art, de l’éducation ou de la pensée, est d’être confronté à l’intentionnalité, à la preuve irréfutable de la subjectivité, comme le pointe Chiang. « L’IA générative est la quintessence de l’incurie, parfaite pour ceux qui détestent l’idée de devoir s’intéresser à quoi que ce soit. »

Le problème, c’est que ces effets délétères ne concernent pas une production textuelle en roue libre qui serait limitée au seul monde de l’entreprise, où un argumentaire en remplacerait un autre sans que ni l’un ni l’autre ne soit lu. Les effets de cette productivité pour elle-même sont bien réels, notamment dans le monde scolaire, s’inquiétait récemment Ian Bogost qui estime que depuis le lancement de ChatGPT, nous sommes passé de la consternation à l’absurdité : des étudiants génèrent des devoirs avec l’IA que les enseignants font corriger par l’IA. Certes, bien sûr, tout le monde va devoir s’y adapter. Mais le risque est grand que ces technologies rendent caduc l’un des meilleur outil d’apprentissage qui soit : l’écriture elle-même.
9:46
L’IA va-t-elle élargir l’expertise ou la réduire ?
sur Dans les algorithmes

David Autor est l’un des grands experts du travail. Economiste au MIT, il est l’un des responsables du laboratoire de recherche sur l’avenir du travail. Le chercheur publie avec parcimonie, mais quand il s’exprime, cela vaut souvent le coup de s’y intéresser. Jusqu’à présent, Autor n’a pas toujours été tendre avec l’impact de la technologie sur le travail, montrant que celle-ci sert surtout à améliorer la rentabilité des entreprises et que l’automatisation et la mondialisation ont surtout servi à se débarrasser des travailleurs et à les remplacer par des travailleurs moins chers. Autor a dénoncé le risque d’une innovation sans emplois – notamment en contestant l’étude de Michael Osborne et Karl Benedickt Frey de 2013 qui estimait qu’une profession sur deux était menacée de disparition du fait de l’automatisation, Autor montrant que les effets de l’automatisation sont plus complexes.

Alors que de nombreuses perspectives que fait peser l’IA sur le travail semblent s’annoncer comme catastrophiques, tout le monde s’inquiétant d’un grand remplacement par les machines, David Autor, estime, au contraire et avec un certain optimisme, que l’IA pourrait nous aider à reconstruire la classe moyenne ! Si l’IA fait peser une réelle menace sur l’emploi, elle offre également la possibilité d’étendre l’expertise à un plus grand nombre de travailleurs, défend Autor, c’est-à-dire de faire monter en compétences plus de monde que ce n’était possible jusqu’alors !

Si la peur que l’IA nous pique nos jobs est légitime, c’est oublier que le monde industrialisé regorge d’emplois, rappelle-t-il. Et la pénurie de main-d’œuvre à venir, liée à la chute de la natalité, ne devrait pas remettre en cause le besoin de travailleurs, au contraire. « Ce n’est pas une prédiction, c’est un fait démographique. Tous ceux qui auront 30 ans en 2053 sont déjà nés et nous ne pouvons pas créer davantage de personnes qu’il n’y en a. À moins d’un changement massif de la politique d’immigration, les États-Unis et les autres pays riches manqueront de travailleurs avant qu’ils ne manquent d’emplois. »
L’IA, remède à l’automatisation ?
Certes, l’IA va bouleverser le monde du travail, mais pas comme le pensent Elon Musk ou Geoffrey Hinton, en mettant tout le monde au chômage ! L’IA va remodeler la valeur et la nature de l’expertise humaine, explique Autor. L’expertise, rappelle-t-il, fait référence aux connaissances et compétences requises pour accomplir une tâche particulière. Celle-ci a beaucoup de valeur quand elle est relativement rare et difficile à acquérir. Elle est la principale source de valeur au travail : les emplois qui nécessitent peu de formation ou de certification restent traditionnellement les moins bien rémunérés, contrairement à ceux qui en nécessitent beaucoup. Les domaines d’expertise évoluent à travers les époques technologiques. Les ingénieurs logiciels n’existaient pas jusqu’à ce que les innovations technologiques et sociales en créent le besoin.

Longtemps, la vision utopique de l’ère de l’information était que les ordinateurs aplaniraient les hiérarchies économiques en démocratisant l’information. N’importe qui accédant à un ordinateur pouvait désormais tout faire, tout accomplir… Pourtant, estime Autor, ce n’est pas exactement ce qui se produit. En fait, estime-t-il, l’information n’est qu’un apport à une fonction économique plus déterminante : à savoir la prise de décision, qui, elle, relève de l’élite des experts. « En rendant l’information et les calculs abondants et bons marchés, l’informatisation a catalysé une concentration sans précédent du pouvoir de décision et des ressources qui l’accompagnent dans les mains d’une petite élite experte ». Avec le numérique, une large strate d’emplois moyennement qualifiés se sont automatisés, notamment dans le travail de bureau ou le soutien administratif. Quant aux individus sans qualification, ils ont été relégués à des emplois de service non spécialisés et mal payés.

Pour Autor, l’IA nous offre la possibilité de contrecarrer le processus amorcé par l’informatisation, c’est-à-dire améliorer l’expertise du plus grand nombre. L’IA peut permettre à un plus grand nombre de travailleurs d’effectuer des tâches décisionnelles confiées jusqu’à présent à une petite élite. « Bien utilisée, l’IA peut aider à restaurer la classe moyenne du marché du travail qui a été vidée par l’automatisation et la mondialisation », soutient l’économiste. Si elle peut également rendre l’expertise redondante et les experts superflus, réduisant encore leur nombre, l’IA pourrait également démocratiser l’expertise, pour autant qu’on accompagne les utilisateurs. Pour les travailleurs possédant une formation et une expérience de base, l’IA peut les aider à tirer parti de leur expertise afin de pouvoir effectuer un travail à plus forte valeur ajoutée, comme le pointait l’étude d’Erik Brynjolfsson, Danielle Li et Lindsey Raymond sur l’usage de l’IA générative au travail, qui montrait que dans des centres d’appel, les gains de productivité de l’IA étaient nuls pour les agents les plus performants, mais maximum pour les moins productifs.

Certes, concède Autor, l’IA va certainement automatiser une part importante du travail existant et rendra certains domaines d’expertise existants inutiles. Mais, assure l’optimiste professeur, l’IA va également créer de nouveaux biens et services et de nouvelles demandes d’expertises. L’IA offre de nombreuses possibilités pour augmenter le nombre de travailleurs et améliorer le travail.
« L’IA pourrait aider à reconstruire la classe moyenne ». L’article de David Autor chez Noemag. L’expertise a longtemps été laminée par l’industrialisation et l’automatisation
Autor rappelle que jusqu’au XIXe siècle et le début de la production de masse, le savoir artisanal était vénéré. Et puis, l’industrialisation a tout changé. La production de masse s’est imposée par la force de sa productivité et les conditions de travail des travailleurs sont devenues dangereuses, pénibles, pour des salaires extrêmement faibles. Les petits ateliers de tisserands ont été laminés par l’industrie. Et il a fallu des dizaines d’années de luttes sociales avant que le niveau de vie de la classe ouvrière ne se sécurise peu à peu. A mesure que les outils, les processus et les produits de l’industrie gagnaient en sophistication, l’expertise des travailleurs a été peu à peu reconnue. Les ouvriers qui opéraient et entretenaient des équipements complexes avaient besoin de formations dédiées. Ce n’est pas un hasard si une fraction toujours croissante de la main d’œuvre est désormais dotée d’un diplôme d’études secondaires qui a contribué à construire ce que l’on a appelé la classe moyenne des pays industrialisés. Mais cette « expertise de masse », cette expertise « procédurale », des ouvriers qualifiés aux contremaîtres, a été peu à peu laminée par le développement de procédures toujours plus avancées et surtout par l’ère de la mécanique, de la robotique et de l’informatique, capables d’exécuter à moindre coût, de manière fiable et rapide, des tâches cognitives et manuelles codées dans des règles explicites et déterministes : des programmes. « Avant l’ère informatique, il n’existait essentiellement qu’un seul outil de traitement symbolique : l’esprit humain ». « Avant l’ère informatique, les travailleurs spécialisés dans les tâches de bureau et de production qualifiées incarnaient l’expertise de masse ». Ces procédés ont « érodé la valeur du savoir-faire de masse tout comme les technologies de la révolution industrielles ont érodé la valeur du savoir-faire artisanal ».

Toutes les tâches ne suivent pas des règles bien comprises et maîtrisables, toutes ne sont pas routinières, ne s’obtiennent pas en apprenant des règles mais plutôt en apprenant par la pratique, par essai-erreur, comme lorsqu’on apprend à faire du vélo. Avant l’IA, un programmeur devait spécifier toutes les étapes pour qu’un robot apprenne à faire du vélo. Désormais, le robot va apprendre par essai-erreur. De nombreux emplois bien rémunérés, avec un haut niveau d’expertise, nécessitent d’accomplir des tâches non routinières où la connaissance des règles ne suffit pas. « Semblables aux artisans de l’ère préindustrielle, l’élite des experts modernes tels que les médecins, les architectes, les pilotes, les électriciens et les éducateurs combinent leurs connaissances procédurales avec leurs jugements d’experts et, souvent, leur créativité, pour s’attaquer à des cas spécifiques, aux enjeux élevés et souvent incertains ». Les ordinateurs permettent aux professionnels de passer moins de temps à acquérir et à organiser des informations et plus de temps à interpréter et appliquer ces informations, c’est-à-dire à prendre des décisions… ce qui a augmenté la valeur du jugement professionnel des experts. A mesure que l’informatisation progressait, les revenus des experts ont augmenté.

Mais l’informatisation a eu également des impacts sur les travaux non experts : dans les métiers des services pratiques (entretien, soin, restauration…) peu rémunérés car exigeant peu d’expertise, pouvant être accompli avec une formation minimale. Si les ordinateurs ne peuvent pas encore accomplir ces travaux, ils ont augmenté le nombre de travailleurs en compétition pour obtenir ces postes, notamment par le déclassement des emplois d’expertise de masse dans les domaines de l’administration ou du travail de bureau. Plutôt que de produire un renouveau de l’expertise de masse, comme on l’a connu avec la révolution industrielle, l’informatisation l’a réduite et a conduit à une hausse des inégalités.
L’IA, une technologie d’inversion ?
Mais l’ère de l’intelligence artificielle est un point d’inflexion, estime David Autor. Avant l’IA, la capacité principale de l’informatique était l’exécution sans faille et presque sans frais de tâches procédurales et de routines. Les capacités de l’IA sont l’exact inverse, ce qui implique qu’elle ne soit pas fiable. Mais l’IA sait assez bien acquérir des connaissances tacites : elle apprend par l’exemple, sans instruction explicite. A l’instar d’un expert humain, l’IA peut créer des règles avec l’expérience qu’elle acquiert et prendre des décisions. Demain, quand ses capacités de jugements s’amélioreront, elle pourra encadrer les décideurs dans l’application de leurs jugements experts.

Pour l’instant, les décisions de l’IA se limitent à vous conseiller d’écrire tels mots plutôt que tels autres, mais il est probable que ces décisions soient de plus en plus importantes à mesure que ses performances progressent. Pour David Autor, ces perspectives devraient permettre à des travailleurs non experts de participer à des prises de décision à enjeux élevés, pour tempérer le monopole de décision des élites, médecins comme avocats par exemple. Pour lui, l’IA est une « technologie d’inversion », capable de fournir une aide à la décision sous forme d’orientations et de garde-fous, permettant à un grand nombre de travailleurs d’effectuer des tâches décisionnelles aujourd’hui confiés à des médecins, des avocats, des codeurs… Ce qui permettrait d’améliorer la qualité des emplois, de modérer les inégalités de revenus, tout en réduisant les coûts des services clés comme la santé, l’éducation ou l’expertise juridique.

La production de masse a réduit le coût des biens de consommation. Le défi contemporain consiste à réduire celui des services essentiels, comme la santé, l’enseignement supérieur ou le droit, monopolisés par des corporations d’experts très qualifiés. Les prix des soins de santé et d’éducation au cours des quatre dernières décennies ont augmenté de 200 et 600% par rapport aux revenus des ménages américains. L’expertise qui ne cesse de se complexifier, justifie certainement ce coût, mais l’IA a le potentiel de réduire ces coûts en réduisant la rareté de l’expertise. Autor prend l’exemple d’infirmières spécialisées qui peuvent administrer et interpréter des diagnostics, évaluer et diagnostiquer les patients et prescrire des médicaments. Entre 2011 et 2022, le nombre de ces infirmières spécialisées a explosé aux Etats-Unis et leur nombre devrait continuer à croître. Ces infirmières spécialisées sont nées dans les années 60 pour répondre à la pénurie de médecin. Outre une formation dédiée, c’est surtout la numérisation de l’activité de santé qui a permis aux infirmières spécialisées d’avoir accès à de meilleurs outils pour prendre de meilleures décisions. Pour Autor, à terme, l’IA pourrait venir accompagner nombre d’autres professions, pour les aider à effectuer des tâches expertes, que ce soit en complétant leurs compétences ou en complétant leur jugement.

Autor verse à son hypothèse trois études qui lui servent de preuve de concept. L’étude de Sida Peng de Microsoft Research qui montre que GitHub Copilot peut augmenter considérablement la productivité des programmeurs. Une autre étude auprès de spécialistes de l’écriture, comme des consultants, des responsables marketing ou des gens chargés de répondre à des demandes de subventions ou appels à projet qui a montré des améliorations significatives en vitesse et en qualité pour ceux qui ont pu utiliser des outils d’IA générative. « Les rédacteurs les moins efficaces du groupe ChatGPT étaient à peu près aussi efficaces que l’écrivain médian sans ChatGPT – un énorme saut de qualité. » L’écart de productivité entre les travailleurs s’est rétréci. Et bien sûr, l’étude de Erik Brynjolfsson dans les centres d’appels qui montrait également une forte amélioration de la productivité chez les salariés utilisant ces outils, notamment pour les travailleurs les plus novices et les moins qualifiés. « Les outils d’IA ont aidé les travailleurs novices à atteindre les capacités des agents expérimentés en trois mois au lieu de dix. » « Les taux de démission parmi les nouveaux agents ont également diminué considérablement, probablement en raison d’une moindre colère des clients dirigée contre eux dans les fenêtres de discussion. Grâce à l’outil d’IA, les travailleurs de support ont ressenti beaucoup moins d’hostilité de la part de leurs clients et également envers leurs clients. »

Dans ces trois cas, les outils d’IA ont complété l’expertise plutôt que de remplacer les experts. Cela s’est produit grâce à une combinaison d’automatisation et d’augmentation. L’IA a été utilisée pour produire des premières ébauches de code, de textes ou de réponses aux clients. Dans ces exemples, grâce à l’IA, les travailleurs les moins qualifiés ont pu produire un travail de qualité, plus proche de celui de leurs pairs les plus expérimentés et qualifiés. Mais ils ont aussi appliqué leur expertise pour produire le produit final tout en exploitant les suggestions de l’IA.

Le problème, c’est que ce n’est pas toujours le cas, rappelle Autor. Dans une autre expérience qui a mis l’expertise de l’IA au service de radiologues, la qualité de leurs diagnostics n’a pas été améliorée, notamment parce que les médecins avaient tendance à négliger les prédictions les plus fiables de l’IA et à faire confiance aux moins bonnes prédictions de la machine. Pour Autor, cela montre plutôt que les résultats de l’IA ne vont pas de soi et que toute la difficulté est de comprendre la qualité de ses performances. C’est-à-dire comprendre là où l’IA performe et là où elle est inutile voire nuisible. Comme le pointait une étude du Boston Consulting Group, « les gens se méfient de l’IA générative dans les domaines où elle peut apporter une valeur considérable et lui font trop confiance lorsque la technologie n’est pas compétente ».

Mais si l’IA déclenche une poussée de productivité dans de nombreux domaines, le risque n’est-il pas alors que nous nous retrouvions avec moins de personnes pour effectuer ces tâches, questionne Autor. Dans certains secteurs, le contraire pourrait être vrai, soutient Autor. La demande en santé, en code, en éducation… semble illimitée et va continuer à augmenter, notamment si l’IA en réduit les coûts. Dans certains domaines, la croissance de la productivité risque pourtant bien de conduire à une chute de l’emploi, convient pourtant le spécialiste, rappelant qu’en 1900, 35% des emplois américains étaient dans le secteur agricole, alors que celui-ci ne représente plus que 1% de l’emploi en 2022.

La grande majorité des emplois contemporains ne sont pas des vestiges de métiers historiques qui auraient jusqu’ici échappé à l’automatisation. Il s’agit plutôt de nouvelles spécialités liées à des innovations technologiques spécifiques qui n’étaient pas disponibles ou imaginables avant. Il n’y avait ni contrôleurs aériens ni électriciens avant que les innovations n’en fassent naître le besoin. De nombreuses professions sont nées également non pas d’innovations technologiques spécifiques, mais de l’augmentation des revenus.

« Face à une croissance démographique stagnante et à une part croissante de citoyens ayant dépassé la retraite depuis longtemps, le défi pour le monde industrialisé n’est pas un manque de travail mais un manque de travailleurs« . Pour Autor, l’IA peut nous aider à résoudre ce défi, en permettant à davantage de travailleurs d’utiliser leur expertise et d’augmenter les emplois à haute productivité tout en atténuant les pressions démographiques sur le marché du travail.
Substitution ou complémentarité ?
Si vous êtes bricoleur, vous passez certainement beaucoup de temps à regarder des vidéos sur Youtube pour apprendre à remplacer un interrupteur ou poser du placo. Ces vidéos ne sont pas utiles aux experts, bien souvent d’ailleurs, ce sont eux qui les produisent. Mais cela ne suffit pas toujours à faire tous les travaux nécessaires. « Plutôt que de rendre l’expertise inutile, les outils la valorisent souvent en étendant son efficacité et sa portée ». Même si l’IA est bien plus qu’une simple vidéo YouTube, son rôle dans l’extension des capacités des experts sera primordial, car l’exécution, la pratique, le jugement de l’expérience restent essentiels. L’IA ne permettra pas à des travailleurs non formés et non experts d’effectuer des tâches à enjeux élevés, mais devrait aider ceux disposant d’une base d’expertise à progresser, pour autant qu’elle soit conçue pour cela. Le risque majeur, estime Autor, c’est donc de mettre l’outil dans des mains non expertes – comme on le voit quand les élèves s’en saisissent.

Reste à savoir si les robots augmentés par l’IA pourraient demain nous remplacer. Autor en doute. Si l’IA va accélérer la robotique, l’ère où il sera plus rentable de déployer des robots pour effectuer des tâches exigeantes dans des environnements imprévisibles plutôt que dans des espaces étroitement contrôlés, semble encore lointaine. Pour Autor, les difficultés des voitures autonomes en sont un bon exemple. Certes, les robots savent conduire, mais l’environnement urbain très imprévisible montre que leur application concrète dans le monde réel est encore lointaine.
Entre l’aube et le crépuscule de l’expertise ?
« On pourrait objecter que je ne fais que décrire le crépuscule serein de l’expertise humaine », constate encore David Autor. Un avenir dans lequel le travail humain n’a aucune valeur économique fabrique un cauchemar, estime-t-il. Le risque est bien que l’IA rende caduque l’expertise humaine, comme la chaîne de montage a rendu caduque l’expertise artisanale.

L’innovation fournit de nouveaux outils qui sont souvent des outils d’automatisation. Les applications GPS ont rendu obsolète le fait de connaître par cœur les rues d’une ville et donc les outils peuvent rendre l’expertise des utilisateurs obsolète. Mais le contraire est tout aussi vrai. En l’absence de radars, les contrôleurs aériens devaient observer le ciel et les médecins sans outils peinent parfois à mobiliser leur expertise. Les outils du contrôleur aérien ont surtout créé de nouveaux types de travail d’experts. Les innovations ne produisent pas que de l’automatisation, estime Autor, bien souvent, elles ouvrent des perspectives et de nouvelles possibilités, elles génèrent de nouveaux emplois et de nouvelles formes d’expertises. L’IA automatisera et éliminera certaines tâches et en remodelera d’autres, générant de nouveaux besoins d’expertise.

Certes, rien n’assure que la création de nouveaux emplois compensera l’automatisation à venir et effectivement, les travailleurs dont l’expertise sera remplacée par l’IA ne seront pas les mêmes que ceux pour lesquels l’expertise sera augmentée.

Pour Autor, la perspective que l’IA vienne renforcer la classe moyenne est un scénario, pas une prévision. « L’histoire et les études démontrent que les technologies développées par les sociétés et la manière dont elles les utilisent – à des fins d’exploitation ou d’émancipation, d’élargissement de la prospérité ou de concentration des richesses – sont avant tout déterminées par les institutions dans lesquelles elles ont été créées et les incitations dans le cadre desquelles elles sont déployées. » La manière dont l’IA sera déployée dépend de choix collectifs et ce sont ces choix qui généreront gagnants et perdants. Ces choix affecteront l’efficacité économique, la répartition des revenus, le pouvoir politique comme les droits civils. Certains pays vont utiliser l’IA pour surveiller leurs populations, étouffer les dissidences, d’autres pour accélérer la recherche, aider les gens à développer leur expertise… « L’IA présente un risque réel pour les marchés du travail, mais pas celui d’un avenir technologiquement sans emploi. Le risque est la dévalorisation de l’expertise. Un avenir dans lequel les humains ne fournissent qu’un travail générique et indifférencié est un avenir dans lequel personne n’est un expert parce que tout le monde est un expert. Dans ce monde, la main-d’œuvre est jetable et la plupart des richesses reviendraient aux propriétaires de brevets sur l’intelligence artificielle. »

Pour Autor, la complexité de l’innovation ne se réduit pas à la seule dimension de l’automatisation, à une IA qui surpasse l’humain et qui deviendrait plus rentable qu’eux, comme le prophétisent nombre de spécialistes de l’IA. En fait, reproduire nos capacités plus rapidement et à moindre coûts n’a pas grand intérêt. L’enjeu est que ces nouveaux outils complètent les capacités humaines et ouvrent de nouvelles frontières de possibilités. L’IA nous offre l’opportunité d’inverser la dévalorisation de l’emploi et la montée des inégalités, estime Autor. « C’est-à-dire d’étendre la pertinence, la portée et la valeur de l’expertise humaine à un plus grand nombre de travailleurs. » L’enjeu est qu’elle pourrait permettre d’atténuer les inégalités de revenus, de réduire les coûts des services essentiels, comme la santé ou l’éducation, restaurer la qualité du travail. Cette perspective alternative n’est pas gagnée. « Elle est cependant technologiquement plausible, économiquement cohérente et moralement convaincante. Conscients de ce potentiel, nous devrions nous demander non pas ce que l’IA va nous faire, mais ce que nous voulons qu’elle fasse pour nous. »

*

Si le discours d’Autor est stimulant, il laisse de côté plusieurs points et notamment le principal : comment faire advenir l’IA qui renforce l’expertise plutôt que l’IA qui la prolétarise ? Et notamment quand, dans bien des métiers, l’informatisation et l’automatisation ont surtout produit de la précarisation et de l’intensification…
Capitalism matters
Dans la démonstration de David Autor, on comprend assez mal pourquoi l’IA ferait différemment de l’automatisation ? Le plus probable est bien que l’IA prenne des décisions à notre place, partout, tout le temps, quelle que soit notre capacité de jugement ou d’expertise. En tout cas, là où elle commence à être déployé, on voit bien qu’elle a tendance à accélérer les décisions et à les supplanter plutôt que les démocratiser. Le déploiement technologique a tendance à enlever des compétences plutôt qu’en ajouter, comme le montrait Madison Van Oort dans son livre sur le déclassement des vendeuses de la fast fashion. Le contexte économique, le capitalisme, la course à la rentabilité… ont tendance à reproduire les mêmes effets.

Pourtant, le propos d’Autor est stimulant parce qu’il n’est pas réducteur. Il montre qu’il y a plusieurs manières d’envisager l’usage de l’IA. Reste qu’on peut en pointer certaines limites. D’abord le fait que la rentabilité des développements techniques demeure primordiale, ce qui conduit la plupart des acteurs à utiliser l’IA pour réduire les coûts et à opter pour l’option du remplacement partout où cela semble possible. Ensuite, il y a un fort enjeu de fiabilité : pour qu’elle améliore l’expertise, encore faut-il que sa fiabilité soit plus forte qu’elle n’est. Or bien souvent, elle risque de dégrader l’expertise professionnelle en proposant de très mauvaises solutions. Des scientifiques en IA comme Melanie Mitchell nous avertissent que nous devons être extrêmement sceptiques quant aux affirmations selon lesquelles, par exemple, les LLM sont meilleurs que les humains pour les tâches de base. Et il semble, comme l’ont noté le spécialiste des sciences cognitives Gary Marcus et d’autres, que les modèles d’IA ne s’améliorent pas aussi rapidement que par le passé – ils pourraient en fait stagner. Si tel est le cas, bon nombre de ces modèles resteront bloqués à des taux de fiabilité incertains, ce qui est suffisant pour la génération de texte et d’images non critiques, mais rien sur lequel une entreprise sérieuse ne voudrait s’appuyer pour des documents importants ou des documents destinés au public.

Enfin, il reste une question qu’Autor semble éluder ou ne pas regarder. Une critique de l’étude d’Erik Brynjolfsson, menée par Ben Waber et Nathanael J. Fast a souligné que la performance des tâches dans les centres d’appel augmentés par l’IA est différenciée : elle diminue pour les employés les plus performants et augmente pour les moins performants. Une perspective qui n’est pas sans poser problème. Comment retenir alors les meilleurs employés ? Comment innover si les plus innovants sont déclassés ? Waber et Fast soulignent qu’on mesure très mal à ce stade les effets négatifs probables à long terme de l’utilisation des LLM sur les employés et processus internes. Le risque n’est-il pas que ces outillages viennent soutenir l’amélioration de la productivité des tâches à court terme, tout en menaçant la productivité à long terme ?
De l’impact de l’IA sur la productivité
La question de la productivité reste d’ailleurs problématique. L’économiste Robert Gordon montre depuis longtemps que les ordinateurs sont partout, sauf dans les statistiques de croissance économique. Les nouvelles technos n’ont pas amélioré la productivité, pourquoi en serait-il autrement de l’IA ? L’économiste Daron Acemoglu estime que les effets de productivité liée à l’IA au cours des 10 prochaines années seront modestes, mais pas insignifiants (environ 0,064% par an, bien moindre que les 1,5% par an que promettent les économistes de Goldman Sachs – étude). Dans le Financial Times, Acemoglu estime que cette amélioration pourrait être meilleure si l’IA était plus fiable qu’elle n’est, ce qui suppose une réorientation fondamentale du secteur. A défaut, l’IA risque surtout de continuer à élargir l’écart entre les revenus du capital et ceux du travail qu’à déjà élargit la numérisation… En tout cas, aucune preuve ne suggère qu’elle devrait permettre de réduire les inégalités ou de stimuler la croissance des salaires, insiste-t-il.

Certes, l’IA pourrait bien être utilisée pour aider les travailleurs à devenir plus informés, plus productifs, plus indépendants et plus polyvalents, comme l’explique Autor. « Malheureusement, l’industrie technologique semble avoir d’autres utilisations en tête », rappelait Acemoglu dans un autre article. Comme il le souligne dans son livre, Power and Progress (Basic Books, 2023, voir le compte-rendu d’Irénée Régnault), les grandes entreprises qui développent et déploient l’IA privilégient massivement l’automatisation (remplacer les personnes) à l’augmentation (rendre les personnes plus productives). Le progrès technique n’amène pas nécessairement au progrès humain, au contraire. Les technologies numériques se sont bien plus révélées « les fossoyeuses de la prospérité partagée » qu’autre chose. Il est toujours possible d’avoir une IA favorable aux travailleurs, mais seulement si nous parvenons à changer la direction de l’innovation dans l’industrie technologique et à introduire de nouvelles réglementations et institutions, rappelle Acemoglu.

Quant au rythme d’adoption de l’IA et de transformation qu’elle promet, il risque d’être bien plus incrémental que transformateur. Les économistes de l’OCDE soulignent que son adoption est très faible, moins de 5% des entreprises américaines déclarent l’utiliser. Les technologies à usage général précédentes, comme les ordinateurs ou l’électricité) ont mis en moyenne une vingtaine d’années à se diffuser pleinement… L’IA a encore un long chemin à parcourir pour atteindre des taux d’adoption élevés pour générer des gains macro-économiques. Enfin, comme l’explique l’économiste britannique Michael Roberts, l’IA sous le capitalisme n’est pas une innovation visant à étendre les connaissances humaines et à soulager l’humanité du travail. Pour les innovateurs capitalistes comme Sam Altman, l’innovation est d’abord une source de profits. Le journaliste Steven Levy pour Wired est également sceptique. Pour lui aussi, l’IA risque bien plus de concentrer le pouvoir économique qu’autre chose. Si les propos de David Autor sont stimulants, rien ne nous assure que l’IA puisse stabiliser l’égalité des revenus qu’il dessine.

En fait, la perspective plutôt stimulante que dresse Autor pose un problème de fond : comment la faire advenir dans un monde hypercapitaliste où l’IA n’est vue que comme un outil pour améliorer la rentabilité plutôt que comme un outil de développement des compétences ?
L’IA va-t-elle généraliser l’expertise ou la dégrader ?
Pour le journaliste Brian Merchant, auteur du livre Blood in the Machine, un livre sur la révolte luddite, il est peu probable que l’IA ne nous remplace, par contre cela n’empêchera pas les patrons d’essayer d’utiliser l’IA pour remplacer certains emplois, maintenir les salaires à la baisse et accélérer la productivité, bref chercher une excuse pour réduire les coûts ou paraître innovant. Mais pour Merchant, il n’y aura pas d’apocalypse à l’horizon. L’IA n’est ni meilleure ni plus performante que l’humain, par contre elle risque d’être « assez bonne » (good enough) pour se substituer à certaines tâches humaines. Mais si l’on file la métaphore de Merchant, les machines contre lesquelles se battaient les luddites permettaient de produire des vêtements certes moins chers, mais surtout de moins bonne qualité. Est-ce à dire que c’est ce qui nous attend avec l’IA générative ? Produire du texte et du code de moins bonne qualité, pour généraliser des produits numériques sans grande valeur ? Si c’est le cas, l’IA générative ne nous promet pas une généralisation de l’expertise, comme le prophétise Autor, mais son exacte contraire.

L’IA s’annonce perturbatrice pour des métiers créatifs et précaires, que ce soit des métiers des arts graphiques, de la rédaction, de la traduction, du marketing et de la relation client. Mais surtout, rappelle Merchant, ces gains d’efficacité que vont produire ces nouvelles machines vont profiter à ceux qui investissent sur celles-ci et à personne d’autre. Keynes, lui-même, estimait qu’à la vue de la courbe du progrès technique, ses petits-enfants ne travailleraient que 15h par semaine. C’est effectivement le cas. Nombre des emplois les plus précaires ne sont plus que partiels. Nombre de gens ne travaillent plus que 15h par semaine, mais ne gagnent pas assez pour en vivre. « L’erreur de Keynes a été d’ignorer avec quelle agressivité les élites s’empareraient des gains économiques réalisés grâce à toute cette technologie productive. » Il semble qu’Autor fasse la même erreur. Au final, les entreprises licencient préventivement et ouvrent des postes sous IA aux employés restants. Certes, le grand remplacement par les machines n’est pas encore là. Et il est probable que, dans un premier temps, le boom de l’IA produise de l’emploi, tout comme le boom de l’automatisation et de l’informatisation a produit de l’emploi du fait de la hausse de la demande pour ces produits, comme l’expliquait James Bessen dans son livre, The New Goliaths.

Mais, comme l’explique Merchant, l’IA risque surtout d’être appelée à compenser les pertes de productivité des licenciements à venir, pour le prix d’un abonnement mensuel à Copilot ou à ChatGPT ! Quant aux travailleurs qui restent, il vont devoir assurer une plus lourde charge de travail ! ChatGPT va vous donner plus de travail et pas nécessairement du travail intéressant. La grande inquiétude du remplacement par l’IA permet surtout de faire peser une menace renouvelée sur l’emploi.

Pour l’instant, le développement de l’IA vient impacter les métiers des cols blancs comme ceux des petites mains de la production de connaissances. Il vient raboter les rentes des métiers de la connaissance, comme le pointait l’économiste Daron Acemoglu. Une érosion qui pourrait même dissiper les gains de productivité de l’automatisation. Le déploiement d’une « IA capacitante » comme l’évoque les conclusions du rapport LaborIA, c’est-à-dire qui augmente les capacités de ceux chargés de l’utiliser, n’est pas acquise et risque de demeurer très marginale sans évolution de la logique hypercapitaliste.

Le risque, au final, n’est pas que l’expertise se déploie grâce à l’IA, mais au contraire se restreigne. Qu’elle soit confiée aux systèmes et enlevés aux humains, comme quand le marketing numérique engrange la connaissance des clients au détriment des vendeurs. C’est ce qu’explique le journaliste Tyler Austin Harper dans The Atlantic en se référant à un texte d’Illich critique sur l’essor des professions expertes venues déclasser nos inexpertises. Le grand enjeu consiste à remplacer l’expertise des experts par des systèmes experts. Nous voici entrés dans l’ère de « l’invalidation algorithmique » ou les machines sont là pour nous apprendre à être humains ou faire le travail humain à notre place tout en nous dépouillant de notre humanité. Comme disait sur X la traductrice Joanna Maciejewska, « Je veux que l’IA fasse ma lessive et ma vaisselle pour que je puisse faire de l’art et de l’écriture, pas que l’IA fasse de l’art et de l’écriture pour que je puisse faire ma lessive et ma vaisselle. » Ce qu’il nous faut comprendre, c’est pourquoi nous prenons le chemin inverse ?
10 September 2024
17:47
Réguler, réguler, réguler
sur Dans les algorithmes

La régulation se présente comme un nouvel art de gouverner, rappelle le politiste Antoine Vauchez dans l’introduction au livre collectif qu’il a dirigé, Le moment régulateur, naissance d’une contre-culture de gouvernement, parue dans l’excellente collection « Gouvernances », des presses de SciencesPo (également disponible sur Cairn). Désormais, on régule plus qu’on ne réglemente, c’est-à-dire qu’on oriente, on met en conformité, on corrige… Le droit s’équilibre de normes, d’outils, d’indicateurs qui s’écrivent à plusieurs, avec des autorités dédiées et plus encore avec les entreprises régulées elles-mêmes. Avec ses sanctions et surtout ses amendes, les bureaucraties gouvernantes semblent avoir trouvé là de nouvelles manières de faire de la politique, de nouvelles formes de puissances.

Le numérique a participé activement à la montée des instruments de régulations. Des regtechs aux outils de la compliance, en passant par la transparence et l’open government, la régulation semble s’armer d’une double modernité, technique et politique.

Mais l’Etat régulateur se construit également en opposition à l’État interventionniste et redistributeur. Il incarne la transformation d’un État providence en État libéral, qui doit désormais composer avec le secteur privé. La régulation semble un art de gouverner néolibéral, qui valorise l’auto-contrôle et qui s’appuie sur un ensemble d’autorités nées de la libéralisation des anciens secteurs des monopoles d’État, qui vont initier des rapports plus collaboratifs avec les régulés, au risque d’endormir bien souvent la régulation elle-même. La régulation va pourtant produire de nouveaux savoirs techniques : amendes, outils déontologiques pour organiser les rapports entre régulateur et régulé, indicateurs de conformité, bac à sable réglementaires et expérimentations permettant de déroger aux règles de droit pour stimuler l’innovation et trouver de nouvelles modalités de réglementations directement avec ceux qu’elles concernent. Pourtant, souligne le directeur de l’entreprise éditoriale, les structures publiques de la régulation restent d’abord des institutions faibles et fragiles, qui tentent de se présenter plus en arbitre qu’en gendarme, sans toujours réussir à être l’un comme l’autre.

L’ouvrage revient par exemple sur l’histoire de nombreux acteurs qui composent ce champ de la régulation qui vont naître avec la fin des entreprises monopolistiques d’État pour permettre à celui-ci de continuer ses contrôles, via de nouvelles contraintes pour régir la corruption, la concurrence, les données, les questions environnementales… L’État semble ouvrir une parenthèse faite de dialogue, de souplesse, de clémence (les amendes records annoncées, très visibles, sont cependant rarement payées et très souvent reportées via des appels en justice souvent suspensifs et des procès qui s’éternisent et qui vident bien souvent les décisions de leurs effets, comme l’explique très bien Yann-Antony Noghès dans son excellent documentaire sur la fabrication du DMA et du DSA européen). C’est le cas par exemple de la CNIL dont Anne Bellon et Pierre France montrent la transformation d’institution militante à une agence d’enregistrement de la conformité qui peine à exercer son pouvoir de contrôle et surtout de sanction.
Image : Les niveaux de plaintes, de contrôles et d’amendes prononcées par la CNIL depuis 2013. France Info.
L’ouvrage s’intéresse beaucoup aux personnes de la régulation, à la sociologie des régulateurs, pour montrer la grande porosité des acteurs. Dans un article sur Google, Charles Thibout, montre comment Google va investir le champ de la régulation pour tenter de mieux l’orienter et le subvertir à son profit, lui permettant de transformer et contourner le droit pour le transformer en « norme processuelle fonctionnelle ». L’ouvrage s’intéresse également aux modalités que la régulation met en place et notamment au développement et au déploiement des outils de la régulation avec les régulés. Les chercheurs soulignent que dans cet univers, le niveau de technicité est très élevé, au risque de produire une régulation professionnalisée, très éloignée des citoyens censés en bénéficier. Là encore, le numérique est un moteur fort de la régulation, non seulement parce qu’il en est l’un des principaux objets, mais aussi parce qu’il permet de développer des outils nouveaux et dédiés.

On regrettera pourtant que l’ouvrage regarde peu la réalité du travail accompli par ces agences et ces acteurs. Le livre observe finalement assez peu ce que la régulation produit et notamment ses impasses. A force d’insister sur le fait que la régulation est un changement de gouvernance, une vision moderne de celle-ci, l’ouvrage oublie de montrer qu’elle est peut-être bien plus dévitalisée qu’on ne le pense. Isabelle Boucobza évoque pourtant le brouillage qu’elle produit, en opposant finalement la protection des droits et libertés fondamentaux qu’elle mobilise, et la régulation de l’économie de marché sur laquelle elle agit. La régulation produit au final d’abord de l’efficacité économique au détriment de la protection des droits et libertés, subordonnant ces derniers à la première. La conformité, en structurant l’auto-régulation, permet surtout aux entreprises d’éviter les condamnations. A se demander en fait, si la régulation ne propose pas d’abord un contournement du droit, une clémence, qui vide la réglementation même de ses effets, à l’image de la difficulté de la CNIL à passer des plaintes, aux contrôles ou aux sanctions. En surinvestissant par exemple le reporting, c’est-à-dire le fait d’exiger des rapports, des chiffres, des données… la régulation semble bien souvent s’y noyer sans toujours lui permettre d’agir. Comme le montrent Antoine Vauchez et Caroline Vincensini dans leur article sur la compliance, la régulation démultiplie ses exigences (dans le domaine de la prévention de la corruption, elle exige codes de conduite, dispositifs d’alertes, cartographie des risques, évaluations des clients, contrôles comptables, de la formation, des sanctions internes, et un dispositif d’évaluation des mesures mises en place). Mais la démultiplication des pratiques pour montrer qu’on est en conformité ne s’accompagne d’aucun durcissement du contrôle ni des sanctions. La régulation produit surtout une « standardisation technique », une technicisation du régulateur.

Plus qu’une contre-culture de gouvernement qui proposerait de nouvelles méthodes qui seraient enfin agiles et puissantes, on peut se demander si au final, la régulation ne produit pas l’exact inverse. Comme le pointe Antoine Vauchez en conclusion, la régulation s’est développée en collant aux intérêts du secteur privé, « au risque de n’accorder aux intérêts diffus des causes citoyennes qu’une attention seconde ». Dans notre article sur l’AI Act (newsletter #8), on concluait sur les risques d’une réglementation qui ne protège ni les citoyens, ni les entreprises, c’est-à-dire une régulation qui produit des amendes, mais finalement peu de transformations des pratiques.
Image : Couverture du livre, Le moment régulateur dirigé par Antoine Vauchez.
17:35
Que peut vraiment la régulation ?
sur Dans les algorithmes

Dans le procès antitrust qui oppose depuis quatre ans Google au ministère de la Justice américain, le juge, Amit Mehta, a pris une décision (elle fait 300 pages), confirmant ce que nous avons tous sous les yeux depuis plusieurs années : Google est en situation d’abus de position dominante dans la recherche en ligne et la publicité, lui permettant de forcer l’usage de son moteur de recherche comme d’obliger à des tarifs sans concurrence dans les résultats de recherche sponsorisés. Le jugement montre comment Google a réussi à imposer partout son moteur de recherche, en payant des sommes conséquentes à Samsung, Apple ou Mozilla pour devenir le moteur de recherche par défaut. Pour le juge Mehta, Google a violé le Sherman Act, la loi antitrust vieille d’un siècle qui a notamment conduit à la dissolution de Standard Oil en 1910, ainsi qu’à la dissolution d’AT&T en 1982.

Même si Google a fait appel, l’entreprise risque de se voir imposer d’importants changements, explique très pédagogiquement Jérôme Marin dans CaféTech. Plusieurs scénarios sont possibles à ce stade. Les accords commerciaux pour imposer son moteur comme choix par défaut pourraient être interdits, ce qui risque, contre-intuitivement, de fragiliser certains acteurs parmi les plus fragiles, notamment Mozilla car l’accord financier passé avec Google pour qu’il soit le moteur par défaut de Firefox représente l’essentiel des revenus de la fondation.

Comme le souligne Ed Zitron, Il s’agit d’un moment important dans l’histoire de la Silicon Valley. Mais est-ce une réelle menace pour Google ? Certes, plus de la moitié des revenus annuels de Google proviennent de Google Search, soit plus de 175 milliards de dollars. Ce monopole explique en grande partie pourquoi l’expérience de recherche de Google est devenue aussi désastreuse – Zitron avait montré dans un précédent billet que le recul de l’efficacité des résultats de Google depuis 2019 étaient concomitants avec la nomination d’un gestionnaire à la tête du moteur venu développer les revenus au détriment de la qualité, corroborant l’entrée dans l’âge du cynisme des calculs que nous avions nous-mêmes pointés.
Marchés clos
Zitron évoque les nombreux combats actuels des régulateurs américains contre le développement de monopoles qui ont tendance à être considérablement renforcés par le numérique. La spécificité du numérique, rappelle-t-il, c’est que les entreprises possèdent à la fois les clients et ceux qui ont quelque chose à leur vendre. Le monopole de Meta sur les publicités d’Instagram ou de Facebook, comme sur ses algorithmes, lui permet de rendre ses produits moins performants pour vous montrer des publicités et d’augmenter leurs prix comme elle le souhaite. Et c’est la même chose sur toutes les plateformes. Meta l’a fait pour vendre la publicité vidéo aux annonceurs, assurant qu’elle fonctionnait bien mieux qu’elle ne le faisait, et est d’ailleurs poursuivi dans le cadre d’une class action par des publicitaires pour avoir falsifié leurs chiffres d’audience. « Sans concurrence, les plateformes ne sont pas incitées à agir honnêtement », rappelle Zitron. Même chose pour Apple qui a le monopole des applications autorisées sur son Apple Store (et le monopole des publicités). Au prétexte de « contrôler » l’expérience utilisateur, toutes les plateformes l’organisent et la ferment pour exercer leur domination sur tous : utilisateurs, développeurs, publicitaires… Les entreprises du numérique échafaudent toutes des monopoles et l’IA est une tentative pour en imposer de nouveaux (après ceux du Cloud), notamment en dominant les grands modèles que les autres services vont utiliser.

Les plateformes contrôlent toute la publicité sur leurs réseaux. « Google et Meta possèdent à la fois les produits et les services publicitaires disponibles sur ces produits, et définissent ainsi les conditions de chaque partie de la transaction, car il n’existe aucun autre moyen de faire de la publicité sur Google, Facebook ou Instagram. Il y a des entités qui se font concurrence pour le placement, mais cette concurrence se fait selon des conditions fixées par les plateformes elles-mêmes, qui à leur tour contrôlent comment et quand les publicités sont diffusées et combien elles vous seront facturées. » Et elles contrôlent également les données impliquées, c’est-à-dire à qui et comment elles les adressent sans permettre à leurs clients de savoir vraiment où elles ont été diffusées ni auprès de qui, comme l’explique parfaitement Tim Hwang dans Le grand krach de l’attention. « Elles sont à la fois l’entreprise qui vous vend l’espace publicitaire et l’entreprise qui l’audite », rappelle Zitron.
Un numérique sans monopole est-il possible ?
Le problème, estime Zitron, c’est qu’il est fort probable que Google comme Meta ne puissent pas fonctionner sans leurs monopoles – rien n’est moins sûr, si elles n’étaient pas en situation de monopole sur la publicité, leurs revenus seraient certainement moins élevés, mais cela ne signifie pas que le modèle ne soit pas soutenable. Ces plateformes génèrent des milliards de revenus publicitaires (les revenus publicitaires représentent 98% des revenus de Meta et 50% pour Google) dans des conditions de plus en plus délabrées, rendant les deux structures particulièrement fragiles (comparées à Microsoft ou Apple). Les grandes entreprises de la tech n’ont plus de marché en hypercroissance de disponibles, estime Zitron dans un autre billet, elles ne peuvent que faire de l’amélioration de produit, pour autant qu’elles ne les mettent pas à mal. Le risque donc, c’est qu’elles n’aient pas les moyens de continuer à croître à mesure que leurs marges de croissances se réduisent – pour Meta et Google, cela signifie que leurs entreprises pourraient avoir du mal à passer la prochaine décennie, prophétise un peu rapidement Zitron en oubliant leur très haut niveau de fortune. Chez Meta, le trafic est en berne. Et le monopole de Google sur la recherche pourrait être redistribué avec l’avènement de l’IA générative.

Mais la bonne question à se poser est certainement de savoir comment ces entreprises, si elles devaient ouvrir leur régie publicitaire, pourraient-elles donner accès à un réseau publicitaire alternatif, dont elles ne maîtriseraient plus les tenants et les aboutissants ? Pour l’instant, le jugement qu’a reçu Google est sans sanction (elles viendront peut-être après quelques appels et longues discussions visant à trouver des modalités de sanctions adaptées). Et il est probable que les juristes de Google parviennent à les édulcorer voire à faire annuler la décision… Google a les moyens d’une bataille sans fin, et il est probable que, comme Microsoft avant elle, elle parvienne a éviter le démantèlement. A la fin des années 80, Microsoft détenait 80% du marché des systèmes d’exploitation. Un succès qui ne s’est pas construit uniquement sur le fait que Microsoft avait de meilleurs logiciels ou de meilleures ressources. L’histoire a montré que Microsoft s’était entendu avec des fabricants de matériels pour qu’ils vendent des ordinateurs avec Windows. En 2000, la justice américaine avait demandé la scission de l’entreprise, l’une pour le système d’exploitation et l’autre pour les applications. Microsoft a fait appel. La condamnation a été suspendue pour vice de forme et l’entreprise a conclu un accord avec le ministère de la justice lui permettant d’échapper au démantèlement. C’était les premières d’une longue série de poursuites pour entrave à la concurrence de Microsoft. Des poursuites qui ont plutôt montré la grande fragilité des actions de régulation qu’autre chose.

Dans la perspective de Google, la séparation de Google Search et de sa plateforme publicitaire serait l’équivalent de la séparation de l’Eglise et de l’Etat, mais il probable que cette perspective ne se réalise jamais. Quand la commission européenne a forcé Apple à ouvrir la distribution d’applications à d’autres entreprises, Apple a répondu par un ensemble de règles qui contraignent les fournisseurs d’alternatives à céder un si fort pourcentage de leurs revenus, qu’elle les empêche de rivaliser en termes de prix comme de bénéfices. Il est probable que Google ne soit pas démantelé et que l’entreprise imagine une solution pour continuer son monopole sans finalement rien changer. Comme nous l’avions déjà constaté dans les batailles de la FTC pour réguler le marketing numérique, Zitron entérine le scénario d’une régulation qui n’arrive finalement pas à s’imposer.
Une régulation désabusée

Doctorow estime lui aussi que contraindre Google sera difficile. Il est probable que la justice impose des mesures correctives, mais ces mesures ont souvent peu d’effets, d’autant qu’elles obligent le régulateur à déployer une intense et coûteuse surveillance pour s’assurer de leur application. Il est probable également que la justice propose tout simplement à Google d’arrêter de payer d’autres entreprises pour imposer le monopole de son moteur voire de vendre son activité publicitaire. Mais le plus probable estime Doctorow, c’est que Google fasse comme IBM ou Microsoft, c’est-à-dire fasse traîner les choses par des recours jusqu’à ce que l’administration abandonne l’affaire suite à un changement politique. Doctorow regrette néanmoins que le juge estime, comme trop de gens d’ailleurs, que l’espionnage des utilisateurs pour faire de la publicité est justifiée tant que celle-ci est pertinente. Le risque finalement de ce jugement, c’est qu’il conduise à une démocratisation de la surveillance, bien au-delà de Google, s’inquiète Doctorow. Pour lui, briser Google ne devrait pas permettre à d’autres entreprises de se partager le marché de la surveillance publicitaire, mais y mettre fin.

Google a récemment annoncé, après avoir longtemps affirmé le contraire, qu’il ne supprimerait pas les cookies tiers, ces outils de surveillance commerciale qu’il voulait remplacer la privacy sandbox de Chrome qui aurait permis à Google d’être le maître de l’espionnage commercial au détriment de tous les autres. Cette suppression des cookies tiers au profit de sa seule technologie aurait été certainement jugée comme anticoncurrentielle. Mais garder les cookies tiers permet que les entreprises technologiques continuent de nous espionner, alors que nous devrions d’abord les en empêcher, estime Doctorow. Certains défenseurs de la publicité imaginent même qu’on attribue un identifiant publicitaire à chaque internaute pour mieux les pister et que grandes comme petites entreprises puissent mieux cibler leurs produits ! « Le fait que les commerçants souhaitent pouvoir scruter chaque recoin de notre vie pour déterminer la performance de leurs publicités ne justifie pas qu’ils le fassent – ??et encore moins qu’ils interviennent sur le marché pour faciliter encore plus l’accès des espions commerciaux sur nos activités ! » « Nous ne résolverons pas le monopole de Google en créant une concurrence dans la surveillance ». Se débarrasser du monopole de Google devrait surtout être l’occasion de nous débarrasser de la surveillance, estime-t-il. Nous n’en sommes pas du tout là.

Pour Ian Bogost, quelle que soit la décision du tribunal, il est probable que rien ne change pour les consommateurs comme pour Google. Google a déjà gagné. Lui aussi semble désabusé en rappelant que les condamnations à l’encontre de Microsoft n’ont rien changé. Windows est toujours le système d’exploitation dominant et Microsoft est plus dominant que jamais. Certes, il est probable que les pots-de-vin de Google pour soutenir la domination de son moteur cessent… Mais cela ne signifie pas qu’une concurrence pourra surgir demain. Les Gafams sont devenus trop puissants pour être concurrencés. On peut regretter que l’acquisition de la régie publicitaire DoubleClick par Google en 2007 n’ait pas été interdite, elle aurait pu empêcher ou retarder la mainmise de Google sur la publicité en ligne… Mais aujourd’hui, concurrencer Google est devenu bien difficile. Oui Google est en situation de monopole, mais il est probable que ce constat produise bien plus d’articles de presse que de changement dans la pratique réelle de la recherche en ligne.

Mêmes constats pour Paris Marx : plus de compétition ne suffira pas à démanteler le pouvoir de la Silicon Valley. Pour lui aussi, il est probable que les règles et contrôles se renforcent. Mais y’a-t-il pour autant une vraie volonté de remodeler l’industrie technologique ? Pas vraiment. « Les politiciens veulent un paysage technologique légèrement plus compétitif », mais ne souhaitent pas vraiment remettre en cause sa puissance.

Se conformer aux règles européennes est ennuyeux et coûteux, mais n’est pas menaçant pour les entreprises, explique clairement Christina Caffarra pour Tech Policy Press. Non seulement les règles européennes ne changent pas vraiment la donne technologique des grandes entreprises américaines, mais elles n’améliorent pas non plus la position, la productivité ou l’innovation des entreprises européennes. Les Gafams ont « réduit internet à une collection de points d’accès propriétaires que nous, Européens, ne possédons ni ne contrôlons, et dont nous sommes profondément dépendants. » Que se passera-t-il lorsque (et non si) l’infrastructure sur laquelle nous comptons, mais que nous ne possédons pas actuellement, devient hostile ? Des services sont déjà refusés aux consommateurs européens au motif que l’environnement réglementaire est trop incertain (comme quand Meta et Apple annoncent qu’ils ne lanceront pas certains services d’IA en Europe). Et cela va probablement empirer, comme le soutiennent les politistes Henry Farrell et Abraham Newman dans Underground Empire: How America Weaponized the World Economy ou la parlementaire européenne Marietje Schaake dansThe Tech Coup: How to Save Democracy from Silicon Valley. Comment croire que nous puissions développer la croissance et l’innovation depuis des entreprises dont la capacité à fonctionner est totalement à la merci des grands acteurs de la Silicon Valley ? Pourtant, pour l’instant, c’est en Europe que Google a connu le plus de difficultés. L’entreprise s’est vue infligée plus de 8 milliards d’amendes dans 3 affaires (liée à son système d’exploitation mobile Android, son service d’achat en ligne et son activité publicitaire). Mais Google a fait appel dans chacune…
Un démantèlement politique ?
Pour la journaliste du New York Times, Julia Angwin, « démanteler Google n’est pas suffisant »…. Car démanteler Google n’aurait que peu d’impact sur la distribution des résultats de recherche. Cela ne permettrait pas de favoriser la création de moteurs concurrents que Google a empêché par ses pratiques. Pour la journaliste, nous devrions également briser le monopole de Google sur les données de requêtes de recherche. Même Bing, le seul rival, ne peut pas concurrencer la force de Google. Il faut 17 ans à Bing pour collecter une quantité de données équivalente à celle que Google collecte en 13 mois.

Pour obtenir de meilleurs résultats, nous devons favoriser l’innovation dans la recherche, estime Angwin. Et l’un des moyens d’y parvenir est de donner aux concurrents l’accès aux données de requêtes de recherche de Google (avec la difficulté que les utilisateurs pourraient ne pas être tout à fait d’accord avec l’idée de partager leurs données avec de nombreux autres moteurs… sans compter que cette solution ne résout pas celle du coût pour développer des moteurs à impacts mondiaux dans un univers où la prédominance de Google continuerait). Certes, Google dispose déjà d’une API qui permet aux développeurs d’accéder aux données de recherche, mais les règles d’utilisation sont trop contraignantes pour le moment. Ces accès permettraient aux concurrents de proposer des moteurs de recherche capables de proposer des options différentes, valorisant la confidentialité, le commerce ou l’actualité…

Angwin évoque par exemple Kagi, un moteur de recherche sur abonnement (10 $ par mois), sans publicité, qui permet de personnaliser les résultats ou de les trier par exemple en fonction des changements des pages web. Elle rappelle que si le spam est si omniprésent, c’est d’abord parce que tout le monde tente de subvertir les résultats de Google qui optimise le monde pour ses résultats de recherche plus que pour ses lecteurs. Dans une étude récente sur la qualité des résultats de Google, les chercheurs soulignaient qu’il était de plus en plus difficile d’évaluer la qualité des résultats car « la frontière entre le contenu bénin et le spam devient de plus en plus floue ». Si la diversité des moteurs était plus forte, s’ils proposaient des fonctionnalités plus variées, peut-être pourrions-nous avoir un web plus optimisé pour les lecteurs que pour le spam, imagine Angwin, un web plus décentralisé, comme il l’était à l’origine !

Le plus étonnant finalement, c’est que désormais, ce n’est plus tant la gauche démocrate qui pousse l’idée d’un démantèlement que l’extrême droite républicaine. Comme le raconte le journaliste François Saltiel dans sa chronique sur France Culture, c’est le colistier de Trump, J.D. Vance, qui est l’un des plus ardents promoteurs du démantèlement de Google ou de Meta. Derrière sa motivation à favoriser l’innovation, « ce désir de démantèlement initié par le camp trumpiste a également des airs de règlement de compte ». Pour les trumpistes, Google comme Facebook seraient trop démocrates et sont régulièrement accusés de censurer les propos de l’alt-right. Pour eux, l’enjeu n’est pas tant de limiter les monopoles et ses dangers, mais de punir ceux qu’ils considèrent comme n’étant pas du même avis politique qu’eux. Comme l’explique Ben Tarnoff, la perspective d’un démantèlement s’aligne aux intérêts du patriciat technologique du capital-risque qui semble plus trumpiste que les entrepreneurs de startups, notamment parce que le démantèlement des Gafams permettrait de relancer une course aux investissements technologiques en berne.
Régler le curseur de la régulation
Alors que d’un côté, beaucoup semblent regretter par avance que le démantèlement de Google n’aille pas assez loin, de l’autre, beaucoup estiment que le blackout de X au Brésil, lui, va trop loin. En avril, le juge à la Cour suprême du Brésil, Alexandre de Moraes, a demandé à X de supprimer des comptes de militants pro-Bolsonaro qui remettaient en question les résultats du vote ou en appelaient à l’insurrection. Alors que normalement l’entreprise répond régulièrement aux demandes de gouvernements en ce sens (d’ailleurs, contrairement aux déclarations d’Elon Musk à l’encontre de la censure, l’entreprise se conforme à ces décisions bien plus qu’avant, comme le montrait une enquête de Forbes), pour une fois pourtant, X s’y est opposé et Musk en a même appelé à la destitution du juge, rappelle Paris Marx. Bien évidemment, les choses se sont envenimées, jusqu’à ce que le juge décide fin août de débrancher X au Brésil, suite aux refus de l’entreprise de se conformer aux décisions de la justice brésilienne.

La question reste de savoir si la justice est allée trop loin, questionne le New York Times. L’équilibre n’est pas si simple. « En faire trop peu c’est permettre aux discussions en ligne de saper la démocratie ; en faire trop, c’est restreindre la liberté d’expression légitime des citoyens ». Pour Jameel Jaffer, directeur exécutif du Knight First Amendment Institute de l’Université de Columbia, ce blackout est « absurde et dangereux ». Couper l’accès à un réseau social utilisé par 22 millions de Brésiliens pour quelques comptes problématiques semble disproportionné, d’autant plus que les gouvernements non démocratiques pourront désormais prendre l’exemple de gouvernements démocratiques pour justifier des actions de coupure de réseaux sociaux. Mais qu’était-il possible de faire alors que X n’a cessé de bafouer plusieurs ordonnances judiciaires ? Le juge brésilien a lui-même éprouvé la difficulté à imposer le blackout de X. En coupant X, il a demandé à Apple et Google d’empêcher le téléchargement d’applications VPN permettant de contourner le blackout brésilien et a menacé de lourdes amendes les brésiliens qui contourneraient l’interdiction, alors que la fermeture du réseau a suffi à le rendre en grande partie inopérant. La cour suprême du Brésil vient de confirmer le jugement de blocage de X, rapporte le New York Times, mais peine à définir jusqu’où ce blocage doit s’exercer. Dans le monde numérique, le fait que les contournements soient toujours possibles, rendent l’effectivité des actions légales difficiles. Le blackout est certainement suffisamment démonstratif pour qu’il n’y ait rien à ajouter. L’interdiction totale de X pour une poignée de comptes qui n’ont pas été fermés semble disproportionnée, mais cette disproportion est bien plus le reflet de l’intransigeance à géométrie variable d’Elon Musk qu’autre chose. Si Musk veut se comporter de façon irresponsable, c’est à lui d’en assumer les conséquences.

Reste que l’exemple montre bien les difficultés dans lesquelles s’englue la régulation à l’heure du numérique. Ce n’est pas qu’une question de souveraineté, où les entreprises américaines sont capables de coloniser et d’imposer au monde leur conception de la liberté d’expression, mais il semble que ces stress tests interrogent profondément la capacité à réguler des acteurs numériques surpuissants. Paris Marx a raison : les plateformes vont être soumises à une réglementation plus forte qu’elles ne l’ont été jusqu’à présent. Le problème, c’est que cette régulation va devoir aussi trouver des modalités d’applications adaptées pour parvenir à changer le numérique… qui seront d’autant plus difficiles à imposer dans un contexte de plus en plus politisé et radicalisé. Reste qu’il va être difficile pour les régulateurs de se confronter à des entreprises qui ne souhaitent pas se conformer à la loi, remarque Bloomberg, que ce soit au Brésil ou aux Etats-Unis aujourd’hui, ou en Europe demain. Que ce soit par l’affrontement direct, comme l’impose Musk, ou par le contournement de l’épuisement des recours légaux qu’envisage Google.
03 September 2024
16:57
Vers le retour de la transparence des traitements ?
sur Dans les algorithmes

C’est apparemment une première qui servira certainement de modèle à de nombreuses collectivités. Le département d’Ile-et-Vilaine publie une liste de 91 traitements algorithmes qu’elle utilise ! Visiblement, le département est le premier à se conformer à la loi Pour une République numérique et à publier un registre dédié.

Pour chaque traitement, la liste indique la finalité, le degré d’automatisation (de 1 à 3, c’est-à-dire de faible à fort), une indication de la maîtrise que la collectivité a du système, l’impact sur le public, le niveau d’explicabilité, le public concerné, les données concernées, le nombre de décision annuelles prises avec l’algorithme… Ce qui est très intéressant également, c’est de constater le large champ couvert par ces systèmes, allant de l’attribution d’ordinateurs aux personnels, à la voirie, au social, en passant par le logement social, la maintenance… On constatera que beaucoup de systèmes prennent très peu de décision par an.

Reste que pour l’instant les algorithmes eux-mêmes ne sont pas accessibles… ce qui ne permet pas leur inspection par les usagers, afin d’être sûr qu’ils font bien ce qu’on attend d’eux !

On espère que la publication de ce registre mette fin à la panne de l’ouverture des traitements que nous constations en début d’année.
Exemple d’une fiche du registre qui montre les différentes catégories de classement des traitements.
14:47
Vers une surveillance au travail sans limite
sur Dans les algorithmes

La surveillance des comportements et l’accélération des cadences jusqu’à leurs limites ?
Vous avez certainement vu passer cette vidéo dans vos flux. C’est une image vidéo de l’intérieur d’un café où un système de reconnaissance d’image analyse différents éléments, comme le temps d’attente des clients, le nombre de cafés que servent les vendeurs ou le fait que les tables soient propres. Des systèmes de ce type, développés par Hoptix ou Neurospot, se proposent de surveiller les employés et leurs comportements, mais également affirment être capables d’analyser les conversations entre serveurs et clients, par exemple pour détecter le nombre de fois où ils proposent aux clients des suggestions supplémentaires à leurs commandes pour les convertir directement en bonus sur leurs fiches de paye. Les logiciels promettent de suivre la préparation de commande, leur rapidité, la gestion de la clientèle. Neurospot propose même aux patrons de recevoir « des alertes instantanées lorsqu’une insatisfaction client est détectée », s’énerve Contre-Attaque.
Image : capture d’écran d’une vidéo de surveillance d’un café par Neurospot qui montre le temps que les clients passent à leur place et le nombre de cafés que servent les employés.
Comme dans tous les autres secteurs, la collecte de données au travail procède toujours d’une justification positive. Elle est accomplie pour comptabiliser les heures travaillées, quantifier le travail, s’assurer du respect des délais, améliorer la facturation… D’un côté, les entreprises cherchent à augmenter leur collecte de données personnelles pour améliorer la sécurité au travail par exemple, de l’autre les travailleurs suspectent que ces nouvelles collectes permettent une surveillance et un cadencement accru quand ce n’est pas une utilisation punitive, comme c’est déjà le cas dans la logistique pour ceux qui ne suivent pas les cadences. C’est ce qu’expliquait la journaliste Anna Kramer pour le défunt site d’information Protocol, en revenant sur le développement d’outils de surveillance des postures, qui peuvent effectivement identifier les mouvements à risques, mais qui risquent surtout de renvoyer les employés à leurs responsabilités pour mieux soustraire l’entreprise à ses propres responsabilités.

En fait, en matière de sécurité au travail, l’évidence rappelle surtout que le corps humain n’est pas conçu pour répéter à un rythme rapide les tâches requises par de nombreux emplois de la logistique. Pourtant, avec des appareils de mesure des postures, comme StrongArm ou Modjul qui commencent à coloniser les entrepôts de Walmart et d’Amazon, la question de la sécurité au travail devient un score que les employés doivent respecter, quand ils ne sont pas renvoyés à une forme de compétition entre eux. Les outils d’analyses intégrés fournissent une mine de données granulaires sur chaque travailleur en surveillant les mouvements, les inclinaisons, les torsions, les portages que chacun accomplit. Le problème est que ces données pourraient aider les entreprises à se soustraire à leurs responsabilités et à accabler les travailleurs individuellement. Par exemple en poussant les entreprises à se séparer des travailleurs les moins sûrs ou ceux dont les scores sont mauvais et qui risquent de se blesser, plutôt que d’avoir à revoir leurs protocoles et cadencements. Pour les responsables de StrongArm ou de Modjul, ces données ne doivent pas être utilisées de manières punitives, mais doivent permettre d’identifier les emplois et postes qui posent problèmes pour les améliorer. Or, rien dans leur usage n’assure que les entreprises ne les utiliseront pas pour accabler les travailleurs. Les blessures dans les entrepôts d’Amazon, pourtant très automatisés, sont élevées et n’ont cessé d’augmenter ces dernières années (6 à 9 blessures pour 100 employés chez Amazon contre 3 à 4 pour 100 employés chez Walmart). Reste que si votre travail vous oblige à vous pencher pour être réalisé, un appareil vibrant n’y changera rien. C’est la tâche et le poste de travail qu’il faut revoir où les situations où les gens ont tendance à être en difficulté.

Pour Debbie Berkovitz, experte en protection des salariés, ces appareils ne font qu’informer de ce que ces entreprises savent très bien : elles connaissent déjà les personnes qui ont des douleurs et les postes qui génèrent des douleurs et des blessures. Pour l’ergonome Richard Gogins, le problème n’est pas nécessairement les mauvais mouvements et les mauvaises positions, c’est souvent les objectifs élevés et les cadences trop fortes qui poussent les gens à faire de mauvais mouvements.

Dans trop de situations encore, finalement, quand un employé se blesse, c’est trop souvent sa responsabilité qui est convoquée plus que celle de l’employeur. Les douleurs générées par le travail restent bien plus souvent prises en charge par la collectivité et les individus que par l’entreprise qui les provoque, comme le soulignait l’excellente enquête du journaliste Jules Thomas pour Le Monde, qui rappelait que les accidents du travail sont d’abord la réalité persistante de la dégradation du travail. La précarité, le manque de prévention dans nombre de secteurs qui paraissent peu propices aux accidents graves viennent renforcer leur invisibilisation, du fait de leur sous-déclaration. Une sous-déclaration qui est à la fois le fait des entreprises, mais également des salariés précarisés. Reste que quand les employés sont abîmés par le travail, c’est d’abord eux qui en supportent les conséquences, d’abord et avant tout en ne pouvant plus accomplir ce travail. Les risques professionnels sont profondément liés à l’intensification, rappelle le sociologue Arnaud Mias qui souligne, lui aussi, que le travail devient insoutenable par déni de diversité du fait de la standardisation des indicateurs. En comparant tous les employés entre eux, la moyenne de leurs performances à tendance à discriminer ceux qui s’en éloignent. A terme, le risque est que les données favorisent le stakhanovisme. La compétition entre travailleurs qu’induit la surveillance des indicateurs de productivité risque de favoriser l’exclusion de tous ceux qui n’entrent pas dans la course parce que trop vieux, trop faibles… Le pilotage par les indicateurs de productivité risque de renforcer partout les discriminations.
Si facile, si pratique ! Une surveillance institutionnalisée en roue libre !
Le problème est que la surveillance des employés, démultipliée par les innombrables outils du panoptique numérique disponibles, semble être devenue un champ de développement du contrôle sans plus aucun obstacle, sans plus aucune limite. Pourquoi ? Ce n’est pas seulement parce que « la surveillance est le business model du numérique », comme disait Bruce Schneier. Mais plus encore parce que les outils la rendent possible et incroyablement facile !

C’est ce qu’explique le chercheur Wolfie Christl qui, via le laboratoire Cracked Lab, enquête sur la montée de la surveillance au travail en observant simplement les fonctionnalités proposées par les outils numériques que les entreprises utilisent. Il vient de produire une étude sur Dynamics 365, une suite d’applications de Microsoft qui permet de construire des applications pour surveiller les travailleurs de terrain, comme les réparateurs, les agents de sécurité, de nettoyage, les aides à domicile… Christl montre que le système applicatif permet de structurer, diriger et microgérer le travail, en l’alignant sur des processus strictement cadrés et définis qui vont de la surveillance des déplacements en passant par le contrôle des tâches ou du comportement, jusqu’à la synthèse d’indicateurs qui permettent d’évaluer l’ensemble et de les comparer aux résultats des autres employés. Le système permet même de gérer des alertes si les processus ne sont pas respectés où si le salarié s’éternise. Chaque tâche peut-être spécifiée selon des instructions et des durées… Et les applications peuvent générer des plannings qui se mettent à jour à la demande, en tenant compte de la disponibilité, de l’emplacement, des temps de trajet prévus et des profils de compétences des travailleurs, ainsi que de l’historique des travailleurs ou de la satisfaction des clients. Bien sûr, tous ces développements sont facultatifs, mais les fonctionnalités s’entremêlent pour créer des possibilités de suivi accrues. Si la localisation peut-être désactivée par exemple, Microsoft recommande cependant de l’utiliser et même de l’enregistrer toutes les « 60 à 300 secondes », puisque cette localisation va être utile pour nombre de calculs : durées, trajets, plannings… Pour le chercheur, les processus standardisés, les objectifs de performance rigides et la planification automatisée risquent d’intensifier le travail sans limites. Wolfie Christl parle de « fouets numériques »pour évoquer le développement d’un rapport soumis aux indicateurs, tant des patrons que des employés. Mais dans cette vision moderne de l’esclavage, quand l’employé se rebelle contre les capteurs, il est renvoyé à son utilisation individuelle, comme quand il jette la commande vocale qui siffle ses ordres à son oreille, il n’a plus le moyen d’abattre le système qui le dirige.

Un autre rapport du chercheur étudie le développement des logiciels de points de vente dans les magasins de détails, les restaurants et les hôtels. Là encore, le suivi de performance s’étend jusqu’au contrôle comportemental. Sur les tableaux de bords d’indicateurs, les employeurs peuvent classer les travailleurs « du meilleur au pire », identifier les « moins rentables » et prédire leur productivité future. Ces systèmes disent être capables de prévenir la fraude et peuvent placer des employés sur des listes de surveillance. Ils peuvent répartir les tâches automatiquement, sous minuteurs, avec d’innombrables alertes pour mettre la pression. La logique industrielle du taylorisme de la chaîne de montage colonise toutes les professions, conclut le chercheur. Mais les systèmes sont encore loin d’être parfaits, souligne-t-il. Bien souvent, les enregistrements défectueux et les tâches non documentées conduisent à des problèmes qui renvoient à la responsabilité de l’employé plus qu’à celle des systèmes. Quand la machinerie défaille, c’est le comportement de l’employé qui est pointé du doigt par la machine : c’est toujours lui dont la performance est dégradée et enregistrée comme problématique. Christl remarque encore que ces logiciels sont certes configurables. Les employeurs peuvent décider de les utiliser de manière plus ou moins intrusive, par exemple en ne faisant pas s’afficher les minuteurs (ce qui ne signifie pas que les tâches ne sont pas chronométrées). Mais ils peuvent également les rendre plus intrusives, en les intégrant à un logiciel RH ou en exportant les données vers d’autres plateformes d’analyses. Le panoptique est un espace de réglage en boucle sur lui-même, très simple à mettre en place.
Image : exemple d’un tableau de productivité d’employés travaillant dans une chaîne de restaurant. Via Cracked Labs.
Ce que montrent les enquêtes du chercheur en observant les outils mis à disposition des employeurs, c’est qu’ils institutionnalisent la surveillance pour produire des métriques, des ratios, des indicateurs pour piloter la productivité de l’activité. La surveillance est normalisée, inéluctable. Et son accélération également, puisque de meilleurs indicateurs produiront nécessairement une meilleure productivité, qu’importe si cela passe trop souvent par des indicateurs défaillants.

Outre les défaillances des systèmes, le panoptique de surveillance élargit également les possibilités d’abus, explique Christl dans un nouveau rapport. Rien n’est plus facile désormais que d’espionner les employés, réprimer la dissidence, appliquer une surveillance excessive ou imposer des mesures disciplinaires arbitraires. En permettant un accès à une grande étendue de données, l’asymétrie de pouvoir entre les organisations et les employés s’agrandit… au risque d’une surveillance sans plus aucune limite.
Image : un tableau de bord qui classe les employés à risque selon leur activité.
Via Cracked Labs. Vers le « despotisme à la demande » : la surveillance est la conséquence de la dégradation de l’emploi !
Dans son livre, Temporaire : comment Manpower et McKinsey ont inventé le travail précaire (Les arènes, 2021), Louis Hyman, avait montré que l’invention du travail intérimaire puis temporaire était une entreprise idéologique. Peu à peu, pour les entreprises, la stabilité de l’emploi est devenu un problème plutôt qu’un but. L’invention du contrat à durée déterminée (CDD) en 1979 en France n’était pas qu’une solution à la crise économique. Il marque aussi le début d’une dérégulation des conditions de travail qui ne va pas cesser de s’accélérer avec la montée de l’externalisation, la micro-entreprise, les contrats zéro-heures, l’ubérisation…  Pour caractériser cette montée d’un travail temporaire de plus en plus flexible, le sociologue Alex J. Wood parle quant à lui de « despotisme à la demande ». Dans son livre éponyme (Cornell University Press, 2020, non traduit), le sociologue ne parle pas beaucoup des outils numériques visiblement, il observe seulement l’impact qu’ont eu les horaires flexibles et le temps partiel sur la disciplinarisation des travailleurs. La disparition de la sécurité qu’offrait un travail à temps plein a conduit les travailleurs précaires à se discipliner pour obtenir leurs quotas d’heures. Pour obtenir les heures promises, ils doivent accepter les contraintes qui vont avec, comme les horaires fragmentés et une disponibilité à la demande, en temps réel. Wood montre d’ailleurs que les employés qui se soumettent le mieux aux injonctions sont aussi ceux qui obtiennent, en récompense, les meilleurs horaires. La précarisation renforce l’autoritarisme des organisations.  La sociologue Madison Van Oort dans son livre, Worn out : how retailers surveil and exploit workers in the digital age and how workers are fighting back (Épuisé : Comment les détaillants surveillent et exploitent les travailleurs à l’ère numérique et comment les travailleurs ripostent, MIT Press, 2023, non traduit) dresse le même constat en observant l’impact de l’outillage numérique dans les enseignes de la Fast Fashion, comme H&M ou Zara. Elle montre que, là aussi, les employés travaillent à la demande, notamment depuis des applications de planning automatisées profondément imprédictibles et qui font peser sur leurs épaules toute l’insécurité de l’emploi.
Image : couverture du livre de Madison Van Oort, Worn out.
Les technologies numériques transforment en profondeur le secteur des services à bas salaires, explique Madison Van Oort. Pour elle, la fast fashion, qui est une forme de commerce industriel, est le secteur emblématique d’une industrie totalement orientée par les données et qui promeut partout la jetabilité. Non seulement les produits sont aussi vites produits, vendus que remplacés, mais les employés subissent le même traitement (dans le secteur, 60% des employés des magasins sont embauchés de manière temporaire, l’essentiel l’est à temps partiel). Et la chercheuse suggère que cette vision du monde, cette chosification, est façonnée par la numérisation, par le fait que tout est considéré comme des données – le designer italien Stefano Diana estimait que cette mise à distance qui transforme tout en chiffre nous ôte toute empathie.  Or la fast fashion est bien l’enfant de la numérisation. La révolution de l’interconnexion a permis d’accélérer la production et la circulation de la chaîne d’approvisionnement et a permis la consécration d’une production temps réel. Une production directement pilotée depuis ce qui se vend et non plus depuis ce que les commerçants proposent. Une production plus réactive, capable de répondre aux demandes des clients. La fast fashion est bien sûr connue pour exploiter tous les travailleurs de la chaîne d’approvisionnement, notamment ceux qui fabriquent les vêtements à l’autre bout du monde. Mais c’est également le cas de ceux chargés de vendre les produits disponibles en continu.

Au XXe siècle, à l’époque des grands magasins, un vendeur était embauché pour ses compétences et on attendait de lui qu’il soit proche des clients pour mieux les conseiller. A l’époque des magasins de marques, on n’attendait plus des vendeurs qu’ils soient commerciaux, seulement un intense travail émotionnel pour vendre l’expérience que propose la marque en magasin. Mais à l’époque de la fast fashion, le vendeur n’est plus qu’un magasinier constamment sous surveillance numérique. Cette prolétarisation s’explique par le fait que la relation au client a été déléguée aux machines. Dans le monde de la fast fashion, les employés ont été dépossédés de la vente parce que les connaissances sur les clients ont été automatisées via les outils du marketing numériques. Ce sont eux qui prédisent les préférences des consommateurs et qui pilotent la relation clients. La sociologue explique que le travail émotionnel (que définissait la sociologue Arlie Russel Hochschild), celui qui connecte l’employé au client, qui prédit les désirs du consommateur, est désormais automatisé. Les magasins ont été dépossédés de cette compétence, renvoyée au travail des équipes marketing.  L’analyse des données est omniprésente. Elle permet de personnaliser l’inventaire des magasins selon les ventes, mais pilote également la vie des employés, puisque ces mêmes données vont produire les moments d’affluences et décider des besoins en personnels, décider des plannings imprévisibles et également rendre les employés plus remplaçables et interchangeables qu’ils n’étaient. Ce n’est pas tant que les habits proposés sont si peu chers qu’ils se vendent d’eux-mêmes, mais que le marketing automatisé met les ventes sous stéroïdes et produit une accélération en chaîne. Les vendeurs ne sont plus que des employés à la demande, qui sont là pour mettre les vêtements en place et nettoyer le magasin. Plier, ranger, nettoyer. Faire tourner les flux. Ils sont là pour faire ce que les robots ne savent pas faire. « En numérisant la connaissance des désirs des consommateurs, le travail de vente au détail de la fast-fashion a été déqualifié et accéléré, et les travailleurs sont devenus jetables. Et ont pu être contrôlés de manière toujours plus impersonnelle. » Pour Van Oort, la montée de la surveillance des travailleurs de terrain est consubstantielle au développement du marketing numérique permettant de mieux connaître les consommateurs. Son analyse montre qu’il y a des effets d’entraînements dans toute la chaîne de la numérisation.
Comment l’automatisation renforce la prolétarisation qui renforce la surveillance
Pour Madison Van Oort, c’est la technologie qui a rendu ces conditions de travail possible. Après avoir construit une production en temps réel, informée par les données de ventes, le savoir produit par la datafication a été appliqué aux magasins. Les outils de planning automatisés (comme ceux développés par Kronos, devenu UKG, Ultimate Kronos Group, l’un des leaders du secteur) sont composés d’innombrables modules pour adapter les ressources humaines aux besoins. Pourtant, comme le pointait la journaliste Esther Kaplan dans un article pour Harper’s Magazine en 2015, la première conséquence de l’introduction de ces outils de plannings reste bien souvent de démultiplier les emplois à temps partiels, comme l’ont connu les employés de la chaîne de vêtements Forever 21 lorsque leurs magasins s’en sont équipés ! Van Oort rappelle que le planning automatisé est né chez McDonald dès les années 70, mais c’est pourtant avec le déploiement d’outils logiciels dédiés que ceux-ci vont changer le commerce de détail (et bien d’autres secteurs…), notamment en popularisant le temps partiel afin d’améliorer les rendements et les profits.

Les systèmes de planning automatisés calculent pour chaque employé, branche, secteur, des ratios de productivité et font des prédictions de besoins de main d’œuvre très précis, pouvant aller jusqu’à recommander des employés, sans qu’on sache parfaitement depuis quels critères – or, certains critères de ce calcul peuvent être profondément problématiques, qu’ils soient discriminatoires ou qu’ils s’ajustent pour optimiser les salaires vers le bas, en minimisant les primes. Van Oort ne creuse hélas pas la question, mais remarque néanmoins que l’efficacité high-tech de ces outils est très souvent survendue. Ces systèmes d’agendas automatisés ont beaucoup de mal à prendre en compte les contraintes des employés (garde d’enfants, etc.) et les employés en contournent les rigidités en proposant d’échanger leurs astreintes via des messageries partagées. Les problèmes que génèrent les planning partagés conduisent à renforcer les astreintes : les employés doivent être tout le temps connectés pour répondre aux astreintes, les accepter comme pour les rejeter ou les faire circuler. Cela transforme les relations de travail, crée des tensions entre les employés qui sont tous à chercher à faire des heures que la machine ne leur donne pas. Les conflits d’emploi du temps sont permanents, mais ils ne sont pas tant avec la direction qu’avec les autres employés, vus comme concurrents.

Alors que les employés des grands magasins étaient souvent employés à vie, intéressés aux ventes par des commissions, ceux de la fast fashion sont d’abord précarisés, souvent employés à bas coûts et à temps partiel. Alors que dans les grands magasins les employés se plaignaient de faire trop d’heures, ceux de la fast fashion se plaignent de n’en avoir pas assez. Aux horaires instables répondent des paies qui le sont également. « Avec les horaires flexibles, les risques et l’instabilité du commerce reposent sur les épaules des travailleurs ». Le stress aussi, ce sont eux qui sont confrontés à des calendriers toujours changeants.

Ce que la sociologue suggère, c’est que l‘acceptation de la flexibilité conduit automatiquement à accepter une flexibilité renforcée qui, grâce à l’optimalité des calculs, ne cesse de s’étendre. Il n’y a pas d’alternative aux horaires fixes et réguliers, rappelle-t-elle. « Le planning automatisé crée une profonde insécurité et beaucoup d’imprévisibilité ». Il est la première brique qui renforce le développement du travail à la demande. La chercheuse souligne également que la surveillance à toujours tendance à s’étendre et qu’elle se renforce d’un outil l’autre, d’une interconnexion l’autre. Les scanners biométriques complètent les agendas automatisés (et techniquement, s’y intègrent comme des plug-ins), la surveillance vidéo complète la surveillance logicielle des caisses… L’introduction d’une forme de surveillance en entraîne une autre et elles se renforcent les unes les autres.

Pourtant, la surveillance n’est jamais aboutie. Dans le panoptique, la réalité est que les outils dysfonctionnent souvent, au détriment des employés. Quand le scanner bug, c’est les heures de travail des employés qui ne sont pas comptabilisés. Quand les besoins de personnels sont calculés au plus justes, ce sont les employés qui voient leurs cadences s’accélérer ou leur charge de travail augmenter.

La surveillance développe une forme de paranoïa qui se renforce avec la surveillance. Plus les travailleurs sont précarisés et plus ils sont considérés comme des criminels potentiels, et inversement. Or, comme le suggère Richard Hollinger un spécialiste de la criminalité des employés, pour réduire le vol en interne, il suffit d’abord d’augmenter les heures de travail et d’améliorer les rémunérations ! Les employés veulent d’abord un travail fixe et régulier et un travail qui paye bien. La surveillance est bien une conséquence de la dégradation du travail qui renforce l’autoritarisme des organisations. Nous construisons des lieux de travail où tout est sous surveillance (les produits, les consommateurs, les employés). La normalisation de la surveillance, son institutionnalisation, exacerbe les inégalités. Le turn over des employés est aussi fort que celui des produits. « Des conditions de travail injustes conduisent à des politiques de surveillances injustes ». L’un permet l’autre, l’un renforce l’autre et inversement. Le Precarity Lab de l’université du Michigan parle d’ailleurs de « technoprécarité » pour expliquer que le numérique amplifie les conditions d’exploitations.

Le numérique floute les distinctions entre management, marketing et surveillance. Mais la surveillance ne pose pas qu’une question de respect de l’intimité ou de la vie privée, elle pose également une question de justice, qui semble aujourd’hui se perdre dans le délire d’un contrôle, en roue libre, qui ne rend pas compte de ses effets. Les données au travail sont de plus en plus instrumentalisées pour servir voire renforcer l’asymétrie des rapports de travail.
Surveillance prédictive : le risque d’une surveillance de moins en moins factuelle !
En plus du délire du contrôle que la numérisation facilite, sans plus en voir les conséquences… il faut également ajouter des mesures prédictives particulièrement défaillantes qui viennent encore renforcer et justifier la surveillance. C’est le cas par exemple de Visier, une startup qui compte de nombreux clients, de Adobe à Uber… Visier promet de prédire le burn-out comme la démission. Le système, entraîné sur des profils d’employés démissionnaires, promet de calculer ce risque sur tous les autres employés en utilisant toutes les données disponibles, notamment les emails professionnels échangés, les relations aux autres employés, les publications sur les réseaux sociaux… pour mesurer l’engagement, l’absentéisme, la performance, le délai entre les promotions, l’activité sur Linked-in… Le problème, c’est que ces prédictions générales ont du mal à se prononcer sur les individus, explique la journaliste Hilke Schellmann dans son livre, The Algorithm (Hachette, 2024, non traduit). En fait, ces systèmes se concentrent sur des données internes pour tenter de faire des prédictions, comme d’évaluer l’évolution des fonctions, le niveau de salaire, la performance ou le niveau de responsabilité. Comme souvent, les données y rappellent la force de l’évidence : une personne au même poste pendant 2 ans a tendance à vouloir partir ! Le problème est qu’il n’y a pas que des raisons internes au départ des gens, il y a beaucoup de raisons externes sur lesquelles les entreprises n’ont pas toujours de données (situation familiale, proposition d’embauche externe, niveau de salaire et de tension du secteur…) et beaucoup de raisons internes sur lesquelles les données n’ont pas prises (comme la toxicité du management, même si des proxies plus ou moins fiables peuvent être trouvés, comme la durée d’un manager en poste ou le temps de rétention du personnel sous ses ordres – mais là encore, rien n’est moins fiable : un manager a ainsi été identifié comme toxique parce que ceux qui rejoignaient son équipe avaient tendance à changer de poste dans les 7 à 8 mois, alors que c’était surtout lui qui les aidait à évoluer dans l’entreprise). Mais ces prédictions de risque sont tout aussi problématiques que nombre d’autres prédictions. Et leur amélioration peut vite devenir discriminante, par exemple en portant plus d’attention aux jeunes hommes non mariés qui ont plus tendance à changer de job que les jeunes femmes mariées. Au final, ces systèmes là encore fonctionnent assez mal. Schellmann prend l’exemple d’une responsable RH de Pepsi pour laquelle le logiciel de Visier indiquait qu’elle avait 0,03% de chance de partir dans les 20 prochains mois et qui a quitté l’entreprise bien avant ce délai !

Là encore, l’analyse de données, par nature, s’abstrait du contexte. La prédiction défaille. Comme le disent Arvind Narayanan et Sayash Kapoor dans leur livre, AI Snake Oil (Princeton University Press, 2024, non traduit), la prédiction cumule trop de biais pour être fiable. Trop souvent, les prédictions abusent de proxies, de variables de substitutions, ce qui démultiplie les erreurs en cascade. Trop souvent, les prédictions cherchent des modèles qui n’existent pas. Les deux chercheurs estiment d’ailleurs que la promotion d’employés au hasard mais selon un taux fixe pourrait avoir plus de conséquences positives que la recherche illusoire de critères de promotion perfectibles. Les prévisions ne sont pas un modèle objectif. Elles restent probabilistes, quand leur mise en œuvre cherche à les rendre déterministes, au risque de prendre pour la réalité des calculs d’abord défaillants, qui entremêlent entre eux des suppositions en cascade.

La surveillance numérique des lieux de travail propose un panoptique idéal, où la surveillance du travailleur est omniprésente et infatigable. La surveillance est mécanique. L’exosquelette numérique est moins là pour nous aider à faire des tâches que pour surveiller le moindre de nos faits et gestes. Dans ce panoptique, les traitements de données, les données inférées parlent pour les employés, au risque de ne leur laisser aucun droit. Ni droits à explications, ni droit à contester les décisions automatisées qui ne leurs sont mêmes pas expliquées comme telles.

Sans limites, la surveillance ne propose que de renforcer l’autoritarisme des organisations.
09 July 2024
16:39
La fin du techno-solutionnisme ?
sur Dans les algorithmes

Les patrons de la tech et les capitaux-risqueurs, ces hérauts de l’innovation de la Silicon Valley, qui se sont très longtemps affirmé massivement progressistes et démocrates, sont en train de se rallier massivement à Trump, auquel ils se sont pourtant longtemps opposé, constate Evgeny Morozov dans une tribune pour le Guardian.

Morozov rappelle que les investisseurs de la Silicon Valley ont longtemps partagé avec les démocrates une croyance commune dans le techno-solutionnisme, c’est-à-dire dans l’idée que les marchés, renforcés par la technologie numérique, pourraient produire des biens sociaux là où la politique gouvernementale avait échoué. Mais cette utopie n’a cessé de se dissoudre à mesure qu’elle tentait de se réaliser. On nous a promis que les médias sociaux pourraient renverser les dictateurs, que les cryptomonnaies pourraient lutter contre la pauvreté, que l’IA allait guérir le cancer… Autant de techno-promesses qui ne se sont pas réalisées. Morozov rappelle que l’histoire d’amour entre la Tech et les démocrates a commencé dans les années 80 quand ceux-ci ont vu dans la Silicon Valley le moyen de promouvoir un progrès social, économique et environnemental qui reposerait sur l’innovation technologique. Les démocrates ont alors accepté toutes les mesures favorables à l’extension du capital-risque. Une alliance politico-économique qui a changé le financement de l’innovation : aux institutions publiques la science fondamentale et aux sociétés de capital-risque les startups qui en commercialisent les résultats. Un modèle qui permet aux américains de payer des prix de médicaments parmi les plus élevés au monde, ironise Morozov.
Les grandes promesses techno-solutionnistes
Depuis des années, les investisseurs ne cessent de se tresser leurs propres lauriers, vantant le rôle essentiel qu’ils jouent dans le progrès et l’innovation qu’ils rendent possible, tout en célébrant des marchés libres et sans limites, à l’image du ringard manifeste techno-optimiste de Marc Andreessen, ode à la « machine techno-capitaliste ». Une machine qui permet aux investisseurs de contrôler l’orientation de l’innovation à leur plus grand profit, et qui, à force de s’auto-célébrer, nous conduit à penser qu’il n’y a pas d’alternative au techno-capitaliste. Pourtant, les grandes promesses techno-solutionnistes se sont dissoutes. Le bitcoin n’a enrichi aucun démuni. L’IA semble bien plus promettre la fin des emplois que leur renouveau. Quant aux médias sociaux, l’idée qu’ils puissent promouvoir la démocratie a été abandonnée, et les leaders technologiques semblent désormais bien plus soucieux d’échapper aux responsabilités que leurs plateformes ont joué dans la subversion de la démocratie.
Une croyance commune
Morozov rappelle que les investisseurs de la Silicon Valley ont longtemps partagé avec les démocrates une croyance commune dans le techno-solutionnisme, c’est-à-dire dans l’idée que les marchés, renforcés par la technologie numérique, pourraient produire des biens sociaux là où la politique gouvernementale avait échoué. Mais cette utopie n’a cessé de se dissoudre à mesure qu’elle tentait de se réaliser. On nous a promis que les médias sociaux pourraient renverser les dictateurs, que les cryptomonnaies pourraient lutter contre la pauvreté, que l’IA allait guérir le cancer… Autant de techno-promesses qui ne se sont pas réalisées. Morozov rappelle que l’histoire d’amour entre la Tech et les démocrates a commencé dans les années 80 quand ceux-ci ont vu dans la Silicon Valley le moyen de promouvoir un progrès social, économique et environnemental qui reposerait sur l’innovation technologique. Les démocrates ont alors accepté toutes les mesures favorables à l’extension du capital-risque. Une alliance politico-économique qui a changé le financement de l’innovation : aux institutions publiques la science fondamentale et aux sociétés de capital-risque les startups qui en commercialisent les résultats. Un modèle qui permet aux américains de payer des prix de médicaments parmi les plus élevés au monde, ironise Morozov.
La machine techno-capitaliste
Dans les années 70, comme Morozov l’explique dans une série en podcast, a sense of rebellion, quelques hippies radicaux promouvaient la technologie écologique et la contre-technologie. Ils considéraient la technologie comme le produit de relations de pouvoir et souhaitaient modifier fondamentalement le système lui-même. Pour eux, notre problème n’était pas « la technologie », mais la technologie spécifiquement capitaliste. Après la seconde guerre mondiale, le sénateur démocrate Harley Kilgore a prédit les dangers de voir la science devenir « la servante de la recherche commerciale ou industrielle ». Il proposait que la National Science Foundation (NSF) soit gouvernée par des représentants des syndicats, des consommateurs, de l’agriculture et de l’industrie pour garantir que la technologie réponde aux besoins sociaux et reste sous contrôle démocratique. Il proposait également que les entreprises soient obligées de partager leur propriété intellectuelle si elles s’appuyaient sur de la recherche publique et qu’elles ne puissent être les seules fournisseurs de solutions aux problèmes sociaux. Notre approche actuelle, portée par les commerçants de la Silicon Valley, qui est l’exact inverse, doit être profondément réinterrogée estime Morozov. La Silicon Valley est obsédée par la l’accélération de la machine techno-capitaliste d’Andreessen qui « repose sur le détachement des marchés et des technologies du contrôle démocratique ». Avec la perspective de voir Trump revenir à la Maison Blanche, leur techno-solutionisme n’aura aucun mal à servir l’autoritarisme comme ils ont servi finalement les programmes néolibéraux des démocrates. A terme, l’horizon n’est pas tant la fin du techno-solutionnisme sous-entend Morozov, que le risque qu’il ne soit plus du tout un horizon progressiste. Pour lui, les démocrates devraient comprendre que les capitaux-risqueurs sont le problème plus que des alliés. Les démocrates devraient se défaire de leur fascination pour la Silicon Valley et son techno-solutionnisme. « Pour construire une machine techno-publique véritablement progressiste, nous devons repenser la relation entre la science et la technologie, d’une part, et la démocratie et l’égalité, d’autre part ». C’est-à-dire construire une « machine techno-publique » qui repense le rapport entre la science et la techno par la démocratie… gouvernée et orientée par les besoins sociaux et les représentants de la société. Simple et stimulant ! Pas sûr pourtant que nous en prenions le chemin.

MAJ du 11/07/2024 : Dans AOC, le sociologue Olivier Alexandre dresse le même constat. Il estime que la Tech après avoir été un symbole du progrès, est entrée dans un moment conservateur…
Le site dédié à la série, un sens de la rébellion.

← Mappemonde Imagerie Géospatiale →

Communauté	Ressources	L'emploi	Le marché	L'association	Fils RSS
Forum Blogs Wiki Planet Sites amis	Agenda Biblio Fiches AMO-CNIG Paris PCGIS Téléchargements	Offres d'emploi Banque de CV Formations Démarche Métiers	Geo-Entreprises Geo-Communiqué Appels d'offres	L'association Qui sommes-nous ? Nous aider Bienfaiteurs Partenaires Historique Statuts	Tout le site Job Géomatique Services GeoBlogs ...	Faire un don Mentions légales

Le portail francophone de la géomatique

Canaux

Dans les algorithmes (10 non lus)