IA et réforme de l’État : vers des bureaucraties sans humains ?

1. Campagne de dons Février 2022

   Chers amis lecteurs. Nous lançons une nouvelle campagne de dons pour ce mois de Février et nous comptons sur vous pour nous aider à continuer notre travail de réinformation. Récemment, nous avons fait des tests d’insertions publicitaires dans nos publications, mais nous avons vite renoncé car elles se sont avérées très envahissantes et génaient considérablement la lecture des articles. Nous comptons donc, encore une fois, sur vous pour assurer la continuité de notre travail de réflexion et de réinformation. Aujourd’hui, avec la désinformation généralisée érigée en mode de gouvernance à l’échelle mondiale, Réseau International a besoin de vous plus que jamais.

   Total dons 6 696,00 €

par La Quadrature du Net.

Depuis quelques années, à grand renfort d’un vocable issu du monde des « start-ups », on assiste à la consolidation d’un nouvel avatar de la réforme néo-libérale de l’État. À travers les concepts d’« État plateforme » ou de « start-up d’État » , les nouveaux réformateurs comptent sur les « corporate hackers » et l’innovation disruptive pour transformer de l’intérieur les bureaucraties publiques, laisser libre cours à la créativité, renouer avec la transparence, déployer des méthodes « agiles » et s’adapter à un environnement en perpétuelle transformation, le tout à moindre coût. L’« État digital » – concept vanté en juin 2017 par Emmanuel Macron lors d’une ode à la « startup nation » restée célèbre – est aussi et surtout un État en voie d’automatisation : pour accompagner l’horizon du non-remplacement de près de 50 000 fonctionnaires d’ici à 2022, le plan Action Publique 2022 lancé en octobre 2018 misait sur des « technologies telles que l’intelligence artificielle et les RPA (‘‘robotic process automation’’ »), et ce afin de « d’automatiser les tâches répétitives et à faible valeur ajoutée ».

Le contexte est en effet propice à l’automatisation de nombreuses fonctions administratives. Outre la conversion d’une partie des élites politiques et administratives au concept de « gouvernance par les données », l’offre technologique des prestataires privés s’est aussi structurée, grâce notamment au développement rapide des techniques dites d’« intelligence artificielle » (IA). Du côté des « administrés », ce projet rencontre une plus grande acculturation de la population française au numérique, avec un taux d’équipement important et de nombreux programmes pour la « former » aux outils numériques, que ce soit à l’initiative des pouvoirs publics ou d’entreprises comme Google (entreprise accueillie à bras ouverts par plusieurs villes françaises pour installer ses « ateliers numériques »).

Ces différents facteurs poussent à une multiplication des « assemblages algorithmiques » dans les administrations. Que ce soit la dématérialisation de nombreuses démarches administratives, l’automatisation partielle de l’affectation post-Bac avec Parcoursup, l’automatisation de l’accompagnement des demandeurs d’emploi avec le projet « Mon Assistant Personnel » expérimenté par Pôle Emploi, l’automatisation de la lutte contre la fraude sociale par les caisses d’allocation familiale ou de la lutte contre la fraude sociale par le fisc, l’automatisation du contrôle d’identité via la reconnaissance faciale des bornes PARAFE installées dans plusieurs aéroports, ou encore l’automatisation des communications ou comportements suspects au sein des services de police ou de renseignement, nombre de pratiques administratives sont aujourd’hui de plus en plus articulées à des algorithmes semi-autonomes.

Face à ce processus, des craintes s’expriment dans certains segments de la société. Sont notamment évoqués les risques pour la vie privée, l’avènement d’une « société de contrôle » appuyée sur l’informatique, l’opacité des assemblages algorithmiques, les formes aggravées de déshumanisation induites par l’automatisation ou encore l’accentuation des inégalités structurelles. Au sein même des bureaucraties concernées par ces transformations, la peur du déclassement de l’humain par la machine, le surcroît de procédures, le risque de bugs techniques ou le phénomène rampant de privatisation suscitent également leur lot de résistances parmi les agents.
Dans le même temps, les avancées dans le domaine de l’IA ont conduit à la multiplication de travaux dédiés aux enjeux sociaux, éthiques et juridiques de ces technologies de plus en plus intégrées au fonctionnement des grandes organisations. L’objectif consiste à poser les règles minimales garantes de l’« acceptabilité sociale » de cette nouvelle étape du processus d’informatisation. Au travers d’un certain nombre de procédures, il s’agit par exemple de formaliser les choix éthiques réalisés dans le cadre du développement d’algorithmes, de garantir leur transparence, leur « explicabilité » ou leur « auditabilité », ou encore de réduire autant que faire se peut les risques pour les droits fondamentaux au travers d’approches dites de « privacy-by-design  » et autres « chartes éthiques ».

L’échec de l’approche procédurale

Ces réflexions ont conduit à la multiplication de rapports, de livres blancs ou de textes de soft-law émanant du secteur privé, d’organismes de protection des données comme la CNIL, d’institutions comme le Parlement européen mais aussi d’organisations internationales comme le Conseil de l’Europe ou le Conseil des droits de l’Homme des Nations Unies. Au niveau international, entre 2016 et 2019, plus de soixante-dix chartes éthiques dédiées à l’intelligence artificielle ont ainsi été publiées par divers organismes, adoptant souvent une approche probabiliste et quantifiable des risques associés à l’IA. Du côté des administrations publiques, ces travaux ont parfois débouché sur des dispositions législatives ou réglementaires ad hoc, à l’image de l’évaluation de l’« incidence algorithmique » désormais imposée aux administrations fédérales canadiennes, mais aussi de la loi française qui, depuis 2016, garantit un principe de transparence des algorithmes publics servant à fonder des décisions administratives individuelles.

En dépit de l’impression qui domine généralement d’avoir à faire à des défis tout à fait inédits, il est frappant d’observer la similitude des controverses actuelles avec celles ayant marqué le premier cycle d’informatisation de la société, dans les années 1970. Or, qu’il s’agisse des premières lois sur la protection des données personnelles face au fichage informatique ou les progrès de la transparence administrative pour compenser le surcroît d’opacité induite par l’informatisation de l’État, ces aménagements procéduraux ont passablement échoué à atteindre les objectifs qu’on leur avait assignés.

Cet échec s’est produit dans un contexte politique et technologique plutôt favorable : une période où, en réponse aux contestations d’alors, les États adoptaient de grandes législations libérales censées étendre les droits et libertés, et où la mise sur le marché des micro-ordinateurs et l’avènement de réseaux télécoms décentralisés conduisaient de nombreux commentateurs à prédire une avancée historique dans le processus de démocratisation. Quarante ans plus tard, à l’heure où le Big Data ou l’intelligence artificielle s’accompagnent d’une recentralisation phénoménale des capacités de calcul, à l’heure où l’accumulation des crises et des législations d’exception conduit à l’hypertrophie du pouvoir exécutif et à la consolidation d’un contrôle policier de plus en plus polycentrique, un tel découplage entre pouvoir et informatique paraît moins probable que jamais.

Malgré ce contexte peu engageant, les controverses contemporaines continuent de miser sur les mêmes remèdes, faits de garde-fous pour les droits et libertés et d’obligations de transparence. Récemment, l’un des rapporteurs au Parlement de la proposition de loi dite « sécurité globale » résumait bien la situation en évoquant sa conviction qu’en dépit de leurs dangers, l’usage des drones de surveillance par la police pourrait être encadré par des garanties appropriées : « J’essaie de trouver », expliquait-il alors, « des accommodements raisonnables, c’est-à-dire ‘‘oui, mais’’ ». C’est ainsi qu’à chaque débat parlementaire sur l’informatisation bureaucratique, on choisit de « prendre le risque », en tentant d’y parer par l’éternel retour des « accommodements raisonnables ». À tel point qu’on aimerait opposer à la logique du « oui, mais » le vieux dicton latin : « Errare humanum est, perseverare diabolicum » (« l’erreur est humaine, persévérer [dans son erreur] est diabolique »).
L’histoire n’est pourtant pas la seule discipline riche d’enseignement quant à l’inadéquation de ces « accommodements » pour la défense des valeurs démocratiques. Certains travaux en sociologie des sciences et des techniques ont également montré la faible portée pratique de ces approches procédurales, les règles ainsi posées étant souvent inapplicables, contournées, ou privées de leurs effets. Sur le plan juridique enfin, l’expérience montre également que les « gardes-fou » adoptés par le législateur ou les juges s’avèrent très fragiles. Compte tenu des logiques bureaucratiques d’optimisation (fonctionnelle, budgétaire, etc.) des tâches administratives, l’innovation technologique (dans le contrôle d’identité, le placement des bacheliers, etc.) tend systématiquement à créer un besoin, lequel se traduit tôt ou tard par des réformes visant à légaliser des usages qui paraissaient auparavant inenvisageables techniquement ou inacceptables socialement.

Des fonctionnaires dispensables

En réduisant les enjeux à des questions de procédures – donc à des questions souvent techniques sur la manière dont réguler l’usage d’un dispositif – et en se focalisant sur les artefacts technologiques en négligeant leur environnement institutionnel, les controverses actuelles tendent également à éluder certains problèmes politiques soulevés par l’automatisation bureaucratique. Par exemple, il est une question fondamentale dont il est rarement débattu : quelle serait la signification politique d’une bureaucratie presque entièrement automatisée ? La critique des tendances anti-démocratiques du pouvoir bureaucratique a occupé une place importante dans la théorie politique depuis le XIXè siècle. Mais sans minimiser les formes de violences associées aux bureaucraties passées et présentes, il n’en demeure pas moins qu’en pratique, leur potentiel dystopique peut être en partie contenu par les femmes et les hommes en leur sein.

C’est ce que soulignent de nombreux travaux en sociologie politique. Pour Michael Mann par exemple, la critique de Max Weber à l’encontre des bureaucraties exagère l’ampleur du pouvoir qu’elles peuvent imprimer sur la société : selon lui, puisque l’État doit procéder au recrutement massif de fonctionnaires pour garnir les rangs de bureaucraties toujours plus tentaculaires, le « pouvoir infrastructurel » de l’État sur la « société civile » se développe au prix d’une pénétration de ses propres structures administratives par cette même société civile, qui aux travers de ces fonctionnaires toujours plus nombreux est en mesure d’influencer l’État. Dans une approche qui a le mérite d’éviter une opposition trop binaire entre État et « société civile », Timothy Mitchell évoque lui aussi les formes de résistance internes nourries par des « sujets politiques […] formés au sein de la sphère organisationnelle dénommée État »

De manière plus empirique, la sociologie de l’action publique a largement souligné le rôle joué par les « street-level bureaucrats » – c’est-à-dire les agents placés au contact direct des administrés – dans le travail d’interprétation et d’adaptation des règles aux réalités des publics et des terrains. Au sein de la discipline, un débat a cours depuis une vingtaine d’années pour élucider les effets de l’introduction des technologies informatiques vis-à-vis de ce travail d’interprétation. Si ces effets apparaissent ambivalents, il reste que, dans un certain nombre de contextes, la technologie rend d’ores et déjà quasiment impossible une telle herméneutique. Et quand bien même davantage d’études de terrain seraient nécessaires pour l’évaluer précisément, on peut s’attendre à ce que l’automatisation croissante de certaines tâches administratives en lien avec les dernières innovations technologiques rognent encore davantage sur les marges de manœuvre laissées aux « street-level bureaucrats ».

Ce pourrait d’ailleurs être là l’un des ressorts tacites du mouvement d’automatisation bureaucratique. Si, comme le suggère l’anthropologue David Graeber, la bureaucratie est « faite, d’abord et avant tout, d’agressions contre ceux qui persistent à défendre d’autres schémas ou des interprétations différentes », il n’est guère surprenant qu’elle appréhende la subjectivité de ses agents comme un aléas dispensable, en abordant le fonctionnaire et ses dilemmes moraux comme un bug à corriger. Dans une bureaucratie automatisée, aucune désobéissance possible dans l’application de la règle inscrite dans le dispositif, plus aucun lanceur d’alerte dont la conscience pourra être à ce point heurtée par la violence bureaucratique qu’il ou elle se décidera à porter l’affaire à la connaissance du public. En évinçant l’élément humain dans l’application des règles rationnelles et impersonnelles, l’automatisation bureaucratique a le potentiel de faire advenir le gouvernement totalement déshumanisé que décrivait Hannah Arendt au tournant des années 1960 : « dans une bureaucratie pleinement développée, il ne reste plus personne avec qui l’on puisse discuter, à qui l’on puisse présenter des griefs (…) ».

Cette analyse conduit à une autre interrogation : le fait d’accepter d’être administré par des machines ne conduit-il par à rompre avec l’horizon politique de l’humanisme, en acceptant de nous concevoir nous-mêmes – personnes administrées – comme des machines, c’est-à-dire comme les objets d’un gouvernement plutôt que des sujets politiques ? Dans un colloque récent auquel je participais et où certains s’inquiétaient de l’impossibilité d’accorder une responsabilité juridique à un dispositif autonome (par exemple une voiture « intelligente »), un directeur de recherche au CNRS, spécialiste de l’aide à la décision, estimait que de telles inquiétudes étaient infondées. Selon lui, on ne peut pas non plus – en tout cas pas toujours – expliquer les motivations, le raisonnement et les décisions d’un individu. Or, cela n’empêche pas, en l’état actuel du droit, de considérer ces mêmes individus comme des sujets de droit. De son point de vue, il n’y aurait donc pas de problème particulier à appréhender un ordinateur comme une personne juridiquement responsable.

Gouvernés comme des machines

Si innocent qu’il puisse paraître, ce genre d’assertion assume en réalité une rupture avec les principes humanistes au fondement du droit libéral. Ce dernier considère en effet que, même si les motivations et les état mentaux d’autrui ne peuvent pas toujours être sondés, ils sont en fait équivalents aux nôtres. Selon cette conception, autrui est réputé doué des mêmes facultés que nous, animé lui aussi par une volonté et des désirs. C’est ce qui fait de lui un pair devant jouir de droits et d’une dignité égale à la nôtre. Même si le fait d’être administré par des organisations bureaucratiques constitue bien une forme de dépossession et de violence, au moins est-elle en partie rendue plus tolérable (car plus « négociable ») par l’existence d’interlocuteurs humains (en espérant que ces personnes pourront user à bon escient d’une certaine marge d’interprétation).
Dès lors que cet « élément humain » disparaît, dès lors que ne subsiste plus que le fonctionnement froid et impénétrable d’un algorithme fondé sur des simplifications abstraites et une approche quantitative et probabiliste du réel (fut-il paramétré par un ingénieur), cette capacité à négocier avec un pair disparaît. Comme le notait Arendt, il devient dès lors impossible de faire valoir nos situations spécifiques, nos subjectivités et nos affects en comptant sur l’empathie d’autrui. En édifiant des bureaucraties toujours plus automatisées, nous risquons donc de solder cette « anthropologie humaniste » au fondement du droit libéral pour lui substituer une anthropologie guerrière et cybernétique au sein de laquelle, comme le souligne le philosophe des sciences Peter Galison, chacun est considéré comme une « boîte noire », avec « des entrées et des sorties et sans accès à la vie intérieure d’autrui ». Ce qui revient, en fin de compte, à accepter de nous considérer les uns les autres comme des machines.

La focale procédurale et le primat donné aux dispositifs socio-techniques dans l’évaluation des « risques » écarte aussi d’autres enjeux soulevés par la logique d’optimisation bureaucratique. Par exemple, l’une des justifications les plus courantes à l’informatisation des administrations tient à des objectifs comptables et budgétaires : en réalisant un saut qualitatif dans l’automatisation, l’IA permettrait de faire « passer à l’échelle » tel ou tel process bureaucratique en réalisant des économies d’échelle. Ainsi, dans un courrier à la CNIL, la région PACA défendait récemment l’expérimentation de la reconnaissance faciale aux abords des lycées en affirmant que ce projet constituait « une réponse au différentiel croissant constaté entre les exigences de sécurisation des entrées dans les établissements et les moyens humains disponibles dans les lycées, dans le cadre des plans successifs de réduction des effectifs dans la fonction publique ». De même, les applications dite de « backtracking » popularisées lors de la pandémie de COVID-19 consistent à automatiser les stratégies de contact-tracing traditionnellement menées par des professionnels de santé ou des bénévoles afin d’identifier les chaînes de contamination – des approches qu’il est financièrement coûteux de massifier. Quant à la détection automatique de la fraude sociale et fiscale à partir de l’analyse des publications sur les réseaux sociaux actuellement expérimentées par le fisc français, elle intervient dans un contexte où plus du quart des quelques 12 000 postes dédiés au contrôle fiscal a été supprimé.

Ce ne sont pas là des cas isolés : Romain Boucher, un « data scientist » ayant pris part en tant que consultant à de nombreux projets de « transformation de l’action publique », résume son expérience en ces termes :
« Au bout d’un moment on se rend compte que les types de mission qui reviennent sont des missions de surveillance et de rationalisation d’effectifs (…) On nous demandait de réaliser de belles présentations pour montrer à la Transformation publique combien on économisait. La logique d’amélioration du service public n’existait plus ».

Intimement liée aux politiques d’austérité, l’automatisation poursuit ainsi le mouvement néo-libéral de sape du service public mais aussi de précarisation et de déqualification d’une partie de la fonction publique, victime d’une atomisation croissante et du démantèlement de ses capacités d’action collective.
Parmi les autres enjeux fréquemment éludés par la focale procédurale, on pourrait encore évoquer le coût écologique engendré par le processus d’automatisation (l’un des arguments opposés par les abonnés Enedis à l’automatisation des relevés de leur consommation électrique via les compteurs connectés), la privatisation de l’expertise et l’affaiblissement des compétences des agents publics dès lors que les algorithmes sont le plus souvent conçus par des prestataires externes (ce dont ont pu se plaindre des syndicats policiers opposés à des partenariats avec des entreprises spécialisées dans des technologies de surveillance), l’incapacité fréquemment constatée des grands chantiers de dématérialisation et d’automatisation à atteindre l’objectif de « simplification » et leurs effets bien réels sur l’aggravation des ingéalités, ou encore la légitimité des revendications de celles et ceux qui refusent de répondre aux multiples injonctions technologiques et souhaitent continuer à bénéficier des services publics au travers de guichets physiques, peuplés d’humains en chair et en os.

Si l’automatisation bureaucratique aggrave les tendances totalitaires de la domination bureaucratique, et si la multiplication de procédures pour en contenir les effets délétères a fait la preuve de sa trop grande inefficacité, alors il est peut être temps d’en tirer les conséquences. Sans forcément renoncer à dépasser l’antagonisme entre bureaucratie et démocratie, il s’agirait alors de nous en tenir à un principe de précaution en joignant nos voix à celles et ceux qui, en différents endroits du monde social, disent haut et fort leur refus d’un « État digital » et du projet technocratique dont il procède.

source:https://www.laquadrature.net/
Adblock test (Why?)

Source : Lire l'article complet par Réseau International

Source: Lire l'article complet de Réseau International