KUZIEMSKI, M., MISURACA, G. (2020). AI governance in the public sector: Three tales from the frontiers of automated decision-making in democratic settings. Telecommunications Policy, 44(6).
En matière de gestion publique, l’obligation de protéger les citoyens contre les dommages potentiels des algorithmes peut entrer en contradiction avec la volonté d'améliorer l’efficacité des services publics. La recherche examine les effets spécifiques des systèmes automatisés d'aide à la décision sur les services publics et les attentes des gouvernements. Dans un contexte se caractérisant par l’augmentation des pressions pour le déploiement de systèmes automatisés, cette publication examine la manière dont l'utilisation de l'intelligence artificielle (IA) dans le secteur public intensifie les asymétries de pouvoir. L’utilisation de ces systèmes par les gouvernements est d’autant plus problématique que ces derniers ambitionnent de jouer un rôle plus important dans la société numérique ainsi que de veiller à ce que le potentiel de la technologie soit exploité et ce, tout en contrôlant et éventuellement en évitant les effets négatifs. À cette fin, trois études de cas ont été menées dans des États différents : le Canada, la Finlande et la Pologne. Sur la base de ces études de cas, les chercheurs ont mis en évidence la nécessité d'établir un cadre commun pour évaluer l'impact potentiel de l'IA dans le secteur public.
Définition
La définition de l’IA adoptée par les chercheurs se calque sur celle proposée par la Commission européenne. Dans ce cadre, l’IA se réfère à un système qui présente un comportement intelligent en analysant leur environnement et en prenant des mesures avec un certain degré d'autonomie en vue d’atteindre des objectifs spécifiques. Par ailleurs, dans cette publication, les termes « intelligence artificielle », « apprentissage machine » et « prise de décision automatisée » sont utilisés comme des synonymes.
- L'analyse des trois études de cas tend à montrer qu’une application de l'IA dans le secteur public, même de portée mineure, peut constituer un instrument de contrôle des citoyens. Ce contrôle prend des formes différentes selon les cas étudiés. Pour le Canada, il se manifeste par une délimitation des frontières de la communauté politique et, en pratique, par un jugement sur les groupes qui en font partie ou non. Pour la Pologne, le contrôle des citoyens se manifeste par le classement des citoyens comme étant de « bon investissement » ou non. Pour la Finlande, il transforme la prestation de services publics en un instrument de centralisation des données sensibles des citoyens.
- Le pouvoir est une considération centrale pour les cas d'utilisation de l'IA dans le secteur public. L’adoption de systèmes d’IA tend à accroître le contrôle de l'espace physique, des ressources vitales et des informations. En matière de pouvoir, les cas canadiens et polonais ont souligné le rôle crucial de la société civile et des universités dans l'examen des systèmes automatisés de prise de décision et ce à trois niveaux : (1) celui de la définition des objectifs, (2) celui de la passation des marchés publics et (3) celui de la mise en œuvre. De plus, en matière d’exercice du pouvoir, le rôle de l'État dans l'élaboration des politiques d'IA ne doit pas être minimisé. Cet exercice du pouvoir se manifeste d’une part, par l’adoption de solutions technologiques et d’autre part, par le développement du cadre réglementaire.
- Pour réduire la diffusion de l'épidémie de COVID-19, les gouvernements ont développé des applications de traçage et de suivi des contacts. Une telle application a mis en évidence un dilemme : la diminution de la protection du droit fondamental à la vie privée au profit d’une gestion plus efficace de la pandémie. Un enjeu majeur réside dans la gestion des données et des infrastructures numériques après la crise ainsi que dans la tentation des gouvernements de continuer à imposer des restrictions aux droits individuels.
- La principale différence dans l'évaluation de l'innovation dans le secteur privé et dans le secteur public est l'absence potentielle de marché dans ce dernier. Par conséquent, le suivi des résultats repose principalement sur des mesures auto-déclarées telles que des entretiens et des enquêtes.
- Le Manuel d'Oslo de l'Organisation de coopération et de développement économique (OCDE) recense les lignes directrices universelles pour la collecte de données relatives à l'innovation. En s'appuyant sur les offices nationaux de statistiques, ce document constitue une base pour l'élaboration d'outils et d'indicateurs spécifiques liés au secteur public.
- Il est essentiel de laisser la place aux alternatives en matière d'organisation du monde numérique, soit en repensant la manière dont la valeur publique est générée, soit en réinventant la relation avec le pouvoir politique et ce, dans les limites du contrôle démocratique.
- Les applications d'IA du secteur public visent l’amélioration de la productivité et de la qualité des services. Par conséquent, il est nécessaire d'évaluer la pertinence des outils de mesure des performances existants et la manière dont ils pourraient être diffusés dans les années à venir. À cette fin, le développement d'un cadre commun d’évaluation des impacts potentiels de l'utilisation de l'IA dans le secteur public est crucial.
- Les chercheurs attendent des gouvernements qu'ils jouent un rôle plus important dans la société numérique. Dans cette perspective, les autorités publiques doivent d’une part, garantir l’exploitation du potentiel des technologies de l’IA et d’autre part, protéger les citoyens des effets négatifs induits par cette technologie. En ce sens, la gouvernance de l'IA est devenue une question politique cruciale. De plus en plus d'innovations sont basées sur des collectes de données massives à partir de dispositifs numériques. L'accessibilité des informations et des services pourrait donc renforcer ou nuire à la démocratie et à la confiance dans les systèmes de gouvernance.
- La recherche s'appuie sur une série de méthodes de recherche qualitatives, notamment une analyse documentaire et réglementaire, des entretiens semi-structurés et des études de cas (Canada, Finlande et Pologne).
- Pour étayer les études de cas, les chercheurs ont mené des entretiens avec des fonctionnaires, des responsables de prestation de services, des entrepreneurs publics et des universitaires.
- Les conclusions ont été synthétisées en fonction de différentes catégories : les objectifs, les moteurs, les obstacles et les risques.
- Aucune limite de la recherche n’a été mentionnée dans la publication.
Les travaux sur ce document ont été menés en partie dans le cadre d’un contrat financé par l'Action ISA2 de « Solutions européennes de localisation et d'interopérabilité pour l'administration en ligne » (ELISE), et en soutien aux activités sur l'IA pour le secteur public de l’AI Watch, une initiative conjointe de la Direction générale des réseaux de communication, du contenu et des technologies de la Commission européenne et du Centre commun de recherche de la Commission européenne.