Busuioc, M. (2020). Accountable Artificial Intelligence: Holding Algorithms to Account. Public Administration Review.
La promesse de solutions efficaces ou peu coûteuses exploitant le potentiel des méga-données a conduit les organismes publics à adopter des systèmes algorithmiques dans la prestation de leurs services. Les algorithmes d’IA sont désormais utilisés dans des situations à dimension sensible (p. ex., l’embauche, la sécurité publique ou la justice). Un tel phénomène questionne la responsabilité de ces algorithmes. Comment garantir la responsabilité publique dans la prise de décision algorithmique ? Cette publication pose un regard critique sur les algorithmes d’IA, en plus de conceptualiser les implications et les limites que posent ces systèmes pour la responsabilité publique.
Définition
La responsabilité publique est entendue comme la relation entre un acteur et un forum dans lequel l’acteur a l’obligation d’expliquer et justifier sa conduite. Le processus de responsabilité publique est composé de trois phases : l’information, l’explication ou la justification et la prise en compte des conséquences potentielles.
La prise de décision algorithmique réfère à l’utilisation des algorithmes comme une aide ou un substitut à l’analyse humaine, pour réaliser ou améliorer la qualité des informations sur lesquelles les décisions sont prises. La prise de décision algorithmique peut être complètement automatisée ou mixte, c’est-à-dire qu’un humain demeure dans le processus de prise de décision.
- La prise de décision algorithmique se fait à deux niveaux :
- Le produit algorithmique (recommandation faite par un algorithme) et le processus à l’origine de ce produit.
- L’interaction entre le produit algorithmique et le décideur humain.
- Les chercheurs présentent différents défis liés à la surveillance des algorithmes :
- Opacité inhérente aux outils d’apprentissage profond. Un élément problématique des algorithmes dans l’administration publique est leur opacité intrinsèque. La façon dont un algorithme est arrivé à un résultat particulier n’est pas toujours transparente. Les chercheurs comparent les algorithmes à des « boîtes noires ».
- Confidentialité et algorithmes propriétaires. Les algorithmes propriétaires limitent la disponibilité de l’information avec laquelle fonctionnent les algorithmes. Un recours aux modèles d’algorithmes propriétaires dans le secteur public engendre une forte dépendance envers les fournisseurs privés.
- Complexité algorithmique. Il peut devenir presque impossible pour les décideurs humains de saisir la complexité des fonctionnalités des algorithmes. Par ailleurs, il y a une asymétrie d’expertise entre les experts techniques qui développent les algorithmes et les agents publics qui les utilisent.
- Explicabilité des algorithmes. Les inquiétudes au sujet de la capacité de comprendre les algorithmes sont l’objet d’un corpus croissant de travaux en informatique visant à développer des approches « d’IA explicables ». Actuellement, il n’y a aucune norme commune en ce qui concerne les exigences en termes d’explicabilité et aucun travail qui analyse sérieusement le problème de la quantification du degré de compréhension d’une explication par les humains.
- Des compromis de valeurs implicites et explicites. Les systèmes algorithmiques impliquent nécessairement des compromis de valeur importants (p. ex., la précision contre l’équité). Décider comment trouver l’équilibre entre ceux-ci est nécessairement un acte politique et non purement technique.
- Les effets comportementaux des algorithmes sur la prise de décision humaine. Le recours aux systèmes algorithmiques présente le risque de freiner la propension des décideurs humains à s’interroger sur les produits algorithmiques.
- Les chercheurs soulèvent des défis concernant l’imposition de sanctions, dernière étape du processus de responsabilité publique. Sans avoir la capacité de comprendre le fonctionnement de l’algorithme, le public non spécialisé, qui inclut les personnes lésées par les décisions algorithmiques, aura plus de difficulté à contester les décisions prises sur leur base et à obtenir réparation.
- Les défis découlant de l’utilisation des algorithmes posent des enjeux qui touchent le cœur des processus de responsabilité publique : les problèmes d’information aggravés, l’absence d’explication ou de justification adéquate du fonctionnement de l’algorithme et les difficultés qui en découlent pour diagnostiquer l’échec et obtenir réparation.
- L’obligation de justifier les décisions administratives est une caractéristique distinctive de la légitimité bureaucratique que les administrateurs ne peuvent pas sous-traiter ou renier.
- Les gestionnaires qui adoptent les algorithmes devraient être tenus responsables d’obtenir des outils compatibles avec la nature publique de leurs rôles qui leur permettent de s’acquitter de leurs responsabilités continues envers les citoyens. Cette responsabilité implique que ces systèmes soient correctement et indépendamment contrôlés, que leur fonctionnement soit surveillé en permanence et que les fonctionnaires soient adéquatement formés pour comprendre les outils sur lesquels ils s’appuient.
- Les acheteurs et régulateurs du secteur public devraient demander à l’industrie des modèles d’algorithmes compréhensibles et interprétables. La certification des modèles, des tests continus réalisés par des tiers indépendants, l’utilisation de modèles qui fournissent des pistes de vérifications de leurs prises de décisions, la réalisation d’évaluations d’impacts avant le déploiement dans le secteur public contribueraient à renforcer la responsabilité algorithmique.
- L’adoption de systèmes algorithmiques mixtes, qui par définition maintiennent un humain dans le processus décisionnel, est recommandée. Cependant, les caractéristiques de certains algorithmes (propriétaires, non transparents et/ou non interprétables) limitent sévèrement la capacité humaine à agir en tant que surveillants significatifs.
- La publication est un article conceptuel.
- Aucune limite n’est identifiée.
Cette publication fait partie d’un projet qui a reçu du financement de la part du Conseil européen de la recherche dans le cadre du programme de recherche et d’innovation Horizon 2020 de l’Union européenne.