Sun, T. Q., Medaglia, R., (2019), Mapping the challenges of Artificial Intelligence in the public sector: Evidence from public healthcare, Government Information Quarterly, 36(2), pp. 368-383.
L’intelligence artificielle (AI) a récemment gagné en importance pour s’imposer comme une technologie de rupture. À ce titre, les systèmes d’IA ont été adoptés dans plusieurs secteurs de politiques publiques (p.ex., en matière d’éducation pour maximiser l’impact du personnel enseignant, dans le domaine de l’intervention sociale pour faciliter l’identification de personnes à risque). Toutefois, l’adoption de l’IA dans l’administration publique est porteuse de l’ambivalence suivante : d’une part, l’IA permet d’améliorer la productivité et l’efficacité des services publics ; d’autre part, les défis relatifs à son adoption sont encore méconnus pour les gestionnaires et décideurs publics (p.ex., la perte d’emploi, la présence de biais dans les données ou l’algorithme). Cette ambivalence est d’autant plus forte que seul un nombre limité de recherches scientifiques s’est focalisé sur l’étude des défis liés à l’adoption de l’IA dans le secteur public. Par ailleurs, de par ses implications potentielles, l’étude des défis et des limites liés à l’adoption de système d’IA est essentielle pour le domaine de la santé publique, notamment à cause des multiples acteurs y prenant part (médecins/gestionnaires hospitaliers, gestionnaires de firme, décideurs publics). Par conséquent, cette publication a pour objectif de cartographier les défis perçus par les différentes parties-prenantes lors l’adoption du système d’IA IBM Watson au sein de l'hôpital provincial du Zhejiang en Chine.
Définition
Dans cette publication, la notion centrale est celle d’intelligence artificielle (IA). L’IA se caractérise selon deux capacités : (1) la capacité des machines à exécuter des tâches en affichant un comportement intelligent, de type humain ; (2) la capacité des machines à se comporter de manière rationnelle (c'est-à-dire en tant qu'agents intelligents) en percevant l'environnement et en prenant des mesures pour atteindre les objectifs définis.
La révolution technologique découlant de l'IA a été annoncée comme le remplacement, la complémentarité et l'amplification de pratiquement toutes les tâches effectuées par des humains. Cependant, malgré un enthousiasme croissant, la plupart des chercheurs s'accordent à dire que nous assistons aujourd'hui davantage à la diffusion de technologies d'IA dites « faibles » (Weak AI), par opposition à une IA dites « forte » (Strong AI). Les systèmes d’IA faibles qualifient les systèmes capables d'exécuter des tâches requérant des capacités humaines uniques (p.ex., la perception visuelle ou la compréhension du contexte). L’adoption de systèmes d’IA forts fait référence aux systèmes dotés d'une intelligence humaine voire surhumaine, permettant de penser et d'exécuter des tâches intelligentes telles que des raisonnements éthiques.
Cette publication a répertorié sept catégories de défis perçus par les trois types d’acteurs interrogés (médecins/gestionnaires hospitaliers, gestionnaires de firme privée, décideurs publics) à savoir (1) les défis économiques, (2) les défis sociaux, (3) les défis éthiques, (4) les défis politiques et légaux, (5) les défis organisationnels, (6) les défis relatifs aux données et (7) les défis relatifs à la technologie :
- Pour le défi économique, les médecins et les gestionnaires hospitaliers ont mis en évidence les coûts élevés du traitement.
- Pour les défis sociaux, les décideurs publics ont souligné la prise en compte des spécificités régionales des patients soignés. Les gestionnaires de firme ont identifié comme défis, les pratiques médicales régionales, la méconnaissance des avantages et des inconvénients de la technologie d’IA ainsi que les attentes non réalistes concernant les performances du système.
- Pour les défis éthiques, les décideurs publics et les médecins/gestionnaires hospitaliers ont identifié le manque de confiance envers les décisions élaborées par le système d’IA comme principal défi. Les gestionnaires de firme ont, pour leur part, mis en évidence l’utilisation non-éthique de données partagées.
- En matière de défis politiques et légaux, les décideurs publics ont souligné le risque potentiel pour la sécurité nationale qu’une firme étrangère possède des données sensibles. De plus, les autorités ont pointé l’absence de cadre légal en matière de responsabilité spécifique à la technologie de l’IA. Les médecins\gestionnaires hospitaliers ont, de leur côté, mis en exergue le coût humain élevé découlant de la vérification des rapports Watson et les décisions prises sur la base de l’IA. Les gestionnaires de firme ont identifié l’absence de définition légale de l’IA ainsi que l’absence de standards publics pour l’évaluation de la performance. Aussi, les gestionnaires de firme ont mentionné les spécificités législatives relatives à l’utilisation de médicaments comme un défi pour l’adoption de l’IA.
- Pour les défis organisationnels, la peur de remplacer les humains par la technologie a été soulevée tant par les décideurs publics que les gestionnaires de firme. Les décideurs publics ont, par ailleurs, mis en évidence la rareté de la main d’œuvre ayant les compétences en IA et la résistance organisationnelle au partage des données. Si le manque de talent a été également abordé par les gestionnaires de firme, ces-derniers ont mis en évidence le manque de planification stratégique en matière de développement de l’IA au sein de l’organisation.
- Pour les défis relatifs aux données, tant les médecins/gestionnaires hospitaliers que les gestionnaires de firme soulignent que le manque d’intégration et la qualité des données constituent deux défis majeurs. Par ailleurs, les décideurs publics mettent en évidence la taille insuffisante de l’ensemble des données.
- Pour les défis relatifs à la technologie, l’opacité de l’algorithme et la faible lisibilité des données non structurées ont été perçues par les parties prenantes comme les principales difficultés liées à l’adoption d’un système d’IA.
Malgré l’engouement pour l’adoption de l’IA dans le secteur public, peu de recherches ont étudié empiriquement les avantages et les bénéfices de telles technologies. Dans cette perspective, la publication identifie les différents défis posés par l’adoption d’un système d’IA au sein d’un hôpital chinois. Le projet étudié, IBM Watson, a impliqué la participation de plusieurs parties prenantes (médecins/gestionnaires hospitaliers, gestionnaires de firme, décideurs publics). Chacun des différents groupes d’acteurs a perçu des défis et des limites différentes.
Au total, sept catégories de défis ont été identifiées : (1) les défis économiques, (2) les défis sociaux, (3) les défis éthiques, (4) les défis politiques et légaux, (5) les défis organisationnels, (6) les défis relatifs aux données et (7) les défis relatifs à la technologie.
La recherche présentée dans cette publication repose sur une étude de cas unique. Watson est le nom donné par IBM à son système informatique capable de répondre aux questions posées en langage naturel. IBM Watson a été mis en œuvre au sein de l'hôpital provincial du Zhejiang en Chine. Trois sociétés informatiques ont été impliquées dans le projet ainsi que deux agences gouvernementales (le ministère de la Science et de la technologie et la Commission nationale de développement et de réforme). En pratique, le patient prend rendez-vous avec un médecin, en précisant s'il veut que le médecin utilise Watson ou non. En cas d’accord, le médecin saisit dans Watson les données personnelles du patient, y compris ses symptômes, son dossier médical, ses examens médicaux antérieurs. Par la suite, Watson fournit une liste des options de traitement possibles (classées dans les catégories "recommandées", "pour examen", et "non recommandé") et les données cliniques comme preuves à l'appui du classement. Enfin, sur la base d’une discussion du rapport de Watson, une équipe d'au moins cinq médecins approuve un plan de traitement pour le patient.
La collecte des données de la recherche comprend des données primaires et des données secondaires. Les données primaires reposent sur des entretiens semi-dirigés conduits auprès des parties prenantes (cinq médecins/gestionnaires hospitaliers, huit gestionnaires de firme et quatre décideurs publics). Les données secondaires reposent, pour leur part, sur la collecte de documents politiques et administratifs.
Pour analyser les données collectées, les chercheurs ont conduit une analyse de contenu. Après la transcription et la traduction des entretiens du mandarin vers l’anglais, les chercheurs ont utilisé le logiciel N-Vivo pour réaliser une analyse de façon inductive et, ainsi, faire émerger les différentes catégories de défis relatifs à l’adoption d’un système d’IA au sein d’un établissement hospitalier.
Plusieurs limites ont été identifiées par les chercheurs. Premièrement, l’étude d’un cas unique limite le degré de généralisation possible des résultats décrits à d’autres établissements hospitaliers chinois. Deuxièmement, les défis recensés ont été observés dans le contexte de la santé publique en Chine. L’étude des défis liés à l’adoption d’une technologie d’IA dans un autre État pourraient faire émerger de nouveaux défis ou nuancer les défis existants. Troisièmement, la technique d’analyse choisie comporte un risque de biais subjectif lors de l’interprétation des données collectées.
Cette étude a été subventionnée par le Centre sino-danois pour la recherche et l’éducation (SDC).