Kowalski, R., Esteve, M., & Jankin Mikhaylov, S. (2020). Improving public services by mining citizen feedback: An application of natural language proKowalski, R., Esteve, M., & Jankin Mikhaylov, Scessing. Public Administration, 98(4), 1011–1026.
La recherche sur la satisfaction des utilisateurs a augmenté au cours des dernières années. Jusqu’à présent, les études se sont penchées sur des facteurs prédéfinis pour expliquer la satisfaction des utilisateurs. Les technologies numériques permettent aux utilisateurs de publier des commentaires à propos de leur expérience avec une compagnie ou une organisation publique. Ces nombreux commentaires peuvent être agrégés par la modélisation thématique. Les chercheurs ont testé ce type d’analyse quantitative pour analyser des commentaires de rétroaction publiés sur le site du National Health Service (NHS), l’organisme public qui fournit les soins de santé en Angleterre. La modélisation thématique a permis aux chercheurs d’agréger plus de 200 000 commentaires. Cette publication vise à montrer les bénéfices potentiels de la modélisation thématique pour l’administration publique.
Définition
La modélisation thématique permet, en temps presque réel, d’obtenir des résumés compréhensibles d’un ensemble de commentaires de rétroaction. Elle implique l’utilisation d’algorithmes d’apprentissage automatique. La modélisation thématique est utile lorsque le nombre de documents écrits à classer manuellement est trop élevé ou lorsque de nouveaux documents qui nécessitent un traitement sont ajoutés en continu à l’ensemble des données. Par ailleurs, la modélisation thématique mesure la satisfaction des utilisateurs à l’aide de commentaires textuels non structurés. La modélisation opérationnalise la performance du service public comme un phénomène en constante évolution et surmonte les limites des sondages.
- Les sujets liés aux expériences positives sont les plus forts prédicteurs de la satisfaction des utilisateurs. Le sujet 7 « recommander » qui inclut des mots comme « remercier », « soutenir » ou « gentil », est le plus fort prédicteur de la satisfaction des utilisateurs. Il est suivi des sujets 9 « remerciements » et 8 « aidant ». Des comportements attentionnés du personnel envers les patients est le facteur positif le plus puissant influençant les évaluations de la prestation de services de médecine générale.
- Le rejet des patients par le personnel est le facteur négatif le plus puissant influençant l’évaluation par les utilisateurs de leur expérience. Les sujets 14 « décourager l’inscription » et 18 « pas de rendez-vous » appartiennent à un groupe de commentaires d’utilisateurs qui ont exprimé du mécontentement d’avoir été traités de manière irrespectueuse ou de ne pas avoir été en mesure d’accéder aux services de médecine.
- Des expériences plus neutres, représentées par des sujets comme « un traitement approprié », « diagnostiqué et trié » ou « peu accueillant » sont des prédicteurs d’un sentiment neutre de satisfaction.
- L’analyse suggère que parmi tous les sujets qui ne sont pas reliés à la qualité de l’interaction lors du service offert par les médecins et les infirmières, l’accès aux soins de santé a l’impact le plus élevé sur l’expérience des patients.
- Les chercheurs recommandent de combiner les résultats de la modélisation thématique provenant des commentaires publiés en ligne avec un sondage représentatif et systématique des opinions des utilisateurs du service sur leur expérience.
- Les améliorations apportées à l’accès aux soins de santé pourraient augmenter la satisfaction des patients et offrir des opportunités de réduction de coûts au sein du NHS.
- Pour satisfaire les patients, il est moins important d’améliorer les délais d’attente pour un rendez-vous que de s’assurer que les patients peuvent prendre des rendez-vous lorsqu’ils en ont besoin.
- Il est essentiel que le NHS comprenne mieux où, comment et pourquoi les utilisateurs publient des commentaires de rétroaction.
- Les citoyens devraient avoir accès aux commentaires publiés par les utilisateurs du NHS. Des résumés quantitatifs de la rétroaction écrite au niveau national ou régional offrent un avantage aux membres du public qui souhaitent obtenir des améliorations pour le système de santé.
- Un changement dans le style de communication du personnel du système de santé et la mise en place d’un système de réservation en ligne plus pratique pourraient augmenter significativement le niveau de satisfaction des patients.
- Cette recherche est une étude quantitative.
- La présente étude a identifié des aspects de la relation entre des données non structurées (commentaires d’utilisateurs résumés en utilisant la modélisation thématique) et les données structurées (réponses aux questions mesurées par une échelle de Likert).
- L’échantillon est constitué de commentaires de rétroaction publiés en ligne par les utilisateurs des services de santé de base en Angleterre. Les 208 287 commentaires inclus dans cette étude ont été publiés entre juillet 2013 et janvier 2017 et portaient sur 7700 cabinets de médecins généralistes.
- Le corpus de commentaires a été prétraité. Les lettres ont été mises en minuscules et les mots ont été abrégés. Les nombres, les signes de ponctuation, les mots plus courts que trois caractères et les mots apparaissant moins de dix fois ou plus de 100 000 fois ont été retirés. Le prétraitement a retiré 46 277 termes qui apparaissaient 89 374 fois dans le corpus. Le corpus final contient 9148 mots qui apparaissent 8,5 millions de fois dans l’ensemble du corpus.
- Chaque mois, les utilisateurs anonymes publiaient sur le site du NHS entre 3000 et 5000 commentaires (dans l’ensemble de l’Angleterre), accompagnés par six aspects à évaluer sur une échelle de Likert à six degrés de réponse. Ces six aspects sont demeurés les mêmes durant l’ensemble de la période (2013 à 2017).
- Les chercheurs ont eu recours aux modèles de forêt d’arbres décisionnels dans lesquels la présence proportionnelle de sujets dans les commentaires des utilisateurs constituait des variables indépendantes et les six évaluations de l’échelle de Likert étaient traitées comme des variables dépendantes.
- Les résultats de l’étude doivent être interprétés à la lumière des limites suivantes :
- Les informations sociodémographiques des utilisateurs qui publiaient des commentaires n’étaient pas retenues sur le site web du NHS.
- Plusieurs enjeux, qui n’ont pas été inclus dans les vingt sujets extraient des données regroupant plus de 200 000 commentaires, sont susceptibles d’être très importants pour des groupes d’individus plus petits.
- La principale limite de la modélisation thématique est la faible fréquence de la publication de commentaires. Chaque cabinet de médecine généraliste a reçu en moyenne 27 commentaires sur une période de presque quatre ans et demi, ce qui complique la comparaison entre les cabinets. Les chercheurs ont pour cette raison limité la comparaison aux groupes de mise en service clinique.
La recherche a été soutenue financièrement par Agency for Management of University and Research Grants, qui appartient au Secretariat of Universities and Research, Ministry of Enterprise and Knowledge du gouvernement catalan et par le ministère de l’Économie et de la Compétitivité d’Espagne.