Entretien avec Gabrielle du Boucher, Chargée de mission numérique, droits et libertés, Défenseur des droits
Pouvez-vous nous préciser le contexte dans lequel s’insère le rapport « Algorithmes, systèmes d’IA et services publics : quels droits pour les usagers ? Points de vigilance et recommandations » publié en novembre 2024 par le Défenseur des droits ?
Le Défenseur des droits cherche, dans la lignée de ses rapports dédiés à la dématérialisation des services publics, à contribuer au nécessaire débat public sur les algorithmes et systèmes d’intelligence artificielle (IA). S’ils sont porteurs de progrès, ces systèmes font aussi peser des risques majeurs sur les droits et libertés, comme l’institution du Défenseur des droits l’a souligné dans deux rapports consacrés, l’un en 2020, au risque d’automatisation des discriminations induit par les algorithmes et, l’autre en 2021, à l’impératif respect des droits fondamentaux dans l’utilisation des technologies biométriques.
La place croissante des outils algorithmiques dans l’action publique se nourrit de la dématérialisation des démarches administratives. S’agissant des droits des usagers, examiner les enjeux de l’action publique algorithmique ne doit pas conduire à occulter l’importance des problématiques spécifiques liées à la « seule » dématérialisation des services publics. Le rapport annuel d’activité 2023 du Défenseur des droits souligne que l’accès aux droits peut être mis à mal notamment par la dématérialisation qui met à l’écart dix millions de personnes . Il rappelle aussi que la dématérialisation des procédures administratives doit être une offre complémentaire, non substitutive, au guichet, au courrier papier et au téléphone, afin de garantir un accès équitable aux services publics . L’institution continuera donc de veiller au suivi des recommandations qu’elle a émises à cet égard.
S’agissant du déploiement dans les services publics des algorithmes et systèmes d’IA, on constate qu’ils sont déployés de plus en plus massivement dans les politiques publiques et les services publics – l’Etat, les collectivités territoriales ou tout organe chargé d’une mission de service public- et que l’action publique comme les droits des usagers concernés s’en trouvent substantiellement affectés.
Notamment, de plus en plus de décisions administratives individuelles sont partiellement ou entièrement automatisées, prises sur la base de résultats livrés par des algorithmes ou des systèmes d’IA. En tant qu’institution en charge de la défense des droits des usagers des services publics, le Défenseur des droits a donc jugé nécessaire, via ce rapport, de rendre visibles les enjeux liés, ceci pour défendre les droits des usagers et réaffirmer la vision d’un service public devant toujours conserver son rôle de soutien et de service au public, par le respect des grands principes de continuité du service, d’égalité de tous devant le service et d’adaptabilité aux besoins des usagers. L’institution promeut ainsi dans l’ensemble des administrations une véritable « culture des droits », centrée sur les usagers. Cela suppose de placer le respect des droits des usagers au cœur des objectifs assignés aux managers publics comme aux agents de terrain et, corrélativement, de ne pas laisser les administrations se concentrer, notamment s’agissant du déploiement des systèmes algorithmiques, sur des objectifs prioritaires de réduction des coûts et de personnel et sur des indicateurs de rentabilité.
Quels sont les bénéfices des IA pour les usagers ?
Le Défenseur des droits a pour mission de défendre les droits des usagers des services publics. A ce titre, il s’intéresse aux algorithmes et systèmes d’IA qui se multiplient dans les administrations et aux conséquences sur les droits des usagers des services publics.
Le déploiement de ces systèmes est susceptible d’apporter des avantages tant pour les citoyens que pour l’administration elle-même, dans la continuité des algorithmes classiques utilisés depuis des dizaines d’années.
Ces algorithmes et systèmes d’IA peuvent, dans certaines situations, permettre d’automatiser, standardiser voire améliorer certaines procédures administratives dans le travail quotidien. Les systèmes d’IA peuvent permettre le déploiement d’un processus décisionnel plus efficace grâce à l’analyse d’une multitude de données. Par exemple, les systèmes d’IA peuvent améliorer le diagnostic et la prévention en matière médicale ou encore lutter contre le gaspillage alimentaire dans les cantines des établissements publics.
En ce qui concerne l’administration et ses relations avec les usagers, l’utilisation de systèmes automatisés et algorithmiques pourrait apporter une plus grande transparence. Dans le cas des algorithmes dits fermés, l’intégralité des instructions a été pensée et écrite dans le code source et seules des données précises ad hoc sont mobilisées : ils impliquent donc de formaliser les critères de la décision. Pour les outils plus récents dits d’IA, qui sont des systèmes apprenants, il pourrait être plus compliqué de retracer la logique des décisions prises.
Que ce soit pour attribuer des places (en crèche par exemple ou à l’université), calculer le montant de l’impôt ou de droits sociaux, gérer la mobilité des agents du service public, prédire une situation ou un risque, par exemple de fraude fiscale, en analysant des données, les algorithmes et systèmes d’IA sont d’ores-et-déjà intégrés dans les services publics. Cette intégration ne doit pas aller sans une considération pour les risques sur les droits des usagers et une prise en compte effective des moyens d’éviter ces risques.
Dans le rapport, vous parlez de « systèmes d’IA », pouvez-vous nous en dire plus ?
Il convient de distinguer deux grands types d’algorithmes :
- Les algorithmes dits fermés, qui sont des outils classiques : l’intégralité des instructions a été pensée et écrite par un être humain dans un code source. Ils brassent les seules données ad hoc préalablement déterminées, c’est-à-dire celles que le responsable de l’algorithme a identifiées en amont (par exemple Parcoursup, où la liste des données personnelles traitées par l’algorithme est établie dans un texte réglementaire) ;
- Les algorithmes apprenants (apprentissage automatique ou machine learning), qui fonctionnent via un procédé par lequel les informations pertinentes sont tirées d’un ensemble de données d’entraînement, souvent dans le but de prédire ou d’estimer un résultat. L’humain indique uniquement à l’algorithme le résultat à atteindre à partir de données d’apprentissage qui peuvent lui être fournies. Le programme génère alors de lui-même les opérations lui permettant d’aboutir au résultat demandé.
Depuis une quinzaine d’années, se développe l’apprentissage profond (ou deep learning) : il s’agit d’un procédé qui relève de l’apprentissage automatique et qui utilise des réseaux de neurones artificiels possédant plusieurs couches de neurones. Ces algorithmes possèdent de très nombreux paramètres et demandent un nombre très important de données afin d’être entraînés , c’est-à-dire de construire un modèle à partir de données.
Les algorithmes apprenants constituent le fondement de ce que l’on nomme les systèmes d’IA. Selon le règlement sur l’IA adopté par l’Union européenne en 2024, un système d’IA est « un système basé sur une machine qui est conçu pour fonctionner avec différents niveaux d’autonomie et qui peut faire preuve d’adaptabilité après son déploiement, et qui, pour des objectifs explicites ou implicites, déduit, à partir des données qu’il reçoit, comment générer des résultats tels que des prédictions, du contenu, des recommandations ou des décisions qui peuvent influencer des environnements physiques ou virtuels » .
Ces algorithmes posent ainsi des enjeux différents :
- L’utilisation d’algorithmes, simples ou apprenants, soulève des enjeux en termes de transparence, car les personnes qui les utilisent mais aussi celles vis-à-vis desquelles les algorithmes sont utilisés doivent pouvoir accéder à un certain niveau de compréhension du rôle de ces systèmes dans la décision prise et de leur logique interne ;
- Les systèmes apprenants, parce qu’ils se caractérisent par une capacité à élaborer eux-mêmes les règles leur permettant d’atteindre le résultat demandé, posent un enjeu spécifique en termes d’opacité. En effet, même les concepteurs de ces algorithmes « perdent la capacité à comprendre la logique des résultats produits ».
Dans le rapport « Algorithmes, systèmes d’IA et services publics : quels droits pour les usagers ? », le Défenseur des droits distingue deux types d’enjeux , qui correspondent aux risques d’atteinte aux droits des usagers du service public. Pouvez-vous nous les présenter ?
Le rapport s’intéresse effectivement à deux enjeux principaux dans ce contexte :
Tout d’abord, l’intervention humaine dans le processus décisionnel quand celui-ci inclut un algorithme ou un système d’IA. Schématiquement, on peut dire que l’intervention humaine intervient à deux niveaux :
Au niveau du système : quand la collectivité responsable déploie et utilise un système automatisé, elle doit veiller à ce que ce dernier respecte le cadre juridique, à en conserver la maîtrise et à en garantir le bon fonctionnement;
Cette vigilance doit notamment s’assurer que le système automatisé ne fonctionne pas de manière discriminatoire. Le risque d’automatisation des discriminations a en effet été démontré. On peut penser au cas de l’algorithme développé en Autriche par l’agence nationale pour l’emploi « AMS » en 2019, dont le but était d’attribuer un « score d’employabilité » aux chômeurs. Des régressions statistiques ont été effectuées pour déterminer les facteurs les plus susceptibles de prédire les chances d’un individu de trouver un emploi et le type d’accompagnement à proposer compte tenu des ressources limitées de l’agence. L’analyse des résultats du système, une fois rendue publique, a fait l’objet de vives critiques quant aux biais discriminatoires et au respect du droit de non-discrimination : les femmes en recherche d’emplois se voyaient attribuer un poids négatif, tout comme les personnes en situation de handicap et les personnes de plus de 30 ans. Les femmes ayant des enfants faisaient aussi l’objet d’une évaluation négative, ce qui n’était pas le cas des hommes ayant des enfants.
Au niveau de la prise de décision individuelle, quand le système est utilisé et que ces décisions ne sont pas entièrement automatisées : une intervention humaine est prévue pour garantir le contrôle et la légitimité du processus. Dans le rapport, nous soulignons cependant que cette intervention est parfois inexistante ou insuffisante, se limitant parfois à une validation purement formelle. Le rapporte insiste donc sur la nécessité de préciser cette intervention humaine, notamment en établissant des critères et des modes opératoires clairs :
- Déterminer le ou les moments d’intervention de l’agent dans le processus ;
- Identifier les données supplémentaires (au-delà de celles utilisées par l’algorithme) que l’agent humain prend en compte au moment de la décision ;
- Clarifier l’objectif premier de cette intervention, pour qu’elle soit substantielle et crédible.
Ensuite, les enjeux liés à la transparence.
Le principe de transparence n’est pas une question nouvelle ! Il dépasse largement le sujet de l’algorithmisation de l’administration (à savoir l’utilisation de plus en plus généralisée d’algorithmes par l’administration).
Le rapport identifie trois séries d’enjeux principaux sur la transparence dans le contexte de l’utilisation, par les services publics, de systèmes automatisés pour prendre des décisions individuelles :
- Des enjeux individuels pour les usagers : pour les usagers concernés par une décision, qu’elle soit entièrement ou partiellement automatisée, la transparence est une exigence qui découle de principes constitutionnels, en particulier l’article 15 de la Déclaration des Droits de l’Homme et du Citoyen (DDHC). Cette obligation est posée par les dispositions du Code des relations entre le public et l’administration (CRPA) et, dans certains cas, par le RGPD. On peut dire que l’objectif est de permettre aux usagers de comprendre les décisions prises. Cela leur donne la possibilité, le cas échéant, de contester ces décisions. Toutefois, un obstacle peut résider dans le caractère compréhensible des informations qui sont portées à la connaissance des usagers concernés.
- Des enjeux plus collectifs : le cadre juridique (CRPA) impose aux services publics d’une certaine taille (50 agents ou plus) de publier en ligne les règles définissant les principaux traitements algorithmiques utilisés pour des décisions individuelles. Or, cette obligation reste encore largement lettre morte, alors que l’enjeu est de taille puisque cette publication peut permettre l’appropriation du sujet par des collectifs, pour faciliter leur compréhension.
- Des enjeux internes pour le service public : la compréhension et la maîtrise internes des outils algorithmiques peuvent s’avérer insuffisantes. Le recours par les services publics à des prestataires privés pour des systèmes informatiques ou l’héritage de systèmes mis en œuvre par le passé ne va pas sans susciter des questions, voire des difficultés : les administrations sont-elles toujours en mesure de comprendre et de justifier leurs propres décisions ? Il s’agit d’insister sur la nécessité que les administrations restent au centre de l’expertise.
Concrètement, lorsqu’on est une collectivité et que l’on souhaite utiliser un système d’IA, quelles sont vos principales recommandations d’usage ?
Si nos recommandations s’adressent d’abord aux pouvoirs publics nationaux (par exemple pour créer et développer des outils visant à aider les services publics concernés à respecter les obligations en termes de transparence) et aux grands services publics de l’Etat, certaines peuvent concerner des collectivités qui déploient également sur leur territoire des algorithmes et systèmes d’IA :
- L’importance de se mettre en conformité avec le Code des relations entre le public et l’administration et en particulier de procéder, pour les collectivités de plus de 50 agents, à la publication en ligne des règles définissant les principaux traitements algorithmiques utilisés dans l’accomplissement de leurs missions lorsqu’ils fondent des décisions individuelles (ce principe connait des exceptions liées à des secrets protégés) ;
- La nécessité d’assurer la formation interne des agents à ces enjeux et également à la bonne identification des demandes des usagers relatives à la transparence, afin qu’elles soient prises en compte et ceci en temps utile (afin de permettre les éventuels recours) ;
- L’association des usagers en cas de recours à de tels systèmes. Cette recommandation rejoint d’ailleurs celle faite très récemment par la délégation à la prospective du Sénat dans son rapport sur « IA, territoires et proximité » à savoir non seulement la bonne information des citoyens sur le recours à l’IA dans les territoires mais aussi leur nécessaire association aux choix stratégiques, à la fois à travers leurs élus et de manière directe, pour une véritable gouvernance locale participative de l’IA.
