Entré en application partielle le 2 février 2025, l’AI Act pose un nouveau cadre pour garantir une intelligence artificielle digne de confiance. Maître Solène Gérardin y détaille les pratiques désormais interdites – de la manipulation subliminale à la notation sociale, en passant par le profilage pénal – et en explique les enjeux pour la protection des droits fondamentaux.
Certaines dispositions du Règlement européen sur l’intelligence artificielle [1] (AI Act) sont applicables depuis le 2 février 2025. C’est notamment le cas des dispositions applicables aux pratiques interdites en matière d’intelligence artificielle (IA) [2]. Nous allons détailler dans cet article les pratiques interdites en matière d’IA.
De façon préliminaire, l’AI Act définit un système d’IA comme « un système automatisé qui est conçu pour fonctionner à différents niveaux d’autonomie et peut faire preuve d’une capacité d’adaptation après son déploiement, et qui, pour des objectifs explicites ou implicites, déduit, à partir des entrées qu’il reçoit, la manière de générer des sorties telles que des prédictions, du contenu, des recommandations ou des décisions qui peuvent influencer les environnements physiques ou virtuels » [3].
Un des objectifs de l’AI Act est la protection des droits fondamentaux des personnes. C’est dans le cadre de la protection de ces droits fondamentaux et pour parvenir à une IA digne de confiance que l’AI Act interdit certaines pratiques en matière d’IA.
📄 Décryptage de l’AI Act par Solène Gérardin
Dans cet article, Solène Gérardin, avocate experte en droit du numérique, décrypte le nouveau Règlement européen sur l'intelligence artificielle (AI Act).
Lire l’articleI. Liste des pratiques d’IA interdites
A. Système d’IA ayant recours à des techniques subliminales
L’AI Act interdit la mise sur le marché, la mise en service ou l’utilisation d’un système d’IA qui a recours à des techniques subliminales, au-dessous du seuil de conscience d’une personne, ou à des techniques délibérément manipulatrices ou trompeuses, avec pour objectif ou effet d’altérer substantiellement le comportement d’une personne ou d’un groupe de personnes en portant considérablement atteinte à leur capacité à prendre une décision éclairée, amenant ainsi la personne à prendre une décision qu’elle n’aurait pas prise autrement, d’une manière qui cause ou est raisonnablement susceptible de causer un préjudice important à cette personne, à une personne ou à un groupe de personnes [4].
L’AI Act rappelle que, bien que l’IA puisse être utilisée à de nombreuses fins positives, elle peut aussi être utilisée à mauvais escient et fournir des outils à l’appui de pratiques de manipulation, d’exploitation et de contrôle social [5].
L’AI Act souligne que des techniques de manipulation fondées sur l’IA peuvent être utilisées pour persuader des personnes d’adopter des comportements indésirables ou pour les tromper en les poussant à prendre des décisions d’une manière qui met à mal et compromet leur autonomie, leur libre arbitre et leur liberté de choix [6].
B. Système d’IA exploitant les éventuelles vulnérabilités des personnes
Dans la continuité de la pratique de système d’IA interdite indiquée ci-dessus, l’AI Act interdit la mise sur le marché, la mise en service ou l’utilisation d’un système d’IA qui exploite les éventuelles vulnérabilités dues à l’âge, au handicap ou à la situation sociale ou économique spécifique d’une personne physique ou d’un groupe de personnes donné avec pour objectif ou effet d’altérer substantiellement le comportement de cette personne ou d’un membre de ce groupe d’une manière qui cause ou est raisonnablement susceptible de causer un préjudice important à cette personne ou à un tiers [7].
Ici, l’AI Act raisonne notamment par rapport au type de personnes qui pourraient être impactées par cette manipulation. Il précise qu’en visant les personnes à la situation sociale ou économique spécifique, il vise des personnes vivant dans une extrême pauvreté ou appartenant à des minorités ethniques ou religieuses [8].
C. Système d’IA attribuant une note sociale
L’AI Act interdit la mise sur le marché, la mise en service ou l’utilisation de systèmes d’IA pour l’évaluation ou la classification de personnes physiques ou de groupes de personnes au cours d’une période donnée en fonction de leur comportement social ou de caractéristiques personnelles ou de personnalités connues, déduites ou prédites, la note sociale conduisant à l’une ou l’autre des situations suivantes, ou aux deux :
- le traitement préjudiciable ou défavorable de certaines personnes physiques ou de groupes de personnes dans des contextes sociaux dissociés du contexte dans lequel les données ont été générées ou collectées à l’origine ;
- le traitement préjudiciable ou défavorable de certaines personnes ou de groupes de personnes, qui est injustifié ou disproportionné par rapport à leur comportement social ou à la gravité de celui-ci [9].
La raison pour laquelle de tels systèmes d’IA sont interdits est que les systèmes d’IA permettant la notation sociale des personnes physiques par des acteurs publics ou privés peuvent conduire à des résultats discriminatoires et à l’exclusion de certains groupes. Les droits fondamentaux auxquels de tels systèmes d’IA porteraient atteinte sont le droit à la dignité et à la non-discrimination [10].
D. Système d’IA visant à évaluer ou à prédire le risque qu’une personne physique commette une infraction pénale
L’AI Act interdit la mise sur le marché, la mise en service ou l’utilisation d’un système d’IA pour mener des évaluations des risques des personnes physiques visant à évaluer ou à prédire le risque qu’une personne physique commette une infraction pénale, uniquement sur la base du profilage d’une personne physique ou de l’évaluation de ses traits de personnalité ou caractéristiques ; cette interdiction ne s’applique pas aux systèmes d’IA utilisés pour étayer l’évaluation humaine de l’implication d’une personne dans une activité criminelle, qui est déjà fondée sur des faits objectifs et vérifiables, directement liés à une activité criminelle [11].
La raison d’être de cette interdiction est la présomption d’innocence selon laquelle les personnes physiques devraient toujours être jugées sur leur comportement réel et jamais sur la base d’un comportement prédit par l’IA uniquement sur la base de son profilage, de ses traits de personnalité ou de ses caractéristiques, telles que la nationalité, le lieu de naissance, le lieu de résidence, le nombre d’enfants, le niveau d’endettement ou le type de voiture, sans qu’il existe un motif raisonnable de soupçonner que cette personne est impliquée dans une activité criminelle sur la base de faits objectifs vérifiables et sans évaluation humaine de ceux-ci [12].
Ce qu’il convient de retenir de cette pratique interdite est le profilage. En effet, l’AI Act précise que cette interdiction ne vise ni ne concerne l’analyse des risques non fondée sur le profilage des personnes ou sur les traits de personnalité et les caractéristiques des individus, tels que les systèmes d’IA utilisant l’analyse des risques pour évaluer la probabilité de fraude financière de la part d’entreprises sur la base de transactions suspectes ou d’outils d’analyse des risques permettant de prédire la probabilité de la localisation de stupéfiants ou de marchandises illicites par les autorités douanières, par exemple sur la base de voies de trafic connues.
E. Systèmes d’IA qui créent ou développent des bases de données de reconnaissance faciale
L’AI Act interdit la mise sur le marché, la mise en service à cette fin spécifique ou l’utilisation de systèmes d’IA qui créent ou développent des bases de données de reconnaissance faciale par le moissonnage non ciblé d’images faciales provenant de l’internet ou de la vidéosurveillance [13].
Ici, c’est notamment le droit au respect de la vie privée qui vise à être protégé. La raison de cette interdiction est le fait que cette pratique ne fait qu’accentuer le sentiment de surveillance de masse [14].
F. Systèmes d’IA pour inférer les émotions d’une personne physique sur le lieu de travail
L’AI Act interdit la mise sur le marché, la mise en service à cette fin spécifique ou l’utilisation de systèmes d’IA pour inférer les émotions d’une personne physique sur le lieu de travail et dans les établissements d’enseignement, sauf lorsque l’utilisation du système d’IA est destinée à être mise en place ou mise sur le marché pour des raisons médicales ou de sécurité [15].
L’AI Act souligne les principaux défauts de ces systèmes qui sont, entre autres, leur fiabilité limitée, leur manque de précision et leur généralisabilité limitée.
Ces systèmes d’IA qui identifient ou déduisent les émotions ou les intentions de personnes physiques sur la base de leurs données biométriques peuvent conduire à des résultats discriminatoires et peuvent être intrusifs pour les droits et libertés des personnes concernées.
Or, en prenant en compte le déséquilibre de pouvoir qui existe dans le cadre du travail ou de l’enseignement, combiné au caractère intrusif de ces systèmes, ces derniers risqueraient de déboucher sur le traitement préjudiciable ou défavorable de certaines personnes physiques ou de groupes entiers de personnes physiques [16].
G. Systèmes de catégorisation biométrique
L’AI Act interdit la mise sur le marché, la mise en service à cette fin spécifique ou l’utilisation de systèmes de catégorisation biométrique qui catégorisent individuellement les personnes physiques sur la base de leurs données biométriques, comme le visage ou les empreintes digitales, afin d’arriver à des déductions ou des inférences concernant leur race, leurs opinions politiques, leur affiliation à une organisation syndicale, leurs convictions religieuses ou philosophiques, leur vie sexuelle ou leur orientation sexuelle.
Cette interdiction ne couvre pas l’étiquetage ou le filtrage d’ensembles de données biométriques acquis légalement, tels que des images, fondés sur des données biométriques ou la catégorisation de données biométriques, comme le tri des images en fonction de la couleur des cheveux ou de celle des yeux, dans le domaine répressif [17].
L’AI Act précise que la notion de « catégorisation biométrique » doit être définie comme le classement de personnes physiques dans certaines catégories sur la base de leurs données biométriques. Ces catégories spécifiques peuvent concerner des aspects tels que le sexe, l’âge, la couleur des cheveux, la couleur des yeux, les tatouages, les traités liés au comportement ou à la personnalité, la langue, la religion, l’appartenance à une minorité nationale ou encore l’orientation sexuelle ou politique [18].
H. Systèmes d’identification biométrique à distance en temps réel
L’AI Act interdit l’utilisation de systèmes d’identification biométrique à distance en temps réel dans des espaces accessibles au public à des fins répressives, sauf si et dans la mesure où cette utilisation est strictement nécessaire eu égard à l’un des objectifs suivants :
- la recherche ciblée de victimes spécifiques d’enlèvement, de la traite ou de l’exploitation sexuelle d’êtres humains, ainsi que la recherche de personnes disparues ;
- la prévention d’une menace spécifique, substantielle et imminente pour la vie ou la sécurité physique de personnes physiques ou d’une menace réelle et actuelle ou réelle et prévisible d’attaque terroriste ;
- la localisation ou l’identification d’une personne soupçonnée d’avoir commis une infraction pénale, aux fins de mener une enquête pénale, d’engager des poursuites ou d’exécuter une sanction pénale pour des infractions visées à l’annexe II et punissables dans l’Etat membre concerné d’une peine ou d’une mesure de sûreté privatives de liberté d’une durée maximale d’au moins quatre ans [19].
L’AI Act précise la définition d’un système d’identification biométrique à distance qui est un système d’IA destiné à identifier des personnes physiques sans leur participation active, en règle générale à distance, par la comparaison des données biométriques d’une personne avec celles contenues dans une base de données de référence, quels que soient la technologie, les processus ou les types de données biométriques particuliers utilisés.
La notion de systèmes « en temps réel » couvre la capture des données biométriques, la comparaison et l’identification qui se font instantanément, quasi instantanément ou en tout état de cause sans décalage significatif.
Ici, c’est également la protection de la vie privée qui est en jeu. En effet, l’utilisation de systèmes d’IA pour l’identification biométrique à distance « en temps réel » de personnes physiques dans des espaces accessibles au public à des fins répressives est particulièrement intrusive pour les droits et les libertés des personnes concernées dans la mesure où elle peut toucher la vie privée d’une grande partie de la population, susciter un sentiment de surveillance constance et dissuader indirectement l’exercice de la liberté de réunion et d’autres droits fondamentaux.
II. Modalités
A. Evaluation et réexamen
La Commission européenne évaluera la nécessité de modifier la liste des pratiques d’IA interdites une fois par an après l’entrée en vigueur de l’AI Act.
B. Sanctions
Le non-respect de l’interdiction de ces pratiques en matière d’IA peut faire l’objet d’amendes administratives pouvant aller jusqu’à 35 millions d’euros ou, si l’auteur de l’infraction est une entreprise, jusqu’à 7% de son chiffre d’affaires annuel mondial total réalisé au cours de l’exercice précédent, le montant le plus élevé étant retenu [20].
📄 Décryptage de l’AI Act par Solène Gérardin
Dans cet article, Solène Gérardin, avocate experte en droit du numérique, décrypte le nouveau Règlement européen sur l'intelligence artificielle (AI Act).
Lire l’article[1] Règlement (UE) 2024/1689 du Parlement européen et du conseil du 13 juin 2024 établissant des règles harmonisées concernant l’intelligence artificielle et modifiant les règlements (CE) no 300/2008, (UE) no 167/2013, (UE) no 168/2013, (UE) 2018/858, (UE) 2018/1139 et (UE) 2019/2144 et les directives 2014/90/UE, (UE) 2016/797 et (UE) 2020/1828
[2] Article 5 AI Act
[3] Article 3(1) AI Act
[4] Article 5(1)(a) AI Act
[5] Considérant 28 AI Act
[6] Considérant 29 AI Act
[7] Article 5(1)(b) AI Act
[8] Considérant 29 AI Act
[9] Article 5(1)(c) AI Act
[10] Considérant 31 AI Act
[11] Article 5(1)(d) AI Act
[12] Considérant 42 AI Act
[13] Article 5(1)(e) AI Act
[14] Considérant 43 AI Act
[15] Article 5(1)(f) AI Act
[16] Considérant 44 AI Act
[17] Article 5(1)(g) AI Act
[18] Considérant 16 AI Act
[19] Article 5(1)(h) AI Act
[20] Article 99(3) AI Act
Appelez au 
