Depuis que l'AI Act a défini la notion de système IA "à haut risque", deux erreurs symétriques se multiplient dans les grandes organisations. La première : classer tous les systèmes qui touchent à une décision sensible comme haut risque, et lancer un programme de conformité disproportionné. La seconde : partir du principe que "nos outils ne font que de l'aide à la décision" et ne rien classifier du tout.
Les deux sont coûteuses. La première mobilise des ressources sur des systèmes qui n'en ont pas besoin. La seconde expose à des sanctions et, surtout, à des risques réels pour les personnes concernées.
La classification correcte n'est pas une formalité juridique : c'est la décision technique et organisationnelle qui conditionne toute la roadmap conformité des équipes data.
Ce que l'Annexe III dit exactement
L'Annexe III de l'AI Act liste huit domaines d'application où les systèmes IA sont présumés à haut risque. Cette liste est souvent citée de façon incomplète ou déformée. Voici les huit domaines exacts :
- Infrastructures critiques (eau, énergie, transport, finance numérique)
- Éducation et formation professionnelle (accès, orientation, évaluation)
- Emploi et gestion des travailleurs (recrutement, promotion, résiliation)
- Accès aux services publics et privés essentiels (crédit, assurance, santé)
- Application de la loi (évaluation du risque criminel, polygraphes)
- Gestion des migrations et de l'asile
- Administration de la justice et processus démocratiques
- Systèmes biométriques à distance en temps réel (liste limitée)
Ce qui frappe à la lecture attentive : ces domaines sont précis, pas génériques. Un système IA qui aide à prioriser des tickets de support client ne figure pas sur cette liste. Un algorithme de scoring de crédit, si.
La frontière qui compte : influence sur la décision ou simple aide
La question centrale pour classifier un système n'est pas "est-ce qu'il traite des données sensibles ?" mais "est-ce qu'il influence une décision qui affecte les droits ou les opportunités d'une personne de façon significative ?"
Un tableau de bord RH qui affiche des indicateurs de performance agrégés : pas haut risque en soi. Un module qui génère un score individuel utilisé pour décider d'un entretien de licenciement : potentiellement haut risque, selon la manière dont la décision finale est prise.
La nuance qui est souvent mal comprise : l'AI Act parle de systèmes qui "influencent" les décisions, pas qui les prennent seuls. Un outil de recommandation qui pèse réellement sur le choix d'un assureur d'accorder ou refuser une couverture entre dans le périmètre, même si un humain signe formellement la décision.
Trois questions permettent de trancher dans la majorité des cas :
1. Le système produit-il un output qui affecte directement les droits ou les conditions d'accès à un service, un emploi, un crédit ou un service public ? Si la réponse est non, le système sort probablement du périmètre haut risque.
2. La décision finale est-elle prise par un humain avec une réelle capacité de dérogation, ou le système de recommandation est-il suivi systématiquement à 95% ? Si la supervision humaine est nominale, le système IA est de facto le décideur. Le vernis "human-in-the-loop" ne suffit pas.
3. Qui supporte les conséquences si le système se trompe, et à quel point sont-elles réversibles ? Un système dont les erreurs peuvent coûter à une personne son accès au crédit ou à un emploi mérite une attention accrue, indépendamment de la classification formelle.
Ce que la classification haut risque implique concrètement pour les équipes data
Si un système passe ces trois filtres et tombe dans une catégorie Annexe III, les obligations données sont précises.
Documentation des données d'entraînement. Pas une note d'intention, mais une traçabilité complète : quelles données, sur quelle période, avec quels retraitements, quels biais potentiels ont été identifiés et comment. Cette documentation doit être maintenue à jour à chaque réentraînement.
Monitoring des performances et des biais en production. Un modèle qui dérive sur des sous-populations spécifiques sans que personne ne le détecte est exactement ce que l'AI Act veut éviter. Le monitoring ne peut pas être ponctuel : il doit être continu, avec des alertes et des procédures de correction définies.
Registre de risques. Pour chaque système haut risque, un registre documente les scénarios de défaillance identifiés, leur probabilité, leur impact, et les mesures de mitigation en place. Ce registre est vivant, pas un PDF produit une fois.
Explicabilité des décisions. Les personnes affectées par une décision influencée par un système haut risque doivent pouvoir obtenir une explication compréhensible. Ce n'est pas une contrainte purement juridique : c'est une contrainte d'architecture. Les modèles boîte noire sans couche d'interprétabilité ne satisfont pas cette exigence.
Le piège de la sous-classification
Dans la pratique, la tendance à sous-classifier les systèmes est plus courante que la sur-classification. Les raisons sont connues : qualifier un système de haut risque, c'est se créer du travail. Les équipes juridiques et data sont déjà surchargées. Et personne n'a encore été sanctionné en France pour non-conformité AI Act.
Mais la conformité AI Act n'est pas uniquement un sujet de sanction. C'est un sujet de gouvernance des risques. Un algorithme de scoring crédit non documenté, non monitoré, dont les biais ne sont pas suivis, c'est un risque opérationnel et réputationnel qui existe indépendamment de l'AI Act. La réglementation formalise une exigence de rigueur qui était déjà bonne pratique.
La bonne approche : réaliser un inventaire honnête de ses systèmes IA, poser les trois questions de classification pour chacun, et documenter le raisonnement. Même pour les systèmes qui restent hors périmètre haut risque, cet exercice identifie souvent des angles morts sur la qualité des données ou la supervision humaine.
Par où commencer si vous n'avez pas encore classifié
L'inventaire des systèmes IA en production est le premier livrable. Dans la moitié des cas, les organisations n'ont pas de liste consolidée de leurs systèmes IA : des outils ont été déployés par des équipes différentes, sans enregistrement central.
Ce premier inventaire prend 3 à 6 semaines selon la taille de l'organisation. Il permet de savoir combien de systèmes sont potentiellement dans le périmètre, et d'établir un ordre de priorité pour la documentation et la mise en conformité.
Chez Bomzai, on accompagne cet inventaire et la mise en place des dispositifs de monitoring et de documentation pour les systèmes haut risque. La conformité AI Act n'est pas un projet à part : elle s'intègre dans le programme data governance, avec les équipes qui gèrent déjà la qualité et la traçabilité des données.
