À retenir
- L'explicabilité IA est désormais une obligation légale — l'AI Act impose des exigences contraignantes pour les systèmes à haut risque dès août 2026, et le RGPD (article 22) s'applique depuis 2018
- 📊 35 % d'erreur sur les femmes à peau foncée en classification de genre (MIT Media Lab, 2018) contre moins de 1 % pour les hommes à peau claire — les biais algorithmiques sont documentés, coûteux et juridiquement engageants
- 🔬 SHAP est la référence industrielle pour la conformité réglementaire, grâce à ses 4 garanties axiomatiques ; LIME convient au prototypage mais pas à l'audit formel
- 🤖 Les LLMs posent des défis XAI inédits — interprétabilité mécanistique, sparse autoencoders et Constitutional AI d'Anthropic sont les avancées 2024-2026
- ✅ Une checklist en 8 critères permet à tout DPO ou DSI d'auditer l'explicabilité d'un modèle avant déploiement
Un responsable RH d'une enseigne de grande distribution reçoit en 2024 une plainte d'une candidate évincée par l'algorithme de tri de CV. Elle demande une explication. Le DPO cherche à répondre — et réalise que personne dans l'entreprise ne sait réellement pourquoi le modèle a rejeté ce profil. C'est précisément le problème que l'explicabilité des modèles IA est conçue à résoudre.
Ce guide couvre tout ce que vous devez maîtriser : définitions, réglementation AI Act, techniques XAI classiques, l'angle inédit de l'explicabilité des LLMs, et une checklist praticien pour auditer vos modèles avant déploiement.
Qu'est-ce que l'explicabilité en intelligence artificielle (XAI) ?
L'explicabilité des modèles IA est au cœur des enjeux éthiques et réglementaires de 2026 — mais deux termes sont souvent confondus, et cette confusion coûte cher.
Définition officielle et distinction fondamentale
Selon la CNIL (Commission Nationale de l'Informatique et des Libertés), l'explicabilité est la capacité de mettre en relation et de rendre compréhensible les éléments pris en compte par le système d'IA pour la production d'un résultat. Les explications doivent être adaptées au niveau de compréhension de la personne à qui elles sont destinées.
La distinction avec l'interprétabilité est fondamentale. Selon IBM :
En pratique : un modèle linéaire est interprétable ET explicable. Un réseau neuronal profond — une « boîte noire » — peut être rendu explicable a posteriori par des outils XAI (SHAP, LIME, Captum) sans être pour autant interprétable dans sa structure interne.
Pourquoi les modèles IA deviennent des boîtes noires
L'analogie utile ici : imaginez un GPS qui vous guide parfaitement mais qui ne peut pas vous expliquer pourquoi il a choisi cet itinéraire plutôt qu'un autre. Vous lui faites confiance parce qu'il arrive souvent à destination — jusqu'au jour où il vous envoie dans un tunnel fermé. Les modèles de deep learning fonctionnent exactement ainsi : des milliards de paramètres s'ajustent automatiquement sur des données d'entraînement, créant des représentations internes qu'aucun humain n'a programmées et que personne ne peut inspecter directement.
💡 Bon à savoir : L'XAI ne s'applique pas qu'aux modèles opaques. Même un modèle simple et interprétable bénéficie d'explications adaptées selon l'audience — le data scientist, le DPO, et le citoyen concerné n'ont pas les mêmes besoins d'explication. Selon la CNIL, l'adaptation au niveau de compréhension de la personne est une exigence de base.
Pourquoi les biais algorithmiques rendent l'explicabilité urgente
Les biais algorithmiques documentés ont provoqué des discriminations réelles à grande échelle — et ont directement déclenché les réglementations actuelles. Ce ne sont pas des cas hypothétiques.
Cas documentés de discriminations algorithmiques
Amazon Recrutement (2018)
Algorithme de santé USA (2019)
Classification de genre, MIT (2018)
Biais territorial en France (CNIL LINC)
La CNIL elle-même a lancé avec le Défenseur des droits un appel à mobilisation collective : « Derrière l'apparente neutralité des algorithmes, des recherches ont mis à jour l'ampleur des biais qui peuvent intervenir lors de leur conception. Tout comme les bases de données qui les alimentent, ils sont conçus par des humains dont les stéréotypes, en se répétant automatiquement, peuvent engendrer des discriminations. »
Le RGPD article 22 : un droit à l'explication qui existe depuis 2018
Le RGPD Art. 22 stipule que toute personne a le droit de ne pas faire l'objet d'une décision fondée exclusivement sur un traitement automatisé produisant des effets juridiques la concernant ou l'affectant de manière significative. Selon la CNIL, les organisations doivent au minimum fournir : les catégories de données utilisées, pourquoi elles sont pertinentes, et comment la décision a été atteinte.
Trois exceptions à l'interdiction existent (nécessité contractuelle, autorisation légale, consentement explicite) — mais dans tous les cas, le droit à l'intervention humaine et le droit de contestation s'appliquent.
AI Act 2026 : les obligations légales d'explicabilité
Le Règlement UE 2024/1689 (AI Act) impose des obligations contraignantes graduated selon quatre niveaux de risque — avec des échéances déjà passées pour certaines catégories.
Le Règlement UE 2024/1689 (AI Act), publié au Journal Officiel de l'Union Européenne le 12 juillet 2024 et entré en vigueur le 1er août 2024, structure les obligations selon les niveaux de risque.
Pour les systèmes à haut risque, l'Article 13 de l'AI Act impose que les déployeurs puissent interpréter les outputs, comprendre les capacités et limites du système, et permettre la surveillance humaine (Article 14). Les Annexes III et IV désignent les secteurs concernés : recrutement, crédit, éducation, santé, justice pénale, infrastructures critiques, administration publique. Pour ces systèmes, l'explicabilité est une obligation légale contraignante — pas un choix.
💡 Bon à savoir : Selon l'AI Act (Règlement UE 2024/1689), les sanctions pour non-conformité des systèmes à haut risque peuvent atteindre 30 millions d'euros ou 6 % du chiffre d'affaires mondial annuel — le montant le plus élevé étant retenu. L'échéance du 2 août 2026 n'est pas décalable.
Pour préparer votre organisation, une formation IA Act dédiée permet de comprendre les obligations spécifiques à votre secteur et d'établir un plan de conformité structuré.
Les techniques d'explicabilité des modèles IA
Avant de choisir un outil, une distinction fondamentale : l'explicabilité peut opérer à deux niveaux.
Globale : comprendre le comportement général du modèle — quelles variables importent le plus sur l'ensemble du jeu de données. Utile pour auditer un modèle avant déploiement.
Locale : comprendre une prédiction individuelle — pourquoi le modèle a dit CELA pour CET exemple précis. Indispensable pour répondre à une demande d'explication d'un citoyen (RGPD Art. 22).
SHAP : la référence pour la conformité réglementaire
SHAP (SHapley Additive exPlanations) repose sur les valeurs de Shapley issues de la théorie des jeux coopératifs. L'idée : attribuer à chaque variable la moyenne de ses contributions marginales à la prédiction sur tous les sous-ensembles de variables possibles. Cette approche satisfait quatre garanties axiomatiques — précision locale, missingness, cohérence, efficience — qui en font la référence pour l'audit réglementaire.
La CNIL mentionne SHAP et LIME parmi les outils de développement référencés à titre informatif dans sa documentation de conformité — sans garantie de conformité, comme la CNIL le précise explicitement. TreeSHAP (variante optimisée pour XGBoost, LightGBM, Random Forest) est très rapide en production. KernelSHAP fonctionne avec n'importe quel modèle.
LIME : pratique mais instable
LIME (Local Interpretable Model-Agnostic Explanations) génère des perturbations autour de l'exemple à expliquer, obtient les prédictions du modèle sur ces perturbations, et ajuste un modèle linéaire simple sur ce voisinage local. Intuitif, applicable au texte et aux images — mais son instabilité (deux runs sur le même exemple peuvent diverger) le disqualifie pour la conformité formelle.
Verdict : SHAP pour la production et l'audit ; LIME pour le prototypage rapide.
Comparatif des outils XAI disponibles
La recommandation pratique selon AI Security and Safety (2026) : TreeSHAP pour les modèles à base d'arbres, Integrated Gradients via Captum pour les réseaux neuronaux PyTorch, KernelSHAP comme fallback universel.
💡 Bon à savoir : La CNIL recommande explicitement FairLearn (Microsoft, open source) pour tester l'équité algorithmique — en complément de SHAP pour l'explicabilité. FairLearn permet de détecter les biais selon les critères protégés (genre, âge, origine) avant tout déploiement. D'après le guide de conformité CNIL 2024, ces tests d'équité sont une bonne pratique attendue des organisations déployant des systèmes à haut risque.
L'explicabilité des LLMs : l'angle que personne ne traite encore
Les LLMs (GPT-4.1, Claude, Llama 3) posent des défis d'explicabilité fondamentalement différents des modèles ML classiques — et aucune des approches SHAP/LIME ne s'y applique directement. Si vous débutez avec ces modèles, notre guide complet sur la formation LLM pose les bases nécessaires pour comprendre leur architecture avant d'aborder leur explicabilité.
Pourquoi les LLMs sont une boîte noire d'une autre nature
Selon la revue systématique ArXiv 2506.21812v1 (Florida International University + Universiti Malaya, 2025) : « Les LLMs ont souvent du mal à expliquer leurs processus de décision, ce qui en fait une boîte noire et pose un défi substantiel à l'explicabilité. Ce manque de transparence constitue un obstacle significatif à l'adoption des LLMs dans des applications à enjeux élevés. »
Les défis spécifiques :
Échelle infranchissable
Émergence non anticipée
Polysémantique neuronale
Contexte long et attention distribuée
Les techniques émergentes d'explicabilité des LLMs
La recherche avance sur trois fronts principaux. Selon la revue ArXiv 2407.02646v4 (George Mason University, MIT, 2024) sur l'interprétabilité mécanistique :
Interprétabilité mécanistique — cherche à comprendre par rétro-ingénierie les calculs internes. Les techniques incluent l'activation patching (modifier les activations à un emplacement précis pour identifier les composants responsables), la logit lens (projeter les représentations internes dans l'espace du vocabulaire couche par couche), et l'analyse de circuits (identifier les sous-graphes de neurones responsables de comportements spécifiques).
Sparse autoencoders (SAE) — EleutherAI a publié un pipeline automatisé open-source (ArXiv 2410.13928, ICML 2025) permettant d'interpréter automatiquement des millions de features de sparse autoencoders dans des LLMs open-weight. L'approche passe de la polysémantique à des représentations monosémantiques : un feature = un concept identifiable en langage naturel.
gSMILE — extension de LIME aux LLMs (ArXiv 2505.21657v2), qui quantifie l'influence de chaque token d'entrée sur l'output. Les résultats montrent que Claude 2.1 excelle en fidélité d'attention pour cette méthode.
Constitutional AI : l'explicabilité by design d'Anthropic
Le Constitutional AI (CAI) d'Anthropic représente une approche fondamentalement différente. Plutôt que d'expliquer après coup les décisions d'un modèle, CAI consiste à définir une « constitution » de principes éthiques, entraîner le modèle à critiquer et réviser ses propres outputs en référence à cette constitution, puis combiner cela avec du RLHF (Reinforcement Learning from Human Feedback) basé sur des préférences générées par le modèle lui-même.
Résultat : les comportements du modèle sont traçables aux principes énoncés — une forme d'explicabilité de conception (by design) plutôt que post-hoc.
Applications sectorielles : qui est exposé et comment agir
L'explicabilité n'est pas uniforme — les enjeux varient radicalement selon le secteur. Voici ce que la réglementation et les cas documentés révèlent.
Santé
Finance et crédit
RH et recrutement
Justice et sécurité
Auditer l'explicabilité d'un modèle avant déploiement : la checklist en 8 critères
Voici la checklist synthétisée depuis les exigences réglementaires (AI Act articles 13-14, RGPD Art. 22) et les meilleures pratiques XAI publiées par la CNIL — à passer avant tout déploiement en production.
Documentation de la logique du modèle
Existe-t-il une documentation technique décrivant l'architecture, les variables d'entrée, leur importance relative et les biais potentiels des données d'entraînement ? Sans cette base, tout le reste est inutile.
Niveau d'explicabilité adapté aux audiences
Le système peut-il générer des explications adaptées à différents publics : data scientist, décideur métier, personne concernée, régulateur ? Une explication technique en jargon SHAP n'est pas recevable face à un particulier qui demande pourquoi son crédit a été refusé.
Méthode XAI intégrée et reproductible
Une méthode XAI (SHAP, Captum, InterpretML) est-elle implémentée et peut-elle produire des attributions de features reproductibles pour chaque prédiction individuelle ? Si vous utilisez LIME, la variance est-elle documentée et acceptable pour votre cas d'usage réglementaire ?
Test d'équité algorithmique
Le modèle a-t-il été testé pour les biais discriminatoires selon les critères protégés (genre, âge, origine, situation de handicap) via FairLearn (Microsoft, open-source), Aequitas, ou équivalent ? La CNIL recommande explicitement FairLearn dans son guide de conformité.
Traçabilité des décisions (audit trail)
Chaque décision automatisée est-elle archivée avec ses explications pour répondre aux demandes réglementaires et aux litiges ? Un audit trail est la preuve que vous êtes en mesure de démontrer votre conformité en cas de contrôle CNIL ou de plainte.
Mécanisme de contestation opérationnel
Les personnes affectées par des décisions automatisées peuvent-elles demander une révision humaine et obtenir une explication sur la logique impliquée — conformément au RGPD Art. 22 ? Le mécanisme doit être réel, pas un formulaire qui dort dans un tiroir.
Surveillance en production (monitoring drift)
Les attributions de features sont-elles monitorées dans le temps pour détecter les drifts — le changement de ce qui « drive » les décisions quand les données évoluent ? Un modèle qui était non-biaisé au déploiement peut le devenir six mois plus tard.
Gouvernance des données comme fondation
L'explicabilité suppose une traçabilité de la donnée. Quelle est la qualité, la représentativité et l'historique des données d'entraînement ? Comme le note Blueway dans son analyse, la gouvernance de données est un prérequis majeur — avant même de choisir un outil XAI.
La formation des équipes non techniques — DPO, directeurs métier, managers RH — est souvent le maillon manquant. À The Intelligence Academy, nos formations IA incluent des modules dédiés à la conformité et à l'éthique algorithmique, précisément pour outiller ceux qui ne sont pas data scientists mais qui prennent les décisions de déploiement. Découvrez notre formation IA et conformité RGPD pour aller plus loin sur ce sujet.
Sources et références
- Explicabilité (IA) — Définition officielle CNIL (2024) — Définition de référence en français
- Algorithmes et discriminations : CNIL + Défenseur des droits (2020) — Cadre institutionnel FR sur les biais
- IA : comment être en conformité avec le RGPD ? — CNIL (2024) — Obligations pratiques RGPD/IA
- Règlement (UE) 2024/1689 — AI Act — EUR-Lex (2024) — Texte officiel et calendrier d'application
- Travail et recrutement prédictif — CNIL LINC (2024) — Biais territoriaux documentés en France
- Towards Transparent AI: A Survey on Explainable LLMs — ArXiv 2506.21812v1 (2025) — Revue systématique XAI pour LLMs
- Mechanistic Interpretability for Transformer-Based LMs — ArXiv 2407.02646v4 (2024) — Guide pratique interprétabilité mécanistique
- SHAP, LIME & Captum Compared — AI Security and Safety (2026) — Comparatif technique outils XAI
FAQ
Qu'est-ce que l'IA explicable (XAI) ?
L'IA explicable (XAI) désigne l'ensemble des méthodes permettant aux humains de comprendre et vérifier les décisions d'un modèle IA. Selon la CNIL (définition officielle 2024), c'est la capacité de mettre en relation et de rendre compréhensibles les éléments pris en compte par le système pour la production d'un résultat — adaptés au niveau de compréhension de la personne concernée. En pratique, cela signifie pouvoir répondre à la question : « Pourquoi l'IA a-t-elle pris cette décision ? »
Quelle est la différence entre explicabilité et interprétabilité en IA ?
L'interprétabilité mesure si un observateur peut prédire les outputs d'un modèle — elle concerne la structure du modèle lui-même. L'explicabilité va plus loin : elle examine comment l'IA est parvenue à un résultat précis, applicable a posteriori à n'importe quel modèle, même opaque. Oui, la distinction est essentielle : un modèle linéaire est interprétable ET explicable, mais un réseau neuronal profond peut être rendu explicable (via SHAP, LIME) sans jamais être interprétable dans sa structure interne.
Pourquoi l'explicabilité est-elle obligatoire avec l'AI Act ?
Oui, l'explicabilité est obligatoire pour les systèmes à haut risque selon l'AI Act (Règlement UE 2024/1689). Pour les secteurs recrutement, crédit, santé, justice et éducation, l'obligation complète de transparence et d'explicabilité s'applique à partir du 2 août 2026, avec des sanctions pouvant atteindre 30 millions d'euros ou 6 % du CA mondial. Pour les LLMs à usage général (GPT-4.1, Claude, Llama), les obligations de documentation étaient effectives dès août 2025.
Quelles sont les techniques d'explicabilité des modèles IA les plus utilisées ?
Les cinq principales techniques sont : SHAP (référence industrielle pour l'audit réglementaire, 4 garanties axiomatiques — mentionné dans la documentation CNIL), LIME (prototypage rapide, instable donc déconseillé pour la conformité formelle), Captum / Integrated Gradients (réseaux neuronaux PyTorch — stable, axiomatique), InterpretML de Microsoft (modèles glassbox, bonne stabilité en production), et FairLearn (test d'équité algorithmique, recommandé CNIL). D'après AI Security and Safety (2026), TreeSHAP est la recommandation de référence pour les modèles à base d'arbres.
Les LLMs comme ChatGPT et Claude sont-ils explicables ?
Partiellement, et avec des techniques très différentes des modèles ML classiques. Les LLMs posent des défis spécifiques que SHAP et LIME ne couvrent pas : milliards de paramètres, émergence non anticipée, polysémantique neuronale. Les avancées 2024-2026 selon ArXiv 2506.21812v1 incluent : l'interprétabilité mécanistique (activation patching, circuit analysis), les sparse autoencoders (EleutherAI, ArXiv 2410.13928, ICML 2025) pour l'interprétation automatisée de millions de features dans des LLMs open-weight, et gSMILE pour l'attribution de tokens. L'explicabilité structurelle complète reste un problème de recherche ouvert — reconnu par Anthropic, DeepMind et OpenAI elles-mêmes.
Qu'est-ce que SHAP et comment fonctionne-t-il ?
SHAP (SHapley Additive exPlanations) attribue à chaque variable d'un modèle la moyenne pondérée de ses contributions marginales à la prédiction — un concept issu de la théorie des jeux coopératifs de Lloyd Shapley (Prix Nobel 2012). Cette approche satisfait 4 garanties axiomatiques : précision locale, missingness, cohérence et efficience — ce qui en fait la référence pour l'audit réglementaire. En pratique : TreeSHAP est optimisé pour XGBoost, LightGBM et Random Forest (très rapide en production) ; KernelSHAP fonctionne avec n'importe quel modèle (plus lent mais universel).
Comment l'AI Act affecte-t-il les entreprises françaises ?
Toute entreprise française utilisant des systèmes IA dans les secteurs à haut risque (recrutement, scoring crédit, éducation, santé, justice, infrastructures critiques) devra être en conformité avant le 2 août 2026. Les obligations concrètes selon l'AI Act Art. 13 : documentation technique complète, mesures d'explicabilité opérationnelles, oversight humain, notification des personnes affectées, et audit trail pour toute décision automatisée. Les organisations utilisant des LLMs à usage général (GPT-4.1, Claude, Llama) devaient être conformes aux obligations de documentation depuis août 2025.
Comment former ses équipes à l'éthique algorithmique et à l'explicabilité IA ?
L'enjeu n'est pas seulement technique : les DPO, directeurs métier et décideurs non data scientists doivent comprendre les mécanismes de base pour prendre de bonnes décisions de déploiement. Des formations certifiées Qualiopi permettent de développer ces compétences de manière structurée — avec des modules sur la conformité RGPD/AI Act, les outils XAI accessibles (FairLearn, InterpretML), et les cas pratiques sectoriels. Notre formation IA et conformité RGPD couvre spécifiquement ces enjeux pour les équipes non techniques, avec une approche praticien immédiatement applicable.
Conclusion
L'explicabilité des modèles IA n'est plus un sujet réservé aux chercheurs. Elle est désormais une obligation légale (AI Act Art. 13-14, RGPD Art. 22), un impératif éthique documenté par des cas concrets (Amazon, MIT, COMPAS), et un levier de confiance pour vos utilisateurs et clients.
La réalité de 2026 : si votre organisation déploie un modèle IA dans le recrutement, le crédit, la santé ou la justice, vous avez moins d'un an pour être en conformité avec l'AI Act. Et si vous utilisez des LLMs en production, les obligations de documentation GPAI s'appliquaient déjà depuis août 2025.
L'outil SHAP reste la référence pour l'audit réglementaire. Les LLMs posent des défis XAI inédits — l'interprétabilité mécanistique et le Constitutional AI d'Anthropic sont les pistes les plus sérieuses à suivre. Et la formation des équipes non techniques reste le maillon faible dans la plupart des organisations.