Biais algorithmique : un risque IA réel pour une PME ?
Oui, le biais algorithmique est un risque réel pour une PME, mais il ne se pose pas partout avec la même gravité. Il devient sérieux dès qu'un outil d'IA participe à une décision sur une personne (tri de CV, évaluation, scoring client), et il engage alors votre responsabilité d'employeur ou de responsable de traitement, pas celle de l'éditeur seul. Cet article vous aide à repérer les usages exposés, à vérifier un outil et à documenter vos contrôles. Il s'inscrit dans notre guide de l'IA en entreprise pour les PME.
Qu'est-ce qu'un biais algorithmique, concrètement ?
Un biais algorithmique est une erreur systématique d'un outil d'IA qui avantage ou désavantage certains groupes de personnes sans justification liée à la tâche demandée. Il ne vient presque jamais d'une intention. Il vient des données d'entraînement, de la manière dont le problème a été posé, ou du contexte dans lequel l'outil est utilisé.
Trois origines reviennent presque toujours :
- Des données historiques déséquilibrées. Un modèle entraîné sur dix ans de recrutements majoritairement masculins apprend que "profil réussi" ressemble à "profil masculin". Le cas d'un outil de tri de candidatures abandonné par un grand groupe américain, rapporté par la presse en 2018, est l'exemple le plus cité.
- Des variables indirectes. Retirer le prénom ou le genre d'un dossier ne suffit pas. Un code postal, une interruption de carrière ou un loisir peuvent servir de proxy et reconstituer la même information.
- Un usage détourné. Un outil conçu pour trier des CV d'ingénieurs ne se comporte pas de la même façon sur des candidatures d'aide-soignants. Le biais peut naître de l'écart entre le cas pour lequel l'outil a été validé et celui pour lequel vous l'utilisez.
Les modèles génératifs (ChatGPT, Claude, Gemini, Copilot) ont leurs propres limites : ils reproduisent des stéréotypes présents dans leurs corpus. Cela se voit surtout quand on leur demande de juger une personne plutôt que de reformuler un texte. Pour le vocabulaire de base, voyez notre entrée sur les LLM et sur l'IA générative.
Une PME est-elle vraiment concernée ?
Une PME est concernée dès qu'elle utilise l'IA pour trier, noter ou orienter des personnes, même avec un outil grand public. Le risque ne dépend pas de la taille de l'entreprise, mais de l'impact de la décision sur l'individu.
Les situations les plus fréquentes en PME :
- un responsable RH qui demande à un assistant IA de classer 80 CV reçus pour un poste ;
- un outil de scoring de leads qui écarte automatiquement certains profils de clients ;
- un assistant de pré-qualification téléphonique qui oriente mal les personnes avec un accent marqué ;
- une évaluation de performance rédigée "avec l'aide de l'IA" à partir de notes de manager.
À l'inverse, utiliser l'IA pour résumer une réunion, rédiger un devis ou reformuler un email expose très peu à ce risque. La première question à vous poser est donc simple : est-ce que ce résultat pèse sur une personne ? Si non, le sujet est secondaire. Si oui, lisez la suite. Notre article sur le shadow IA montre pourquoi ces usages existent souvent sans que la direction le sache.
Ce que dit le droit : trois couches à connaître
Trois textes s'empilent : le droit de la non-discrimination, le RGPD et l'AI Act, et aucun ne vous exonère parce que le biais vient d'un outil. C'est l'employeur ou l'organisation qui décide, l'outil n'est qu'un moyen.
La non-discrimination. Le Code du travail (article L1132-1) et le Code pénal (articles 225-1 et suivants) interdisent d'écarter une personne en raison de critères protégés : origine, sexe, âge, situation de famille, état de santé, handicap, etc. Que la décision soit prise à la main ou avec un algorithme ne change rien à l'infraction. Le Code du travail impose aussi que les méthodes de recrutement soient portées à la connaissance des candidats (article L1221-8). La discrimination est un délit puni par le Code pénal, ce qui dépasse largement le cadre d'un simple litige prud'homal.
Le RGPD. L'article 22 encadre les décisions fondées exclusivement sur un traitement automatisé qui produisent des effets significatifs sur une personne. Si un outil classe des candidats et que personne ne relit réellement le résultat, vous êtes potentiellement dans ce cas. Une analyse d'impact (AIPD, article 35) est à envisager pour les traitements à risque. Pour comprendre comment les deux textes se combinent, voyez l'articulation entre AI Act et RGPD.
L'AI Act (règlement UE 2024/1689). Les systèmes d'IA utilisés pour le recrutement, la sélection, la promotion, la rupture du contrat ou le suivi des salariés figurent à l'annexe III parmi les systèmes à haut risque. Les fournisseurs doivent notamment gouverner leurs données pour détecter les biais (article 10). Les entreprises qui utilisent ces systèmes ("déployeurs") doivent, entre autres, assurer une supervision humaine réelle et informer les représentants du personnel et les salariés concernés avant la mise en service (article 26). Le détail de la classification se trouve dans notre article sur les systèmes d'IA à haut risque (article 6).
Côté calendrier, les obligations haut risque de l'annexe III ont fait l'objet d'un report dans le cadre du paquet "Digital Omnibus". L'échéance annoncée est le 2 décembre 2027, d'après l'accord politique de mai 2026 (vérifiez le texte définitivement publié au Journal officiel de l'UE). Ce report ne suspend ni la non-discrimination ni le RGPD, qui s'appliquent déjà aujourd'hui.
Sur les sanctions, l'article 99 de l'AI Act prévoit pour le non-respect des obligations des opérateurs de systèmes à haut risque des amendes pouvant atteindre 15 millions d'euros ou 3 % du chiffre d'affaires mondial, le montant le plus élevé étant retenu, avec une logique d'atténuation pour les PME (le plafond le plus bas des deux s'applique). Notre article sur les sanctions de l'AI Act détaille ces mécanismes.
Comment vérifier un outil avant de l'utiliser sur des personnes ?
Testez-le sur vos propres cas avant de lui confier une décision, et gardez une trace écrite du test. Un document de conformité du fournisseur ne remplace pas un essai sur vos données.
Une méthode en cinq étapes, réalisable en une demi-journée :
- Listez l'usage précis. Quelle décision, sur qui, avec quelles données d'entrée, et qui relit le résultat.
- Demandez au fournisseur sa documentation. Données d'entraînement, mesures de détection de biais, limites connues, conditions d'usage prévues. Un éditeur qui ne sait pas répondre vous donne déjà une information.
- Constituez un jeu de test. Par exemple 20 candidatures réelles anonymisées, auxquelles vous ajoutez des variantes identiques où seul un élément change (prénom, adresse, trou dans le parcours).
- Comparez les résultats. Si deux dossiers équivalents reçoivent des notes ou des classements différents, vous tenez un signal.
- Documentez et fixez une règle. L'outil aide à préparer, un humain décide et peut justifier sa décision en citant des critères liés au poste.
Pour mesurer un écart de sélection, un repère simple existe : le taux de sélection d'un groupe divisé par celui du groupe le plus sélectionné. Exemple illustratif (chiffres fictifs) : sur 100 candidatures d'hommes et 100 de femmes, 40 hommes et 22 femmes sont retenus. Le ratio est de 22/40, soit 55 %. Un ratio sous 80 % est utilisé aux États-Unis comme signal d'alerte (règle dite des quatre cinquièmes). Ce seuil n'a aucune valeur juridique en France : il sert à déclencher une analyse, pas à conclure à une discrimination.
| Situation | Niveau de risque | Réflexe minimal |
|---|---|---|
| Résumer un compte rendu, reformuler un email | Faible | Relecture habituelle |
| Classer ou noter des CV | Élevé (annexe III de l'AI Act) | Test sur cas réels, décision humaine motivée, information des candidats |
| Scorer des clients ou des leads | Moyen à élevé selon l'impact | Critères documentés, possibilité de contestation |
| Évaluer la performance d'un salarié | Élevé | Aucune décision sans relecture humaine, information des représentants du personnel |
| Chatbot de relation client | Faible à moyen | Surveiller les réponses inégales selon les profils |
Ce que vous pouvez mettre en place cette semaine
Trois actions suffisent pour sortir de l'angle mort : un inventaire, une règle, une trace. Elles ne demandent ni juriste ni data scientist.
- Un inventaire des usages qui touchent des personnes. Cartographiez-les dans un simple tableau (outil, usage, données, décideur). Notre article sur la gouvernance IA en PME propose un registre léger.
- Une règle écrite. Intégrez dans votre politique IA une phrase claire : aucune décision concernant une personne n'est prise sur la seule base d'une sortie d'IA.
- Une trace des contrôles. Date du test, jeu utilisé, résultats, décision. En cas de contestation ou de contrôle, c'est ce document qui compte.
Un point de vigilance : la formation des équipes. Un manager qui comprend pourquoi un modèle peut se tromper sur un profil atypique relit mieux qu'un manager qui fait confiance par défaut. C'est un des apports concrets de la formation IA en entreprise.
Questions fréquentes
Une PME de 20 salariés doit-elle se préoccuper du biais algorithmique ? Oui si elle utilise un outil d'IA pour trier, noter ou orienter des personnes. La taille ne change pas l'application de la non-discrimination ni du RGPD. Elle change surtout le niveau de formalisme raisonnable : un tableau et un test documenté suffisent souvent pour démarrer.
Qui est responsable si le biais vient de l'outil de l'éditeur ? L'éditeur a ses propres obligations, mais l'entreprise qui prend la décision reste responsable de celle-ci. Le contrat avec le fournisseur peut prévoir un partage, il ne supprime pas votre responsabilité vis-à-vis des personnes concernées.
ChatGPT ou Claude peuvent-ils trier des CV sans risque ? Ils peuvent aider à structurer ou résumer des dossiers, mais leur usage pour classer des candidats relève du recrutement, donc d'un usage sensible au sens de l'AI Act. Il faut tester, garder une décision humaine et informer les candidats.
Comment savoir si mon outil est biaisé ? Vous ne pouvez pas le savoir avec certitude, mais vous pouvez détecter des écarts : comparez les résultats sur des dossiers équivalents où un seul élément change, et mesurez les taux de sélection par groupe sur un échantillon suffisant.
Un biais détecté suffit-il à interdire l'outil ? Pas automatiquement. L'important est de comprendre l'écart, de le corriger ou de borner l'usage (par exemple en excluant l'outil de la décision finale), et de documenter ce choix.
Faut-il informer les candidats ou les salariés ? Oui dans les cas de recrutement et de suivi des salariés : le Code du travail impose l'information sur les méthodes de recrutement, le RGPD sur les traitements, et l'AI Act sur certains systèmes à haut risque. Faites valider la formulation par votre DPO ou un conseil.
Quelle est la différence entre biais et hallucination ? Une hallucination est une réponse inventée par le modèle. Un biais est un écart systématique selon les profils. Les deux se contrôlent, mais pas de la même façon.
Comment GrowthPerf accompagne
GrowthPerf, organisme de formation certifié Qualiopi, accompagne les PME et associations sur ce sujet avec un format court : cartographie des usages d'IA qui touchent des personnes, test sur vos cas réels, rédaction de la règle interne et formation des managers concernés. L'objectif n'est pas de produire un rapport de plus, mais de vous laisser un registre et une méthode que vous pouvez refaire seuls.
Pour démarrer, contactez-nous ou consultez notre formation IA en entreprise. Si vous souhaitez d'abord faire le point sur vos usages, notre audit IA pour PME est le meilleur point d'entrée. Pour replacer le sujet dans une démarche globale, retrouvez notre guide complet de l'IA en entreprise.