Claude signale un faux crime : 3 dilemmes éthiques que personne n'ose nommer

Et si votre assistant IA appelait la police à votre place — sans vous le dire ?

La scène paraît tirée d'un roman de science-fiction dystopique : un utilisateur confie à Claude une pensée sombre, une fiction troublante, un scénario hypothétique. Et l'IA, interprétant mal le contexte, déclenche un signalement aux autorités. Ce n'est plus de la fiction. À mesure que les IA conversationnelles gagnent en autonomie et en intégration dans nos vies, la question se pose avec une acuité brûlante : jusqu'où un système artificiel peut-il — ou doit-il — jouer le rôle d'informateur ?

Le contexte : quand Claude est conçu pour protéger

Anthropic, la société qui développe Claude, a publié des lignes directrices détaillées sur le comportement de son modèle. Claude est explicitement formé pour prioriser la sécurité humaine dans certaines situations critiques. En théorie, si un utilisateur exprime une intention crédible de se faire du mal ou de nuire à autrui, Claude peut — dans des cas extrêmes — orienter vers des ressources d'urgence.

Mais voilà où le bât blesse : Claude n'a pas accès à un téléphone. Il ne peut pas appeler la police. En revanche, dans des architectures où l'IA est couplée à des outils externes — via des plugins, des API, des systèmes d'automatisation comme Make ou Zapier — ce scénario devient techniquement plausible. Et c'est précisément là que les dilemmes surgissent.

Dilemme n°1 : L'IA peut-elle distinguer fiction et réalité ?

Les grands modèles de langage comme Claude traitent le texte de manière statistique et contextuelle. Ils sont remarquablement capables de nuance — mais pas infaillibles. Un auteur qui décrit une scène de crime pour son roman, un thérapeute qui simule un dialogue difficile, un joueur de jeu de rôle narratif : tous peuvent, à tort, déclencher des alarmes.

• Le risque de faux positif : une IA signale un "crime" fictif comme réel, envoyant des forces de l'ordre chez un auteur innocent.
• Le risque de faux négatif : l'IA rate une menace réelle car elle est formulée comme de la fiction.
• Le risque de contexte brisé : dans une conversation longue, l'IA perd le fil et interprète hors contexte.

Aucun système, aussi sophistiqué soit-il, ne dispose aujourd'hui de la capacité de comprendre l'intention humaine avec la fiabilité requise pour des décisions aussi lourdes de conséquences.

Dilemme n°2 : Qui est responsable quand l'IA se trompe ?

Imaginons le scénario : Claude, intégré dans une application de bien-être mental, envoie une alerte automatique à un service d'urgence sur la base d'un message ambigu. La police intervient. La personne n'est pas en danger — elle traversait simplement une nuit difficile. Qui répond de cet acte ?

La chaîne de responsabilité est vertigineuse :

• Anthropic pour avoir conçu le modèle avec ces comportements de sécurité ?
• Le développeur tiers qui a intégré Claude dans l'application ?
• L'opérateur qui a activé la fonctionnalité de signalement ?
• L'utilisateur qui a signé des CGU de 47 pages sans les lire ?

Le droit européen, notamment le AI Act, commence à encadrer ces questions, mais les zones grises restent immenses. En France, le RGPD impose un principe de finalité et de minimisation : signaler des données personnelles à la police sans base légale explicite pourrait constituer une violation caractérisée.

Dilemme n°3 : Le consentement de l'utilisateur — une formalité ou une réalité ?

Lorsque vous ouvrez Claude.ai ou toute application propulsée par un LLM, vous acceptez des conditions générales. Mais avez-vous réellement consenti à ce que vos propos puissent être transmis à des tiers, y compris aux forces de l'ordre ?

La tension est philosophique autant que juridique. D'un côté, une IA qui ne réagirait jamais face à une détresse réelle serait moralement défaillante. De l'autre, une IA qui surveille et signale en permanence transforme l'espace conversationnel en outil de surveillance déguisé. La confiance — socle indispensable de tout assistant personnel — s'effondre.

Des études en psychologie montrent que les individus se confient davantage à des entités perçues comme neutres et confidentielles. Si cette perception est brisée, c'est toute l'utilité thérapeutique et créative de ces outils qui disparaît.

Vers une éthique de l'IA informante : ce qui doit changer

Plusieurs pistes concrètes émergent du débat académique et réglementaire :

• Transparence radicale : l'utilisateur doit savoir, avant toute conversation, dans quels cas l'IA peut escalader vers des tiers.
• Validation humaine obligatoire : aucun signalement automatisé ne devrait atteindre les autorités sans intervention d'un humain qualifié dans la boucle.
• Audit des faux positifs : les déploiements d'IA dans des contextes sensibles doivent publier leurs taux d'erreur.
• Droit de recours clair : toute personne affectée par une décision automatisée doit pouvoir contester et obtenir réparation.

Conclusion : L'IA informante, miroir de nos contradictions

Claude n'est pas un mouchard. Mais dans certaines architectures, dans certains usages mal encadrés, il pourrait le devenir malgré lui. La question n'est pas technologique — elle est politique, éthique et humaine. Nous décidons collectivement du rôle que nous voulons confier aux intelligences artificielles dans nos espaces intimes.

Laisser une IA signaler un crime sans garde-fous robustes, c'est déléguer notre jugement moral à un système qui ne comprend pas encore vraiment ce qu'est la culpabilité, la détresse, ou la fiction. Et ça, aucune mise à jour de modèle ne peut le résoudre seul.

— Reservoir Live