ChatGPT rate 3 calculs simples que votre calculatrice ne louperait jamais

ChatGPT rate 3 calculs simples que votre calculatrice ne louperait jamais

Quand les géants trébuchen sur des détails que vous maîtrisez en secondes

ChatGPT rédige des contrats juridiques en 30 secondes. Il traduit du mandarin, explique la mécanique quantique, et code des applications entières. Pourtant, demandez-lui combien de fois la lettre "r" apparaît dans le mot "strawberry" — il vous répondra souvent trois fois au lieu de trois. Cherchez l'erreur.

Ce paradoxe n'est pas un bug isolé. C'est le symptôme d'une fracture profonde dans l'architecture même des intelligences artificielles les plus avancées du monde. Comprendre pourquoi ces systèmes échouent sur des tâches triviales, c'est comprendre ce que l'IA est vraiment — et pas ce que les communiqués de presse veulent vous faire croire.

Des modèles entraînés à prédire, pas à comprendre

Les grands modèles de langage (LLM) comme GPT-4, Claude ou Gemini fonctionnent sur un principe fondamental : ils prédisent le prochain mot le plus probable dans une séquence. Ce mécanisme, aussi sophistiqué soit-il, n'est pas équivalent à la compréhension.

Lorsque vous posez une question à ChatGPT, il ne "réfléchit" pas au sens humain du terme. Il reconnaît des patterns statistiques dans des milliards de textes et génère une réponse cohérente avec ce qu'il a vu. Sur des sujets bien documentés, le résultat est bluffant. Sur des tâches nouvelles ou contre-intuitives, le château de cartes s'effondre.

Le problème de la généralisation

Un enfant de 6 ans comprend instantanément qu'une balle rouge est plus grosse qu'une balle bleue si on lui montre les deux. Un LLM, lui, doit avoir vu suffisamment de descriptions similaires dans ses données d'entraînement pour répondre correctement. Sans ce contexte appris, il improvise — et se trompe.

Les 3 catégories d'échecs qui devraient vous alerter

1. Le raisonnement spatial et visuel

Demandez à une IA de décrire comment plier une feuille de papier pour obtenir un triangle équilatéral. Les résultats sont souvent incohérents, contradictoires ou carrément impossibles à réaliser. Les LLM n'ont aucun modèle mental de l'espace physique. Ils décrivent ce qu'ils ont lu à ce sujet, pas ce qu'ils "voient".

2. L'arithmétique et le comptage

L'exemple du "r" dans "strawberry" est devenu célèbre pour une raison. Les modèles ne "lisent" pas les mots lettre par lettre — ils les traitent comme des unités entières (des tokens). Compter des caractères exige un traitement séquentiel précis que leur architecture n'est pas conçue pour effectuer naturellement. C'est comme demander à un pianiste de compter les touches frappées tout en improvisant : deux processus incompatibles.

3. Le sens commun et la logique contextuelle

Posez ce problème à GPT-4 : "Un médecin donne 3 pilules à un patient en lui disant d'en prendre une toutes les demi-heures. Combien de temps dura le traitement ?" Réponse attendue : 1 heure. Beaucoup de modèles répondent 1h30. Ils appliquent 3 × 30 minutes mécaniquement, sans modéliser la réalité temporelle de la situation.

Pourquoi ces limites sont systémiques, pas accidentelles

Ces échecs ne sont pas des oublis que les ingénieurs corrigeront dans la prochaine mise à jour. Ils reflètent une limite architecturale fondamentale. Les LLM optimisent pour la vraisemblance linguistique, pas pour la vérité logique ou physique.

Yoshua Bengio, l'un des pères du deep learning, l'a formulé clairement : nous construisons des systèmes extraordinairement bons à interpoler dans des espaces connus, mais fragiles dès qu'ils doivent extrapoler vers des situations nouvelles. L'intelligence humaine, elle, est précisément bonne à cette extrapolation.

L'effet de confiance aggrave le problème

Ce qui rend ces erreurs particulièrement dangereuses, c'est que les IA les formulent avec le même ton assuré qu'une réponse correcte. Il n'existe pas de signal d'incertitude fiable. Un modèle qui invente une référence bibliographique et un modèle qui cite Einstein utilisent exactement le même registre de langage.

Ce que ça change concrètement pour vous

  • Ne déléguez jamais sans vérifier les tâches impliquant des chiffres précis, des dates, ou des enchaînements logiques complexes.
  • Méfiez-vous de la fluidité du texte comme indicateur de fiabilité — une phrase bien construite n'est pas une phrase vraie.
  • Utilisez l'IA comme un premier jet, jamais comme une source finale sur des sujets à fort enjeu.
  • Testez activement vos outils : posez-leur des questions dont vous connaissez déjà la réponse avant de leur confier des tâches critiques.

La conclusion que personne ne veut tirer

Les IA généralistes actuelles sont des outils extraordinairement puissants dans leur domaine de confort — la génération de contenu plausible à partir de patterns connus. Hors de ce domaine, elles tâtonnent, hallucinent, et parfois échouent sur des problèmes qu'un enfant de primaire résoudrait sans effort.

Cela ne les rend pas inutiles. Cela les rend différentes de ce qu'on nous vend. La vraie compétence à développer aujourd'hui n'est pas de savoir utiliser l'IA — c'est de savoir quand ne pas lui faire confiance. Et ça, aucun modèle de langage ne vous l'apprendra à votre place.


— Reservoir Live