ChatGPT résout des équations complexes mais rate ces 3 tâches basiques
Le paradoxe qui embarrasse les ingénieurs de Google et OpenAI
ChatGPT rédige des contrats juridiques en 30 secondes. Il explique la mécanique quantique à un enfant de 10 ans. Il traduit du swahili en grec ancien sans sourciller. Et pourtant, posez-lui une question aussi simple que "combien y a-t-il de lettres 'r' dans le mot 'strawberry' ?" — et regardez-le échouer, avec une confiance absolue.
Ce n'est pas un bug isolé. C'est la fenêtre ouverte sur l'une des contradictions les plus profondes de l'intelligence artificielle moderne. Comprendre ce paradoxe, c'est comprendre ce que ces systèmes sont vraiment — et ce qu'ils ne seront peut-être jamais.
Quand le génie trébuche sur le trivial
Les exemples d'échecs "absurdes" des IA les plus avancées se multiplient depuis leur démocratisation. Voici trois catégories d'erreurs qui reviennent systématiquement :
- Le comptage de caractères : Demandez à GPT-4 de compter le nombre de lettres dans un mot. Il se trompera sur des mots courants avec une régularité troublante. "Strawberry" contient trois "r" — la plupart des modèles en trouvent deux.
- Le raisonnement spatial basique : "Si je place une balle dans une boîte, puis je retourne la boîte, où est la balle ?" Ce type de question piège régulièrement les grands modèles de langage, qui extrapolent des réponses logiquement incorrectes.
- L'arithmétique élémentaire sans outil : Sans calculatrice intégrée, Claude ou Gemini peuvent affirmer que 17 × 13 = 211, en présentant l'erreur avec la même fluidité qu'une vérité absolue.
Pourquoi cela arrive : une architecture fondamentalement différente
Pour comprendre ces ratés, il faut d'abord accepter une idée contre-intuitive : les IA ne "pensent" pas. Elles prédisent.
Un grand modèle de langage (LLM) comme GPT-4, Claude ou Gemini fonctionne en anticipant le prochain token — le prochain fragment de texte le plus probable — en s'appuyant sur des milliards de paramètres statistiques. Cette architecture est extraordinairement puissante pour reproduire des patterns complexes appris sur des téraoctets de données textuelles.
Mais elle possède une faille structurelle : elle ne manipule pas des symboles discrets. Quand vous demandez à un humain de compter les "r" dans un mot, il scanne mentalement chaque lettre une par une — processus séquentiel, délibéré, précis. Un LLM, lui, traite le mot "strawberry" comme une unité sémantique globale, et reconstruit sa réponse à partir de ce qu'il a statistiquement "vu" associé à ce mot dans ses données d'entraînement.
En d'autres termes : l'IA excelle à reconnaître des formes complexes, mais échoue sur des tâches qui nécessitent un traitement symbolique rigoureux et pas un raisonnement analogique.
Le paradoxe de la compétence inversée
Ce phénomène a été formalisé dans la littérature académique sous différentes appellations, dont le concept de "Reversal Curse" ou les études sur les capacités émergentes. Il révèle quelque chose de fascinant : la difficulté perçue d'une tâche pour un humain ne prédit pas la difficulté pour une IA.
Rédiger un essai philosophique sur Nietzsche ? Facile pour le modèle — il a ingurgité des milliers d'essais similaires. Dire si 7 est plus grand que 5 dans le contexte d'une phrase ambiguë ? Risqué. La nuance contextuelle peut dérouter là où la logique pure semble évidente.
Ce que les chercheurs d'OpenAI, DeepMind ou Anthropic reconnaissent en privé — et de plus en plus publiquement — c'est que ces systèmes ont développé une forme d'intelligence extrêmement spécialisée dans l'imitation profonde, sans accès véritable à la compréhension symbolique ou causale du monde.
Ce que cela change concrètement pour vous
Ces limites ne sont pas anecdotiques. Elles ont des implications directes sur la façon dont vous devriez utiliser ces outils :
- Ne déléguez jamais sans vérifier les calculs, les comptages ou les vérifications factuelles précises. Utilisez un outil dédié (Excel, Python, Wolfram Alpha) pour ce type de tâche.
- Méfiez-vous de la confiance rhétorique. Un modèle peut être totalement faux et parfaitement convaincant. L'assurance du ton n'est pas un indicateur de fiabilité.
- Exploitez ce que l'IA fait réellement bien : synthèse, reformulation, génération de variantes, structuration d'idées — des tâches où le raisonnement analogique est un avantage, pas un défaut.
Un avenir qui se construit autour de ces lacunes
La bonne nouvelle, c'est que l'industrie ne reste pas les bras croisés. Les approches hybrides — combinant LLMs et modules de raisonnement formel, comme c'est le cas dans les dernières versions de Gemini ou dans les travaux d'Anthropic sur la pensée enchaînée (chain-of-thought) — commencent à combler certaines de ces lacunes. OpenAI o1, conçu pour "réfléchir avant de répondre", marque une tentative sérieuse de dépasser le simple régime probabiliste.
Mais ces avancées soulèvent une question plus fondamentale, que philosophes et ingénieurs débattent encore : peut-on vraiment obtenir une intelligence générale robuste en partant uniquement de la prédiction de texte ? Ou faut-il une architecture radicalement différente ?
Conclusion : l'humilité comme protocole de base
Les IA les plus avancées de 2024 sont des outils d'une puissance rare, mal comprises parce que trop souvent anthropomorphisées. Elles ne pensent pas comme vous — elles semblent penser comme vous, ce qui est à la fois leur force et leur piège.
Comprendre leurs angles morts n'est pas une invitation à les rejeter. C'est la condition pour les utiliser avec intelligence. Et c'est précisément là que réside votre avantage compétitif : savoir quand faire confiance à la machine, et quand la surveiller.
— Reservoir Live