Tout le monde fait confiance à l'IA. Personne ne montre quand elle tue.

L'IA sait tout — sauf ce qui compte vraiment

Un algorithme prédit la météo en montagne avec 94 % de précision. Un randonneur part confiant. Il ne revient pas. Sur les marchés financiers, un modèle d'IA annonce une tendance haussière à 7h32. À 9h15, les pertes s'accumulent à des dizaines de millions d'euros. Ce n'est pas de la science-fiction. Ce sont des scénarios qui se produisent, silencieusement, pendant que nous continuons de faire confiance aux machines les yeux fermés.

L'intelligence artificielle a accompli des choses remarquables : diagnostiquer des cancers, traduire des langues, battre des champions aux échecs. Mais elle bute systématiquement sur deux terrains où les conséquences sont mortelles ou financièrement dévastatrices : l'environnement naturel imprévisible et les marchés financiers humains. Comprendre pourquoi, c'est comprendre les vraies limites de la technologie qui redessine notre monde.

La montagne : l'ennemi parfait de l'algorithme

Les modèles de prévision météorologique modernes, comme ceux utilisés par Météo-France ou Google DeepMind avec GraphCast, sont impressionnants sur le papier. GraphCast peut produire des prévisions à 10 jours en moins d'une minute, là où les supercalculateurs traditionnels prennent des heures. Mais la montagne, elle, se moque des benchmarks.

Pourquoi l'IA perd en altitude

• Les données d'entraînement sont lacunaires. Les stations météo en haute montagne sont rares. Les modèles apprennent sur des données de vallées, de plaines, d'aéroports — pas de faces nord à 3 800 mètres.
• Les microclimats sont non linéaires. Un couloir peut concentrer le vent de façon imprévisible. Une crête peut créer un effet de foehn local invisible pour tout modèle global.
• L'IA confond la stabilité passée avec la réalité présente. Elle extrapole des patterns historiques. En montagne, un phénomène nouveau — une vague de chaleur suivie d'un froid soudain — crée des conditions que le modèle n'a jamais "vues".

Le résultat ? Des randonneurs et alpinistes qui font confiance à une application, ignorent les signaux physiques que leur expérience aurait détectés, et se retrouvent pris dans des tempêtes annoncées comme "partiellement nuageuses". La confiance excessive dans l'outil tue la vigilance humaine.

La bourse : là où l'IA se retourne contre elle-même

En finance, le problème est encore plus pervers. Les algorithmes de trading haute fréquence représentent aujourd'hui plus de 70 % des volumes échangés sur les marchés américains. L'IA n'observe plus seulement les marchés : elle est le marché. Et c'est précisément là que le système déraille.

Le paradoxe de l'auto-référence

Quand des centaines de modèles s'entraînent sur les mêmes données historiques, ils développent les mêmes réflexes. Un signal baissier ? Tous vendent en même temps. Une opportunité haussière ? Tous achètent en millisecondes. Ce comportement grégaire amplifie les mouvements au lieu de les corriger. C'est ce qu'on a observé lors du Flash Crash du 6 mai 2010, quand le Dow Jones a perdu 1 000 points en quelques minutes avant de se reprendre — un événement causé précisément par des algorithmes réagissant aux algorithmes.

Le problème du "cygne noir"

Les modèles financiers basés sur l'IA partagent un défaut fondamental avec leurs prédécesseurs mathématiques : ils supposent que le passé prédit le futur. Le Covid-19, la crise de 2008, la faillite de Lehman Brothers — ces événements étaient statistiquement "impossibles" selon les modèles de l'époque. Nassim Taleb l'avait écrit dès 2007 dans Le Cygne Noir : les événements les plus importants sont ceux que vos modèles ne peuvent pas voir.

Ce que ces deux échecs ont en commun

En montagne comme en bourse, l'IA échoue pour trois raisons structurelles identiques :

• La distribution des données change. Le modèle apprend sur une réalité, mais le monde réel évolue. On appelle ça le data drift.
• La causalité est confondue avec la corrélation. L'IA détecte des patterns mais ne comprend pas les mécanismes. Elle voit que "X précède Y" sans savoir pourquoi.
• L'effet de boucle de rétroaction. En finance, l'IA influence les marchés qu'elle observe. En montagne, la confiance dans l'IA modifie le comportement humain. Dans les deux cas, l'outil change la réalité qu'il est censé mesurer.

Ce que cela devrait changer dans notre rapport à l'IA

La solution n'est pas d'abandonner l'IA. GraphCast sauve des vies dans les plaines. Les algorithmes financiers améliorent la liquidité des marchés dans des conditions normales. Mais trois postures s'imposent :

• Garder un humain expert dans la boucle. Un guide de haute montagne expérimenté qui contredit l'application a souvent raison. Un gestionnaire de fonds qui comprend le contexte macroéconomique aussi.
• Connaître les conditions d'invalidité du modèle. Tout bon outil IA devrait indiquer clairement dans quels contextes ses prédictions deviennent non fiables.
• Ne jamais déléguer entièrement la décision. L'IA est un outil d'aide à la décision, pas un décideur. La frontière entre les deux, floue en pratique, est une ligne de vie.

Conclusion : faire confiance à l'IA, c'est aussi savoir quand ne pas lui faire confiance

Les algorithmes les plus puissants du monde partagent une caractéristique avec les humains les plus brillants : ils ont des angles morts. La différence, c'est que l'humain peut ressentir le vent qui tourne sur une crête, ou percevoir une nervosité irrationnelle dans une salle de trading. L'IA, elle, ne ressent rien. Elle calcule. Et parfois, ce que la réalité exige, c'est précisément ce que le calcul ne peut pas donner.

La vraie maturité technologique n'est pas de croire en l'IA. C'est de savoir exactement jusqu'où lui faire confiance — et pas un mètre de plus.

— Reservoir Live