Hallucinations de l'IA et entreprise autonome

Hallucinations des grands modèles linguistiques

Actuellement, on laisse entendre aux clients existants de SAP que les erreurs produites par les grands modèles linguistiques (LLM), ce qu’on appelle les « hallucinations », ne seraient que des défauts de jeunesse temporaires, que l’on parviendrait bientôt à maîtriser grâce à des volumes de données toujours plus importants, des architectures plus sophistiquées ou une vérification rigoureuse des faits. Or, les conclusions issues de l'informatique théorique contredisent ce discours et révèlent que SAP et d'autres entreprises spécialisées dans l'IA se bercent d'une dangereuse illusion.

Des groupes de recherche indépendants, notamment ceux dirigés par Sourav Banerjee, Ayushi Agarwal et Saloni Singla dans leur publication très remarquée de 2024, ont démontré sans l’ombre d’un doute que les hallucinations ne constituent pas un problème résolvable relevant de l’informatique théorique ni un problème lié aux données ERP. Les hallucinations sont bien plus une propriété mathématique et logique inévitable des grands modèles linguistiques. Les chercheurs ont forgé pour ce problème informatique le terme pertinent d„“ hallucination structurelle ».

Kurt Gödel et Alan Turing

Pour les responsables informatiques travaillant dans l'environnement SAP, cela nécessite de se pencher sur l'histoire des mathématiques, et plus précisément sur le premier théorème d'incomplétude de Kurt Gödel et le problème de l'arrêt d'Alan Turing, datant des années 1930. Ces théorèmes prouvent de manière irréfutable qu’une „ machine à vérité “ parfaite est mathématiquement tout simplement impossible.

Appliqué au fonctionnement des grands modèles de langage (LLM) modernes, cela signifie qu’à chaque étape du processus de traitement – depuis la compilation des données d’entraînement jusqu’à la génération du texte proprement dite, en passant par la classification de l’intention (Intent Classification) et la reconstitution des faits – il existe une probabilité d’erreur non nulle qui ne peut être éliminée par optimisation.

Les chercheurs en IA et les informaticiens démontrent mathématiquement qu’aucune base de données d’entraînement ne peut jamais être complète à 100 %. Même si les connaissances étaient présentes dans le système, le LLM, en raison de sa nature probabiliste, ne peut garantir qu’il extraira avec précision les faits corrects d’un gigantesque maillage de données.

Problème de cohérence des modèles linguistiques : l'échec de l'ontologie

La situation est encore aggravée par l’indécidabilité du problème de l’arrêt, qui affecte pleinement les LLM. Un modèle linguistique ne peut a priori jamais prédire combien de tokens il va générer ni à quel moment exactement son calcul s’arrêtera. Comme le modèle ne connaît pas la fin de sa propre génération de texte, la séquence des tokens générés est imprévisible a priori, ce qui rend le système inévitablement susceptible de produire des faits contradictoires, paradoxaux ou tout simplement erronés.

Les clients SAP existants doivent en outre comprendre que même les mécanismes de contrôle en aval, tels que la vérification des faits (fact-checking) ou la génération augmentée par la recherche (RAG), souvent présentés comme des remèdes miracles, ne peuvent jamais éliminer à 100 % les hallucinations structurelles, car même ces étapes de vérification, qui se déroulent en un nombre fini d’étapes, ne fonctionnent pas sans erreur.

Stratégie de transformation : SAP Autonomous Enterprise avec un taux d'erreur supérieur à zéro

Les conséquences de ces conclusions pour les clients SAP existants sont dramatiques et mettent en lumière les risques liés à la stratégie actuelle de transformation de SAP. Si SAP prévoit d’intégrer, via Agentic AI, des centaines d’agents IA autonomes au cœur même des processus critiques de S/4 Hana ou de la Business Technology Platform (SAP BTP), cela reviendra à laisser des moteurs de probabilité purement statistiques et probabilistes s’attaquer à des tâches ERP hautement sensibles et déterministes.

Lorsqu’une telle IA prend de manière autonome des décisions concernant les chaînes d’approvisionnement, les virements de salaires ou les comptes annuels, un taux d’erreur supérieur à zéro n’est pas un compromis acceptable, mais un risque critique pour l’entreprise. Une erreur dans un système SAP en production entraîne immédiatement des conséquences économiques, financières et juridiques. Les décideurs informatiques ne doivent donc pas se laisser aveugler par le discours selon lequel une puissance de calcul toujours plus importante et des modèles linguistiques toujours plus grands seraient la solution.

Limites de performance de SAP et lois fondamentales de l'ERP

La mise à l'échelle ne fait que repousser les limites de performance, mais elle n'abolit pas les lois mathématiques de la nature. L’être humain en tant qu’instance de contrôle, ce „ Human in the Loop “ souvent tourné en dérision, n’est donc pas une solution de transition gênante et temporaire sur la voie de l’intelligence artificielle parfaite, mais une nécessité mathématique permanente pour garantir la souveraineté de l’entreprise. Quiconque confie son système ERP à ces algorithmes délirants sans aucune protection ignore près d’un siècle de recherche fondamentale en informatique.

Pour les décideurs SAP, la conclusion est donc que l'utilisation de LLM génératifs pour des tâches critiques pour l'entreprise et strictement déterministes relève d'une grave négligence. Si le calcul de probabilité d’un LLM doit déterminer si un virement de salaire sera effectué ou non à la fin du mois, le dysfonctionnement architectural de cette approche purement statistique devient évident.

Les LLM face aux modèles basés sur l'énergie

Les pionniers de l'IA plaident donc avec force en faveur de la recherche sur des architectures alternatives, telles que les modèles basés sur l'énergie (Energy-Based Models), qui recherchent la cohérence logique et des états physiquement réalisables, plutôt que de se contenter d'enchaîner des mots. SAP a elle-même dû réagir à ces limites des LLM classiques et a mis en avant des modèles de base spécialisés tels que RPT-1, qui est spécifiquement entraîné aux relations tabulaires et contourne le paradigme des tokens linguistiques, source d’erreurs, lorsqu’il s’agit de données d’entreprise.

Tant que les LLM classiques resteront au cœur de la nouvelle stratégie d'IA d'entreprise, chaque client SAP existant doit prendre conscience, dans le cadre d'un travail de sensibilisation conceptuel, que les progrès techniques et la puissance de calcul ne peuvent pas lever les limites mathématiques ; une gouvernance stricte et déterministe, indépendante du modèle d’IA, reste donc indispensable en tant qu’instance de contrôle de ces « boîtes noires » probabilistes.

L'humain dans la boucle

Le concept „ Human in the Loop “ est incontournable. D’un point de vue mathématique, toutes les stratégies techniques d’atténuation – du RAG au RPT-1 – se révèlent n’être qu’une simple gestion des risques, qui réduit la probabilité d’erreur sans jamais la ramener à zéro. Les hallucinations reposant sur les mêmes impossibilités théoriques que celles démontrées dès les années 1930 par Kurt Gödel (théorème d’incomplétude) et Alan Turing (problème de l’arrêt) pour les systèmes formels, il n’existe aucune solution entièrement autonome.

Pour les processus SAP critiques, dans lesquels Agentic AI est appelé à l'avenir à déclencher de manière autonome des commandes ou à initier des transactions financières, l'être humain, en tant qu'instance de contrôle finale (« Human in the Loop »), n'est donc pas une solution transitoire gênante sur la voie menant à la machine parfaite. Quiconque prend, dans l’environnement SAP, des décisions pour lesquelles l’entreprise est légalement et financièrement responsable doit reconnaître que la validation des résultats probabilistes de l’IA par des règles déterministes et l’expertise humaine reste une nécessité inévitable, permanente et mathématique.