Risque lié à l'IA ERP de SAP

Fraude Simple Finance après Cum-Ex

En simplifiant à l'extrême, les auteurs de la fraude fiscale Cum-Ex ont lu et analysé les lois fiscales pertinentes jusqu'à ce qu'ils trouvent une prétendue faille. Pendant de nombreuses années, de nombreux experts ont eu des doutes quant à l'évaluation, et ce n'est qu'après un examen complet que ce procédé a été classé comme fraude fiscale.

En simplifiant à l'extrême, un modèle de grand langage (LLM), base de presque toute IA générative, ne fait guère autre chose. Des milliards de données sont lues et saisies statistiquement - l'IA a plus à voir avec les statistiques que ne le pensent de nombreux utilisateurs. Le résultat est une réponse basée sur les données traitées. On peut maintenant imaginer qu'après avoir étudié la littérature pertinente, une IA générative aurait probablement aussi découvert la faille fiscale.

Quelles réponses un utilisateur S/4 peut-il attendre lorsqu'un modèle Large Language a été alimenté par les données de toutes les installations SAP Simple Finance ? La réponse ne doit pas être moralement ou économiquement correcte. Elle ne doit même pas être légale, voir la fraude fiscale Cum-Ex. Mais la réponse sera par nature statistiquement correcte au sens de l'algorithme d'IA et du LLM.

L'IA générative sans méta-niveau

Par nature, une IA générative ne peut pas être une boussole morale, mais le logiciel d'IA Gemini de Google a montré il y a quelques jours à quel point les réponses de l'IA peuvent être éloignées de la vie réelle - malgré toutes les meilleures intentions, la transparence et la diversité.

Le programme Google a été invité à montrer des soldats en uniformes allemands de la Seconde Guerre mondiale : A l'ère de la diversification, des images de soldats aux traits asiatiques et à la peau foncée ont ainsi été créées. Une autre demande a permis d'obtenir des femmes papes - peut-être un vœu pieux, mais pas la réalité. Google a promis de revoir son générateur d'images d'IA. Dans la version allemande du Handelsblatt en ligne ici de l'année dernière.

Dans de nombreux programmes d'IA, il manque un méta-niveau qui interviendrait pour corriger le tir. Un simple algorithme sur l'histoire de l'Église catholique aurait rendu très improbable la présence d'un pape de sexe féminin, malgré toute la sympathie pour la diversité ! Le monde réel ne peut justement pas être expliqué et représenté uniquement par des statistiques - même si ces fonctions sont extrêmement raffinées et exigeantes : Il faut au moins un doctorat.

SAP se soustrait à toute responsabilité

L'IA joue également un rôle décisif dans le monde ERP de SAP. SAP a investi dans la start-up allemande Aleph Alpha, mais n'a pas répondu à la question de savoir comment un customizing de l'IA pourrait fonctionner avec S/4. Pour de nombreux experts, cela ressemble à un "nous voulons, mais nous n'osons pas". SAP n'a pas encore évalué ni évité le moindre risque. Que se passe-t-il si l'IA de Simple Finance émet des recommandations irrégulières ?

L'association d'utilisateurs germanophone DSAG voit apparemment d'un œil moins critique le fait que SAP reporte la responsabilité sur les utilisateurs. Il suffit manifestement de mettre des outils à disposition. Les bêtises que les utilisateurs pourraient faire avec doivent être de leur propre responsabilité, n'est-ce pas ?

Dans ce contexte, DSAG e. V. juge positive l'annonce d'un hub SAP-AI génératif lors du dernier SAP-TechEd à Bangalore, en Inde. SAP-AI-Core et SAP-AI-Launchpad, qui existent sur la SAP Business Technology Platform (BTP), sont complétés par ce hub AI génératif, afin de piloter la connexion à des modèles LLM externes, en fait d'abord Open AI. En outre, la facturation est prévue via un modèle de prix propre (AI Units). En résumé, on peut dire que : SAP sert d'intermédiaire pour l'utilisation de ChatGPT (Open AI), demande des frais pour cela, mais n'assume aucune responsabilité ni aucun engagement.

Le lancement de SAP-Joule devrait également mettre en évidence le nouvel accent mis par SAP sur l'IA d'entreprise. Cet assistant IA à commande vocale basé sur l'IA générative doit comprendre le contexte commercial et être directement intégré dans le portefeuille Cloud pour les processus critiques des entreprises utilisatrices. Thomas Saueressig, membre du directoire de SAP en charge de l'ingénierie des produits, avait déjà concrétisé cette orientation, à savoir qu'à l'avenir, les processus commerciaux seront au centre de l'attention en liaison avec l'IA, dans son discours d'ouverture du congrès annuel 2023 de DSAG. L'éditeur de logiciels souhaite ici, selon ses propres dires, miser davantage sur des partenaires comme Open AI par exemple. Mais ce que SAP a passé sous silence, tant lors du congrès annuel de la DSAG 2023 à Brême qu'aujourd'hui encore, c'est la prise de responsabilité, la présentation des risques et la prévention des dommages si Joule donne une réponse corrompue ou illégitime. Et ensuite ?

"En principe, nous saluons cette orientation stratégique de SAP - surtout dans le contexte des développements dynamiques autour des grands modèles comme Open AI, etc. Toutefois, certaines questions restent ouvertes pour nous d'un point de vue commercial, professionnel et technologique", c'est du moins ce qu'a déclaré Sebastian Westphal, le directeur technique de DSAG, qui appelle à un peu de responsabilité et à une évaluation des risques. Il doit être possible de prouver que les directives en vigueur sont appliquées et documentées lors des décisions de processus par une IA. D'un point de vue technologique, il serait important de savoir comment sont traitées les informations sensibles de l'entreprise qui sont utilisées. Comment l'IA apprend-elle ? Qu'utilise un LLM ? Ce serait le prochain chantier SAP : l'utilisation indirecte.