Riesgo con IA ERP de SAP
Simple fraude financiero tras cum-ex
En términos muy simplificados, los autores del fraude fiscal cum-ex leyeron y analizaron las leyes fiscales pertinentes hasta encontrar un supuesto fraude. Durante muchos años, muchos expertos se mostraron inseguros al respecto; sólo una revisión exhaustiva calificó este procedimiento de fraude fiscal.
Un LLM (modelo de lenguaje de gran tamaño) como base de casi todas las IA generativas hace poco más que calcular. Los modelos leen miles de millones de datos y analizan las estadísticas (la IA tiene más que ver con la estadística de lo que muchos usuarios creen). El resultado es una respuesta basada en el material de datos procesado. Ahora cabe imaginar que, tras estudiar la bibliografía pertinente, una IA generativa probablemente también hubiera podido descubrir el fraude fiscal.
¿Qué tipo de respuestas puede esperar un usuario de S/4, cuando se ha suministrado un modelo de gran tamaño con los datos de todas las instalaciones de SAP Simple Finance? La respuesta no tiene por qué ser moral o económicamente correcta. Ni siquiera tiene por qué ser legal, véase el fraude fiscal cum-ex. Pero la respuesta será, claramente, estadísticamente correcta en términos del algoritmo de IA y el LLM.
IA generativa sin metanivel
Claramente, la IA generativa no puede ser una brújula moral, pero lo alejadas que pueden estar las respuestas de la IA de la vida real quedó demostrado hace unos días con el software de IA Gemini de Google, a pesar de las mejores intenciones, la transparencia y la diversidad.
Al programa de Google se le pidió que mostrara soldados con uniformes alemanes de la Segunda Guerra Mundial: en la era de la diversificación, esto dio como resultado imágenes de soldados con rasgos faciales asiáticos y color de piel oscuro. Otra petición dio como resultado papas femeninas, que, aunque sería deseable, no refleja para nada la realidad. Google ha prometido revisar el generador de imágenes de IA. En la página web de la revista alemana Handelsblatt se puede leer más al respecto (sólo disponible en alemán). aquí leer.
Muchos programas de IA carecen de un nivel meta que tome medidas correctivas. Un simple algoritmo sobre la historia de la iglesia católica habría hecho que una mujer Papa pareciera muy improbable, ¡a pesar de cualquier simpatía por la diversidad! El mundo real no puede explicarse y representarse únicamente con estadísticas, aunque estas funciones sean extremadamente sofisticadas y exigentes: como mínimo, la IA requiere del nivel de preparación y educación que aporta un doctorado.
SAP elude toda responsabilidad
La IA también desempeña un papel decisivo en el mundo ERP de SAP. SAP invirtió en la start-up alemana Aleph Alpha, pero no dio ninguna respuesta sobre cómo la personalización de la IA podría funcionar con S/4. Para muchos expertos, suena a "queremos, pero no nos atrevemos". Actualmente, SAP no ofrece ningún tipo de evaluación o prevención de riesgos. ¿Qué ocurre si la IA de Simple Finance hace recomendaciones irregulares?
Evidentemente, la DSAG (grupo de usuarios germanohablantes) tiene una visión menos crítica de la transferencia de responsabilidades de SAP a los usuarios. Al parecer, basta con proporcionar herramientas. Las travesuras que puedan hacer los usuarios con esas herramientas deberían ser responsabilidad propia, ¿no?
En este contexto, el DSAG considera como algo positivo el anuncio de un SAP AI hub generativo que se reveló en el último SAP TechEd de Bangalore, India. El SAP AI Core y el SAP AI Launchpad existentes en la SAP Business Technology Platform (BTP) se ampliarán para incluir este hub de IA generativa con el fin de controlar la conexión con modelos LLM externos, inicialmente Open AI para ser precisos. También está prevista la facturación a través de un modelo de precios independiente (unidades AI). En resumen: SAP organiza el uso de ChatGPT (Open AI), cobra por ello, pero no asume ninguna responsabilidad.
El nuevo enfoque de SAP en la IA empresarial también quedará claro con el lanzamiento de SAP Joule. Este asistente de IA controlado por voz y basado en IA generativa pretende comprender el contexto empresarial e integrarse directamente en la cartera de servicios en la nube para los procesos críticos de negocio de las empresas usuarias. En su discurso de apertura del Congreso Anual DSAG 2023, Thomas Saueressig, miembro de la junta directiva de SAP para ingeniería de productos, ya había especificado este enfoque en los procesos de negocio en conjunción con la IA. Según el fabricante de software, les gustaría apoyarse cada vez más en socios como Open AI. Sin embargo, lo que SAP no mencionó en el congreso anual del DSAG 2023 en Bremen, es la asunción de responsabilidad, la presentación de riesgos y la evitación de daños si Joule da una respuesta corrupta o ilegítima. ¿Qué pasa en ese caso?
"En principio, acogemos con satisfacción esta dirección estratégica de SAP –especialmente a la luz de los desarrollos dinámicos que rodean a los principales modelos como Open AI, etc. Sin embargo, todavía tenemos algunas preguntas sin respuesta desde una perspectiva comercial, funcional y tecnológica", afirma el director de tecnología del DSAG, Sebastian Westphal, al menos, instando a un poco de responsabilidad y evaluación de riesgos. Debe ser demostrable que se aplican y documentan directrices válidas cuando la IA toma decisiones sobre procesos. Desde el punto de vista tecnológico, sería importante saber cómo se maneja la información sensible de la empresa cuando se utiliza. ¿Cómo aprende la IA? ¿Qué utiliza un LLM? El uso indirecto es en lo que SAP de ahora en adelante se debería enfocar.
