La transparencia de la IA no es un problema para el ML y el fenómeno de la caja negra

En este artículo, utilizaré cinco ejemplos concretos para argumentar por qué esta afirmación rara vez es cierta sin matices. Hay casos en los que es incluso inevitable o a veces no tan malo que los modelos de predicción creados con aprendizaje automático (ML) sean una caja negra.

Hablamos de caja negra cuando no entendemos la lógica de un modelo. Utilizando el ejemplo de un modelo predictivo (análisis predictivo), esto significa que el resultado del aprendizaje automático no puede entenderse fácilmente a partir de datos de entrada específicos. A diferencia de los análisis estadísticos clásicos, las reglas matemáticas de un modelo algorítmico complejo no pueden describirse con un puñado de parámetros (lineales).

De hecho, en mi opinión, la transparencia y la explicabilidad sólo son esenciales en las aplicaciones de alto riesgo de la inteligencia artificial (IA). Sin embargo, aquí no estamos indefensos ante el problema de la caja negra. La investigación ha desarrollado numerosos métodos relacionados con la Inteligencia Artificial Explicable (XAI). SAP, por ejemplo, incorpora continuamente estas nuevas opciones a sus tecnologías para facilitar la comprensión de la lógica de los modelos creados.

Argumento 1: La falta de transparencia también tiene ventajas. Hay casos de uso del aprendizaje automático en los que la falta de trazabilidad se convierte en un verdadero punto fuerte. Imaginemos que un actor interno o externo quiere manipular deliberadamente un sistema de toma de decisiones (parcialmente) automatizado basado en ML. Sin embargo, al no saber qué datos de entrada conducen a qué salida en el modelo, este empeño se hace mucho más difícil. Los científicos llaman a este aspecto "jugabilidad" (Langer y König 2021).

Los científicos también identificaron otras ventajas, en función de la aplicación, cuando evaluaron procesos de toma de decisiones asistidos por algoritmos. El resultado: con modelos no transparentes, ¡conducen a una mayor eficiencia! La razón es tan plausible como sencilla. Las máquinas no pueden distraerse con detalles innecesarios y una avalancha de información. Además, la intransparencia contribuye a la protección de datos si se incluyen datos personales en el proceso de formación.

Argumento 2: el compromiso entre rendimiento y transparencia. Con cualquier demanda de transparencia, debe tenerse en cuenta que la transparencia se produce a expensas de la precisión del modelo. El aprendizaje automático está diseñado para descubrir patrones detallados y no lineales en los datos y ponerlos a disposición de los modelos (Kellogg et al. 2020, pp. 370-371). Para aumentar la transparencia, esta complejidad podría reducirse gradualmente o podrían utilizarse algoritmos menos complejos. Sin embargo, ambas medidas reducen posteriormente la precisión de los resultados de las previsiones. Por tanto, la fuerza del aprendizaje automático queda anulada. Un aspecto importante que conduce directamente al tercer argumento.

Argumento 3: La falta de transparencia es una característica clave del aprendizaje automático. Mientras que las estadísticas tradicionales están diseñadas para comprender los datos, el aprendizaje automático intenta utilizar los datos existentes, por ejemplo, para crear las previsiones más precisas posibles basadas en datos históricos. Si el reconocimiento de patrones en los datos es el objetivo principal del proyecto (minería de datos), entonces el aprendizaje automático podría ser simplemente la herramienta equivocada (Rudin 2019). En un proyecto, las estadísticas o el análisis descriptivo de datos al estilo de un cuadro de mando (slice and dice, drill-down) pueden combinarse con el aprendizaje automático. Cada herramienta cumple entonces su propósito principal y se crean sinergias. Cada artesano utiliza toda una caja de herramientas. Para completar la metáfora: El aprendizaje automático es una herramienta universal muy buena, comparable a un destornillador inalámbrico. Pero eso no significa que pueda utilizarse para serrar tableros.

Argumento 4: Mientras funcione... Permítame empezar con un breve experimento. ¿Preferiría usted volar en un avión que ha inspeccionado a fondo técnicamente y diseccionado hasta el último tornillo, o en uno que ha superado con éxito todas las normas de ensayo prescritas y los vuelos de prueba? Seguramente casi todo el mundo carece de los conocimientos de ingeniería o, al menos, de la paciencia para la primera opción. Por eso nos decantamos por la segunda opción. Esta analogía procede de Cassie Kozyrkov, famosa por su trabajo como Chief Decision Scientist en Google.

Cassie Kozyrkov también señala que en el aprendizaje automático también se realiza un ensayo fuera de muestra. Esta llamada prueba fuera de muestra es básicamente un examen: los conjuntos de datos (tareas) son diferentes de los proporcionados para el entrenamiento (deberes). En la práctica, a menudo merece la pena llevar a cabo estas pruebas fuera de muestra de forma detallada y minuciosa en lugar de perseguir un nivel deseado de transparencia. Este argumento tiene ciertamente mucho peso, pero exige replantearse la forma en que se basan los procesos de toma de decisiones operativas. Por eso tarda en calar en la mente de los usuarios. Los científicos de datos se enfrentan aquí al reto de explicar las implicaciones de sus estrategias y resultados de las pruebas en términos fáciles de entender.

Argumento 5: La investigación y la tecnología no se detienen - Explainable AI. Por último, me gustaría señalar el importante hecho de que no siempre se puede prescindir de la transparencia en el aprendizaje automático. La transparencia es absolutamente esencial en aplicaciones de alto riesgo que tienen un impacto directo en la vida inmediata de las personas. Esto incluye el apoyo a la toma de decisiones a través del aprendizaje automático en áreas sensibles que pueden cerrar puertas. Esto se aplica a los préstamos, la contratación y los recursos humanos, entre otros. En estos ámbitos, garantizar la equidad y la igualdad de trato es una prioridad absoluta y no puede lograrse sin transparencia y sin que los modelos sean explicables. Afortunadamente, el progreso tecnológico no se detiene aquí. SAP, por ejemplo, lleva varios años incorporando continuamente la IA explicable a sus productos de análisis predictivo. En tecnologías como SAP Analytics Cloud o Hana Predictive Analytics Library, los modelos complejos de aprendizaje automático aún pueden hacerse más transparentes hasta cierto punto. Los métodos extraen información como el efecto de los factores de influencia individuales en los resultados de los modelos o aproximan los modelos con sistemas de reglas comprensibles basados en preguntas fundamentales: ¿Y si...? Y, sobre todo, ¿qué pasa si cambia el factor de influencia X?

Conclusión: IA explicable

No siempre tiene sentido utilizar el aprendizaje automático sólo porque encaje bien en el bombo de la IA que rodea a ChatGPT. Si el objetivo es la extracción de conocimientos, quizá debería utilizarse una herramienta diferente al principio del proyecto. Sin embargo, una vez que se ha encontrado un caso de uso adecuado para el aprendizaje automático, las pruebas exhaustivas son el factor decisivo para la validación. La transparencia también puede crearse para modelos complejos si es necesario, pero entonces hay que invertir en conocimientos adicionales y en el uso de métodos de IA explicables. Mi opinión final con respecto al título de este artículo: El fenómeno de la caja negra para el aprendizaje automático sólo debería ser un obstáculo para los proyectos innovadores de ML en casos críticos excepcionales.