Red Hat presenta Red Hat AI 3

Al integrar las últimas innovaciones de Red Hat AI Inference Server, Red Hat Enterprise Linux AI (RHEL AI) y Red Hat OpenShift AI, la plataforma puede ayudar a simplificar la complejidad de la inferencia de IA de alto rendimiento a gran escala.

A medida que las empresas van más allá de la experimentación con la IA, pueden enfrentarse a retos importantes, como la privacidad de los datos, el control de los costes y la gestión de modelos diversos. El estudio «The GenAI Divide: State of AI in Business» (La brecha de la IA generativa: el estado de la IA en las empresas), realizado por el proyecto NANDA del Instituto de Tecnología de Massachusetts, destaca la realidad de la IA en la producción: aproximadamente el 95 por ciento de las organizaciones no consiguen obtener un rendimiento financiero cuantificable de una inversión empresarial estimada en 40 000 millones de dólares.‎ (Fuente)

Red Hat AI 3 se centra en abordar directamente estos retos, proporcionando una experiencia más coherente y unificada a los directores de informática y a los responsables de TI para maximizar sus inversiones en tecnologías de aceleración informática. Permite un rápido escalado y distribución de las cargas de trabajo de IA en entornos híbridos y de múltiples proveedores, al tiempo que mejora la colaboración entre equipos en cargas de trabajo de IA de última generación, como los agentes, todo ello en la misma plataforma común.

¿Qué es LLM-D?

Red Hat AI 3 presenta la disponibilidad general de LLM-D, un marco de código abierto que ayuda a escalar los LLMs en Kubernetes. LLM-D permite la inferencia distribuida inteligente y se puede combinar con tecnologías de código abierto clave, como la Kubernetes Gateway API Inference Extension, la Nvidia Inference Transfer Library (NIXL) y la DeepEP Mixture of Experts (MoE) Communication Library. LLM-D se basa en vLLM, transformándolo de un motor de inferencia de un solo nodo de alto rendimiento en un sistema de servicios distribuido, coherente y escalable.

‎

‎

„Cuando las empresas pasan de la fase experimental a la producción de la IA, se enfrentan a una nueva oleada de retos en términos de complejidad, costes y control“.“

Joe Fernandes,
Vicepresidente y director general,
Unidad de negocio de IA,
Red Hat

«A medida que las empresas pasan de la experimentación a la producción de la IA, se enfrentan a una nueva ola de retos en términos de complejidad, coste y control. Con Red Hat AI 3, ofrecemos una plataforma de código abierto de nivel empresarial que minimiza estos obstáculos. Al incorporar nuevas capacidades, como la inferencia distribuida con LLM-D y una base para la IA agencial, estamos capacitando a los equipos de TI para que pongan en marcha la IA de próxima generación con mayor confianza, en sus propios términos y en cualquier infraestructura».

Agentes de IA de última generación

Los agentes de IA están llamados a transformar la forma en que se crean las aplicaciones, y sus complejos flujos de trabajo autónomos exigirán mucho a las capacidades de inferencia. Para ayudar a acelerar la creación y el despliegue de agentes, Red Hat ha introducido una capa API unificada basada en Llama Stack, que ayuda a alinear el desarrollo con los estándares del sector, como los protocolos de interfaz LLM compatibles con OpenAI. Además, para promover un ecosistema más abierto e interoperable, Red Hat es uno de los primeros en adoptar el Protocolo de Contexto de Modelos (MCP), un potente estándar emergente que optimiza la forma en que los modelos de IA interactúan con herramientas externas, una característica fundamental para los agentes de IA modernos.

Personalización de modelos

Red Hat AI 3 introduce un nuevo kit de herramientas modular y extensible para la personalización de modelos, basado en la funcionalidad existente de InstructLab. Proporciona bibliotecas Python especializadas que ofrecen a los desarrolladores una mayor flexibilidad y control. El kit de herramientas se basa en proyectos de código abierto como Docling para el procesamiento de datos, que optimiza la ingestión de documentos no estructurados en un formato legible por la IA. También incluye un marco flexible para la generación de datos sintéticos y un centro de formación para el ajuste de LLM. El centro de evaluación integrado ayuda a los ingenieros de IA a supervisar y validar los resultados, lo que les permite aprovechar con confianza sus datos propios para obtener resultados de IA más precisos y relevantes.

Fuente: Red Hat