Red Hat présente Red Hat AI 3

En intégrant les dernières innovations de Red Hat AI Inference Server, Red Hat Enterprise Linux AI (RHEL AI) et Red Hat OpenShift AI, la plateforme peut contribuer à simplifier la complexité de l'inférence IA haute performance à grande échelle.

Lorsque les entreprises vont au-delà de l'expérimentation de l'IA, elles peuvent être confrontées à des défis considérables, tels que la protection des données, le contrôle des coûts et la gestion de différents modèles. L'étude „ The GenAI Divide: State of AI in Business ” du projet NANDA du Massachusetts Institute of Technology met en lumière la réalité de l'IA dans la production : environ 95 % des entreprises ne tirent aucun bénéfice financier quantifiable des investissements estimés à 40 milliards de dollars américains. (Source)

Red Hat AI 3 s'attache à relever directement ces défis en offrant aux DSI et aux responsables informatiques une expérience plus cohérente et uniforme afin de maximiser leurs investissements dans les technologies d'accélération du traitement des données. Il permet une mise à l'échelle et une distribution rapides des charges de travail d'IA dans des environnements hybrides et indépendants des fournisseurs, tout en améliorant la collaboration entre les équipes sur les charges de travail d'IA de nouvelle génération, telles que les agents, le tout sur la même plateforme commune.

Qu'est-ce que le LLM-D ?

Red Hat AI 3 introduit la disponibilité générale de LLM-D, un framework open source qui prend en charge la mise à l'échelle des LLM sur Kubernetes. LLM-D permet une inférence distribuée intelligente et peut être combiné avec des technologies open source clés telles que l'extension d'inférence de l'API Kubernetes Gateway, la bibliothèque de transfert d'inférence Nvidia (NIXL) et la bibliothèque de communication DeepEP Mixture of Experts (MoE). LLM-D s'appuie sur vLLM et le transforme d'un puissant moteur d'inférence à nœud unique en un système de services distribué, cohérent et évolutif.

‎

‎

„ Lorsque les entreprises passent de la phase expérimentale à la phase de production de l'IA, elles sont confrontées à une nouvelle vague de défis en termes de complexité, de coûts et de contrôle. “

Joe Fernandes,
Vice-président et directeur général,
Unité commerciale IA,
Red Hat

„ Lorsque les entreprises passent de la phase expérimentale à la phase de production de l'IA, elles sont confrontées à une nouvelle vague de défis en termes de complexité, de coûts et de contrôle. Avec Red Hat AI 3, nous proposons une plateforme open source de classe entreprise qui minimise ces obstacles. En intégrant de nouvelles fonctionnalités telles que l'inférence distribuée avec LLM-D et une base pour l'IA basée sur des agents, nous permettons aux équipes informatiques d'opérationnaliser l'IA de nouvelle génération avec plus de confiance, selon leurs propres idées et sur n'importe quelle infrastructure. “

Agents IA de nouvelle génération

Les agents IA vont révolutionner la manière dont les applications sont développées, et leurs workflows complexes et autonomes vont imposer des exigences élevées en matière de capacités d'inférence. Afin d'accélérer la création et le déploiement d'agents, Red Hat a introduit une couche API unifiée basée sur Llama Stack, qui aide à aligner le développement sur les normes industrielles telles que les protocoles d'interface LLM compatibles avec OpenAI. Afin de promouvoir un écosystème plus ouvert et plus interopérable, Red Hat est également l'un des premiers à adopter le Model Context Protocol (MCP), une norme puissante et émergente qui optimise l'interaction des modèles d'IA avec des outils externes, une fonctionnalité essentielle pour les agents IA modernes.

ajustement du modèle

Red Hat AI 3 introduit une nouvelle boîte à outils modulaire et extensible pour l'ajustement des modèles, qui s'appuie sur les fonctionnalités existantes d'InstructLab. Elle fournit des bibliothèques Python spécialisées qui offrent aux développeurs plus de flexibilité et de contrôle. La boîte à outils s'appuie sur des projets open source tels que Docling pour le traitement des données, qui optimise la capture de documents non structurés dans un format lisible par l'IA. Elle comprend également un cadre flexible pour la génération de données synthétiques et un centre de formation pour le réglage fin des LLM. Le centre d'évaluation intégré aide les ingénieurs en IA à surveiller et à valider les résultats, leur permettant ainsi d'utiliser leurs données propriétaires en toute sécurité pour obtenir des résultats d'IA plus précis et plus pertinents.

Source : Red Hat