Red Hat stellt Red Hat AI 3 vor

Durch die Integration der neuesten Innovationen von Red Hat AI Inference Server, Red Hat Enterprise Linux AI (RHEL AI) und Red Hat OpenShift AI kann die Plattform dazu beitragen, die Komplexität hochleistungsfähiger KI-Inferenz in großem Maßstab zu vereinfachen.

Wenn Unternehmen über das Experimentieren mit KI hinausgehen, können sie mit erheblichen Herausforderungen konfrontiert werden, wie z. B. Datenschutz, Kostenkontrolle und Verwaltung unterschiedlicher Modelle. Die Studie „The GenAI Divide: State of AI in Business” des NANDA-Projekts am Massachusetts Institute of Technology beleuchtet die Realität der KI in der Produktion: Ungefähr 95 Prozent der Unternehmen erzielen keine quantifizierbaren finanziellen Erträge aus geschätzten Unternehmensinvestitionen in Höhe von 40 Milliarden US-Dollar. (Quelle)

Red Hat AI 3 konzentriert sich darauf, diese Herausforderungen direkt anzugehen, indem es CIOs und IT-Führungskräften eine konsistentere und einheitlichere Erfahrung bietet, um ihre Investitionen in Technologien zur Beschleunigung der Datenverarbeitung zu maximieren. Es ermöglicht eine schnelle Skalierung und Verteilung von KI-Workloads über hybride und herstellerunabhängige Umgebungen hinweg und verbessert gleichzeitig die Zusammenarbeit zwischen Teams bei KI-Workloads der nächsten Generation, wie z. B. Agenten, und das alles auf derselben gemeinsamen Plattform.

Was ist LLM-D?

Red Hat AI 3 führt die allgemeine Verfügbarkeit von LLM-D ein, einem Open-Source-Framework, das die Skalierung von LLMs auf Kubernetes unterstützt. LLM-D ermöglicht intelligente verteilte Inferenz und kann mit wichtigen Open-Source-Technologien wie der Kubernetes Gateway API Inference Extension, der Nvidia Inference Transfer Library (NIXL) und der DeepEP Mixture of Experts (MoE) Communication Library kombiniert werden. LLM-D baut auf vLLM auf und verwandelt es von einer leistungsstarken Single-Node-Inferenz-Engine in ein verteiltes, konsistentes und skalierbares Service-System.

‎

‎

„Wenn Unternehmen KI von der Experimentierphase zur Produktion skalieren, sehen sie sich einer neuen Welle von Herausforderungen in Bezug auf Komplexität, Kosten und Kontrolle gegenüber.“

Joe Fernandes,
Vice President und General Manager,
AI Business Unit,
Red Hat

„Wenn Unternehmen KI von der Experimentierphase zur Produktion skalieren, sehen sie sich einer neuen Welle von Herausforderungen in Bezug auf Komplexität, Kosten und Kontrolle gegenüber. Mit Red Hat AI 3 bieten wir eine Open-Source-Plattform der Enterprise-Klasse, die diese Hindernisse minimiert. Durch die Integration neuer Funktionen wie verteilter Inferenz mit LLM-D und einer Grundlage für agentenbasierte KI ermöglichen wir IT-Teams, KI der nächsten Generation mit größerer Zuversicht, nach ihren eigenen Vorstellungen und auf jeder Infrastruktur zu operationalisieren.“

KI-Agenten der nächsten Generation

KI-Agenten werden die Art und Weise, wie Anwendungen entwickelt werden, grundlegend verändern, und ihre komplexen, autonomen Workflows werden hohe Anforderungen an die Inferenzfähigkeiten stellen. Um die Erstellung und Bereitstellung von Agenten zu beschleunigen, hat Red Hat eine einheitliche API-Schicht auf Basis von Llama Stack eingeführt, die dabei hilft, die Entwicklung an Branchenstandards wie OpenAI-kompatiblen LLM-Schnittstellenprotokollen auszurichten. Um ein offeneres und interoperableres Ökosystem zu fördern, ist Red Hat außerdem ein Early Adopter des Model Context Protocol (MCP), eines leistungsstarken und aufstrebenden Standards, der die Interaktion von KI-Modellen mit externen Tools optimiert – eine wichtige Funktion für moderne KI-Agenten.

Modellanpassung

Red Hat AI 3 führt ein neues modulares und erweiterbares Toolkit für die Modellanpassung ein, das auf der bestehenden InstructLab-Funktionalität aufbaut. Es stellt spezielle Python-Bibliotheken zur Verfügung, die Entwicklern mehr Flexibilität und Kontrolle bieten. Das Toolkit basiert auf Open-Source-Projekten wie Docling für die Datenverarbeitung, das die Erfassung unstrukturierter Dokumente in einem für KI lesbaren Format optimiert. Es umfasst außerdem ein flexibles Framework für die Generierung synthetischer Daten und einen Trainings-Hub für die Feinabstimmung von LLMs. Der integrierte Bewertungs-Hub unterstützt KI-Ingenieure bei der Überwachung und Validierung von Ergebnissen, sodass sie ihre proprietären Daten sicher für genauere und relevantere KI-Ergebnisse nutzen können.

Quelle: Red Hat