Die Landschaft des GenAI-Ökosystems: Jenseits von LLMs und Vektordatenbanken
Seit dem bahnbrechenden Start von ChatGPT vor 20 Monaten hat der Bereich GenAI bedeutende Entwicklungen und Innovationen erlebt. Anfangs zogen Large Language Models (LLMs) und Vektordatenbanken die meiste Aufmerksamkeit auf sich. Das GenAI-Ökosystem ist jedoch wesentlich breiter und komplexer als nur diese beiden Komponenten. Als Entwickler der Vektordatenbank, eines entscheidenden Infrastrukturbausteins, der GenAI-Anwendungen ermöglicht, freue ich mich, die rasanten technologischen Fortschritte und ihre Auswirkungen auf die Branche zu beobachten. In diesem Artikel möchte ich einen Rückblick darauf geben, was geschehen ist, und Einblicke in die Landschaft des GenAI-Ökosystems teilen.
Generative-KI-Anwendungen lassen sich grob in zwei Haupttypen einteilen: Retrieval-Augmented Generation (RAG) und Multimedia-Generierung. RAG kombiniert Techniken des Information Retrieval mit generativen Sprachmodellen, um relevante und kohärente Ausgaben zu erzeugen. Die Multimedia-Generierung hingegen nutzt generative Modelle, um komplexe visuelle Inhalte zu erstellen, darunter kreative Werbeanzeigen und digitale Zwillinge.
Retrieval-Augmented Generation
Retrieval-Augmented Generation (RAG) ist derzeit einer der beliebtesten Anwendungsfälle generativer KI. Ein einfaches RAG-System besteht aus verschiedenen Komponenten, darunter grundlegende Datenbereinigung, ein Embedding-Modell, eine Vektordatenbank und ein LLM. Fortgeschrittenere RAG-Systeme auf Produktionsniveau enthalten typischerweise zusätzliche Komponenten, um Qualität und Benutzererfahrung zu verbessern. Da RAG-Systeme der Architektur traditioneller Suchsysteme ähneln, bleiben viele Komponenten von Suchsystemen auch heute noch auf RAG anwendbar.
Ein typisches Suchsystem kann in zwei Hauptteile unterteilt werden: den Offline-Indexierungsteil und den Online-Query-Serving-Teil. Ähnlich besteht RAG aus einer Indexierungsphase und einer Online-Query-Serving-Phase:
Indexierungsphase: Die Indexierungsphase umfasst die Datenerfassung aus verschiedenen Quellen, darunter Datenbanken, APIs und Dateisysteme. Diese Daten durchlaufen Dateiparsing und Text-Chunking, um sie für die Analyse vorzubereiten. Nach der Verarbeitung werden die Daten in ein geeignetes Format eingebettet und zur effizienten Abfrage in eine Vektordatenbank geladen. Einige RAG-Systeme integrieren sogar fortgeschrittene Data-Mining-Techniken wie Label-Extraktion, Aufbau von Knowledge Graphs und Zusammenfassung, um die Daten anzureichern und den Abrufprozess zu verbessern.
Serving-Phase: Die Online-Query-Serving-Phase konzentriert sich darauf, die Suchabsicht des Benutzers zu verstehen, und setzt verschiedene Abrufmethoden ein, darunter Vektorähnlichkeitssuche, um die relevantesten Informationen zu finden. Das Abrufresultat wird anschließend zur Generierung an ein Large Language Model (LLM) gesendet. Während dieses Schritts erzeugt das LLM kohärente und kontextuell relevante Ausgaben auf Basis der abgerufenen Daten. Darüber hinaus kann das LLM als Agent agieren und externe Tools nutzen, um seine Fähigkeiten zu erweitern und umfassendere sowie genauere Antworten bereitzustellen.
Infolgedessen stellen viele Orchestrierungsprojekte Implementierungen verschiedener Komponenten und Konfigurationsoptionen bereit. Die komplexe Natur der Architektur macht außerdem eine Evaluierung des Systems sowohl als White Box als auch als Black Box erforderlich, was zur Entwicklung von Evaluierungsframeworks führt.
Jede Komponente zieht zudem Entwickler an, die bessere und umfangreichere Funktionen aufbauen möchten, etwa Konnektoren für jede Datenquelle und Embedding-Modelle, die auf spezifische Anwendungsfälle zugeschnitten sind. LLM-Inferenzframeworks bieten flexiblere Bereitstellungsoptionen für LLMs über reine API-Dienste hinaus. Darüber hinaus helfen agentische Frameworks dabei, die Schlussfolgerungs- und Tool-Nutzungsfähigkeiten von LLMs besser auszuschöpfen.
Darüber hinaus nähern sich einige Projekte RAG aus unterschiedlichen Perspektiven, indem sie alternative Retrieval-Methoden wie Wissensgraphen erkunden, Web-Frontend-Frameworks für verbesserte UI-Erlebnisse entwickeln und sofort einsatzbereite Lösungen erstellen, die den gesamten RAG-Workflow einschließlich Chatbot-UIs bereitstellen.
Workflow-Orchestrierung und -Optimierung
Zur Verwaltung der komplexen Workflows von RAG-Anwendungen werden SDKs wie LangChain, LlamaIndex, Haystack, DSPy und Semantic Kernel häufig genutzt. Diese Orchestrierungs-Frameworks ermöglichen es Entwicklern, RAG-Pipelines zu erstellen, anzupassen und zu testen, um sicherzustellen, dass die Pipelines so zusammengestellt sind, dass sie die beste Qualität generativer Antworten für spezifische Anwendungsfälle erzielen.
Beispiel: LlamaIndex
LlamaIndex ist ein Framework zum Erstellen kontextangereicherter Anwendungen mithilfe von LLMs. Es ermöglicht Entwicklern, LLMs mit privaten Daten zu integrieren, indem es Tools für Datenaufnahme, Parsing, Indexierung und Abfragen bereitstellt. Dieser Ansatz erleichtert die Nutzung von LLMs für spezifische Anwendungen wie Frage-Antwort-Systeme, Chatbots und Dokumentenverständnis, indem Kontext aus benutzerspezifischen Datenquellen wie APIs, SQL-Datenbanken und Dokumenten einbezogen wird. LlamaIndex bietet praktische programmatische Abstraktionen häufig verwendeter Komponenten, wie verschiedene Chunking-Strategien und hybride Suchmethoden.
Qualitätsbewertung und Observability
Da RAG ein komplexes System ist, kann es herausfordernd sein, in spezifischen Szenarien optimale Ergebnisse zu erzielen. Eine wissenschaftliche Bewertungsmethodik ist unerlässlich, um diese Herausforderungen zu bewältigen. Projekte wie Ragas, Arize, Langfuse, Relari AI, Giskard und DeepEval stellen die notwendigen Metriken und Tools für Bewertung und Observability bereit. Sie ermöglichen Entwicklern, ihre RAG-Systeme quantitativ zu messen, zu überwachen und Fehler zu beheben.
Beispiel: Ragas
Ragas ist ein umfassendes Framework zur Bewertung von RAG-Pipelines. Ragas bietet Tools zur Bewertung von Metriken der Antwortqualität, wie Faktentreue, Relevanz und Kontextpräzision. Es unterstützt die Generierung synthetischer Testdatensätze, das Monitoring von RAG-Anwendungen in der Produktion sowie die Integration mit KI-Tools und Plattformen wie LangChain und LlamaIndex. Durch die Bereitstellung eines harmonisierten Ragas-Scores, der zentrale Leistungsaspekte zusammenfasst, vereinfacht und quantifiziert dieses Framework den Bewertungsprozess und verbessert letztlich die Effektivität und Zuverlässigkeit von RAG-Pipelines.
Datenkonnektor und Web Scraping
Die Fähigkeit, Daten aus mehreren Quellen nahtlos zu integrieren und zu verarbeiten, ist entscheidend. Plattformen wie Airbyte, Fivetran sind führend bei der Bereitstellung robuster Datenkonnektoren sowie Apify und Zyte für Web-Scraping. Sie ermöglichen es Unternehmen, Daten effizient zu sammeln, zu transformieren und in RAG-Workflows zu integrieren, wodurch es einfacher wird, die Leistungsfähigkeit von KI für kritische Missionen zu nutzen. Datenerfassung und Konnektivität waren für traditionelle Suchsysteme entscheidend, und sie sind im heutigen RAG, das in gewissem Maße eine neue Form der Suche darstellt, ebenso relevant.
Beispiel: Airbyte
Airbyte ist eine Open-Source-Plattform für Datenbewegung, die darauf ausgelegt ist, Extract-and-Load-(EL)-Datenpipelines zu erstellen. Im Gegensatz zu vielen Datenpipeline-Plattformen, die sich hauptsächlich auf große Dienste konzentrieren, unterstützt Airbyte auch die Integration kleinerer, oft übersehener Dienste. Durch die Pflege einer großen Auswahl an Konnektoren und die Förderung einer Community zum Teilen benutzerdefinierter Konnektoren ermöglicht Airbyte Unternehmen, maßgeschneiderte Lösungen für ihre spezifischen Anforderungen zu erstellen. Seine robusten Datenkonnektoren können unstrukturierte Daten in Embeddings verarbeiten und in Vektordatenbanken wie Milvus für semantische Ähnlichkeitssuchen laden. Diese Fähigkeit ist für Unternehmen hilfreich, um Daten effizient zu sammeln, zu transformieren und in RAG-Workflows zu integrieren, wodurch KI-gestützte Entscheidungsfindung und Suchanwendungen verbessert werden.
Embedding- und Reranker-Modelle
Tiefe neuronale Netze, wie etwa Embedding-Modelle, verändern die Art und Weise, wie unstrukturierte Daten verarbeitet und verstanden werden. Unternehmen wie OpenAI, Cohere, Voyage AI, Jina AI und Twelve Labs stehen an vorderster Front bei der Entwicklung fortschrittlicher Modelle, die textuelle und multimodale Daten in numerische Vektoren umwandeln. Diese Embeddings ermöglichen Approximate-Nearest-Neighbor-(ANN)-Vektorsuchen, sodass Anwendungen hochrelevante Ergebnisse und Erkenntnisse liefern können.
Über universelle Embedding-Modelle hinaus erstellen Unternehmen wie Voyage AI spezialisierte Modelle, die die Qualität in bestimmten Branchen wie Recht und Finanzen verbessern, während Twelve Labs sich auf Embedding-Modelle für die Videosuche konzentriert. Reranker, also gezielt trainierte Modelle, die die semantische Relevanz zwischen einer Anfrage und einer kleinen Menge von Kandidatendokumenten vergleichen, können die Genauigkeit der Ergebnisse aus der anfänglichen vektorbasierten Retrieval-Phase weiter verbessern. Unternehmen wie Cohere, Voyage AI und Jina AI bieten Reranker an, um die Retrieval-Genauigkeit zu verbessern.
Beispiel: Voyage AI
Voyage AI ist ein Team von KI-Forschern aus Stanford und dem MIT, das sich auf Retrieval-Modelle spezialisiert hat, einschließlich Embedding-Modellen und Rerankern. Ihr führendes Modell, voyage-2, das durch kontrastives Lernen auf Text trainiert wurde, bietet im Vergleich zu Branchenstandards wie dem Text-Embedding-Modell von OpenAI eine höhere Retrieval-Genauigkeit, erweiterte Kontextfenster und effiziente Inferenz. Voyage AI bietet sowohl universelle als auch domänenspezifische Modelle, optimiert für Bereiche wie Finanzen, mehrsprachige Kontexte, juristische Arbeit und Code-Retrieval. Voyage AI bietet außerdem Reranker an, die Retrieval-Ergebnisse verbessern.
LLM-Inferenz und Hosting
Angesichts der wachsenden Nachfrage nach LLM-Anwendungen sind effiziente Hosting- und Inferenzlösungen unerlässlich. Projekte wie vLLM, Lepton AI, Fireworks AI und Octo AI bieten eine robuste Infrastruktur für die Bereitstellung und Skalierung von LLMs. Sie integrieren verschiedene Inferenzoptimierungen, um sicherzustellen, dass Modelle während der Bereitstellungszeit effizient arbeiten.
Beispiel: vLLM
vLLM ist eine Open-Source-Bibliothek für optimierte LLM-Inferenz und -Bereitstellung. Sie verwendet den PagedAttention-Mechanismus, um Speicher effizient zu verwalten, und unterstützt kontinuierliches Batching eingehender Anfragen. Die Bibliothek nutzt schnelle Modellausführung durch CUDA/HIP-Graphen und umfasst verschiedene Quantisierungstechniken wie GPTQ, AWQ, SqueezeLLM und FP8 KV Cache. vLLM integriert sich nahtlos in beliebte HuggingFace-Modelle und bietet Bereitstellung mit hohem Durchsatz mithilfe von Decodierungsalgorithmen wie parallelem Sampling und Beam Search. Es unterstützt Tensor- und Pipeline-Parallelismus für verteilte Inferenz, Streaming-Ausgaben und enthält einen OpenAI-kompatiblen API-Server. Darüber hinaus bietet es experimentelle Funktionen wie Prefix Caching und Multi-Lora-Unterstützung und ist sowohl für NVIDIA- als auch für AMD-GPUs optimiert.
Agenten- und Speicherverwaltung
Das GenAI-Ökosystem macht Fortschritte im Speichermanagement und bei agentenbasierten KI-Systemen mit Lösungen wie MemGPT, Mem0, Camel, AutoGPT und CrewAI. Diese Innovationen ermöglichen es KI-Anwendungen, sich an den Gesprächsverlauf zu erinnern, Tools zu nutzen und miteinander zu interagieren, und bieten dadurch personalisiertere und kontextbewusstere Interaktionen, die die Nutzererfahrung erheblich verbessern.
Beispiel: MemGPT
MemGPT ist ein Open-Source-Projekt, das darauf abzielt, die Entwicklung und Bereitstellung zustandsbehafteter LLM-Agenten zu vereinfachen. Durch die Nutzung einer Speicherhierarchie und eines Kontrollflusses, ähnlich wie bei herkömmlichen Betriebssystemen, verwaltet MemGPT automatisch und intelligent verschiedene Speicherebenen und stellt so einen erweiterten Kontext innerhalb des begrenzten Kontextfensters des LLM bereit. MemGPT erleichtert Verbindungen zu externen Datenquellen durch RAG und unterstützt das Definieren und Aufrufen benutzerdefinierter Tools oder Funktionen, wodurch die Entwicklung fortgeschrittener zustandsbehafteter LLM-Agenten vereinfacht wird.
Externe Tools und API für Agenten
Die Integration von KI-Modellen mit verschiedenen externen Tools und APIs ist entscheidend für die Erweiterung der Fähigkeiten von Agenten. Dienste wie Bing API, Google Search API, Twilio und Frameworks wie OpenAPI erleichtern die Interaktion von Agenten und Tools und ermöglichen Anwendungen den Zugriff auf und die Nutzung externer Daten, Dienste und Funktionalitäten.
Beispiel: Bing API
Die Bing Search API-Suite, die Dienste wie Web- und Bildsuche umfasst, liefert sichere, werbefreie und standortbezogene Suchergebnisse. Dies ermöglicht Agenten den Zugriff auf Informationen aus Milliarden von Webdokumenten, Bildern, Videos und Nachrichtenquellen über einen einzigen API-Aufruf.
Frontend- und Such-/Chat-UI-Erlebnis
Die Erstellung intuitiver Schnittstellen für die Interaktion mit KI-Anwendungen ist für die Nutzerakzeptanz unerlässlich. Frameworks wie Streamlit, Vercel und Gradio vereinfachen die Entwicklung von KI-Anwendungen, indem sie benutzerfreundliche UI-Erlebnisse bereitstellen. Entwickler können diese Frameworks nutzen, um Schnittstellen an die spezifischen Anforderungen von KI-Interaktionen anzupassen, wie z. B. Chatboxen für RAG-Anwendungen und Funktionen wie Bildauswahl, Zuschneiden und Browsen für die visuelle Suche.
Beispiel: Streamlit
Streamlit ist ein Open-Source-Python-Framework, das für Data Scientists und KI/ML-Ingenieure entwickelt wurde, um dynamische und interaktive Daten-Apps mit minimalem Programmieraufwand zu erstellen. Durch den Fokus auf intuitive Syntax und den Wegfall der Notwendigkeit von CSS, HTML oder JavaScript ermöglicht Streamlit Nutzern, ausgereifte Anwendungen schnell zu erstellen und bereitzustellen. Es integriert sich in beliebte Datenbibliotheken wie Pandas und NumPy und unterstützt Backend-Komponenten für die Entwicklung KI-gesteuerter Anwendungen.
Knowledge Graph (KG)
Knowledge Graphs verbessern Retrieval-Augmented Generation, indem sie strukturierte Daten bereitstellen, die die Genauigkeit und Relevanz der Informationsbeschaffung verbessern, was zu präziseren, kontextbewussten KI-generierten Antworten führt. Führende Projekte wie WhyHow, GraphRAG und HippoRAG kombinieren Knowledge-Graph-Strukturen mit RAG-Techniken, um die Qualität von Suchergebnissen und generierten Antworten zu verbessern.
Beispiel: WhyHow
WhyHow ist eine Plattform, die Entwicklern helfen soll, unstrukturierte Daten effektiver zu organisieren und abzurufen, mit Schwerpunkt auf der Verbesserung komplexer Retrieval-Augmented-Generation-(RAG)-Systeme mithilfe von Knowledge Graphs. Sie bietet Tools für flexible Datenaufnahme, unterstützt die kollaborative Graph-Erstellung für die Zusammenarbeit zwischen Entwicklern und nicht-technischen Fachexperten und ermöglicht granulare Schema-Manipulation, um Graphen an spezifische Anwendungsfälle anzupassen. Durch die Betonung kleiner, modularer Graphen und Vektor-Chunks verbessert WhyHow die Präzision der Informationsbeschaffung. Die Plattform ist mit Vektordatenbanken kompatibel und umfasst Exportfunktionen für verschiedene Formate. Zusätzlich bietet WhyHow ein Open-Source-regelbasiertes Retrieval-Paket, das bei der Erstellung genauerer Retrieval-Workflows durch fortgeschrittene Filtertechniken unterstützt.
Gebrauchsfertige und Low-Code-RAG-Dienste
Es besteht außerdem eine erhebliche Nachfrage nach sofort einsatzbereiten und Low-Code-Lösungen für RAG. Projekte wie AnythingLLM, PrivateGPT, Dify, Shakudo, Vectara, Epsilla und FlowiseAI bieten benutzerfreundliche Lösungen und ein Maß an Anpassungsfähigkeit, die es Unternehmen ermöglichen, KI-Funktionen schnell bereitzustellen, ohne umfangreiche Entwicklung und Domänenexpertise in Datenpipelines und Suchinfrastrukturen zu benötigen.
Beispiel: AnythingLLM
AnythingLLM ist eine All-in-One-KI-Anwendung, die interaktive RAG-Chatbots und KI-Agenten bereitstellt, ohne dass Programmierung erforderlich ist. Sie ist für Unternehmen konzipiert, die eine private Zero-Setup-Lösung oder eine anpassbare KI-Anwendung suchen, ohne umfangreiche Programmierkenntnisse zu benötigen. AnythingLLM unterstützt sowohl kommerzielle als auch Open-Source-Large-Language-Models (LLMs) und Vektordatenbanken. Die Anwendung ermöglicht eine Full-Stack-Erfahrung durch lokales und Remote-Hosting. Zu den wichtigsten Funktionen gehören Workspaces für organisiertes Dokumentenmanagement, Mehrbenutzerunterstützung mit Berechtigungseinstellungen, Agenten für Web-Browsing und Codeausführung, ein individuell anpassbares einbettbares Chat-Widget sowie Unterstützung für mehrere Dokumenttypen. AnythingLLM stellt außerdem eine Entwickler-API für benutzerdefinierte Integrationen bereit.
Bild- und Videogenerierung
Das GenAI-Ökosystem ist nicht auf textbasierte Anwendungen beschränkt; es umfasst auch bedeutende Fortschritte in der Bild- und Videogenerierung:
Kreative Generierung und digitaler Zwilling
Tools wie Midjourney, Stability AI, Runway, Pika und HeyGen revolutionieren die Kreativbranchen, indem sie KI-gestützte Lösungen zur Generierung hochwertiger Bilder und Videos bereitstellen. Diese Plattformen ermöglichen es Künstlern, Marketern und Entwicklern, überzeugende visuelle Inhalte zu erstellen und die Grenzen von Kreativität und Innovation zu erweitern.
Beispiel: Midjourney
Midjourney ist ein generatives KI-Programm und ein Dienst, entwickelt von Midjourney, Inc., einem unabhängigen Forschungslabor in San Francisco. Es erstellt hochwertige Bilder aus natürlichsprachlichen Beschreibungen, oder Prompts, ähnlich wie OpenAIs DALL-E und Stability AIs Stable Diffusion. Nutzer interagieren mit Midjourney über einen Discord-Bot, über den sie Bilder erstellen können, indem sie Prompts mit dem Befehl /imagine eingeben, was zu vier Bildern mit Optionen zum Hochskalieren führt. Dieses Tool verdeutlicht die Fortschritte im GenAI-Ökosystem und beeinflusst die Kreativbranchen, indem es die Möglichkeiten der digitalen Inhaltserstellung erweitert.
Schlussgedanke
Das GenAI-Ökosystem ist eine dynamische und sich schnell entwickelnde Landschaft, die durch ihre vielfältigen Komponenten und ihre Komplexität geprägt ist. Von grundlegenden Technologien wie LLMs und Vektordatenbanken bis hin zu Innovationen in Datenaufnahme, Orchestrierung und Bildgenerierung definiert GenAI die Grenzen der künstlichen Intelligenz neu. Während Forschung und Innovation weiter voranschreiten, ist das Potenzial für transformative Auswirkungen in allen Branchen immens. Bei Zilliz haben wir als Entwickler der Milvus-Vektordatenbank mit vielen Partnern in der GenAI-Landschaft zusammengearbeitet. Wir sind gespannt darauf, die fortlaufende Entwicklung von GenAI mitzuerleben und dazu beizutragen, und freuen uns auf die Möglichkeiten, die sie mit sich bringen wird.
Weiterlesen
Zilliz Cloud Now Available in AWS Asia Pacific (Seoul)
Zilliz Cloud is now available in AWS Seoul — low-latency vector search, in-country data residency, and one-step migration for Korean AI teams. 31 regions across 5 clouds.
The Real Bottlenecks in Autonomous Driving — And How AI Infrastructure Can Solve Them
Autonomous driving faces a data bottleneck. Learn how AI-native vector databases like Zilliz solve scale, cost, and insight challenges across AV pipelines.
Selecting the Right ETL Tools for Unstructured Data to Prepare for AI
Learn the right ETL tools for unstructured data to power AI. Explore key challenges, tool comparisons, and integrations with Milvus for vector search.