Wird Retrieval Augmented Generation (RAG) durch Long-Context-LLMs verdrängt?
Das Streben nach Innovation und Vormachtstellung in der KI zeigt keine Anzeichen einer Verlangsamung. Kürzlich stellte Google Gemini 1.5 vor, nur zwei Monate nach dem Debüt von Gemini, ihrem neuesten großen Sprachmodell (LLM), das Kontexte von beeindruckenden bis zu 10 Millionen Tokens verarbeiten kann. Gleichzeitig hat OpenAI mit Sora die Bühne betreten, einem robusten Text-zu-Video-Modell, das für seine fesselnden visuellen Effekte gefeiert wird. Das Aufeinandertreffen dieser beiden Spitzentechnologien hat Diskussionen über die Zukunft der KI ausgelöst, insbesondere über die Rolle und den möglichen Niedergang von Retrieval Augmented Generation (RAG).
In diesem Blog werden wir die Feinheiten von Geminis Long-Context-Fähigkeiten, Einschränkungen und Auswirkungen auf die Weiterentwicklung von Retrieval-Augmented-Generation-Techniken untersuchen. Vor allem werden wir erörtern, ob RAG kurz vor dem Niedergang steht und wie man RAG-Systeme optimiert.
Geminis Long-Context-Fähigkeit verstehen
Während die Anziehungskraft von Soras visuellen Effekten mehr Aufmerksamkeit auf sich zieht, interessiere ich mich stärker für Gemini und den dazugehörigen technischen Bericht, der über 50 Seiten umfasst und Tests zu Geminis Long-Context- und multimodalen Fähigkeiten untersucht. Laut diesem Bericht unterstützt Gemini 1.5 Pro ultralange Kontexte von bis zu 10 Millionen Tokens und multimodale Datenverarbeitung, wodurch Gemini nahtlos mit vielfältigen Daten interagieren kann, von einem ganzen Buch und riesigen Dokumentsammlungen bis hin zu umfangreichen Codebibliotheken und einem einstündigen Film.
Gemini 1.5 Pro unterstützt ultralange Kontexte von bis zu 10M Tokens. Bildquelle: https://blog.google/technology/ai/google-gemini-next-generation-model-february-2024/
Retrieval-Stabilität und Genauigkeit
Dieser Bericht stellt eine „Needle-in-a-Haystack“-Evaluierungsmethode vor, um die Retrieval-Fähigkeit von Gemini 1.5 Pro und GPT-4 zu testen und zu vergleichen. In diesem Test fügt Google Textsegmente (die „Nadeln“) an verschiedenen Positionen eines langen Dokuments (des „Heuhaufens“) ein, und Gemini und GPT müssen relevante Dokumente finden und benennen, um sie abzurufen.
Die Testergebnisse zeigen, dass Gemini 1.5 Pro bei bis zu 530.000 Tokens eine Recall-Rate von 100 % erreicht und bei bis zu 1M Tokens über 99,7 % Recall beibehält. Selbst bei einem extrem langen Dokument mit 10M Tokens erzielt das Modell eine beeindruckende Recall-Rate von 99,2 %. Während GPT-4 weniger als 128.000 Tokens hervorragend verarbeitet, ist Gemini versierter im Umgang mit deutlich längeren Kontexten. Diese Ergebnisse unterstreichen Geminis hervorragendes Information Retrieval sowie Stabilität und Genauigkeit in außergewöhnlich langen Kontexten von bis zu 10M Tokens.
Bildquelle: https://storage.googleapis.com/deepmind-media/gemini/gemini_v1_5_report.pdf
Fragebeantwortung
Zusätzlich zum Testen von Geminis Retrieval-Fähigkeit bewertet Google seine Fähigkeit zur Fragebeantwortung im Kontext. In diesem Test verwendet Google das Buch Les Misérables (710.000 Tokens) als Kontext und bittet Gemini 1.5 Pro, Gemini 1.0 Pro und Anthropics Claude 2.1, Fragen zu dem Buch zu beantworten.
Da Gemini 1.0 Pro und Claude 2.1 eine kleinere Kontextlänge als 710.000 Token unterstützen, müssen sie die Technik der Retrieval Augmented Generation (RAG) nutzen, um auf die Top-K der relevantesten Passagen (bis zu 4.000 Token) aus dem Buch als ihren Kontext zuzugreifen. Gemini hat ein größeres Kontextfenster, daher bezieht es sich auf das gesamte Buch als seinen Kontext. Dieser Test vergleicht auch die Leistung der drei Modelle im 0-Shot-Setup, bei dem nichts als Kontext bereitgestellt wird.
Die Testergebnisse zeigen, dass Gemini 1.5 Pro andere RAG-gestützte LLMs beim Beantworten von Fragen übertrifft und damit seine Dominanz beim Verstehen und Verarbeiten riesiger Textsammlungen demonstriert. Dieser Test zeigt auch, dass die Retrieval-Augmented-Generation-Technik häufig Schwierigkeiten hat, Referenzausdrücke und Schlussfolgerungen über Datenquellen hinweg mit weitreichenden Abhängigkeiten aufzulösen.
Bildquelle: https://storage.googleapis.com/deepmind-media/gemini/gemini_v1_5_report.pdf
Werden Long-Context-LLMs RAG töten?
Das Retrieval-Augmented-Generation-Framework, das eine Vektordatenbank, ein LLM und Prompt-as-Code umfasst, ist eine Spitzentechnologie, die externe Wissensquellen nahtlos integriert, um die Wissensbasis eines LLM für präzise und relevante Dokumente und Antworten zu erweitern. Es ist eine bewährte Lösung, die grundlegende Herausforderungen von LLMs wie Halluzinationen und fehlendes domänenspezifisches Wissen effektiv adressiert.
Angesichts der beeindruckenden Leistung von Gemini bei der Verarbeitung langer Kontexte sagen einige Stimmen schnell den Niedergang von RAG voraus. Beispielsweise erklärte Dr. Yao Fu in einer Rezension von Gemini 1.5 Pro auf Twitter kühn: „Der 10M-Kontext tötet RAG.“
Ist diese Behauptung wahr? Aus meiner Sicht lautet die Antwort „NEIN“. Die Entwicklung der RAG-Technologie hat gerade erst begonnen und wird sich weiterentwickeln. Während Gemini beim Verwalten erweiterter Kontexte glänzt, kämpft es mit anhaltenden Herausforderungen, die als die 4Vs zusammengefasst werden: Velocity, Value, Volume und Variety.
Die 4Vs-Herausforderungen von LLMs
Velocity: Gemini stößt auf Hürden, wenn es darum geht, Antwortzeiten unter einer Sekunde für umfangreiche Kontexte zu erreichen, was durch eine Verzögerung von 30 Sekunden bei der Antwort auf 360.000 Kontexte belegt wird. Trotz Optimismus hinsichtlich der rechnerischen Fortschritte von LLMs bleiben schnelle Antworten im Subsekundenbereich beim Abrufen langer Kontexte für große transformer-basierte Modelle eine Herausforderung.
Value: Das Wertversprechen von LLMs wird durch die beträchtlichen Inferenzkosten untergraben, die mit der Generierung hochwertiger Antworten in langen Kontexten verbunden sind. Beispielsweise könnte das Abrufen von 1 Million Token an Datensätzen zu einem Preis von 0,0015 für eine einzelne Anfrage belaufen. Dieser Kostenfaktor macht derart hohe Ausgaben für die alltägliche Nutzung unpraktisch und stellt eine erhebliche Hürde für eine breite Einführung dar.
Volume: Trotz seiner Fähigkeit, ein großes Kontextfenster von bis zu zehn Millionen Token zu verarbeiten, verblasst Geminis Volumenkapazität im Vergleich zur enormen Menge an unstrukturierten Daten. Beispielsweise kann kein LLM, einschließlich Gemini, den kolossalen Datenumfang, der im Google-Suchindex enthalten ist, angemessen aufnehmen. Darüber hinaus müssen private Unternehmensdaten innerhalb der Grenzen ihrer Eigentümer bleiben, die sich möglicherweise dafür entscheiden, RAG zu verwenden, ihre eigenen Modelle zu trainieren oder ein privates LLM zu nutzen.
Vielfalt: Reale Anwendungsfälle umfassen nicht nur unstrukturierte Daten wie lange Texte, Bilder und Videos, sondern auch ein breites Spektrum strukturierter Daten, die von einem LLM zu Trainingszwecken möglicherweise nicht leicht erfasst werden können, wie Zeitreihendaten, Graphdaten und Codeänderungen. Optimierte Datenstrukturen und Retrieval-Algorithmen sind unerlässlich, um derart vielfältige Daten effizient zu verarbeiten.All diese Herausforderungen unterstreichen die Bedeutung eines ausgewogenen Ansatzes bei der Entwicklung von KI-Anwendungen, wodurch RAG in der sich wandelnden Landschaft der künstlichen Intelligenz zunehmend wichtiger wird.
Strategien zur Optimierung der RAG-Wirksamkeit
Obwohl Retrieval Augmented Generation sich als nützlich erwiesen hat, um LLM-Halluzinationen zu reduzieren, hat es auch Einschränkungen. In diesem Abschnitt untersuchen wir Strategien zur Optimierung der Wirksamkeit von Retrieval Augmented Generation, um ein Gleichgewicht zwischen Genauigkeit und Leistung zu erreichen und RAG-Systeme für ein breiteres Anwendungsspektrum anpassungsfähiger zu machen.
Verbesserung des Verständnisses langer Kontexte
Herkömmliche Techniken der Retrieval Augmented Generation stützen sich bei der Vektorisierung unstrukturierter Daten häufig auf Chunking, hauptsächlich aufgrund der Größenbeschränkungen von Embedding-Modellen und ihrer Kontextfenster. Dieser Chunking-Ansatz weist jedoch zwei bemerkenswerte Nachteile auf.
- Erstens zerlegt er die Eingabesequenz in isolierte Chunks, wodurch die Kontinuität des Kontexts unterbrochen und die Embedding-Qualität negativ beeinflusst wird.
- Zweitens besteht das Risiko, zusammenhängende Informationen in getrennte Chunks aufzuteilen, was potenziell zu einem unvollständigen Retrieval wesentlicher Informationen führen kann.
Als Reaktion auf diese Herausforderungen haben auf LLMs basierende neue Embedding-Strategien als effiziente Lösungen an Bedeutung gewonnen. Sie bieten bessere Embedding-Fähigkeiten und unterstützen erweiterte Kontextfenster. Beispielsweise unterstützen SRF-Embedding-Mistral und GritLM7B, zwei der leistungsstärksten Embedding-Sprachmodelle auf dem Huggingface MTEB LeaderBoard, Kontexte mit einer Länge von 32k Tokens und zeigen damit eine erhebliche Verbesserung der Embedding-Fähigkeiten. Diese Verbesserung beim Embedding unstrukturierter Daten steigert auch das Verständnis von RAG für lange Kontexte.
Ein weiterer wirksamer Ansatz zur Bewältigung der oben genannten Herausforderungen ist die kürzlich veröffentlichte BGE-Landmark Embedding-Strategie. Dieser Ansatz verwendet eine chunkingfreie Architektur, bei der Embeddings für die feingranularen Eingabeeinheiten, z. B. Sätze, auf Grundlage eines kohärenten langen Kontexts erzeugt werden können. Er nutzt außerdem eine positionsbewusste Funktion, um das vollständige Retrieval hilfreicher Informationen zu erleichtern, die mehrere aufeinanderfolgende Sätze innerhalb des langen Kontexts umfassen. Daher ist Landmark Embedding vorteilhaft, um die Fähigkeit von RAG-Systemen zu verbessern, lange Kontexte zu verstehen und zu verarbeiten.
Die Architektur für Landmark Embedding. Landmark-(LMK)-Tokens werden an das Ende jedes Satzes angehängt. Ein Sliding Window wird eingesetzt, um Eingabetexte zu verarbeiten, die länger sind als das Kontextfenster des LLM. Bildquelle: https://arxiv.org/pdf/2402.11573.pdf
Dieses Diagramm vergleicht die Methoden Sentence Embedding und Landmark Embedding dabei, RAG-Apps beim Beantworten von Fragen zu unterstützen. Erstere arbeitet mit dem in Chunks aufgeteilten Kontext, der dazu neigt, den hervorstechenden Satz auszuwählen. Letztere bewahrt einen kohärenten Kontext, wodurch sie den richtigen Satz auswählen kann. Die blau und violett hervorgehobenen Sätze sind Antworten, die jeweils von den beiden Embedding-Methoden abgerufen wurden. Das RAG-System, das Sentence Embedding nutzte, gab die falsche Antwort, während das auf Landmark Embedding basierende RAG die richtige Antwort gab. Dieses Bild wurde angepasst von: https://arxiv.org/abs/2402.11573
Nutzung von Hybrid Search für eine verbesserte Suchqualität
Die Qualität von Retrieval-augmented-generation-Antworten hängt von ihrer Fähigkeit ab, hochwertige relevante Informationen abzurufen. Datenbereinigung, strukturierte Informationsextraktion und hybrid search sind allesamt effektive Möglichkeiten, die Abrufqualität zu verbessern. Jüngste Forschung legt nahe, dass sparse vector-Modelle wie Splade dense vector-Modelle beim Abruf von Wissen außerhalb der Domäne, bei Keyword-Erkennung, semantischer Suche und in vielen anderen Bereichen übertreffen.
Das kürzlich als Open Source veröffentlichte BGE_M3-embedding model kann sparse, dense und Colbert-ähnliche Token-Vektoren innerhalb desselben Modells erzeugen. Diese Innovation verbessert die Abrufqualität von Vektordatenbanken erheblich, indem hybride Abrufe über verschiedene Vektortypen hinweg durchgeführt werden. Bemerkenswerterweise entspricht dieser Ansatz dem unter Anbietern von vector database wie Zilliz weit verbreiteten Konzept der hybrid search. Beispielsweise verspricht die kommende Version von Milvus 2.4 eine umfassendere hybride Suche mit dense und sparse Vektoren.
Nutzung fortschrittlicher Technologien zur Verbesserung der RAG-Performance
In diesem Diagramm listete Wenqi Glantz 12 Schmerzpunkte bei der Entwicklung einer RAG-Pipeline auf und schlug 12 entsprechende Lösungen vor, um diese Herausforderungen anzugehen. Bildquelle:https://towardsdatascience.com/12-rag-pain-points-and-proposed-solutions-43709939a28c
Die Maximierung der RAG-Fähigkeiten umfasst die Bewältigung zahlreicher algorithmischer Herausforderungen sowie die Nutzung ausgefeilter Engineering-Fähigkeiten und Technologien. Wie Wenqi Glantz in ihrem Blog hervorhebt, bringt die Entwicklung einer RAG pipeline mindestens 12 komplexe Engineering-Herausforderungen mit sich. Die Bewältigung dieser Herausforderungen erfordert ein tiefes Verständnis von ML-Algorithmen und den Einsatz komplizierter Techniken wie Query Rewriting, Trainingsdaten für Intent Recognition,, und Entity Detection.
Selbst fortgeschrittene Modelle wie Gemini 1.5 stehen vor erheblichen Hürden. Sie benötigen 32 Aufrufe, um in Googles MMLU-Benchmark-Tests eine Genauigkeit von 90,0 % zu erreichen. Dies unterstreicht die Natur der Leistungsmaximierung in RAG-Systemen.
Vektordatenbanken, eine der modernsten KI-Technologien, sind eine Kernkomponente in der RAG-Pipeline. Die Entscheidung für eine ausgereiftere und fortschrittlichere Vektordatenbank, wie Milvus, erweitert die Fähigkeiten Ihrer RAG-Pipeline von der Antwortgenerierung auf Aufgaben wie Klassifizierung, Extraktion strukturierter Daten und die Verarbeitung komplexer PDF-Dokumente. Solche vielseitigen Verbesserungen von Vektordatenbanken tragen zur Anpassungsfähigkeit von RAG-Systemen über ein breiteres Spektrum von Anwendungsfällen hinweg bei.
Fazit: RAG bleibt ein Dreh- und Angelpunkt für den nachhaltigen Erfolg von KI-Anwendungen.
Große Sprachmodelle gestalten die Welt neu, aber sie können die grundlegenden Prinzipien unserer Welt nicht verändern. Die Trennung von Berechnung, Speicher und externer Datenspeicherung besteht seit der Entstehung der von-Neumann-Architektur im Jahr 1945. Doch selbst wenn der Speicher einzelner Maschinen heute den Terabyte-Bereich erreicht, spielen SATA- und Flash-Festplatten weiterhin entscheidende Rollen in unterschiedlichen Anwendungsfällen. Dies zeigt die Widerstandsfähigkeit etablierter Paradigmen angesichts technologischer Entwicklung.
Das RAG-Framework ist weiterhin ein Dreh- und Angelpunkt für den nachhaltigen Erfolg von KI-Anwendungen. Seine Bereitstellung von Langzeitspeicher für große Sprachmodelle erweist sich als unverzichtbar für Entwickler, die ein optimales Gleichgewicht zwischen Anfragequalität und Kosteneffizienz anstreben. Beim Einsatz generativer KI durch große Unternehmen ist RAG ein entscheidendes Werkzeug zur Kostenkontrolle, ohne die Antwortqualität zu beeinträchtigen.
So wie Entwicklungen bei großem Arbeitsspeicher Festplatten nicht verdrängen können, bleibt die Rolle von RAG, gekoppelt mit seinen unterstützenden Technologien wie der Vektordatenbank, integraler Bestandteil und anpassungsfähig. Es ist darauf ausgerichtet, in der neuen, sich ständig weiterentwickelnden Datenlandschaft von KI-Anwendungen und Informationsabruf Bestand zu haben und zu koexistieren.
Weiterlesen
Build Multimodal Search for 3D Assets with Tripo and Zilliz Cloud
Generate 3D assets with Tripo, then search them by text, image, and metadata with multimodal embeddings and Zilliz Cloud.
Introducing Functions and Model Inference on Zilliz Cloud: Automatic Embedding and Reranking with Hosted Models
Zilliz Cloud Functions auto-generate embeddings via OpenAI, Voyage AI, Cohere, or Zilliz Hosted Models. Built-in reranking — just insert text and search.
OpenAI o1: What Developers Need to Know
In this article, we will talk about the o1 series from a developer's perspective, exploring how these models can be implemented for sophisticated use cases.