Vektorsuche und RAG – Ausgewogenheit zwischen Genauigkeit und Kontext
Einführung
Large Language Models (LLMs) haben erhebliche Fortschritte gemacht, insbesondere im Bereich Machine Learning und Natural Language Processing, wodurch Maschinen komplexe Aufgaben mühelos bewältigen können. Mit dem Wachstum der LLM-Technologie ist jedoch ein besonderes Problem aufgetreten: KI-Halluzinationen. Dabei erzeugt KI falsche oder fehlerhafte Informationen, was uns dazu veranlasst, die Vertrauenswürdigkeit dieser Systeme infrage zu stellen. Christy Bergman, Developer Advocate bei Zilliz mit umfangreicher Erfahrung in AI/ML, sprach kürzlich beim Unstructured Data Meetup über die Auswirkungen dieser Halluzinationen und darüber, wie sie die Einführung von KI-Systemen beeinflussen.
Während ihrer Präsentation erläuterte Christy, was KI-Halluzinationen verursacht und welche Auswirkungen sie haben. Sie erwähnte außerdem das zentrale Konzept namens Retrieval Augmented Generation (RAG), eine Methode, die verwendet wird, um Sprachmodelle zuverlässiger zu machen, indem relevante, aktuelle Informationen im Zusammenhang mit der Frage eines Nutzers bereitgestellt werden. Diese Technik hilft sicherzustellen, dass die Modelle auf die neuesten Daten zugreifen können, wie aktuelle Nachrichten oder Forschungsergebnisse, um bessere Antworten zu geben und Fehler zu reduzieren.
KI-Halluzinationen verstehen
KI-Halluzinationen bezeichnen das Phänomen, bei dem Systeme künstlicher Intelligenz, insbesondere solche, die auf Large Language Models basieren, faktisch falsche, irreführende oder vollständig erfundene Ausgaben erzeugen.
Dieses Problem kann aus mehreren Gründen auftreten:
Mangel an Kontext: KI-Modelle haben möglicherweise nicht genügend Kontext, um genaue Antworten zu erzeugen, insbesondere bei komplexen oder nuancierten Anfragen.
Probleme mit Trainingsdaten: Die Daten, die zum Trainieren von KI-Modellen verwendet werden, können Fehler, Verzerrungen oder veraltete Informationen enthalten, die die Modelle unbeabsichtigt reproduzieren können.
Übergeneralisierung: KI-Modelle könnten aus ihren Trainingsdaten übergeneralisieren, was zu falschen Extrapolationen führt, wenn sie mit neuen Eingaben konfrontiert werden.
Designbeschränkungen: Einige KI-Architekturen sind nicht darauf ausgelegt, die Wahrhaftigkeit ihrer Ausgaben zu überprüfen, sondern konzentrieren sich stattdessen darauf, statistisch wahrscheinliche Antworten auf Basis ihrer Trainingsdaten zu erzeugen.
Christy gab beim Unstructured Data Meetup ein gutes Beispiel dafür. Sie bat das KI-System "Gemini", drei Politiker aufzulisten, die in New York geboren wurden, und es nannte Hillary Clinton, was falsch ist, da sie in Chicago geboren wurde.
Dieses Beispiel zeigt, wie KI Fehler machen kann, selbst bei einfachen und direkten Fragen.
Wie Christy erwähnte: „Beachten Sie, dass LLMs mit unkonventionellen Quellen wie Reddit trainiert werden können, was zu ungewöhnlichen Ergebnissen führen kann.“
Wie RAG Halluzinationen mindert
Retrieval Augmented Generation (RAG) ist ein fortschrittlicher Ansatz im Natural Language Processing, der darauf abzielt, die Genauigkeit und Zuverlässigkeit von KI-Modellen zu verbessern, insbesondere bei der Reduzierung von Halluzinationen.
Christy erklärte, dass RAG eine neue Methode ist, um Ihre eigenen Daten in den generativen KI-Prozess zu integrieren. So funktioniert es vereinfacht gesagt:
Sie beginnen damit, Ihre Daten in ein Embedding-Modell einzuspeisen. Dieses Modell wandelt die Informationen in eine Reihe von Zahlen um, die Vektoren genannt werden und anschließend in einer Vektordatenbank gespeichert werden.
Wenn Sie eine Frage stellen, transformiert dasselbe Embedding-Modell auch Ihre Anfrage in einen Vektor und sucht dann nach den nächstgelegenen Vektornachbarn in dieser Datenbank oder diesem Vektorraum. Sobald es die nächstliegende Übereinstimmung findet, verwendet es diese zusammen mit Ihrer Frage als Kontext, um das Large Language Model zu prompten. Auf diese Weise erhalten Sie eine Antwort, die mit höherer Wahrscheinlichkeit korrekt ist.
Nun, so geht RAG gegen KI-Halluzinationen vor:
1. Aktuell bleiben: RAG-Modelle können die neuesten Daten einbeziehen und so sicherstellen, dass ihre Antworten auf den aktuellsten Informationen basieren.
2. Genauigkeit und Detailtiefe: Diese Modelle sind darauf ausgelegt, genaue Antworten zu liefern, indem sie spezifische, relevante Informationen abrufen. Dieser Prozess verringert die Wahrscheinlichkeit, falsche oder erfundene Inhalte zu generieren, und stellt sicher, dass die Antworten detailliert und präzise auf die Frage zugeschnitten sind, anstatt zu allgemeine Aussagen zu machen.
Herausforderungen Beim Aufbau Eines RAG-Systems
Der Aufbau eines Retrieval Augmented Generation (RAG)-Systems umfasst mehrere komplexe Schritte und Entscheidungen. Hier sind einige zentrale Herausforderungen:
Auswahl eines Embedding-Modells
Bei der Auswahl eines Embedding-Modells kannst du dich auf einige Schlüsselfaktoren konzentrieren:
Vektordimension: Wähle Modelle, die Vektoren in einer Größe erzeugen, mit der sich leicht arbeiten lässt.
Retrieval-Leistung: Sieh dir an, wie gut bekannte Modelle von Anbietern wie Cohere und Voyager abschneiden.
Modellgröße: Berücksichtige die Größe des Modells, um sicherzustellen, dass es zu deinen Rechenkapazitäten passt.
Genauigkeit: Stelle sicher, dass das Modell die feinen Details erfassen kann, die für deinen Bereich oder dein Produkt wichtig sind.
Skalierbarkeit: Stelle sicher, dass das Modell mit mehr Daten umgehen kann, wenn deine Anforderungen wachsen.
Und bei deinen Optionen kannst du wählen aus:
Open-Source-Modelle: Diese sind frei verfügbar und können auf Plattformen wie dem Hugging Face Embedding Model Hub verglichen und ausgewählt werden.
Proprietäre Modelle: Unternehmen wie Cohere oder OpenAI bieten Modelle an, die möglicherweise einzigartige Funktionen oder eine bessere Leistung für bestimmte Aufgaben haben, aber kostenpflichtig sind.
Auswahl eines Index
Die Auswahl einer geeigneten Indexstruktur ist entscheidend für die Leistung des Systems. Dabei ist Folgendes zu berücksichtigen:
Skalierbarkeit: Der Index muss auf Millionen oder Milliarden von Dokumenten skalieren können, ohne untragbar langsam zu werden.
Speicherbedarf: Eine effiziente Nutzung des Speichers ist wichtig, insbesondere beim Umgang mit großen Datensätzen.
Retrieval-Geschwindigkeit vs. Genauigkeit: Es gibt oft einen Kompromiss zwischen der Geschwindigkeit, mit der Dokumente abgerufen werden können, und der Genauigkeit, mit der sie zur Abfrage passen.
Chunking
Beim Chunking werden Dokumente in kleinere, semantisch kohärente Teile zerlegt, um ein präziseres Retrieval zu ermöglichen.
Bestimmung der Chunk-Größe: Zu groß, und die Chunks sind möglicherweise weniger fokussiert; zu klein, und wichtiger Kontext könnte verloren gehen.
Kohärenz beibehalten: Sicherstellen, dass jeder Chunk für sich genommen sinnvoll und kohärent bleibt.
Überschneidungen handhaben: Entscheiden, wie Informationen verwaltet werden sollen, die in mehrere Chunks passen könnten.
Keywords oder semantische Suche
Die Wahl zwischen keyword-basierter und semantischer Suche kann die Fähigkeit des Systems beeinflussen, Abfragen zu verstehen und darauf zu reagieren.
Während die Keyword-Suche einfach und schnell erscheinen kann, kann das Fehlen von Dokumenten, die nicht die exakten Keywords enthalten, selbst wenn sie semantisch relevant sind, unsere Genauigkeit stark beeinträchtigen. Im Gegensatz dazu bietet die semantische Suche ein tieferes Verständnis der Absicht der Abfrage, erfordert jedoch mehr Rechenressourcen und anspruchsvollere Modelle.
Reranker
Reranker sind zusätzliche Modelle oder Algorithmen, die die anfänglichen Retrieval-Ergebnisse verfeinern, mit dem Ziel, die Relevanz und Genauigkeit der für die Generierung der endgültigen Antwort ausgewählten Dokumente zu verbessern. Die Frage ist, ob sie den Einsatz wert sind und was wir benötigen, um sie erfolgreich zu integrieren.
Integration: Reranker müssen nahtlos in das System integriert werden, ohne erhebliche Latenz einzuführen.
Trainingsdaten: Wie andere Modelle benötigen Reranker hochwertige, repräsentative Trainingsdaten, um effektiv zu sein.
Tuning: Das richtige Gleichgewicht zwischen dem initialen Retrieval und der Reranking-Phase zu finden, kann herausfordernd sein.
Ist RAG tot?
Eine Frage aus Christys Vortrag, die mich in letzter Zeit beschäftigt, ist, ob RAG immer noch der Star der Show ist, jetzt da Long-Context-LLMs ihr Spiel verbessern.
Die jüngsten Fortschritte bei Long Context LLMs haben Fragen zur Zukunft von Retrieval-Augmented Generation (RAG)-Techniken aufgeworfen. Mit Modellen wie Claude oder Gemini 1.5 Pro, die bis zu 10 Millionen Tokens verarbeiten können, argumentieren manche, dass der dynamische Retrieval-Ansatz von RAG nicht mehr notwendig ist.
Das Duell: Kann Long Context RAG überflüssig machen?
Das ist die Frage, über die alle sprechen. Schauen wir sie uns genauer an.
Kosten und Effizienz:
Die sparsame Natur von RAG, bei der nur das abgerufen wird, was benötigt wird, spart Rechenkosten. Doch da die Preise für KI-Technologie sinken, werden Long-Context-LLMs budgetfreundlicher. Hier ist es ein knappes Rennen.
Retrieval- und Reasoning-Dynamiken:
Long-Context-LLMs verbinden ihr Denken mit Informationsabruf und verleihen Antworten dadurch eine persönlichere Note. Der vorgelagerte Informationsabruf von RAG kann im Vergleich dazu etwas roboterhaft wirken.
Skalierbarkeit und Datenkomplexität:
Die Fähigkeit von RAG, Billionen von Tokens zu verarbeiten, ist sein Trumpf und macht es zum König im Umgang mit riesigen, sich ständig verändernden Datensätzen. Long-Context-LLMs bleiben hier auf der Strecke.
Zusammenarbeit statt Konkurrenz:
Warum nicht beides nutzen? Die Kombination der Präzision von RAG mit der Anpassungsfähigkeit von Long-Context-Modellen könnte zu einer starken Synergie führen.
OpenAI RAG vs. Ihr angepasstes RAG
Nun, Sie haben gesehen, was RAG ist und welche Herausforderungen es mit sich bringt. Jetzt ist es an der Zeit, in die technischen Aspekte des Aufbaus eines RAG einzutauchen. Konkret werden wir OpenAI's RAG besprechen und wie es sich mit dem Aufbau eines angepassten RAG unter Verwendung von Vektordatenbanken wie Milvus vergleichen lässt.
Eine großartige Frage eines Publikumsmitglieds war: „Was sind die Gründe dafür, ein eigenes RAG statt eines Open AI RAG zu erstellen“
Wie Christy erwähnte, ist der wichtigste Punkt: „ So erhalten Sie mehr Einblick in das RAG-System, den Sie bei der Verwendung von Open AI nicht haben; als Entwickler wissen Sie, was Sie anpassen müssen“
Die Rolle der OpenAI Assistant API beim Aufbau von RAG
Die OpenAI Assistant API ist ein leistungsstarkes Tool, mit dem Sie KI-Assistenten in Ihren eigenen Apps erstellen können. Ein Assistant hat Anweisungen und kann Modelle, Tools und Dateien verwenden, um auf Benutzeranfragen zu antworten. Diese API eignet sich hervorragend für Apps, die ansprechende, langfristige Gespräche benötigen, wie Kundensupport oder virtuelle persönliche Assistenten.
Vergleich von OpenAI RAG und angepasstem RAG
Christy demonstrierte zwei Ansätze zum Aufbau eines RAG: einen unter Verwendung der OpenAI API und einen anderen, indem es mit einer Vektordatenbank namens Milvus angepasst wird. Dieser Vergleich hilft uns, die Unterschiede und Vorteile der einzelnen Ansätze zu verstehen..
Hier sind die wichtigsten Unterschiede zwischen OpenAI RAG und angepasstem RAG.
| Kriterien | OpenAI RAG | Angepasstes RAG |
| Anwendungseignung | Gut für Kundensupport, virtuelle persönliche Assistenten und langfristige Gespräche | Hervorragend für akademische Forschungsunterstützung, komplexe Anfragen und faktenbasierte Daten |
| Leistung und Skalierbarkeit | Schnelle Antwortzeiten und hohe Effizienz | Kann aufgrund der Datenbankabfrage langsamere Antwortzeiten aufweisen |
| Implementierungskomplexität | Einfach einzurichten und zu verwenden | Erfordert Fachwissen in KI-Modellintegration und Datenbankmanagement |
| Kostenüberlegungen | Preisgestaltung basierend auf Nutzung | Kosten umfassen Rechenressourcen und Datenbankwartung |
Ein angepasster RAG-Ansatz mit Vektordatenbanken wie Milvus bietet mehr Flexibilität und Kontrolle, erfordert jedoch mehr Fachwissen und Ressourcen
Möchten Sie den Code in Aktion sehen? Sehen Sie sich dieses Notebook für ein praktisches Beispiel an!
RAG-Evaluierungsmethoden
Um eine RAG-Pipeline zu evaluieren, müssen Sie beide Teile separat und zusammen betrachten. Sie müssen auch prüfen, ob die Leistung besser wird. Dafür benötigen Sie zwei Dinge: eine Evaluierungsmetrik und einen Datensatz.
Da Christy diesen Teil in ihrer Rede behandelte, lag der Hauptfokus, den sie erwähnte, auf „Ist Ihre Antwort fundiert und beantwortet sie die Frage zuverlässig“
Eines der Tools, die Christy erwähnte, ist Truera, eine Plattform, die hilft, Anwendungen von Large Language Models (LLM) zu evaluieren und zu optimieren.
Mit Truera können Sie:
Ihre LLM-Apps evaluieren
Ihre Auswahl an LLM-Apps mithilfe von Feedback-Funktionen und App-Tracking optimieren
Halluzinationen minimieren, indem Sie Funktionen wie RAG-Triade und andere sofort einsatzbereite Feedback-Funktionen nutzen
Produktions-LLM-Apps in großem Maßstab überwachen und verfolgen, responsive Dashboards erstellen und umsetzbare Warnmeldungen festlegen
Christy sprach auch über RAGAs, es ist ein Framework, das speziell für die Bewertung von RAG-Pipelines entwickelt wurde. Es bietet alle technischen Voraussetzungen, um jede Pipeline-Komponente isoliert zu evaluieren.
RAGAs benötigt die folgenden Informationen:
· Frage: Die Anfrage des Benutzers
· Antwort: Die generierte Antwort
· Kontexte: Die aus der externen Wissensquelle abgerufenen Informationen
· Grundwahrheiten: Die richtige Antwort auf die Frage (nur für eine Metrik erforderlich)
RAGAs stellt mehrere Metriken zur Evaluierung der Pipeline bereit, darunter:
· Kontextpräzision: Wie relevant die abgerufenen Informationen sind
· Kontextabruf: Ob alle relevanten Informationen abgerufen wurden
· Zuverlässigkeit: Wie genau die generierte Antwort ist
· Antwortrelevanz: Wie relevant die generierte Antwort für die Frage ist
Evaluierung von LLMs mithilfe anderer LLMs als Richter
Die Evaluierung großer Sprachmodelle (LLMs) kann herausfordernd sein. Eine Lösung besteht darin, LLMs einander evaluieren zu lassen. Dieser Prozess umfasst die Generierung von Testfällen und die Messung der Modellleistung.
So funktioniert es:
Automatische Testgenerierung: Ein LLM erstellt eine Reihe von Testfällen, einschließlich verschiedener Eingaben, Kontexte und Schwierigkeitsgrade.
Bewertungsmetriken: Das bewertete LLM löst die Testfälle, und seine Leistung wird anhand von Metriken wie Genauigkeit, Flüssigkeit und Kohärenz gemessen.
Vergleich und Ranking: Die Ergebnisse werden mit einer Baseline oder anderen LLMs verglichen und zeigen die Stärken und Schwächen jedes Modells.
Ein interessanter Punkt, den Christy erwähnt hat und der wirklich faszinierend ist, ist „GPT stuft sich selbst höher ein, wenn es der Richter ist“, was einen weiteren Aspekt zeigt, den wir bei der Bewertung von LLMs berücksichtigen müssen, um Genauigkeit sicherzustellen.
Vielleicht möchtest du dir diesen Artikel ansehen, um tiefer in das Thema einzutauchen.
Fazit
Und das war’s! Wir haben KI-Halluzinationen behandelt und wie RAG helfen kann, das Problem zu lösen. Christy hat hervorragend erklärt, wie der Aufbau von RAG sorgfältige Entscheidungen bei Embedding-Modellen, Indizes und semantischen Suchansätzen erfordert. Durch die Bewältigung des Problems von KI-Halluzinationen und die Nutzung dynamischer Abfrage aktueller Informationen bietet RAG ein leistungsstarkes Werkzeug zur Erstellung zuverlässigerer und kontextbewusster KI-Systeme.
Der Weg zum Aufbau eines RAG-Systems umfasst wohlüberlegte Entscheidungen über Embedding-Modelle, Indexierung und den Umgang mit riesigen Datensätzen. Auch wenn dies anspruchsvoll ist, sind die Vorteile in Bezug auf Leistung und Genauigkeit erheblich.
Ob dich die technischen Feinheiten faszinieren oder die praktischen Anwendungen inspirieren, jetzt ist der perfekte Zeitpunkt, in RAG einzutauchen. Experimentiere mit Vektordatenbanken wie Milvus, integriere fortschrittliche Suchtechniken und erlebe aus erster Hand, wie RAG die Datenabfrage und KI-Interaktionen transformieren kann.
Weiterlesen
Zilliz Cloud Now Available in AWS Asia Pacific (Seoul)
Zilliz Cloud is now available in AWS Seoul — low-latency vector search, in-country data residency, and one-step migration for Korean AI teams. 31 regions across 5 clouds.
3 Easiest Ways to Use Claude Code on Your Mobile Phone
Run Claude Code from your phone with Remote Control, Happy Coder, or SSH + Tailscale. Comparison table, setup steps, and tools for typing, memory, and parallel tasks.
Zilliz Named "Highest Performer" and "Easiest to Use" in G2's Summer 2025 Grid® Report for Vector Databases
Zilliz shines in G2's Summer 2025 Grid® Report as both "Highest Performer" and "Easiest to Use," solving the performance-usability dilemma.