Wissensinjektion in LLMs: Fine-Tuning und RAG
Large Language Models (LLMs) sind beeindruckend in ihrer Fähigkeit, enormes Wissen zu speichern und zu generieren. Sie greifen während des Pre-Trainings auf riesige Datensätze zurück, wodurch sie zu Experten in verschiedenen Themenbereichen werden. Aber sie haben auch ihre Grenzen. Zum einen ist ihr Wissen statisch, da es im Laufe der Zeit nicht aktualisiert wird. Außerdem sind sie zwar bei Allgemeinwissen hervorragend, liefern aber oft nicht die tiefgehende Expertise, die für spezialisierte Bereiche wie Gesundheitswesen, Finanzen oder Recht erforderlich ist.
Methoden zur Wissensinjektion wie Fine-Tuning und Retrieval-Augmented Generation (RAG) werden eingesetzt, um diese Einschränkungen zu beheben. Beim Fine-Tuning werden die Gewichte eines Modells mit aufgabenspezifischen Daten angepasst, während RAG während der Inferenz externes Wissen einbringt, sodass das Modell bei Bedarf relevante Informationen abrufen kann. In dieser Studie werden diese beiden Ansätze über verschiedene wissensintensive Aufgaben hinweg verglichen, um ihre Wirksamkeit bei der Erweiterung und Verfeinerung des Faktenwissens von LLMs zu bewerten.
RAG übertraf Fine-Tuning bei wissensintensiven Aufgaben durchweg und demonstrierte seine überlegene Fähigkeit, externe Informationen zu integrieren. Während Fine-Tuning die Leistung gegenüber dem Basismodell verbesserte, war es nicht so konkurrenzfähig wie RAG. Darüber hinaus erwies sich Datenaugmentation als vorteilhaft für Fine-Tuning, da die Konfrontation von Modellen mit mehreren Variationen derselben Tatsache während des Trainings die Wissensspeicherung verbesserte.
Methodik-Pipeline von Fine-Tuning und RAG
Werfen wir einen genaueren Blick auf die beiden Methoden und untersuchen wir, wie sie im Vergleich abschneiden, wenn es darum geht, das Wissen eines LLM zu verbessern. Um die Dinge ins rechte Licht zu rücken, stellen Sie sich drei Studierende vor, die einen Test zu einem Thema schreiben, das sie nicht gelernt haben. Eine Person hatte das Lehrbuch nur während des Tests, eine andere lernte vor dem Test, und die dritte hatte nach Beginn des Tests keinen Zugriff auf Materialien. Wer würde Ihrer Meinung nach am besten abschneiden?
Finden wir es heraus!
Bitte lesen Sie das folgende Paper für ein detailliertes Verständnis.
Warum erzeugen LLMs faktische Fehler?
Trotz ihrer bemerkenswerten Sprachgewandtheit und Vielseitigkeit sind LLMs aufgrund mehrerer kritischer Faktoren von Natur aus anfällig für faktische Fehler, darunter Defizite im Domänenwissen, veraltete Trainingsdaten und Einschränkungen beim Schlussfolgern.
- Defizit im Domänenwissen: LLMs fehlt möglicherweise tiefgehende Expertise in bestimmten Domänen, die während des Trainings unterrepräsentiert waren. Beispielsweise kann ein Modell, das überwiegend mit allgemeinen Nachrichtenquellen trainiert wurde, Schwierigkeiten mit hochspezialisierten Bereichen wie Medizin oder Recht haben, wenn es nicht mit domänenspezifischen Daten feinabgestimmt wurde.
- Veraltete Informationen: LLMs sind durch das Stichtagsdatum ihrer Trainingsdatensätze begrenzt. Ereignisse, wissenschaftliche Fortschritte oder kulturelle Veränderungen, die nach diesem Stichtag eintreten, werden nicht einbezogen, was zu veralteten Antworten führt. Dies ist besonders problematisch in dynamischen Bereichen wie dem Gesundheitswesen, wo einem Modell, das vor der COVID-19-Pandemie trainiert wurde, Informationen über pandemiebezogene Gesundheitsprotokolle und Impfstoffentwicklungen fehlen würden.
- Nicht-Memorisierung: Ein Teil des Wissens, das das Modell während des Trainings gelernt hat, wird möglicherweise nicht beibehalten, insbesondere wenn es seltene Fakten oder weniger häufig vorkommende Muster in den Trainingsdaten betrifft. Dieses Problem kann die Fähigkeit des Modells beeinträchtigen, weniger verbreitete Informationen über verschiedene Aufgaben oder Eingaben hinweg konsistent abzurufen.
- Vergessen: Katastrophales Vergessen tritt während des Fine-Tunings auf, wenn ein Modell zuvor gelernte Informationen vergisst, insbesondere weniger stark betonte Fakten aus dem ursprünglichen Training. Dies ist ein häufiges Problem bei LLMs und kann die langfristige Wissensspeicherung beeinträchtigen.
- Fehler beim Schlussfolgern: LLMs scheitern manchmal daran, ihr Wissen korrekt anzuwenden, insbesondere bei komplexen, mehrstufigen Aufgaben zum Schlussfolgern. Beispielsweise können LLMs falsche oder unvollständige Antworten liefern, wenn sie gebeten werden, fortgeschrittene Mathematikprobleme oder mehrstufige logische Deduktionen zu lösen. Diese Fehler stehen häufig im Zusammenhang mit der Schwierigkeit des Modells, über längere Gedankensequenzen hinweg logische Kohärenz aufrechtzuerhalten.
Diese Probleme entstehen hauptsächlich in der Trainingsphase des Modells, wobei katastrophales Vergessen die bemerkenswerte Ausnahme darstellt, die nach dem Training während des Fine-Tunings auftritt.
Wissen in Sprachmodelle injizieren
Faktische Fehler in Large Language Models (LLMs) sind oft das Ergebnis von Lücken in der Wissensbasis des Modells. Um dies zu beheben, ist Wissensinjektion eine wichtige Technik, die hilft, die Fähigkeit des Modells zu verfeinern und zu erweitern, genaue Antworten zu liefern.
Wissensinjektion bezeichnet den Prozess, ein Sprachmodell mit zusätzlichen Informationen zu modifizieren oder zu erweitern. Anstatt völlig neue Fakten zu lernen, lenkt sie die Vorhersagen des Modells in Richtung einer bestimmten Wissensdomäne und verbessert so seine Leistung bei wissensintensiven Aufgaben.
Mathematische Formulierung
Lassen Sie uns nun die mathematische Formulierung hinter der Wissensinjektion untersuchen und wie sie zu einer Verbesserung der Modellgenauigkeit führt.
Problem
Die Forschung konzentriert sich auf faktisches Wissen. Wenn ein Modell etwas weiß, kann es verwandte Fragen konsistent richtig beantworten und wahre von falschen Aussagen unterscheiden.
So funktioniert es mathematisch:
Q = {qn}n=1N sei eine Menge von N faktischen Fragen
Jede Frage qn hat L mögliche Antworten und C = {cn}n=1N ist die Menge der richtigen Antworten auf diese Fragen.
M stellt das Modell dar, das für jede Frage eine Antwort vorhersagt. Die vom Modell vorhergesagte Antwort auf eine Frage qn wird als M(qn) ∈ {an1 , . . . , anL } bezeichnet, und sie gehört zu einer Menge möglicher Antworten.
Wir können das Wissen des Modells bewerten, indem wir seinen Wissenswert (Genauigkeit) berechnen, der der Prozentsatz richtiger Antworten ist, die das Modell von allen Fragen ausgibt:
LM,Q := #{qn| M(qn) = cn} N .
In dieser Gleichung:
LM,Q ist der Wissenswert des Modells.
Der Zähler zählt, wie oft die Antwort des Modells M(qn) mit der richtigen Antwort cn für jede Frage qn übereinstimmt.
Der Nenner ist die Gesamtzahl der Fragen N.
Wissensinjektion
Allgemeines Vortraining allein reicht für viele wissensintensive Aufgaben nicht aus. Um die Leistung zu verbessern, benötigen wir Wissensinjektion.
Dies kann mathematisch wie folgt dargestellt werden: Gegeben seien ein vortrainiertes Modell M, eine Menge von Fragen Q und eine Hilfswissensbasis BQ, wir zielen darauf ab, eine Funktion für die Wissensinjektion F zu finden, sodass:
M′ := F(M, BQ) s.t. LM',Q > LM,Q.
Vereinfacht gesagt zielen wir darauf ab, ein neues Modell M′ zu erstellen, indem wir F anwenden, das die Wissensbasis BQ in das ursprüngliche Modell M integriert. Das Ziel ist, dass das neue Modell besser abschneidet, indem es mehr Fragen korrekt beantwortet.
Genauigkeitsgewinn
Um zu sehen, wie stark die Wissensinjektion (wie Fine-Tuning oder RAG) das Modell verbessert hat, vergleichen wir die Genauigkeit vor und nach dem Hinzufügen des zusätzlichen Wissens. Die Verbesserung wird mit dieser Formel berechnet:
(LM`,Q-LM,Q) / LM,Q
Wobei:
LM,Q ist die Genauigkeit des Modells vor dem Hinzufügen neuen Wissens.
LM`,Qist die Genauigkeit des Modells nach dem Hinzufügen neuen Wissens.
Diese Formel zeigt den relativen Genauigkeitsgewinn und wie viel besser das Modell nach der Einbindung neuer Informationen geworden ist.
Frameworks für Wissensinjektion
Zwei gängige Frameworks für Wissensinjektion sind Fine-Tuning (FT) und retrieval-augmented generation (RAG). Fine-Tuning passt das Modell an, indem es auf domänenspezifischen Daten trainiert wird, während RAG das Modell verbessert, indem während der Inferenz relevante Informationen aus einer externen Wissensbasis abgerufen werden.
Fine-Tuning
Fine-Tuning ist eine weit verbreitete Technik zur Wissensinjektion. Bei dieser Technik wird ein vortrainiertes LLM auf einem spezialisierten Datensatz weitertrainiert, um spezifisches Wissen zu internalisieren oder seine Leistung bei bestimmten Aufgaben zu verbessern. Dieser Prozess ermöglicht es dem Modell, sein zuvor erlerntes Wissen „anzupassen“, um neue Fakten, domänenspezifische Begriffe und Schlussfolgerungsmuster zu integrieren.
Arten des Fine-Tunings
- Überwachtes Fine-Tuning: Überwachtes Fine-Tuning (SFT) erfordert Sätze von gelabelten Eingabe-Ausgabe-Paaren. Eine gängige SFT-Methode ist Instruction Tuning, bei der die Eingabe eine Aufgabenbeschreibung in natürlicher Sprache ist und die Ausgabe ein Beispiel für das gewünschte Verhalten darstellt. Viele hochmoderne LLMs durchlaufen nach ihrer Vortrainingsphase ein Instruction Tuning. Instruction Tuning verbessert die Gesamtqualität des Modells, mit besonderem Fokus auf Zero-Shot- und Schlussfolgerungsfähigkeiten. Allerdings vermittelt Instruction Tuning dem Modell kein neues Wissen und reicht allein nicht für die Wissensinjektion aus.
Reinforcement-Learning-Fine-Tuning: Auf Reinforcement Learning (RL) basierende Fine-Tuning-Techniken optimieren Modelle, indem korrekte Antworten belohnt und falsche bestraft werden. Beispiele sind Reinforcement Learning from Human Feedback (RLHF), Direct Preference Optimization (DPO) und Proximal Policy Optimization (PPO). Diese Methoden sind nützlich, um die allgemeine Qualität von Antworten und Verhalten zu verbessern. Allerdings adressiert RL-Fine-Tuning, ähnlich wie Instruction Tuning, nicht zwangsläufig die Wissensbreite, die für die Wissensinjektion erforderlich ist.
Unüberwachtes Fine-Tuning: Unüberwachtes Fine-Tuning erfordert keine gelabelten Daten. Eine gängige Methode ist kontinuierliches Vortraining oder unstrukturiertes Fine-Tuning, bei dem der Prozess als Fortsetzung des Vortrainings betrachtet wird. Das Modell wird auf kausal autoregressive Weise trainiert, indem es das nächste Token vorhersagt. In der Regel wird eine niedrigere Lernrate verwendet, um katastrophales Vergessen zu verhindern. Dieser Ansatz ist wirksam, um neues Wissen in das Modell zu injizieren, da er auf dem während der Vortrainingsphase gespeicherten Wissen aufbaut. Diese Arbeit verwendet unüberwachtes Fine-Tuning, um die Fähigkeit des Modells zu verbessern, neue Informationen zu lernen.
Retrieval Augmented Generation (RAG)
Retrieval Augmented Generation (RAG) ist eine Form des In-Context Learning, die über das in LLMs eingebettete statische Wissen hinausgeht, indem sie Modellen ermöglicht, relevante Informationen aus externen Quellen abzurufen, bevor sie eine Antwort generieren. Im Gegensatz zum traditionellen Fine-Tuning, das die internen Gewichte des Modells verändert, stützt sich RAG auf externe Wissensdatenbanken, um die Ausgaben des Modells in Echtzeitdaten zu verankern. Dieser Ansatz hat den Vorteil, Zugriff auf aktuelle, domänenspezifische und maßgebliche Informationen zu bieten und sicherzustellen, dass der generierte Text korrekt und relevant bleibt.
RAG-Modelle bestehen aus zwei Hauptkomponenten:
- Retrieval-Komponente: Dieser Teil des Modells ist dafür verantwortlich, externe Datenbanken, Dokumentenrepositorien oder sogar das Web nach relevanten Informationen auf Grundlage einer Benutzeranfrage zu durchsuchen. Vor dem Abruf werden Dokumente mithilfe von Embedding-Modellen in Vektoreinbettungen umgewandelt und in einer Vektordatenbank gespeichert. Während des Abrufs wird die Anfrage in ein Embedding umgewandelt und mit gespeicherten Embeddings in der Vektordatenbank abgeglichen, um die relevantesten Informationen abzurufen. Gängige Vektordatenbanken wie Milvus ermöglichen eine effiziente Suche über große Datensätze hinweg.
- Generierungskomponente: Sobald die relevanten Dokumente oder das Wissen abgerufen wurden, synthetisiert die Generierungskomponente die abgerufenen Informationen zu einer kohärenten, kontextuell angemessenen Antwort. Dadurch kann das Modell Echtzeitinformationen integrieren und Fragen mit größerer Genauigkeit beantworten, insbesondere bei Themen, die aktuelles Wissen erfordern.
Experimenteller Aufbau
Dieser Abschnitt beschreibt den Aufbau des Experiments und erläutert die Wissensbasis, die Modellauswahl, den Trainingsaufbau und die Evaluierungsmethoden, die zur Bewertung der Leistung der Modelle verwendet wurden.
Wissensbasis
Die Evaluierung basiert auf drei zentralen Komponenten: dem MMLU-Benchmark, der Aufgabe zu aktuellen Ereignissen und den Aufgaben zur Paraphrasengenerierung.
MMLU-Benchmark
Vier Aufgaben aus dem Massively Multilingual Language Understanding (MMLU)-Benchmark wurden ausgewählt, um die Fähigkeiten von LLMs bei wissensintensiven Aufgaben zu bewerten. Diese Aufgaben umfassen Themen wie Anatomie, Astronomie, Biologie, Chemie und Vorgeschichte. Die Auswahl basierte auf ihrem Schwerpunkt auf Faktenwissen, mit minimaler Abhängigkeit von Schlussfolgerungen.
MMLU wurde aufgrund seiner breiten Abdeckung faktischer Multiple-Choice-Fragen über verschiedene Bereiche hinweg als Benchmark gewählt und bietet einen vielfältigen und objektiven Test des Faktenverständnisses eines Modells. Aufgaben zur Vorgeschichte wurden einbezogen, um die Fähigkeit des Modells zu bewerten, faktische Informationen aus der nicht-modernen Geschichte zu verarbeiten. Dieser Ansatz testet die Kompetenz des Modells, Wissen unabhängig von Schlussfolgerungsprozessen zu verstehen und zu manipulieren.
Aufgabe zu aktuellen Ereignissen
Ein neuer Datensatz wurde erstellt, indem der Fokus auf Multiple-Choice-Fragen zu Ereignissen gelegt wurde, die nach dem Stichtag der Trainingsdaten der Modelle stattfanden. Konkret konzentrierte sich die Aufgabe auf „aktuelle Ereignisse“ aus den USA, die den Zeitraum von August bis November 2023 abdecken und aus den relevanten Wikipedia-Indizes entnommen wurden.
Dieser Ansatz stellt sicher, dass die Modelle während ihres Trainings nicht mit diesen Fakten in Berührung gekommen sind, und ermöglicht so einen direkten Test ihrer Fähigkeiten zur Wissensinjektion sowie ihrer Fähigkeit, mit aktuellen faktischen Informationen umzugehen.
Paraphrasengenerierung
GPT-4 wurde verwendet, um Erweiterungen zu generieren, indem nach der Erstellung des Datensatzes paraphrasierte Versionen der Eingabedaten bereitgestellt wurden. Das Modell wurde angewiesen, die ursprüngliche Bedeutung beizubehalten und die Sätze gleichzeitig umzuformulieren. Jede Paraphrasierungsiteration verwendete einen anderen Seed, um Vielfalt in den generierten Versionen sicherzustellen.
Für jede MMLU-Aufgabe wurden 240 Chunks zufällig ausgewählt, und pro Chunk wurden zwei Paraphrasen erstellt, die während der Hyperparameter-Abstimmung zur Validierung zurückgestellt wurden. Für jeden Chunk, der im Fine-Tuning-Prozess für den Datensatz zu aktuellen Ereignissen verwendet wurde, wurden zehn Paraphrasen generiert.
Modellauswahl
Llama2-7B, Mistral-7B und Orca2-7B wurden ausgewählt, um die Inferenzleistung über verschiedene Modellierungsansätze hinweg zu bewerten. Diese Zusammenstellung umfasst eine Mischung aus weit verbreiteten Open-Source-Basismodellen und einem instruktionsabgestimmten Modell und bietet damit eine ausgewogene Grundlage für den Vergleich.
Zusätzlich wurde bge-large-en als Einbettungsmodell für die RAG-Komponente ausgewählt. Dieses Einbettungsmodell war laut der Hugging Face MTEB-Bestenliste unter den Open-Source-Optionen auf dem neuesten Stand der Technik.
Trainingsaufbau
Der Trainingsprozess umfasst die folgenden zentralen Komponenten:
- Verfahren: Alle Modelle wurden mit einer unüberwachten Trainingsmethode feinabgestimmt. Der Trainingsdatensatz wurde in Chunks aufgeteilt, wobei sichergestellt wurde, dass jeder Chunk eine Größe von 256 Tokens nicht überschritt. Spezielle Tokens
und wurden verwendet, um den Anfang und das Ende jedes Chunks zu markieren.
- Hardware: Die Modelle wurden auf 4 NVIDIA A-100 GPUs trainiert, wodurch sichergestellt wurde, dass die erforderlichen Rechenressourcen für groß angelegtes Fine-Tuning verfügbar waren.
Hyperparameter:
Lernraten wurden im folgenden Bereich getestet: 1 × 10-6bis 5 × 10-5.
Die Modelle wurden für maximal 5 Epochen mit einer Batch-Größe von 64 trainiert, ausgewählt auf Grundlage der Hyperparameter-Optimierung.
Evaluierung
Die Evaluierung wurde mithilfe des LM-Evaluation-Harness-Frameworks durchgeführt, einem beliebten Tool zur Bewertung der Leistung von LLMs. Dieses Framework bietet einen standardisierten Ansatz zur Modellevaluierung und gewährleistet Konsistenz über Aufgaben und Methoden hinweg. Die Modelle wurden hinsichtlich ihrer Fähigkeit bewertet, die korrekten Antworten auf faktische Fragen vorherzusagen.
Für das Experiment lauten diese Evaluierungsansätze:
- Basismodell: Die Rohleistung des Modells ohne zusätzliche Wissensinjektion.
- Fine-Tuning (FT): Das Modell wird auf aufgabenspezifischen Daten feinabgestimmt, um seine Leistung bei faktenwissensbasierten Fragen zu verbessern.
- Retrieval-Augmented Generation (RAG): Diese Methode verwendet eine externe Wissensbasis und ruft relevante Informationen ab, um die Antworten des Modells zu erweitern.
- Fine-Tuning + RAG (FT+RAG): Ein hybrider Ansatz, der Fine-Tuning mit Retrieval-Augmented Generation kombiniert und darauf abzielt, die Leistung zu verbessern, indem sowohl Wissensanpassung als auch Retrieval genutzt werden.
Zusätzlich zum Vergleich dieser vier Ansätze wurde die Leistung in zwei verschiedenen Settings bewertet:
- 0-shot: Das Modell wird ohne vorherige Beispiele getestet und stützt sich ausschließlich auf das Wissen, das es während des Pre-Trainings gelernt hat, sowie auf jegliche Wissensinjektion (Fine-Tuning oder RAG).
- 5-shot: Das Modell erhält fünf Beispiele für jede Aufgabe, die einen Kontext für Vorhersagen liefern. Dieses Setting testet die Fähigkeit des Modells, aus Beispielen in einem praktischeren, realitätsnahen Szenario zu generalisieren.
Der Vergleich der Genauigkeit und Leistung der Modelle über diese vier Ansätze hinweg zeigte die Auswirkungen von Wissensinjektion, Fine-Tuning und Retrieval-Augmented Generation auf die Fähigkeit von LLMs, wissensintensive Aufgaben zu bewältigen.
Experimentelle Ergebnisse
Tauchen wir nun in die experimentellen Ergebnisse über verschiedene Wissensbasen hinweg ein, d. h. den MMLU-Benchmark und Daten zu aktuellen Ereignissen, und untersuchen, wie jeder Ansatz bei wissensintensiven Aufgaben abschnitt
MMLU-Ergebnisse
Über alle Aufgaben hinweg übertraf RAG die Basismodelle durchgehend, wie anhand der Log-Likelihood-Genauigkeit für alle Aufgaben und Settings zu sehen ist.
Ergebnisse für die MMLU-Datensätze in Bezug auf die Log-Likelihood-Genauigkeit | Quelle
Die Verwendung von RAG mit dem Basismodell als Generator erwies sich als überlegen gegenüber alleinigem Fine-Tuning. In einigen Fällen verbesserte das Ersetzen des Basismodells durch ein feinabgestimmtes Modell in der RAG-Pipeline die Ergebnisse weiter. Der Effekt war jedoch inkonsistent und unterstrich die inhärente Instabilität des Fine-Tunings. Zusätzlich lieferte Five-Shot-Prompting über alle Methoden hinweg einen kleinen, aber konsistenten Schub.
Der relative Genauigkeitsgewinn für jede Wissensinjektionsmethode, gemittelt (spaltenweise) über alle Experimente auf dem MMLU-Datensatz | Quelle
Ergebnisse zu aktuellen Ereignissen
RAG erzielte bei der Aufgabe zu aktuellen Ereignissen eine außergewöhnliche Leistung, dank der präzisen Abstimmung zwischen den Fragen und dem Hilfsdatensatz. Obwohl sich Fine-Tuning als vorteilhaft erwies, blieb es hinter der Wirksamkeit von RAG zurück. Die Erweiterung des Fine-Tunings (FT-par) mit mehreren Paraphrasen verbesserte die Ergebnisse jedoch deutlich gegenüber dem Basisansatz (FT-reg).
Ergebnisse zu aktuellen Ereignissen. Modelle, die auf dem ursprünglichen Datensatz feinabgestimmt wurden, sind als FT-reg gekennzeichnet, während diejenigen, die auf dem Datensatz mit mehreren Paraphrasen trainiert wurden, als FT-par gekennzeichnet sind | Quelle
Fine-Tuning vs. RAG
Die Ergebnisse sowohl aus den MMLU- als auch den Aufgaben zu aktuellen Ereignissen bestätigen die Überlegenheit von RAG gegenüber Fine-Tuning. Während Fine-Tuning die Genauigkeit im Vergleich zum Basismodell erhöhte, konnte es die Leistungsgewinne durch Retrieval nicht erreichen.
Mehrere Faktoren tragen zu diesem Trend bei:
- Kontextueller Wissenszugriff: Im Gegensatz zum Fine-Tuning ruft RAG dynamisch relevante Informationen ab und stellt sicher, dass Antworten kontextuell fundiert sind.
- Katastrophales Vergessen: Fine-Tuning birgt das Risiko, zuvor gelerntes Wissen zu überschreiben, was die allgemeinen Fähigkeiten des Modells potenziell verringern kann.
- Ausrichtungsprobleme: Feinabgestimmte Modelle können zusätzliches überwachtes Fine-Tuning oder Reinforcement Learning (RLHF) erfordern, um eine optimale Leistung zu erzielen
Wichtigste Erkenntnisse
- RAG übertrifft Basismodelle: RAG (Retrieval Augmented Generation) übertraf die Basismodelle durchgängig und verbesserte die Genauigkeit erheblich, insbesondere bei wissensintensiven Aufgaben, indem das Modell mit externen Daten erweitert wurde.
- RAG vs. Fine-Tuning (FT): RAG übertraf Fine-Tuning (FT) durchgängig. Die Kombination aus RAG und FT zeigte eine gewisse Verbesserung, wenn ein feinabgestimmtes Modell als Generator in der RAG-Pipeline verwendet wurde. Dennoch waren die Ergebnisse uneinheitlich, was auf die inhärente Instabilität des Fine-Tunings im Vergleich zu RAG hinweist.
- 5-Shot-Boost: Der Übergang von 0-Shot zu 5-Shot führte zu einer kleinen, aber konsistenten Leistungsverbesserung, wobei RAG am stärksten vom zusätzlichen Kontext profitierte.
- Datenerweiterung verbessert die Wissensspeicherung: Die Experimente zeigen, dass paraphrasenbasierte Datenerweiterung zu einem monotonen Anstieg der Modellgenauigkeit bei Aufgaben zur Wissensinjektion führt. Modelle verstehen und generalisieren neues Wissen besser, indem Informationen auf mehrere Arten umformuliert werden. Mit zunehmender Anzahl der Paraphrasen verbesserte sich die Modellgenauigkeit weiterhin stetig.
Modellgenauigkeit bei der Aufgabe zu aktuellen Ereignissen als Funktion der Anzahl der Paraphrasen | Quelle
RAG und Vektordatenbanken
RAG (Retrieval Augmented Generation) verbessert Large Language Models, indem abgerufene Daten in Antworten integriert werden, wodurch faktische Genauigkeit und kontextuelle Relevanz erhöht werden.
Die Rolle von Vektordatenbanken in RAG
Vektordatenbanken spielen eine entscheidende Rolle in der Retrieval-Augmented Generation (RAG), indem sie eine effiziente Speicherung und Abfrage hochdimensionaler Einbettungen ermöglichen. In einem RAG-System hängt die Abrufphase davon ab, die semantisch relevantesten Informationen aus einer riesigen Wissensbasis zu identifizieren, und genau hier glänzen Vektordatenbanken.
Diese Datenbanken indexieren textuelle oder multimodale Daten als dichte Vektoreinbettungen und ermöglichen so schnelle und genaue Ähnlichkeitssuchen mit Methoden wie der Suche nach approximativen nächsten Nachbarn (ANN). Wenn eine Anfrage generiert wird, ruft die Vektordatenbank die am besten passenden Einbettungen basierend auf Kosinusähnlichkeit oder anderen Distanzmetriken ab. Dadurch wird sichergestellt, dass nur die kontextuell relevantesten Informationen an das Generierungsmodell weitergegeben werden, was die faktische Genauigkeit verbessert und Halluzinationen reduziert.
Vektordatenbanken sind besonders wertvoll für den Wissensabruf in Echtzeit bei Anwendungen wie Frage-Antwort-Systemen, Chatbots, Unternehmenssuche und Empfehlungsmaschinen.
Milvus/Zilliz als Vektordatenbank/Cloud-Plattform
Milvus, eine von Zilliz entwickelte Open-Source-Vektordatenbank, ist eine leistungsstarke Lösung für die Verwaltung und Abfrage hochdimensionaler Einbettungen in Systemen der Retrieval-Augmented Generation (RAG). RAG stützt sich auf effiziente Ähnlichkeitssuche, um relevantes Wissen abzurufen, bevor Antworten generiert werden, und Milvus ist für groß angelegte Echtzeit-Abrufaufgaben optimiert.
Anreicherung von LLM-Wissen mit Zilliz Cloud für genauere Antworten | Quelle
Milvus ermöglicht die Speicherung und Indexierung von Millionen oder sogar Milliarden von Vektoreinbettungen, sodass RAG-Modelle schnelle semantische Suchen über riesige Wissensbasen hinweg durchführen können. Milvus stellt durch die Unterstützung mehrerer Indexierungsalgorithmen einen Abruf mit geringer Latenz sicher. Dies ist entscheidend für Anwendungen, bei denen Echtzeitinformationen unerlässlich sind, wie Chatbots, Suchmaschinen und KI-Systeme für Unternehmen.
Zilliz erweitert Milvus um cloudbasierte Lösungen, wodurch es für Unternehmen einfacher wird, die Vektorsuche für RAG bereitzustellen und zu skalieren, ohne Infrastruktur verwalten zu müssen. Dieser cloudnative Ansatz gewährleistet eine nahtlose Integration mit LLMs. Er ermöglicht es Organisationen, ihre Modelle durch dynamischen Wissensabruf zu verbessern und gleichzeitig Leistung und Skalierbarkeit aufrechtzuerhalten.
Potenzielle zukünftige Forschungsrichtungen
Large Language Models (LLMs) verfügen über enorme Mengen an Wissen, doch ihre Fähigkeit, sich an neue, spezialisierte oder unbekannte Informationen anzupassen, bleibt eine Herausforderung. Fine-Tuning und Retrieval-Augmented Generation (RAG) sind zwei prominente Ansätze zur Wissenseinbringung. Während Fine-Tuning für viele Anwendungen nützlich sein kann, hat sich RAG als zuverlässigere Wahl für die Integration externen Wissens erwiesen.
Mehrere zentrale Bereiche erfordern weitere Untersuchungen, um unser Verständnis der Wissenseinbringung in LLMs zu verbessern:
- Hybride Wissensintegration: Erforschung von Kombinationen aus Fine-Tuning, RAG und anderen Techniken zur Verbesserung der Anpassungsfähigkeit. Zu verstehen, wie sich diese Ansätze ergänzen, kann zu effizienterer Wissenseinbringung führen.
- Kombination von Fine-Tuning-Methoden: Zukünftige Forschung sollte die Integration von Instruction-Tuning und auf Reinforcement Learning (RL) basierendem Fine-Tuning mit unüberwachtem Fine-Tuning untersuchen. Dies könnte die Wissensanpassung und -bewahrung verbessern.
- Evaluierung der Wissensrepräsentation in LLMs: Untersuchung, wie LLMs eingebrachtes Wissen intern speichern und abrufen, aus theoretischer Perspektive. Ein klareres Verständnis könnte zu interpretierbareren und effizienteren Modellen führen.
- Messung von Wissen in LLMs: Entwicklung neuer Evaluierungsrahmen über empirische Ansätze hinaus, um die Wissensbewahrung besser zu beurteilen. Die Etablierung standardisierter Benchmarks könnte die Vergleichbarkeit verschiedener Modelle verbessern.
Weitere Forschung in diesen Bereichen wird dazu beitragen, Strategien zur Wissenseinbringung zu verfeinern und die Effizienz und Zuverlässigkeit von LLMs bei der Anpassung an neue Informationen zu verbessern.
Weitere Ressourcen
Forschungsarbeit: Fine-Tuning oder Retrieval? Vergleich der Wissenseinbringung in LLMs
Weiterlesen
Introducing Zilliz MCP Server: Natural Language Access to Your Vector Database
Developers can easily manage and query vector databases with natural language via Zilliz MCP Server in AI-native environments.
Selecting the Right ETL Tools for Unstructured Data to Prepare for AI
Learn the right ETL tools for unstructured data to power AI. Explore key challenges, tool comparisons, and integrations with Milvus for vector search.
Why Deepseek is Waking up AI Giants Like OpenAI And Why You Should Care
Discover how DeepSeek R1's open-source AI model with superior reasoning capabilities and lower costs is disrupting the AI landscape and challenging tech giants like OpenAI.