GPL: Generatives Pseudo-Labeling für die unüberwachte Domänenadaption beim Dense Retrieval
Informationsretrieval ist für viele Anwendungen der Verarbeitung natürlicher Sprache (NLP) wichtig. Während traditionelle lexikalische Methoden zur Suche in Textinhalten verwendet wurden, leiden sie unter einer lexikalischen Lücke. Diese Methoden können Synonyme nicht erkennen oder zwischen mehrdeutigen Wörtern unterscheiden.
Dense Retrieval-Methoden, die Abfragen und Passagen in einen gemeinsamen Vektorraum abbilden, sind populär geworden, um diese Probleme zu lösen, und zeigen Verbesserungen gegenüber traditionellen Ansätzen. Sie erfordern jedoch große Trainingsdatensätze und reagieren empfindlich auf Domänenverschiebungen. Beispielsweise schneiden Modelle, die auf MS MARCO trainiert wurden, in der COVID-19-Literatur schlecht ab.
Daher besteht Bedarf, eine Methode zu entwickeln, die Dense-Retrieval-Modelle effektiv an neue Domänen anpassen kann, ohne große Mengen an gelabelten Daten zu benötigen. Eine vorgeschlagene Methode ist GPL (Generative Pseudo Labeling), eine unüberwachte Domänenanpassungstechnik für Dense-Retrieval-Modelle, die einen Abfragegenerator mit Pseudo-Labeling kombiniert. GPL verwendet ein T5-Modell, um Abfragen für eine Zieldomäne zu generieren. Es ruft negative Passagen mithilfe eines bestehenden Dense-Retrieval-Modells ab und verwendet einen Cross-Encoder, um (Abfrage, Passage)-Paare zu bewerten.
GPL übertrifft andere Methoden zur Domänenanpassung. Es verbessert die Leistung um bis zu 9,3 nDCG@10 (normalized Discounted Cumulative Gain at rank 10) gegenüber Modellen, die auf MS MARCO trainiert wurden, und um bis zu 4,5 nDCG@10 gegenüber QGen (Query generation).
Abbildung: GPL zum Trainieren eines domänenangepassten Dense Retrievers
Abbildung: GPL zum Trainieren eines domänenangepassten Dense Retrievers | Quelle
Dieser Artikel wird erläutern, wie GPL das Problem der Domänenanpassung angeht, welche zugrunde liegenden Mechanismen es nutzt und welche Verbesserungen es gegenüber früheren Methoden zur Domänenanpassung bietet. Weitere Details finden Sie im Paper zu Generative Pseudo Labeling.
Warum Dense Retrieval nicht immer ausreicht
Trotz ihrer beeindruckenden Fähigkeiten haben Dense-Retrieval-Methoden ihre Nachteile. Die bedeutendsten Probleme sind der Bedarf an großen Trainingsdatensätzen und ihre Herausforderungen bei der Anpassung an neue Domänen. Hier ist eine Aufschlüsselung dieser Herausforderungen:
Datenanforderungen: Dense-Retrieval-Modelle benötigen große Mengen an Trainingsdaten, um effektiv zu funktionieren. Diese Datenanforderung stellt eine erhebliche Herausforderung für den Einsatz von Dense Retrieval in spezialisierten Domänen dar, in denen große, gelabelte Datensätze nicht verfügbar sind.
Empfindlichkeit gegenüber Domänenverschiebungen: Dense-Retrieval-Modelle reagieren äußerst empfindlich auf Domänenverschiebungen. Ihre Leistung nimmt ab, wenn sie auf eine Domäne angewendet werden, die sich von der unterscheidet, auf der sie trainiert wurden.
Lexikalische Lücke: Traditionelle lexikalische Methoden, eine Alternative zu Dense Retrieval, leiden unter einer lexikalischen Lücke. Sie können Synonyme nicht erkennen oder zwischen mehrdeutigen Wörtern unterscheiden.
Zero-Shot-Leistung: Dense-Retrieval-Modelle schneiden bei einem gegebenen Korpus oft schlecht ab, wenn sie in einem Zero-Shot-Szenario angewendet werden.
Einführung in GPL: Eine schnelle und robuste Lösung für die Domänenanpassung
GPL ist eine unüberwachte Domänenanpassungstechnik, die darauf ausgelegt ist, die Leistung von Dense-Retrieval-Modellen bei der Anwendung auf neue Domänen zu verbessern. Die Methode besteht aus mehreren Schlüsselschritten, darunter:
Abfragegenerierung
Negative Mining
Pseudo-Labeling
Training des Dense Retrievers
Abfragegenerierung über T5
Der GPL-Prozess beginnt mit der Generierung von Abfragen, bei der synthetische Abfragen für jede Passage innerhalb der Zieldomäne erstellt werden. Dies geschieht mithilfe eines vortrainierten T5-Encoder-Decoder-Modells.
Das T5-Modell wird auf großen Datensätzen wie MS MARCO (Microsoft Machine Reading Comprehension) trainiert. Es generiert Abfragen, die für den Inhalt jeder Passage relevant sind, und erstellt im Wesentlichen synthetische Frage-Antwort-Paare.
Die Anzahl der pro Passage generierten Abfragen wird basierend auf der Korpusgröße angepasst, um die Gesamtzahl der generierten Abfragen konstant zu halten. Diese Erstellung synthetischer Daten ist wichtig, da sie Daten für das anschließende Training des Dense Retrievers für die spezifische Zieldomäne bereitstellt.
Negative Mining über Dense Retrieval
Die GPL-Methode verwendet ein vortrainiertes Dense-Retrieval-Modell für jede generierte Abfrage, um die ähnlichsten Absätze innerhalb des Zielkorpus zu finden. Diese ähnlichen Absätze werden dann als negative Passagen behandelt, was bedeutet, dass sie für die Abfrage irrelevant sind.
Dieser Schritt dient dazu, „harte Negative“ zu identifizieren. Diese anspruchsvollen Beispiele helfen dem Modell, zwischen ähnlichen, aber irrelevanten Passagen zu unterscheiden. Zwei auf MS MARCO trainierte Dense Retriever, ‘msmarco-distilbert-base-v3’ und ‘msmarco-MiniLM-L-6-v3’, werden verwendet, um eine vielfältige Menge negativer Beispiele sicherzustellen.
Schließlich wird für jedes Trainingsbeispiel eine positive und eine negative Passage aus den abgerufenen Passagen ausgewählt.
Pseudo-Labeling über Cross-Encoder
Der nächste Schritt umfasst die Bewertung der (Abfrage, Passage)-Paare mithilfe eines Cross-Encoders. Im Gegensatz zu Bi-Encodern, die Abfragen und Passagen unabhängig voneinander in einen gemeinsamen Vektorraum abbilden. Ein Cross-Encoder nimmt die Konkatenation von Abfrage und Passage und sagt mithilfe von Cross-Attention einen Relevanzwert voraus.
Dieser Schritt weist jedem (Abfrage, positive Passage)-Paar und jedem (Abfrage, negative Passage)-Paar einen kontinuierlichen, feingranularen Relevanzwert zu. Diese Werte sind die Pseudo-Labels. Das für Pseudo-Labels verwendete Cross-Encoder-Modell ist ms-marco-MiniLM-L-6-v2. Die kontinuierlichen Werte liefern detailliertere Informationen als binäre Labels, die in anderen Methoden verwendet werden.
Training des Dense Retrievers mit MarginMSE-Loss
Schließlich wird das Dense-Retrieval-Modell (Student Dense Retriever) mithilfe der generierten (Abfrage, positiv, negativ)-Tupel und der entsprechenden Cross-Encoder-Werte mit MarginMSE-Loss trainiert. Ziel ist es, dem Dense Retriever beizubringen, die Wertmarge zwischen den positiven und negativen Abfrage-Passage-Paaren des Cross-Encoders nachzuahmen. Die MarginMSE-Loss-Funktion ist definiert als:
LMarginMSE()= -1Mi=0M-1|i-i|2
Wobei:
M die Batch-Größe ist.
i die entsprechende Wertmarge des Student Dense Retrievers ist:
i= f(Qi)T f(Pi)- f(Qi)f(P_)
- wobei f der Dense Retriever ist, Qi die Abfrage ist, Pi die positive Passage ist und P_ die negative Passage ist.
- i ist die Wertmarge des Cross-Encoders:
= CE(Q, P+)-CE(Q, P_)
Diese Loss-Funktion hilft dem Modell, einen Vektorraum zu lernen. In diesem Raum liegen Abfragen näher an relevanten Passagen und weiter entfernt von irrelevanten, wie durch die Pseudo-Labels des Cross-Encoders definiert. Der MarginMSE-Loss behebt die Schwächen früherer Methoden wie QGen. QGen verwendet Multiple Negatives Ranking (MNRL)-Loss, der nur die grobe Beziehung zwischen Abfragen und Passagen berücksichtigt.
Experimentelles Design für domänenadaptierte Dense Retrieval
Der Aufbau zur Bewertung von GPL soll dessen Effektivität bei der Anpassung von Dense-Retrieval-Modellen an spezifische Aufgaben beurteilen. Hier ist eine Aufschlüsselung der wichtigsten Komponenten des Aufbaus:
Datensätze
Es werden zwei Datensätze verwendet: einer für die Quelldomäne und einer für die Zieldomäne.
- Quelldomänendaten: Der MS MARCO Passage-Ranking-Datensatz wird als Quelldomänendaten verwendet. Dieser Datensatz besteht aus 8,8 Millionen Passagen und 532,8K Query-Passage-Paaren, die als relevant gekennzeichnet sind. Die Modelle werden auf MS MARCO trainiert und anschließend mithilfe der GPL-Methode an eine Zieldomäne angepasst.
- Zieldomänen-Datensätze: Sechs domänenspezifische Text-Retrieval-Datensätze aus dem BeIR-Benchmark werden verwendet, um die Domänenanpassungsfähigkeiten von GPL zu evaluieren. Die Anzahl Diese Datensätze repräsentieren eine Reihe spezialisierter Domänen und umfassen:
FiQA (Finanzdomäne)
SciFact (wissenschaftliche Arbeiten)
BioASQ (biomedizinische Q&A)
TREC-COVID (wissenschaftliche Arbeiten zu COVID-19)
CQADupStack (12 StackExchange-Unterforen)
Robust04 (Nachrichtenartikel)
Diese Datensätze unterscheiden sich in:
Größen: Variation der Korpusgrößen.
Query- und Passagelängen: Jeder Datensatz hat unterschiedliche Eigenschaften.
Relevanzlabels: Die Anzahl relevanter Passagen pro Query variiert.
Einige Datensätze wurden für effizientes Training und effiziente Evaluation modifiziert. Zum Beispiel:
- BioASQ: Irrelevante Passagen wurden entfernt, um die Korpusgröße zu reduzieren.
Baselines
Mehrere Baseline-Modelle wurden zum Vergleich einbezogen:
Zero-shot-Modelle: Diese Modelle werden auf MS MARCO- oder PAQ-Datensätzen trainiert und ohne jegliche Domänenanpassung auf Zieldatensätzen evaluiert. Ein lexikalisches BM25-Suchsystem ist ebenfalls als Baseline enthalten.
Frühere Domänenanpassungsmethoden: UDALM und MoDIR sind als Baselines enthalten, die frühere Ansätze zur Domänenanpassung repräsentieren.
Auf Pre-training basierende Domänenanpassungsmethoden: Diese Methoden umfassen das Pre-training der dichten Retriever auf dem Zielkorpus und anschließend das Training des Modells auf dem MS MARCO-Datensatz. Verschiedene Pre-training-Methoden wie CD, SimCSE, CT, MLM, ICT und TSDAE wurden verwendet.
Generationsbasierte Domänenanpassung: QGen-Modelle werden mit In-Batch-Negativen und Hard-Negativen trainiert. Zusätzlich ist TSDAE-Pre-training kombiniert mit QGen enthalten.
Training
Das DistilBERT-Modell wird für alle Experimente mit einer maximalen Sequenzlänge von 350, Mean Pooling und Dot-Product Similarity verwendet.
QGen-Modelle werden für 1 Epoche mit einer Batchgröße von 75 trainiert.
GPL-Modelle werden für 140k Schritte mit einer Batchgröße von 32 trainiert.
Pre-training-Methoden wie TSDAE- und MLM-Modelle wurden für 100K Trainingsschritte mit einer Batchgröße von 8 trainiert.
Evaluationsmetrik
Die Leistung der Modelle wird mit nDCG@10 (normalized Discounted Cumulative Gain at rank 10) evaluiert. Sie bewertet die Qualität eines Rankings, indem sie die Relevanz der abgerufenen Elemente berücksichtigt. Sie gewichtet hochrelevante Dokumente, die oben in der Rangliste erscheinen, stärker.
GPLs Effektivität und Leistung bei der Domänenanpassung
Die GPL-Methode wurde gegen mehrere Baselines evaluiert, und ihre Leistung wurde unter verschiedenen Bedingungen analysiert. Die Evaluation erfolgt mithilfe von nDCG@10, das die Relevanz der Top-10-Ergebnisse einer Rangliste misst.
GPLs Gesamtleistung
GPL übertrifft andere Domänenanpassungsmethoden auf nahezu allen getesteten Datensätzen deutlich. Konkret verbessert GPL gegenüber QGen, einer früheren State-of-the-Art-Methode, um bis zu 4,5 nDCG@10-Punkte auf dem BioASQ-Datensatz. Außerdem zeigt es eine durchschnittliche Verbesserung von 2,7 nDCG@10-Punkten über alle Datensätze hinweg.
Die Kombination von TSDAE (Transformer-based Sequential Denoising Auto-Encoder)-Pre-training mit GPL (TSDAE + GPL) liefert außergewöhnliche Ergebnisse. Dieser Ansatz setzt eine neue State-of-the-Art-Leistung mit durchschnittlich 52,9 nDCG@10-Punkten. Bemerkenswert ist, dass er eine durchschnittliche Verbesserung von 7,7 Punkten gegenüber dem Baseline-Out-of-the-box-MS MARCO-Modell bietet.
Abbildung: Evaluationsergebnisse mit nDCG@10
Abbildung: Evaluationsergebnisse mit nDCG@10 | Quelle
Vergleich mit Baselines
Um den Kontext der starken Leistung von GPL zu verstehen, vergleichen wir es mit verschiedenen Baseline-Ansätzen und alternativen Methoden der Domain-Adaption.
Zero-Shot-Modelle
Zero-Shot-Modelle, die auf MS MARCO trainiert wurden, schneiden auf domänenspezifischen Datensätzen im Vergleich zu einfachen lexikalischen BM25-Suchen schlecht ab. Beispielsweise erreicht ein modernes Dense-Retrieval-Modell einen MRR@10 (Mean Reciprocal Rank at 10) von 33,2 Punkten auf dem MS-MARCO-Datensatz. Auf den sechs ausgewählten domänenspezifischen Retrieval-Datensätzen schneidet es jedoch schlecht ab.
TSDAE-Pre-Training auf MS MARCO, gefolgt von überwachtem Lernen auf MS MARCO, schneidet etwas schwächer ab als das Zero-Shot-MS-MARCO-Modell.
Frühere Methoden der Domain-Adaption
UDALM beeinträchtigt die Leistung im Vergleich zum MLM-Pre-Training (Masked Language Modeling) erheblich, mit einem durchschnittlichen Rückgang von 12,2 nDCG@10-Punkten. Dies liegt daran, dass direktes MLM-Training mit überwachtem Training in Konflikt steht.
MoDIR schneidet auf einigen Datensätzen ähnlich gut ab wie das Zero-Shot-MS-MARCO-Modell, auf anderen jedoch deutlich schwächer.
Pre-Training-basierte Domain-Adaption
Pre-Training auf dem Zielkorpus mit TSDAE, MLM und ICT (Inverse Cloze Task) kann die Leistung im Vergleich zum Zero-Shot-MS-MARCO-Modell verbessern. TSDAE ist die effektivste Methode und übertrifft die Zero-Shot-Baseline um durchschnittlich 4,0 nDCG@10-Punkte. CD, CT und SimCSE schaffen es nicht, sich an die Domänen anzupassen, und schneiden schlechter ab als das Zero-Shot-Modell.
Generierungsbasierte Domain-Adaption
GPL übertrifft QGen um bis zu 4,5 Punkte (auf BioASQ) und durchschnittlich um 2,7 Punkte. TSDAE-basierte domänenadaptive Vortrainierung in Kombination mit GPL (TSDAE + GPL) verbessert die Leistung auf allen Datensätzen weiter. Sie erzielt ein neues State-of-the-Art-Ergebnis von 52,9 nDCG@10-Punkten.
Re-Ranking mit Cross-Encodern
Cross-Encoder schneiden in einem Zero-Shot-Szenario gut ab und übertreffen Dense-Retrieval-Ansätze deutlich, haben jedoch bei der Inferenz erhebliche Rechenkosten. TSDAE und GPL können die Leistungslücke zu Cross-Encodern verkleinern, aber nicht vollständig schließen. Das TSDAE-+-GPL-Modell wäre in einer Produktionsumgebung aufgrund der deutlich geringeren Rechenkosten bei der Inferenz vorzuziehen.
Einfluss der Trainingsschritte
Die Leistung von GPL beginnt sich nach etwa 100.000 Trainingsschritten zu sättigen. TSDAE-Pre-Training verbessert die Leistung während der gesamten Trainingsphase kontinuierlich.
Abbildung: Einfluss der Anzahl der Trainingsschritte auf die Leistung
Abbildung: Einfluss der Anzahl der Trainingsschritte auf die Leistung | Quelle
Einfluss der Korpusgröße
GPL kann die Zero-Shot-Baseline mit mehr als 10.000 Passagen übertreffen, und die Leistung sättigt sich nach 50.000 Passagen. QGen bleibt jedoch bei jeder Korpusgröße hinter der Zero-Shot-Baseline zurück.
Abbildung: Einfluss der Korpusgröße auf die Leistung
Abbildung: Einfluss der Korpusgröße auf die Leistung | Quelle
Robustheit gegenüber der Query-Generierung
Kleinere Korpora wie SciFact und FiQA erfordern eine höhere Anzahl generierter Queries pro Passage als der größere Robust04-Korpus, um eine optimale Leistung zu erzielen. Darüber hinaus ist GPL robuster gegenüber minderwertigen Queries als QGen. Selbst wenn die generierten Queries nahezu keinen Bezug zu den Passagen haben, schneidet GPL weiterhin gut ab.
Abbildung: Einfluss der Anzahl generierter QPPs auf die Leistung
Abbildung: Einfluss der Anzahl generierter QPPs auf die Leistung | Quelle
Empfindlichkeit gegenüber der Initialisierung
GPL ist weniger empfindlich gegenüber der Wahl des Initialisierungs-Checkpoints. Das MS-MARCO-Training hat einen relativ geringen Einfluss auf die Leistung von GPL, mit einem durchschnittlichen Unterschied von 0,3 Punkten. Andererseits hängt QGen stark von der Wahl des Initialisierungs-Checkpoints ab und zeigt einen Unterschied von 1,9 Punkten.
Abbildung: Einfluss des Initialisierungs-Checkpoints auf die Leistung
Abbildung: Einfluss des Initialisierungs-Checkpoints auf die Leistung | Quelle
Leistung auf dem vollständigen BeIR
Auf den vollständigen 18 BeIR-Datensätzen verbessert GPL die Leistung gegenüber dem Zero-Shot-Modell durchgehend. Es erreicht einen durchschnittlichen Rang von 5,2. TSDAE + GPL erreicht einen durchschnittlichen Rang von 4,2. Aufbauend auf dem starken Zero-Shot-Modell TAS-B erzielt GPL erhebliche Leistungssteigerungen von bis zu 21,5 nDCG@10-Punkten (auf TREC-COVID) und durchschnittlich 4,6 nDCG@10-Punkten. Dieses TAS-B + GPL-Modell erzielt insgesamt die beste Leistung und erreicht einen durchschnittlichen Rang von 3,2.
Abbildung: Leistung auf allen ursprünglichen 18 BeIR-Datensätzen
Abbildung: Leistung auf allen ursprünglichen 18 BeIR-Datensätzen | Quelle
Auswirkungen für Generative Pseudo Labeling
Die GPL-Methode hat mehrere wichtige Auswirkungen auf Information Retrieval. Dazu gehören:
Bessere domänenspezifische Suche: GPL verbessert Suchergebnisse in spezialisierten Bereichen wie Finanzen und Wissenschaft. Es übertrifft frühere Methoden, indem es sich effektiv an neue Domänen anpasst.
Geringerer Bedarf an gelabelten Daten: GPL passt Modelle an, ohne gelabelte Daten aus der Zieldomäne zu benötigen, und verwendet stattdessen ungelabelte Passagen. Dies reduziert die Kosten und die Zeit, die für die Entwicklung von Retrieval-Systemen erforderlich sind.
Umgang mit schlechten Abfragen: Die Methode ist effektiv bei schlecht generierten Abfragen, da ein Cross-Encoder irrelevanten (Abfrage, Passage)-Paaren niedrige Bewertungen zuweist. Dadurch wird sichergestellt, dass der Dense Retriever nicht aus schlechten Abfragen lernt.
Nutzt Hard Negatives gut: GPL verwendet einen Cross-Encoder, um feingranulare Relevanzbewertungen zu erzeugen, wodurch es für das Training mit Hard Negatives effektiv ist. Dies führt zu robusterem Training.
Effizient und praktisch: GPL kann mit anderen Techniken wie TSDAE kombiniert werden, um noch bessere Ergebnisse zu erzielen. Es ist effizienter als rechenintensive Methoden wie Cross-Encoder.
Funktioniert über viele Datensätze hinweg: GPL zeigt über 18 Datensätze hinweg eine konsistente Verbesserung, was seine allgemeine Anwendbarkeit unterstreicht. Die Methode verbessert auch die Leistung, wenn sie mit einem leistungsstarken Modell wie TAS-B kombiniert wird.
GPL für verbesserte semantische Suche in Vektordatenbanken
Generative Pseudo Labeling (GPL) ist eine Methode, die die Leistung von Vektordatenbanken wie Milvus direkt verbessern kann, indem sie die Wirksamkeit von Dense-Retrieval-Modellen erhöht. Diese Datenbanken verlassen sich für die semantische Suche auf dichte Vektorrepräsentationen. GPL hilft dabei, diese Modelle an neue Domänen anzupassen, ohne gelabelte Daten zu benötigen, und behebt Leistungsverschlechterungen, die durch Domänenverschiebungen verursacht werden.
GPL verwendet ein vortrainiertes Modell, um synthetische Abfragen für ungelabelte Daten zu generieren, ähnliche Passagen abzurufen, und setzt einen Cross-Encoder ein, um (Abfrage, Passage)-Paare zu bewerten. Letztendlich trainiert es ein Dense-Retrieval-Modell, das besser für die Zieldomäne geeignet ist.
Diese Methode ist besonders wertvoll, da sie eine Möglichkeit bietet, die semantische Suche in Vektordatenbanken zu verbessern, die Daten als dichte Vektoren speichern. Der Negative-Mining-Prozess in GPL verfeinert das Training zusätzlich, indem er ähnliche, aber irrelevante Passagen identifiziert, was zu besseren Unterscheidungen in der semantischen Suche führt.
Milvus unterstützt verschiedene Arten von Suchen, wie die Approximate-Nearest-Neighbor-Suche (ANN), Filterungssuche, Bereichssuche, hybride Suche und Volltextsuche. Techniken wie GPL, die die zugrunde liegenden Vektorrepräsentationen verbessern, können die Leistung steigern.
Fazit und zukünftige Forschungsrichtung
GPL ist eine neuartige Methode zur unüberwachten Domänenanpassung von Dense-Retrieval-Modellen unter Verwendung von Pseudo-Labels, die von einem Cross-Encoder generiert werden. Sie übertrifft bestehende Methoden zur Domänenanpassung deutlich, insbesondere in Kombination mit TSDAE-Pre-Training, und zeigt dabei Robustheit gegenüber Schwankungen in der Abfragequalität.
Feingranulare Pseudo-Labels vom Cross-Encoder sind ein zentraler Vorteil von GPL, da sie es dem Modell ermöglichen, effektiver zu lernen als mit grobgranularen Labels, die in anderen Methoden verwendet werden. In Kombination mit TSDAE-Pre-Training erreicht GPL ein besseres Gleichgewicht zwischen Genauigkeit und Recheneffizienz als rechenintensive Cross-Encoder.
Zukünftige Forschungsrichtung
Es gibt mehrere wichtige Ansätze für weitere Forschung, die darauf abzielen, Techniken zur Domänenanpassung zu verbessern. Dazu gehören:
Vereinfachung der Trainingspipeline: GPL erfordert ein relativ komplexes Trainingssetup. Zukünftige Forschung könnte sich darauf konzentrieren, diese Pipeline zu vereinfachen, um sie für praktische Anwendungen leichter nutzbar zu machen.
Untersuchung anderer Pre-Training-Methoden: Zukünftige Arbeiten könnten untersuchen, GPL mit anderen Pre-Training-Methoden jenseits von TSDAE zu kombinieren, um zu prüfen, ob weitere Leistungsverbesserungen erzielt werden können.
Domänenspezifisches Tuning: Untersuchen Sie Möglichkeiten, GPL-Modelle für einzelne Domänen feinzujustieren, um die Leistung in bestimmten Bereichen zu verbessern. Beispielsweise wurde festgestellt, dass verschiedene Datensätze unterschiedliche Mengen generierter Abfragen pro Passage benötigen.
Untersuchung von Alternativen zu Cross-Encodern: Der Cross-Encoder ist eine wichtige Komponente von GPL, aber er ist rechenintensiv. Die Untersuchung anderer Wege zur Erstellung ähnlich effektiver Pseudo-Labels könnte die Kosten weiter senken.
Anpassung von GPL an ressourcenarme Sprachen: Der Erfolg von GPL bei der Domänenanpassung legt nahe, dass es vorteilhaft sein könnte, diese Methode auf ressourcenarme Sprachen anzuwenden, in denen gelabelte Trainingsdaten begrenzt sind.
Kombination von GPL mit anderen Anpassungsmethoden: Es könnte interessant sein zu untersuchen, ob die Kombination von GPL mit anderen Methoden der Domänenanpassung die Leistung weiter verbessern kann. Dazu gehören Methoden wie adversariales Training oder Multi-Task-Learning.
Weitere Ressourcen
GPL-Paper: https://arxiv.org/pdf/2112.07577
Sei wie ein Goldfisch, memorisiere nicht! Abschwächung von Memorization in generativen LLMs
Die Kraft von Many-Shot-In-Context-Learning in LLMs erschließen
LLM-Eval: Ein optimierter Ansatz zur Bewertung von LLM-Konversationen
Dense Vectors in AI: Maximierung des Datenpotenzials im Machine Learning
Weiterlesen
Zilliz Cloud Now Available in AWS Asia Pacific (Seoul)
Zilliz Cloud is now available in AWS Seoul — low-latency vector search, in-country data residency, and one-step migration for Korean AI teams. 31 regions across 5 clouds.
Milvus/Zilliz + Surveillance: How Vector Databases Transform Multi-Camera Tracking
See how Milvus vector database enhances multi-camera tracking with similarity-based matching for better surveillance in retail, warehouses and transport hubs.
Optimizing Embedding Model Selection with TDA Clustering: A Strategic Guide for Vector Databases
Discover how Topological Data Analysis (TDA) reveals hidden embedding model weaknesses and helps optimize vector database performance.