Ein anderer Blickwinkel: Retrieval-optimierte Embedding-Modelle
In modernen Datenabrufsystemen benötigen Nutzer oft mehr als nur ein Ergebnis aus einer Abfrage; sie erwarten mehrere relevante Ergebnisse, die basierend auf dem Abfragekontext gerankt werden. Diese Erwartung stellt traditionelle Embedding-Modelle vor Herausforderungen, da sie sich typischerweise auf binäre Beziehungen konzentrieren. Kürzlich stellte Robertson Taylor, Solutions Architect bei Marqo, beim SF Unstructured Data Meetup Generalized Contrastive Learning (GCL) vor. Dieser Ansatz geht über binäre Paarungen hinaus, indem er Rang- und Abfragebewusstsein in den Modelltrainingsprozess integriert.
Robertson spricht beim August Unstructured Data Meetup in SF
Dieser Blog untersucht die wichtigsten Erkenntnisse aus Robertsons Präsentation und zeigt, wie GCL mit Milvus, einer führenden Vektordatenbank, integriert werden kann, um optimierte Retrieval-Augmented Generation (RAG)-Systeme zu erstellen. Während Marqo Lösungen für Vektorspeicherung und -abruf anbietet, konzentriert sich dieser Blog darauf, wie Nutzer von Milvus GCL-Modelle nutzen können, die mit Marqtune, einer Finetuning-Plattform von Marqo, feinabgestimmt wurden, um ihre Abruffähigkeiten zu verbessern.
Um besser zu verstehen, wie GCL diese Herausforderungen angeht, betrachten wir zunächst die Einschränkungen traditioneller Embedding-Modelle wie CLIP.
Sehen Sie sich die Aufzeichnung von Robertsons Vortrag auf YouTube an.
Embedding-Modelle und ihre Einschränkungen
Traditionelle Embedding-Modelle wie CLIP (Contrastive Language-Image Pretraining) werden häufig für Aufgaben wie die Bildsuche verwendet. Diese Modelle sind darauf ausgelegt, die Distanz zwischen gepaarten Elementen, etwa einer Bildunterschrift und einem Bild, zu minimieren. Während dieser Ansatz für einfache, binäre Beziehungen gut funktioniert, hat er Schwierigkeiten, die komplexeren Anforderungen von Abrufsystemen zu erfüllen, die gerankte multimodale Ergebnisse erfordern.
Robertson begann seine Präsentation, indem er mehrere Herausforderungen bestehender Modelle ansprach:
Binäre Beziehungen: Modelle wie CLIP lernen aus Paaren von Text und Bildern, wodurch sie für spezifische Aufgaben effizient sind, aber unzureichend, wenn es darum geht, mehrere Ergebnisse basierend auf Nutzerabfragen zu ranken.
Mangel an Rang- und Abfragebewusstsein: Viele Embedding-Modelle behandeln alle Abfragen gleich, ohne Ergebnisse auf Basis von Nutzerverhalten oder Interaktionsdaten anzupassen.
Begrenzte multimodale Fähigkeiten: Die meisten Modelle sind hervorragend darin, entweder mit Text oder Bildern zu arbeiten, haben jedoch Schwierigkeiten, diese Datentypen effektiv zu kombinieren.
Ineffektive feldübergreifende Kombination: Bestehende Modelle scheitern oft daran, Informationen aus mehreren Feldern, z. B. Titel, Beschreibung und Bewertungen, effektiv zu einer einzigen Vektorrepräsentation zu kombinieren.
Diese Einschränkungen bedeuten, dass traditionelle Modelle zwar in kontrollierten Umgebungen angemessen funktionieren, in realen Szenarien, in denen Ranking und multimodale Fähigkeiten entscheidend sind, jedoch oft unzureichend sind.
Um zu veranschaulichen, wie CLIP-Modelle typischerweise trainiert werden, sehen wir uns das folgende Diagramm an:
Abbildung 1: Wie CLIP trainiert wird
CLIP verwendet eine Zwei-Turm-Architektur mit einem Text-Encoder und einem Bild-Encoder. Das Modell wird darauf trainiert, die Distanz zwischen positiven Paaren (übereinstimmendem Text und Bild) zu minimieren und die Distanz zwischen allen anderen Paaren zu maximieren. Während dieser Ansatz für bestimmte Aufgaben effektiv ist, berücksichtigt er nicht die Komplexität realer Retrieval-Szenarien. Hier kommt GCL ins Spiel.
Generalized Contrastive Learning (GCL): Eine Lösung für die Retrieval-Optimierung
Um die Einschränkungen traditioneller Modelle zu beheben, führte Marqo Generalized Contrastive Learning (GCL) ein. Dieser Ansatz verbessert Einbettungsmodelle, indem Rank Awareness und Query Awareness in den Trainingsprozess integriert werden, was die Relevanz und Rangfolge von Retrieval-Ergebnissen erheblich verbessert.
GCL bewältigt diese Herausforderungen durch mehrere zentrale Innovationen:
Rank Awareness: GCL löst dies, indem Nutzerdaten zu Interaktionen, wie Klicks und „In den Warenkorb“-Aktionen, in den Trainingsprozess integriert werden. Dadurch kann das Modell lernen, Ergebnisse basierend auf Nutzerpräferenzen zu ranken.
Query Awareness: Anstatt alle Suchanfragen gleich zu behandeln, verfeinert GCL Einbettungen, um den Kontext einer Suchanfrage zu berücksichtigen. Wenn ein Nutzer beispielsweise nach einer SLR-Kamera sucht, berücksichtigt GCL, ob die Anfrage von einem professionellen Fotografen stammt, der nach High-End-Ausrüstung sucht, oder von einem Verbraucher, der nach einem Einsteigermodell sucht. Diese Query Awareness ermöglicht es dem System, relevantere Ergebnisse zurückzugeben.
Multimodale Fähigkeiten: GCL unterstützt multimodales Retrieval, indem es dem System ermöglicht, sowohl Text als auch Bilder auf einheitliche Weise einzubetten und abzurufen. Beispielsweise kann GCL in einem E-Commerce-Kontext Produkttitel, Beschreibungen, Bewertungen und Bilder zu einem einzigen Vektor kombinieren und so relevantere Suchergebnisse liefern.
Cross-field Combination: GCL ermöglicht es dem Modell, Informationen aus mehreren Feldern effektiv zu einer einzigen Vektordarstellung zu kombinieren, wodurch die Gesamtqualität der Suchergebnisse verbessert wird.
Intramodales Verständnis: Durch die Einbeziehung verschiedener Textfelder während des Trainings verbessert GCL die Fähigkeit des Modells, Text-zu-Text-Anfragen effektiver zu verarbeiten.
Um zu veranschaulichen, wie GCL funktioniert, betrachten wir das folgende Diagramm, das den Prozess der Optimierung multimodalen Retrievals mithilfe von GCL zeigt:
Abbildung 2: Prozess der Optimierung multimodalen Retrievals mithilfe von GCL
Das System beginnt damit, Nutzerinteraktionen zu erfassen, wie etwa Klicks auf Suchergebnisse. Diese Interaktionen werden anschließend aggregiert, um eine Bewertung für jedes Anfrage-Ergebnis-Paar zu erstellen. Die Suchanfragen werden verwendet, um das Modell für eine bessere Retrieval-Leistung zu trainieren, während die aggregierten Bewertungen genutzt werden, um die Wichtigkeit verschiedener Ergebnisse während des Trainings zu gewichten. Das Modell wird dann mit diesen gewichteten Daten trainiert, wobei sowohl Anfrageinformationen als auch Bewertungen aus Nutzerinteraktionen einbezogen werden. Schließlich wird das trainierte Modell anhand neuartiger Suchanfragen und Bewertungen evaluiert, um seine Leistung zu beurteilen.
Dieser Prozess ermöglicht es dem Modell, aus echtem Nutzerverhalten zu lernen und für tatsächliche Retrieval-Szenarien zu optimieren, anstatt lediglich Distanzen zwischen vordefinierten Paaren zu minimieren. Nachdem wir nun gesehen haben, wie GCL zentrale Herausforderungen bei der Retrieval-Optimierung löst, wollen wir untersuchen, wie es für spezifische Aufgaben und reale Anwendungen feinabgestimmt werden kann.
Fine-tuning-Aufgaben mit GCL
GCL ist vielseitig und kann verwendet werden, um Modelle für verschiedene retrievalartige Aufgaben über die einfache Suche hinaus feinabzustimmen. Das folgende Bild veranschaulicht einige dieser Aufgaben:
Abbildung 3: Beispiele für Fine-tuning-Aufgaben mit GCL
Sehen wir uns jede dieser Fine-tuning-Aufgaben genauer an:
Verbesserung der einfachen Suche
GCL verbessert die traditionelle Query-to-Document-Retrieval, indem es Daten aus Nutzerinteraktionen einbezieht. Das bedeutet, dass das Modell, wenn ein Nutzer nach einem Begriff sucht, nicht nur Keywords abgleicht, sondern auch berücksichtigt, wie Nutzer in der Vergangenheit mit ähnlichen Suchanfragen und Ergebnissen interagiert haben. Wenn zum Beispiel viele Nutzer, die nach einem leichten Laptop gesucht haben, auf Ultrabooks geklickt haben, lernt das Modell, Ultrabooks für diese Suchanfrage höher zu ranken, selbst wenn der Begriff Ultrabook nicht ausdrücklich erwähnt wird.
Fortgeschrittene Empfehlungen
GCL ermöglicht sowohl Query-to-Document- als auch Document-to-Document-Empfehlungen. Dieser duale Ansatz erlaubt differenziertere und kontextbezogenere Produktvorschläge. Bei Query-to-Document-Empfehlungen kann GCL Produkte basierend auf der Suchanfrage eines Nutzers vorschlagen und dabei nicht nur die Suchbegriffe, sondern auch Verhaltensmuster der Nutzer berücksichtigen. Bei Document-to-Document-Empfehlungen kann GCL verwandte Produkte anhand von Ähnlichkeiten in Funktionen, Mustern der Nutzerinteraktion oder kontextueller Relevanz identifizieren, selbst wenn die Artikel nicht offensichtlich ähnlich sind.
Entitätsauflösung und Deduplizierung
Die Document-to-Document-Matching-Fähigkeiten von GCL machen es leistungsstark für Aufgaben der Entitätsauflösung und Deduplizierung. Es kann ähnliche oder identische Artikel in einem Datensatz identifizieren, selbst wenn es geringfügige Abweichungen darin gibt, wie die Artikel beschrieben oder kategorisiert werden. Dies ist besonders nützlich im E-Commerce, um doppelte Produktangebote zu identifizieren, oder in Datenintegrationsprojekten, bei denen dieselbe Entität über mehrere Datenquellen hinweg unterschiedlich dargestellt sein kann.
Bedingte Suche
Diese Funktion ermöglicht es GCL, kontextbezogene Informationen in den Suchprozess einzubeziehen. Beispielsweise liefert eine Suche nach Winterjacken unterschiedliche Ergebnisse basierend auf dem Standort des Nutzers (z. B. schwere Daunenjacken für kalte Klimazonen, leichtere Jacken für mildere Winter). GCL lernt, seine Ergebnisse anhand dieser bedingten Faktoren anzupassen und liefert relevantere Suchergebnisse, die auf spezifische Kontexte oder Marktplätze zugeschnitten sind.
Personalisierte Suche
GCL geht bei der Personalisierung noch einen Schritt weiter, indem es nutzerspezifischen Kontext einbezieht, etwa den Browserverlauf, Artikel im aktuellen Warenkorb oder früheres Kaufverhalten. Dies ermöglicht hochgradig zugeschnittene Suchergebnisse, die den aktuellen Interessen und Bedürfnissen des Nutzers entsprechen. Wenn ein Nutzer beispielsweise hochwertige Kameraausrüstung angesehen hat, könnte eine Suche nach einem Stativ ****professionelle Optionen gegenüber günstigeren Alternativen priorisieren.
Klassifizierung und Taxonomie-Mapping
GCL kann auf Klassifizierungsaufgaben angewendet werden, etwa zur automatischen Kategorisierung von Produkten in eine vordefinierte Taxonomie. Dies ist besonders nützlich für große E-Commerce-Plattformen oder Content-Management-Systeme, bei denen eine manuelle Kategorisierung zeitaufwendig und fehleranfällig wäre. GCL kann aus bestehenden Kategorisierungen und Nutzerinteraktionen lernen, um intelligente Entscheidungen darüber zu treffen, wie neue Artikel klassifiziert werden, wodurch Konsistenz gewährleistet und die Gesamtorganisation großer Datensätze verbessert wird.
Diese Fine-Tuning-Aufgaben machen GCL äußerst anpassungsfähig für verschiedene Retrieval-Herausforderungen. Sehen wir uns an, wie GCL in realen Szenarien angewendet wird.
Reale Anwendungen von GCL
Robertson teilte mehrere Beispiele dafür, wie GCL zur Lösung realer Probleme eingesetzt wird. Ein bemerkenswerter Fall betraf eine E-Commerce-Plattform, die zunächst eine einfache Vektorsuchlösung mit einem Standardmodell implementiert hatte. Die Plattform verzeichnete jedoch einen starken Rückgang der In-den-Warenkorb-Legen-Raten und des allgemeinen Engagements, da das System keine relevanten Ergebnisse lieferte.
Nach der Integration von GCL verzeichnete die Plattform deutliche Verbesserungen. Produkte, die stärker mit den Präferenzen der Nutzer übereinstimmten, wurden höher eingestuft, was zu besserem Engagement und höheren Verkäufen führte. Die Plattform konnte unstrukturierte Daten wie Nutzerbewertungen und Produktbilder nutzen, um die Relevanz der Suchergebnisse zu verbessern. Durch die Einbeziehung von Daten aus Nutzerinteraktionen, wie Klicks und Kaufverhalten, verbesserte die Plattform ihre Fähigkeit, personalisierte, gerankte Suchergebnisse bereitzustellen.
Im Bereich der akademischen Forschung verbesserte GCL das Auffinden relevanter Forschungsarbeiten, indem Metadaten wie Autorendetails und Zitationen in den Suchprozess einbezogen wurden. Dies beschleunigte nicht nur den Suchprozess, sondern erhöhte auch die Relevanz der Ergebnisse, wodurch das System für Forschende, die in großen Datenbanken navigieren, effektiver wurde.
Sehen wir uns nun an, wie GCL fortgeschrittene Techniken integriert, um die Leistung in Produktionsumgebungen weiter zu verbessern.
Fortgeschrittene Techniken in GCL
Robertson ging auf mehrere fortgeschrittene Techniken ein, die die Leistung von GCL-Modellen weiter verbessern können. Dazu gehören produktionsbewusste Trainingsmethoden wie Trunkierung und Binarisierung von Embeddings.
Abbildung 4: Trunkierung und Binarisierung von Embeddings
Trunkierungsbewusstes Training ermöglicht die Erstellung von Matryoshka-Embeddings, die die Größe von Embeddings ohne Verlust an Wiedergabetreue um das 2- bis 4-Fache reduzieren können. Das Modell lernt, sinnvolle Repräsentationen verschiedener Größen aus einem einzigen Modell zu erstellen. Das Erlernen der Binarisierung ist eine weitere Technik, die durch das Lernen von Embeddings, die nur 0 oder 1 sind, erhebliche Reduzierungen bei Speicherbedarf und Latenz mit minimalem Verlust an Wiedergabetreue ermöglicht. Diese Techniken sind besonders wertvoll in Produktionsumgebungen, in denen Speicherkosten und Abrufgeschwindigkeit kritische Faktoren sind.
GCL unterstützt auch die Erstellung konditionaler Embeddings, die eine differenziertere Kontrolle über Suchergebnisse ermöglichen
Abbildung 5: Konditionale Embeddings
Durch die Verwendung von Präfixen oder bedingten Anweisungen in Abfragen kann das Modell lernen, seine Ergebnisse auf Grundlage spezifischer Bedingungen anzupassen. Zum Beispiel könnte USA Marketplace: SLR camera andere Ergebnisse liefern als UK Marketplace: SLR camera. Konditionale Embeddings können auch verwendet werden, um den Stil oder die Qualität der Ergebnisse zu beeinflussen, ähnlich wie Prompts in Bildgenerierungsmodellen funktionieren.
Diese fortgeschrittenen Techniken verbessern nicht nur die technischen Aspekte von GCL, sondern führen auch zu Leistungssteigerungen bei realen Retrieval-Aufgaben. Sehen wir uns an, wie mit GCL trainierte Modelle im Vergleich zu traditionellen Ansätzen abschneiden.
Leistungsverbesserungen mit GCL
Der Einsatz von GCL verbessert die Leistung in mehreren verschiedenen Szenarien. Sehen wir uns einige der von Robertson geteilten Beispiele an:
Abbildung 6: Leistungsvergleich zwischen GCLtrainierten Embedding-Modellen und anderen
Die In-Domain-Leistung zeigte im Vergleich zu vortrainierten Modellen eine 6-fache Steigerung des NDCG (Normalized Discounted Cumulative Gain). Bei neuen Abfragen, die während des Trainings nicht gesehen wurden, übertraf GCL vortrainierte Modelle immer noch um nahezu das 3-Fache. Bei Anwendung auf neue Datensätze, die während des Trainings nicht gesehen wurden, behielt GCL seinen Leistungsvorsprung bei. Selbst in Zero-Shot-Szenarien zeigte GCL Verbesserungen beim NDCG im Vergleich zu traditionellen Modellen. Diese Ergebnisse zeigen die Robustheit und Generalisierbarkeit von GCL über verschiedene Retrieval-Szenarien hinweg.
Mit solch erheblichen Verbesserungen der Retrieval-Effektivität, insbesondere in neuartigen und Zero-Shot-Szenarien, ist GCL bereit, die Leistung von Retrieval-Systemen neu zu definieren. Sehen wir uns nun an, wie Sie diese Vorteile in Ihre eigenen RAG-Anwendungen bringen können, indem Sie GCL mit Milvus nutzen.
Nutzung von GCL mit Milvus für RAG-Anwendungen
Während Marqo eine umfassende Lösung für embedding-basiertes Retrieval bietet, verlassen sich viele Organisationen bereits auf Milvus für ihre Vektordatenbankanforderungen. Wenn Sie Milvus verwenden oder planen, es in Ihre Dateninfrastruktur zu integrieren, können Sie dennoch von GCL-feinabgestimmten Modellen in Ihren Retrieval-Augmented-Generation-(RAG)-Anwendungen profitieren.
So können Sie GCL mit Milvus für RAG integrieren:
Fine-Tuning mit Marqtune: Verwenden Sie Marqtune, Marqos Fine-Tuning-Plattform, um GCL auf vortrainierte Modelle anzuwenden. Dieser Prozess optimiert das Modell für Ihre spezifischen Retrieval-Aufgaben.
Herunterladen des feinabgestimmten Modells: Laden Sie nach dem Fine-Tuning das optimierte Modell von Marqtune herunter.
Integration mit Milvus: Verwenden Sie das feinabgestimmte Modell, um Embeddings zu generieren, die anschließend in Milvus gespeichert und durchsucht werden können.
Effizientes Retrieval: Nutzen Sie die optimierten großskaligen, schnellen Vektor-Retrieval-Fähigkeiten von Milvus. In Kombination mit den abfragebewussten Embeddings von GCL kann Milvus relevante Ergebnisse effizient bewerten und zurückgeben, selbst in komplexen, multimodalen Datensätzen.
Skalierbarkeit: Wenn Ihr Datensatz wächst, kann Milvus die steigenden Anforderungen beim Speichern und Durchsuchen von Milliarden von Embeddings bewältigen und sicherstellen, dass die Leistung konsistent bleibt.
Mit der kombinierten Leistungsfähigkeit von GCL und Milvus können retrieval-augmentierte Systeme beeindruckende Skalierbarkeit und Performance erreichen. Doch was macht Milvus zu einer so idealen Wahl für diese Anwendungen?
Warum Milvus für Ihr GCL-erweitertes RAG-System wählen?
Bei der Implementierung eines Retrieval-Augmented-Generation-(RAG)-Systems unter Verwendung von mit Generalized Contrastive Learning (GCL) feinabgestimmten Modellen ist die Wahl der richtigen Vektordatenbank entscheidend. Milvus zeichnet sich aufgrund seiner robusten Funktionen und fortschrittlichen Technologien als hervorragende Wahl aus. Lassen Sie uns erkunden, warum Milvus gut geeignet ist, um GCL-generierte Embeddings zu verarbeiten und effiziente RAG-Anwendungen zu betreiben.
Hauptfunktionen von Milvus
Multi-Tenancy-Unterstützung: Milvus ermöglicht mehreren Benutzern oder Anwendungen, am selben System zu arbeiten, ohne sich gegenseitig zu beeinträchtigen. Diese Funktion bietet sicheren, isolierten Datenzugriff und ist damit ideal für Unternehmensumgebungen, in denen verschiedene Teams oder Projekte dieselbe Milvus-Instanz nutzen müssen. Im Kontext GCL-erweiterter RAG-Systeme können Sie mehrere Retrieval-Aufgaben für verschiedene Abteilungen oder Anwendungsfälle auf einer einzigen Milvus-Bereitstellung ausführen und dabei Datentrennung und Sicherheit wahren.
Skalierbare und elastische Architektur: Milvus wurde entwickelt, um wachsende Datenanforderungen zu bewältigen, und skaliert automatisch, um der Nachfrage gerecht zu werden. Dadurch wird sichergestellt, dass die Leistung optimal bleibt, wenn Ihr Datenvolumen zunimmt. Diese Skalierbarkeit ist entscheidend für RAG-Anwendungen, die häufig mit schnell wachsenden Dokumentensammlungen arbeiten. Wenn Sie mehr Modelle mit GCL feinabstimmen und mehr Embeddings generieren, kann Milvus das Wachstum mühelos aufnehmen, ohne Retrieval-Geschwindigkeit oder Effizienz zu beeinträchtigen.
Unterstützung verschiedener Indizes: Milvus unterstützt mehrere Indextypen, einschließlich HNSW (Hierarchical Navigable Small World), PQ (Product Quantization), Binary und DiskANN. Diese Vielfalt ermöglicht es Ihnen, den am besten geeigneten Indextyp für Ihren spezifischen Anwendungsfall auszuwählen und Suchgeschwindigkeit, Genauigkeit und Speichereffizienz auszubalancieren. Beispielsweise könnte HNSW ideal für Hochgeschwindigkeitssuchen in GCL-generierten Embeddings sein, während PQ für eine kompaktere Speicherung großer Embedding-Sätze verwendet werden könnte.
Abstimmbare Konsistenz: Milvus ermöglicht es Ihnen, die Konsistenzstufen für Ihre Daten anzupassen und so ein Gleichgewicht zwischen Leistung und Datengenauigkeit basierend auf den Anforderungen Ihrer Anwendung zu schaffen. Im Kontext von RAG-Systemen ist diese Funktion besonders nützlich. Sie könnten die Suchgeschwindigkeit für Echtzeitanwendungen priorisieren oder sich für stärkere Konsistenz in Szenarien entscheiden, in denen Datengenauigkeit von größter Bedeutung ist, etwa in Finanz- oder medizinischen Anwendungen.
Hardwarebeschleunigte Berechnung: Milvus ist dafür optimiert, Hardware wie GPUs zu nutzen, und bietet eine schnellere und effizientere Verarbeitung für ressourcenintensive Aufgaben. Dies ist besonders vorteilhaft bei der Arbeit mit GCL-Modellen, die rechenintensiv sein können. Die Hardwarebeschleunigung stellt sicher, dass die Abrufzeiten auch bei wachsender Embedding-Datenbank schnell bleiben und die Reaktionsfähigkeit Ihres RAG-Systems erhalten bleibt.
Fortschrittliche Technologien, die Milvus antreiben
Flexible Rechentypen: Milvus ist für verschiedene Hardwareumgebungen optimiert, darunter AVX512 (Advanced Vector Extensions), Neon für SIMD (Single Instruction, Multiple Data) und GPU-Beschleunigung. Diese Flexibilität ermöglicht es Milvus, Hochleistungshardware effektiv zu nutzen und schnelle Verarbeitung sowie kosteneffiziente Skalierbarkeit zu bieten. Für GCL-erweiterte RAG-Systeme bedeutet dies, dass Sie den am besten geeigneten Rechentyp basierend auf Ihrer verfügbaren Hardware und Ihren Leistungsanforderungen auswählen können.
Vielseitige Suchfunktionen: Milvus unterstützt eine breite Palette von Suchmethoden, darunter top-K ANN (Approximate Nearest Neighbors), range ANN und gefilterte Suchen. Diese unterschiedlichen Suchtypen ermöglichen es Ihnen, die Abruffunktionalität an Ihre spezifischen Anforderungen anzupassen. Beispielsweise könnte top-K ANN verwendet werden, um die relevantesten Dokumente für ein gegebenes Query-Embedding zu finden, während gefilterte Suchen semantische Ähnlichkeit mit Metadatenfiltern für präzisere Abrufe kombinieren könnten.
Fortschrittliche Indexierungstechniken: Mit Unterstützung für 15 verschiedene Indexierungstypen bietet Milvus Flexibilität dabei, wie Daten gespeichert und durchsucht werden. Dazu gehören fortschrittliche Techniken wie HNSW für Hochgeschwindigkeitssuchen und DiskANN für die Verarbeitung riesiger Datensätze. Die richtige Wahl des Index kann die Leistung Ihres RAG-Systems erheblich beeinflussen und es Ihnen ermöglichen, je nach Ihren Prioritäten entweder auf Suchgeschwindigkeit oder Speichereffizienz zu optimieren.
Flexibilität bei Sprachen und APIs: Milvus bietet Unterstützung für mehrere Programmiersprachen, darunter Python, Java, Go und Node.js. Diese Vielseitigkeit erleichtert die Integration von Milvus in bestehende Tech-Stacks und ermöglicht Entwicklern, mit ihren bevorzugten Sprachen zu arbeiten. Für RAG-Systeme bedeutet dies, dass Sie Milvus nahtlos in Ihre bestehende Codebasis integrieren können, unabhängig davon, in welcher Sprache sie erstellt wurde.
Robustes Datenmanagement: Milvus bietet ausgefeilte Datenmanagementfunktionen, darunter Collection- und Partition-Management. Dies ermöglicht eine effiziente Organisation und den Abruf groß angelegter Embedding-Datensätze. Für GCL-erweiterte RAG-Systeme können Sie Ihre Embeddings in logische Collections (z. B. nach Dokumenttyp oder Domäne) und Partitionen strukturieren, was gezieltere und effizientere Suchen ermöglicht.
Angesichts seiner robusten Architektur und fortschrittlichen Fähigkeiten bietet Milvus die ideale Infrastruktur, um GCL-erweiterte Modelle in retrieval-augmented Systemen zu nutzen.
Fazit
Robertson hat hervorragend gezeigt, wie Generalized Contrastive Learning (GCL) die Retrieval-Leistung verbessert, indem es Rang- und Anfragebewusstsein einführt und so die Relevanz und das Ranking der Ergebnisse verbessert. Dieser Ansatz geht über traditionelle binäre Modelle hinaus und ist dadurch äußerst effektiv für Anwendungen wie E-Commerce und akademische Forschung.
Wir haben außerdem gesehen, wie Milvus diese Fortschritte mit seiner skalierbaren Architektur und der effizienten Verarbeitung von Embeddings weiter unterstützt und so Hochgeschwindigkeits-Retrieval sowie optimierte Leistung für komplexe, multimodale Datensätze ermöglicht. Zusammen bieten GCL und Milvus eine robuste Lösung für den Aufbau von Retrieval-Augmented-Systemen der nächsten Generation.
Weiterlesen
Introducing Customer-Managed Encryption Keys (CMEK) on Zilliz Cloud
We're announcing the general availability of Customer-Managed Encryption Keys (CMEK) on Zilliz Cloud.
Vector Databases vs. Object-Relational Databases
Use a vector database for AI-powered similarity search; use an object-relational database for complex data modeling with both relational integrity and object-oriented features.
AI Integration in Video Surveillance Tools: Transforming the Industry with Vector Databases
Discover how AI and vector databases are revolutionizing video surveillance with real-time analysis, faster threat detection, and intelligent search capabilities for enhanced security.