Neue Trends in Forschung und Entwicklung von Vektordatenbanken
Zuerst 2019 mit Milvus eingeführt, haben Vektordatenbanken parallel zum Aufkommen großer Sprachmodelle (LLMs) und dem Aufstieg generativer KI-Anwendungen (GenAI) rasch an Bedeutung gewonnen. Als Ingenieur, der intensiv in diesem Bereich tätig ist, habe ich ihre Entwicklung von grundlegenden Implementierungen von Approximate Nearest Neighbors Search-(ANNS)-Algorithmen hin zu ausgefeilten Datenbanksystemen miterlebt, die integraler Bestandteil moderner KI-Frameworks sind, von Nischenimplementierungen bis hin zu breiten Bereitstellungen.
Während KI weiter reift, wohin entwickelt sich die Zukunft der Vektordatenbanken? Meiner Ansicht nach ist die Entwicklung dieser Technologie eng mit der Produktentwicklung verknüpft, angetrieben durch die sich wandelnden Anforderungen der Nutzer. Das Verständnis dieser Veränderungen ist entscheidend, um die Richtung und Ziele technologischer Entwicklungen zu bestimmen.
In diesem Artikel werde ich die Entwicklung und die erwartete Zukunft von Vektordatenbanken sowohl aus technischer als auch aus praktischer Perspektive erörtern, mit Schwerpunkt auf Kosteneffizienz und geschäftlichen Anforderungen.
Trennung von Hot- und Cold-Data-Speicherung
Kosten sind seit Langem ein zentrales Anliegen bei der breiteren Einführung von Vektordatenbanken. Diese Kosten entstehen hauptsächlich in zwei Bereichen:
Datenspeicherung: Traditionell cachen Vektordatenbanken alle Daten im Speicher oder auf lokalen Festplatten, um niedrige Latenz zu erreichen. Im Zeitalter der KI, in dem Anwendungen häufig Datenmengen im Milliardenbereich verarbeiten, kann dieser Ansatz jedoch enorme Speicherressourcen verbrauchen, die von Dutzenden bis zu Hunderten von Terabytes reichen.
Datenberechnung: In verteilten Datenbanksystemen müssen wir Daten in zahlreiche kleine Segmente partitionieren, um das Management umfangreicher Datensätze zu verbessern. Jedes Segment wird unabhängig verarbeitet, um Daten abzurufen, die anschließend gemeinsam analysiert werden, um die endgültigen Top-K-Ergebnisse zusammenzustellen. Diese Partitionierungsmethode erhöht die Komplexität der Ausführung von Abfragen erheblich. Wenn wir beispielsweise Daten im Milliardenumfang in 10-GB-Blöcke segmentieren, führt dies zu etwa 10.000 Segmenten und erhöht damit den Rechenaufwand um den Faktor zehntausend.
Die Antwortzeit gängiger LLMs.
Die Antwortzeit gängiger LLMs. Bildquelle: https://artificialanalysis.ai/models
In der Welle des Aufbaus von Retrieval-Augmented-Generation-(RAG)-Anwendungen ist die Latenz von Vektordatenbanken jedoch für einzelne Nutzer oder einzelne Mandanten auf ToC-Plattformen zu einem Nichtproblem geworden. Die Verzögerung, die mit Vektordatenbankoperationen verbunden ist – von wenigen Millisekunden bis zu mehreren Hundert Millisekunden – ist minimal im Vergleich zur oft mehr als einsekündigen Latenz, die für große Sprachmodelle typisch ist. Darüber hinaus sind die Kosten für Cloud-Objektspeicher deutlich niedriger als die für lokale Festplatten und Arbeitsspeicher, was den Vorstoß zu innovativen Lösungen zur Optimierung von Speicher- und Recheneffizienz fördert.
Speicherung: Um Kosten zu minimieren, sollten Daten im kostengünstigsten Cloud-Objektspeicher gespeichert und bei Bedarf für Abfragen abgerufen werden.
Berechnung: Durch die vorherige Eingrenzung des Abfrageumfangs können wir den Bedarf an großflächiger Datenverarbeitung reduzieren und die betriebliche Effizienz steigern.
Bei Zilliz fügen wir Zilliz Cloud (dem vollständig verwalteten Milvus) Verbesserungen hinzu, die es Nutzern ermöglichen, Kosten zu senken und gleichzeitig die Latenz auf akzeptablem Niveau zu halten.
Hardware-Innovationen für verbesserte Leistung und Kosteneffizienz nutzen
Hardware dient als Rückgrat technologischer Fortschritte und verbessert die Leistung und Kosteneffizienz von Vektordatenbanken.
Fortschritt der GPU-Technologien
Vektordatenbanken, die für ihre hohen Rechenanforderungen bekannt sind, haben dank Fortschritten bei GPUs erhebliche Leistungsverbesserungen erfahren. Die Wahrnehmung, dass GPUs unerschwinglich teuer sind, wird zunehmend widerlegt. Verbesserte Algorithmen eignen sich für Vektorsuchaufgaben und ermöglichen niedrige Latenzzeiten sowie kosteneffiziente Abläufe.
Unsere Tests zeigen, dass die Milvus-Vektordatenbank bei Verwendung des GPU-basierten CAGRA-Index Leistungsniveaus erreicht, die um ein Mehrfaches bis hin zu mehreren Dutzend Mal höher sind als bei Verwendung des CPU-basierten HNSW-Index, während sie nur zwei- bis dreimal teurer ist. Dieses Ergebnis zeigt, dass GPUs zu einer praktikablen und wirtschaftlich effizienten Option für die Datenverarbeitung werden und erhebliche Leistungsvorteile gegenüber traditionellen CPU-Konfigurationen bieten.
Testergebnisse von VectorDBBench
Testergebnisse von VectorDBBench
CPU: m6id.2xlarge T4: g4dn.2xlarge A10G: g5.2xlarge Top 100 Recall: 98%
Aufkommen ARM-basierter CPUs im Cloud Computing
Die Einführung ARM-basierter CPUs, wie AWS Graviton und GCP Ampere, markiert nicht nur einen Wandel hin zu energieeffizienteren und kostengünstigeren Computing-Lösungen, sondern stellt auch eine selbstbewusste Herausforderung für die herkömmliche x86-Architektur dar. Diese Prozessoren bieten niedrigere Kosten bei vergleichbarer oder überlegener Leistung und geben Ihnen die Sicherheit, eine kluge Entscheidung für Ihre Computing-Anforderungen zu treffen.
Unsere Bewertungen von AWS Graviton3 haben dessen überlegene Leistung und Kosteneffizienz im Vergleich zu x86-Prozessoren gezeigt. Bemerkenswert ist, dass die schnelle Iteration dieser CPUs, wie sie an der Veröffentlichung von Graviton4 im Jahr 2023—nur ein Jahr nach Graviton3—zu sehen ist, eine Steigerung der Rechenleistung um 30 % und eine Erhöhung der Speicherbandbreite um 70 % hervorhebt.
Fortschritte bei Speichertechnologien
Die Nutzung von Festplatten zur Datenspeicherung ermöglicht es Vektordatenbanken, ihre Kapazität erheblich zu erweitern und gleichzeitig Latenzzeiten im Millisekundenbereich beizubehalten, die für die meisten Vektorsuchanwendungen ausreichend sind. Darüber hinaus bleiben die mit Festplattenspeicher verbundenen Kosten deutlich niedriger als die von Arbeitsspeicher, was ihn zu einer attraktiven Option für datenintensive Abläufe macht.
Insgesamt stärken diese Hardwareentwicklungen die Fähigkeiten von Vektordatenbanken und stellen sicher, dass sie auch während ihrer Weiterentwicklung leistungsstark und wirtschaftlich tragfähig bleiben.
Zusammenarbeit mit fortschrittlichen Machine-Learning-Modellen
Machine-Learning-Modelle, die Vektoreinbettungen erzeugen, durchlaufen ebenfalls bedeutende Veränderungen. Diese Fortschritte zielen darauf ab, die Größe und Dimensionalität von Vektoren zu reduzieren, wodurch die Speicheranforderungen für große Datensätze minimiert und die Recheneffizienz gesteigert werden.
Traditionelle Methoden zur Reduzierung der Vektordimensionalität führten häufig zu einer beeinträchtigten Genauigkeit beim Datenabruf. Jüngste Innovationen bieten jedoch praktikable Alternativen. So ermöglicht das OpenAI-Modell ext-embedding-3-large den Nutzern beispielsweise, die Dimensionen von Ausgabevektoren über konfigurierbare Parameter anzupassen. Diese Flexibilität erlaubt eine erhebliche Reduzierung der Vektorgröße bei minimalen Auswirkungen auf die Wirksamkeit nachgelagerter Aufgaben. Darüber hinaus hat Cohere seine Technologie kürzlich erweitert, um Vektoren zu unterstützen, die mehrere Datentypen—wie float, int8 und binär—gleichzeitig ausgeben, was die betriebliche Vielseitigkeit erhöht.
Diese Fortschritte unterstreichen die Notwendigkeit für Vektordatenbanken, sich proaktiv mit diesen aufkommenden Technologien auseinanderzusetzen und sie zu integrieren. Dies ist entscheidend, um in den dynamischen und sich ständig wandelnden Bereichen Deep Learning und Datenmanagement einen Wettbewerbsvorteil zu bewahren.
Priorisierung der Genauigkeit des Vektorabrufs
Die Genauigkeit des Vektor-Retrievals ist zunehmend wichtiger und anspruchsvoller geworden, insbesondere durch die wachsende Integration von Vektordatenbanken sowohl in Produktionsumgebungen als auch in hochmodernen RAG-Anwendungen. Mit der Weiterentwicklung von Vektordatenbanken hat das Bestreben, Suchqualität und Genauigkeit zu verbessern, zur Einführung innovativer Technologien geführt. Unter diesen spielen das ColBERT-Retrieval-Modell und fortschrittliche hybride Vektorsuchtechniken eine entscheidende Rolle bei der Verringerung von Informationsverlusten und der Verfeinerung domänenspezifischer Retrievals.
Das Aufkommen fortschrittlicher Retrieval-Modelle wie ColBERT
Das ColBERT-Retrieval-Modell ist für seine Effizienz im Umgang mit dem Informationsverlust bekannt, der typischerweise mit der umfangreichen Architektur traditioneller Dual-Tower-Modelle verbunden ist. ColBERT verwendet einen auf Token-Vektoren basierenden Late-Interaction-Ansatz, um die Ineffizienzen vollständig verbundener Setups zu vermeiden. Seine neuere Iteration, ColBERTv2, optimiert diesen Prozess weiter, indem sie Vektor-Retrieval integriert und so die Interaktionsrate erheblich beschleunigt.
Die allgemeine Architektur von ColBERT bei einer Abfrage q und einem Dokument d..png
Die allgemeine Architektur von ColBERT bei einer Abfrage q und einem Dokument d.
Bildquelle: https://arxiv.org/pdf/2004.12832.pdf
Hybride Suche: Sparse- und Dense-Vektor-Techniken verbinden
Traditionelle dichte Vektoren, die häufig aus Sprachmodellen wie BERT abgeleitet werden, sind hervorragend darin, semantische Nuancen zu erfassen, können jedoch bei neuem Vokabular oder spezialisierten Begriffen, die in den Trainingsdaten fehlen, schwächeln. Zwar kann Modell-Feinabstimmung diese Einschränkungen abmildern, doch der Einsatz in Echtzeit bleibt kostspielig und herausfordernd. Umgekehrt bewältigen sparse Vektoren aus traditionellen Keyword-Matching-Algorithmen wie BM25 diese Out-of-Domain-Probleme effektiv.
Aufkommende Sparse-Embedding-Modelle wie SPLADE und BGEs M3-Embedding verbinden die Präzision exakter Begriffübereinstimmung mit der umfassenden Natur dichter Retrieval-Methoden. Diese Modelle erzeugen sparse Vektoren, die die Wirksamkeit des Keyword-Matchings bewahren und zugleich reichhaltigere semantische Informationen einbeziehen, wodurch die gesamte Retrieval-Qualität verbessert wird.
Der Wandel hin zu Systemen der hybriden Suche, die Keyword- und Vektor-Retrieval-Methoden nutzen, ist seit Langem gängige Praxis in der Branche. Mit den neuesten Fortschritten in der Sparse-Vektor-Technologie wird die Integration dieser Technologien in Vektordatenbanken zur Unterstützung hybriden Retrievals zunehmend als Best Practice angesehen. Insbesondere hat die Milvus-Vektordatenbank diesen Ansatz in ihren jüngsten Updates übernommen.
Nimmt man BGEs M3-Embedding als Beispiel, kann es gleichzeitig die drei gängigen Retrieval-Funktionalitäten des Embedding-Modells ausführen: dichtes Retrieval, Multi-Vektor-Retrieval und sparse Retrieval. Die folgende Tabelle zeigt die Retrieval-Qualität bei der Durchführung verschiedener Arten von Vektorsuchen. Die Retrieval-Qualität des hybriden sparse und dichten Retrievals ist deutlich höher als die von Ansätzen, die sich ausschließlich auf dichtes oder sparse Retrieval stützen.
Evaluation auf NarrativeQA (nDCG@10)
Evaluation auf NarrativeQA (nDCG@10)
Bildquelle: https://arxiv.org/abs/2402.03216
Hinweis: Die Retrieval-Qualität wird häufig mithilfe von NDCG (Normalized Discounted Cumulative Gain) bewertet, das die Effektivität von Ranking-Systemen bei der Bereitstellung nützlicher Item-Listen für Nutzer beurteilt. Der Wert von K in NDCG, wie etwa 5, 10 oder 25, gibt die Anzahl der bewerteten top-platzierten Items an und liefert damit Einblicke in die Präzision des Retrieval-Systems auf verschiedenen Ebenen. Beispielsweise bewertet NDCG@10 das Ranking der Top-5-Items.
Optimierung von Vektordatenbanken für Offline-Anwendungsfälle
Während der aktuelle Fokus von Vektordatenbanken überwiegend auf Online-Anwendungen wie Retrieval-Augmented Generation (RAG) und Bildähnlichkeitssuchen liegt, ist ihr Potenzial in Offline-Anwendungsfällen enorm, aber noch wenig ausgeschöpft.
Online-Anwendungen verarbeiten typischerweise kleine Datenvolumina mit hoher Frequenz und strengen Latenzanforderungen, die oft Antworten innerhalb von Sekunden erfordern, selbst in kostensensiblen Umgebungen mit minimaler Performance. Offline-Anwendungen hingegen führen häufig groß angelegte Datenverarbeitungsaufgaben wie Datendeduplizierung und Feature-Mining durch, bei denen die Aufgabendauer von Minuten bis zu Stunden reichen kann.
Hier sind einige Herausforderungen und Möglichkeiten, sie beim Offline-Einsatz mit Vektordatenbanken zu bewältigen:
Recheneffizienz: Im Gegensatz zu Online-Anwendungsfällen, die eine niedrige Latenz für jede Abfrage priorisieren, erfordern Offline-Aufgaben eine hohe Recheneffizienz über große Daten-Batches hinweg. Das Erreichen niedriger Latenz ist besonders kritisch in den Offline-Komponenten von Such- und Empfehlungssystemen. Die Erhöhung der Rechendichte, beispielsweise durch GPU-Indexierung, kann die Verarbeitung umfangreicher Datenabfragen in diesen Szenarien erheblich verbessern.
Umfangreiche Datenrückgabe: In Data-Mining-Anwendungen unterstützt Vector Retrieval Modelle dabei, bestimmte Situationen zu erkennen. Diese Aufgaben erfordern häufig das Abrufen erheblicher Datenmengen, was Fragen der Bandbreite und der Algorithmen-Effizienz aufwirft, insbesondere bei großen Top-K-Suchen. Die Entwicklung effizienter Lösungen zur Verwaltung dieser großskaligen Retrievals ist entscheidend, um robuste Offline-Anwendungen von Vektordatenbanken zu unterstützen.
Durch die Bewältigung dieser Herausforderungen können Vektordatenbanken besser dafür ausgestattet werden, ein breiteres Spektrum von Anwendungen zu unterstützen und ihren Nutzen über Online-Umgebungen hinaus zu erweitern.
Erweiterung der Feature-Sets in Vektordatenbanken für vielfältige Branchen
Da die Einführung von Vektordatenbanken in verschiedenen Sektoren zunimmt, erfordert die vielfältige Bandbreite an Anwendungen die Entwicklung spezialisierter Features, die auf branchenspezifische Anforderungen zugeschnitten sind. Die Vielseitigkeit von Vektordatenbanken verlangt maßgeschneiderte Fähigkeiten, um ihre Leistung und Funktionalität für die einzigartigen Herausforderungen jedes Bereichs zu optimieren. Diese Verbesserungen erfüllen die besonderen Anforderungen verschiedener Felder und verbessern die Gesamtfunktionalität und Vielseitigkeit von Vektordatenbanken in Produktionsumgebungen. Hier sind einige Beispiele dafür, wie sich Vektordatenbanken weiterentwickeln, um diesen Anforderungen gerecht zu werden:
Biopharmazeutische Anwendungen: Die Verwendung binärer Vektoren zum Abrufen von Arzneimittel-Molekülformeln wird in der biopharmazeutischen Industrie immer gängiger. Binäre Vektoren ermöglichen eine effiziente Suche und Zuordnung komplexer chemischer Strukturen und erleichtern schnelle Prozesse der Wirkstoffentdeckung und -entwicklung.
Anforderungen des Finanzsektors: Im Gegensatz zu vielen Branchen, die die nächstliegenden Vektorübereinstimmungen suchen, erfordert der Finanzsektor häufig die Identifizierung der stärksten Ausreißer-Vektoren. Diese Fähigkeit ist entscheidend für die Erkennung von Anomalien und potenziellem Betrug, bei denen die größten Abweichungen von der Norm von höchstem Interesse sind.
Range-Search-Funktionalität: Range Search ermöglicht es Nutzern, einen Ähnlichkeitsschwellenwert zu definieren, um Anwendungsfälle abzudecken, in denen die genaue Anzahl relevanter Ergebnisse unvorhersehbar ist. Das System gibt dann alle Ergebnisse zurück, die diesen Schwellenwert überschreiten, und gewährleistet so hohe Relevanz und Präzision in den abgerufenen Daten.
Groupby- und Aggregationsfunktionalitäten: Für umfangreiche unstrukturierte Daten, wie Filme oder lange Artikel, müssen Vektordatenbanken Vektoren erzeugen und verarbeiten, die nach Frames oder Textabschnitten segmentiert sind. Diese Segmentierung erfordert robuste Groupby- und Aggregationsfähigkeiten, um sicherzustellen, dass die Ergebnisse spezifische Nutzerkriterien effektiv erfüllen.
Unterstützung für multimodale Modelle: Der Wandel hin zu multimodalen Modellen führt Vektoren mit unterschiedlichen Verteilungen ein, was Herausforderungen für traditionelle Retrieval-Algorithmen mit sich bringt. Vektordatenbanken entwickeln sich weiter, um diese vielfältigen Datentypen zu unterstützen und ein effektives Retrieval über verschiedene Modalitäten hinweg sicherzustellen.
Diese branchenspezifischen Anpassungen unterstreichen die dynamische Natur von Vektordatenbanken, die sich weiterentwickeln, um den komplexen und vielfältigen Anforderungen moderner Anwendungen in verschiedenen Sektoren gerecht zu werden.
Zusammenfassung
Im vergangenen Jahr haben Vektordatenbanken rasante Fortschritte gemacht, was eine deutliche Reifung ihrer Anwendungsfälle und intrinsischen Fähigkeiten widerspiegelt. Während wir in das KI-getriebene Zeitalter voranschreiten, dürften sich diese Entwicklungen beschleunigen und eine neue Welle von Innovationen bei der Speicherung, Suche und Verwaltung von Daten einläuten.
Dieser Überblick soll die transformativen Trends und aufkommenden Funktionen in Vektordatenbanken beleuchten und Einblicke bieten, die weitere Innovationen in diesem Bereich inspirieren könnten. Während wir diese spannenden Veränderungen durchlaufen, verspricht die gemeinsame Reise zur Verbesserung von Vektordatenbanken, unsere technologische Landschaft neu zu gestalten und anspruchsvollere sowie effizientere datengesteuerte Lösungen zu ermöglichen.
Lassen Sie uns weiterhin gemeinsam erkunden und innovieren und die vielversprechende Zukunft der Vektordatenbanken mit Begeisterung und einem Geist der Zusammenarbeit begrüßen.
Weiterlesen
Introducing Functions and Model Inference on Zilliz Cloud: Automatic Embedding and Reranking with Hosted Models
Zilliz Cloud Functions auto-generate embeddings via OpenAI, Voyage AI, Cohere, or Zilliz Hosted Models. Built-in reranking — just insert text and search.
The AWS Outage Was a Wake-Up Call for Vector Database Cross-Region Disaster Recovery
Zilliz Cloud Had the Answer Before the Crisis. Zilliz Cloud is the world's first vector database with native cross-region disaster recovery.
Selecting the Right ETL Tools for Unstructured Data to Prepare for AI
Learn the right ETL tools for unstructured data to power AI. Explore key challenges, tool comparisons, and integrations with Milvus for vector search.