Reichen CPUs aus? Ein Überblick über Vektorsuche auf neuartiger Hardware
Vektorsuche hat sich zu einer zentralen Technologie entwickelt, die den schnellen und präzisen Abruf von Informationen in zahlreichen Anwendungen ermöglicht, von Empfehlungssystemen bis hin zur Bilderkennung. Traditionell waren CPUs die Arbeitspferde, die diese Vorgänge angetrieben haben. Da jedoch die Datenmengen rasant wachsen und die Anforderungen an Geschwindigkeit und Effizienz steigen, stellt sich die Frage: Reichen CPUs aus, um die wachsenden Anforderungen der modernen KI-gestützten Suche zu erfüllen?
In seinem kürzlichen Vortrag beim Unstructured Data Meetup 2024, organisiert von Zilliz, ging George Williams, Computer-Vision-Experte bei Smile Identity und Organisator der NeurIPS BigANN Challenge (2021, 2023), der Frage nach, ob CPUs für Vektorsuche/ANN ausreichen. Er untersuchte, wie neue Hardwarelösungen die Vektorsuche revolutionieren könnten, hob die Schnittstelle zwischen fortschrittlichen Suchalgorithmen und modernster Hardware hervor und bot Einblicke in die Zukunft der Datenabruftechnologien.
In diesem Blog fassen wir die wichtigsten Erkenntnisse aus dem Vortrag zusammen und betrachten die Ziele und Ergebnisse der NeurIPS BigANN-Wettbewerbe, bei denen ein auf Zilliz basierender Ansatz einer der Gewinner war. Außerdem gehen wir auf die praktischen Herausforderungen bei der Implementierung der Vektorsuche, die Innovationen zur Steigerung von Effizienz und Leistung sowie die spannende neue Ära der Hardware ein, die verspricht, das Feld zu transformieren.
Neurips BigANN-Wettbewerb und Rolle sowie Beiträge von Zilliz
Die NeurIPS BigANN-Wettbewerbe zielen darauf ab, die Grenzen des Möglichen im Bereich der Vektorsuchtechnologie zu erweitern und Innovation sowie Zusammenarbeit zwischen Forschern und Branchenführern zu fördern. Die Teilnehmer haben die Aufgabe, Lösungen zu entwickeln, die Recall, Queries Per Second (QPS), Energieeffizienz und Kosteneffizienz maximieren und so eine umfassende Bewertung der Hardwareleistung bei Vektorsuchaufgaben ermöglichen. Die Wettbewerbe werden in Zusammenarbeit mit Initiativen wie dem ANN-Benchmarks-Projekt organisiert, das eine Plattform zum Einreichen und Bewerten von Vektorsuchimplementierungen bietet, darunter prominente Lösungen wie Milvus.
Die Wettbewerbe umfassen drei Tracks, die jeweils darauf ausgelegt sind, verschiedene Aspekte der Vektorsuchleistung zu testen, wie in Abbildung eins gezeigt.
Abb. 1. Die drei Tracks des NeurIPS BigANN-Wettbewerbs
Track 1: Begrenztes Hardware-Ressourcenbudget
Spezifikationen: Die Teilnehmer sind auf einen Rechenzentrumsserver mit 64 GB RAM beschränkt.
Kriterien: Lösungen werden basierend auf dem Recall eingestuft, wobei die Genauigkeit beim Abrufen der nächsten Nachbarn innerhalb der Einschränkungen begrenzter Hardwareressourcen im Vordergrund steht.
Track 2: Erweiterte Speicherkapazitäten
Spezifikationen: Die Teilnehmer verwenden einen Rechenzentrumsserver mit 64 GB RAM und einer 2 TB Hochdurchsatz-SSD.
Kriterien: Dieser Track konzentriert sich ebenfalls auf Recall, erlaubt jedoch umfangreichere Speicherkapazitäten und fordert die Teilnehmenden heraus, sowohl die Speichernutzung als auch die Speicherleistung zu optimieren, wobei Zilliz der Gewinner war, wie in Abbildung 2 gezeigt. Der Ansatz von Zilliz+SUST schnitt im Range-Search-Datensatz (SSNPP) mit dem höchsten Recall-Wert gut ab. Dieser Sieg unterstreicht die Expertise und Innovationskraft von Zilliz bei der Entwicklung effizienter Vektorsuchalgorithmen, die auf moderne Hardwarebeschränkungen zugeschnitten sind. Wir werden den Ansatz von Zilliz im nächsten Abschnitt beschreiben.
Abb. 2. Das Team Zilliz+SUST gewinnt den zweiten Track
Track 3: Open Hardware
Spezifikationen: Die Teilnehmenden können beliebige Hardware verwenden, sofern sie Kostennachweise vorlegen und den Stromverbrauch überwachen.
Kriterien: Lösungen werden anhand einer Kombination aus Recall, QPS, Energieeffizienz und Kosten bewertet, was diesen Track zum umfassendsten und anspruchsvollsten macht.
Diese Tracks ermöglichen es dem Wettbewerb, ein breites Spektrum praktischer Überlegungen abzudecken, von der Optimierung begrenzter Ressourcen bis hin zur Nutzung fortschrittlicher Hardware-Setups. Durch diese Bewertungen bieten die NeurIPS BigANN-Wettbewerbe Einblicke in den Stand der Vektorsuchtechnologie und heben die vielversprechendsten Fortschritte in diesem Bereich hervor.
Optimierung und Bewertung in der Vektorsuche
Die Optimierung der Vektorsuche erfordert einen vielschichtigen Ansatz, insbesondere wenn es um die Nutzung von Arbeitsspeicher und SSDs geht. Eine der wichtigsten Innovationen, die von Zilliz eingeführt wurden, ist der in Abbildung 3 gezeigte Hybrid Graph Clustering Index. Diese Methode erhöht die Effizienz der Vektorsuche, indem sie Daten so strukturiert, dass Speicherlayout und Zugriffsmuster optimiert werden, insbesondere für SSDs. Durch die Organisation von Daten in seitenbündig ausgerichteten Buckets stellt Zilliz sicher, dass Vektoren in voller Präzision zusammen mit ihren Metadaten gespeichert werden, wodurch die Latenz reduziert und die Abrufgeschwindigkeit verbessert wird. Dieser Ansatz steigert nicht nur die Leistung, sondern maximiert auch die Nutzung von SSD-Speicher, was für die Verarbeitung großer Datensätze entscheidend ist. Darüber hinaus hat sich Zilliz auf die Optimierung des Speicherlayouts konzentriert, um sicherzustellen, dass der Datenzugriff effizient ist und mit den zugrunde liegenden Hardwarefähigkeiten übereinstimmt. Dies umfasst eine sorgfältige Strukturierung der Daten, um Zugriffszeiten zu minimieren und den Gesamtdurchsatz zu verbessern, wodurch ihre Lösungen für groß angelegte Vektorsuchaufgaben äußerst effektiv sind.
Darüber hinaus führt die Veröffentlichung von Milvus 2.4, der neuesten Version ihrer Open-Source-Vektordatenbank, mehrere bahnbrechende Funktionen ein, darunter Multi-vector support, Grouping Search und GPU Indexing mit NVIDIAs CUDA-Accelerated Graph Index for Vector Retrieval (CAGRA). Diese Innovationen demonstrieren weiter die Strategie und das Engagement von Zilliz, die Leistung und Effizienz der Vektorsuche zu verbessern.
Abb. 3. Hybrid Graph Clustering Index und Speicherlayout sowie für SSD optimierter Zugriff
Zukünftige Richtungen
Laut dem Sprecher könnte sich die Zukunft der Vektorsuche bald von der Abhängigkeit von Approximationstechniken hin zur Nutzung von Brute-Force-Methoden verlagern und dennoch in kurzer Zeit erfolgen. Dieser Wandel wird durch die zunehmende Skalierbarkeit von Rohvektoren vorangetrieben, ohne dass Indizes erstellt werden müssen, was eine bedeutende Entwicklung im Speichermarkt markiert. Während spezialisierte Chips teuer in der Herstellung sind und erhebliche Investitionen sowie Zeit für die Entwicklung von Toolkits erfordern—oft dauert es über ein Jahr, bis sie auf den Markt kommen—könnte standardisierte Hardware zur Norm werden. In diesem Szenario müsste Software erheblich angepasst werden, um die Leistung zu optimieren. Das Konzept der Chiplets wird eingeführt, bei dem die besten Halbleitertechnologien modular von verschiedenen Unternehmen entworfen werden, ähnlich wie bei der Softwareentwicklung. Dieser modulare Ansatz ermöglicht die Wiederverwendung von Software auf vorhandenen Chips und versetzt Personen ohne umfassende Chip-Kenntnisse in die Lage, ihre eigenen Chips zu entwerfen, die günstiger und schneller sind. Dies könnte vielen Unternehmen als Einstiegspunkt dienen und fortschrittliches Chipdesign zugänglicher und kosteneffizienter machen.
Fazit
Die rasanten Fortschritte in der hardware-Technologie ebnen den Weg für effizientere und leistungsfähigere Vektorsuchfunktionen. Wie der NeurIPS BigANN-Wettbewerb und die Beiträge von Zilliz zeigen, ist die Schnittstelle zwischen fortschrittlicher Hardware und innovativen Algorithmen entscheidend für die Zukunft von Datenabruftechnologien. Während CPUs seit Jahrzehnten das Rückgrat der Datenverarbeitung bilden, signalisiert das Aufkommen spezialisierter Hardwarelösungen eine neue Ära, in der Effizienz und Leistung von größter Bedeutung sind. Zilliz, eine der am weitesten verbreiteten Vektordatenbanken, konzentriert sich darauf, die Speichereffizienz zu optimieren und die Geschwindigkeit des Datenabrufs zu maximieren, indem fortschrittliche Hardwarefähigkeiten genutzt werden, um die Grenzen dessen zu verschieben, was in der Vektorsuchtechnologie möglich ist. Folgen Sie Zilliz auf twitter @zilliz_universe und @milvusio und sehen Sie sich zahlreiche informative Videovorträge und Tutorials auf dem Zilliz YouTube channel an.
Ressourcen
Weiterlesen
Why and How to Migrate from Self-Hosted Milvus to Zilliz Cloud
A simple, step-by-step guide to migrating from Milvus to Zilliz Cloud. Learn both endpoint and backup methods for a smooth, scalable vector database migration.
Why I’m Against Claude Code’s Grep-Only Retrieval? It Just Burns Too Many Tokens
Learn how vector-based code retrieval cuts Claude Code token consumption by 40%. Open-source solution with easy MCP integration. Try claude-context today.
The Real Bottlenecks in Autonomous Driving — And How AI Infrastructure Can Solve Them
Autonomous driving faces a data bottleneck. Learn how AI-native vector databases like Zilliz solve scale, cost, and insight challenges across AV pipelines.