Milvus-Unterstützung für mehrere Indextypen
Milvus ist eine Open-Source-Vektordatenbank mit modernsten Funktionen für Ähnlichkeitssuche und KI-Anwendungen. Eine der wesentlichen Funktionen von Milvus ist die Unterstützung verschiedener Indextypen; Indizes helfen dabei, Datenabfragen und -abrufe zu optimieren.
Indextypen
Derzeit unterstützt Milvus acht Arten von Indizes:
- FLAT: FLAT eignet sich am besten für Szenarien, die vollkommen genaue und exakte Suchergebnisse (100 % Recall-Rate) in einem kleinen Datensatz im Millionenbereich erfordern. FLAT komprimiert keine Vektoren und ist der einzige Index, der exakte Suchergebnisse garantiert. Ergebnisse von FLAT können als Vergleichspunkt für Ergebnisse dienen, die von anderen Indizes mit weniger als 100 % Recall erzeugt werden.
- IVF_FLAT: IVF_FLAT ist ein quantisierungsbasierter Index, der sich am besten für Szenarien eignet, die ein ideales Gleichgewicht zwischen Genauigkeit und Abfragegeschwindigkeit anstreben (niedrigdimensionale Daten mit weniger als 100.000 Einträgen). IVF_FLAT ist ein System, das Vektordaten in Cluster unterteilt und Ergebnisse der Ähnlichkeitssuche auf Grundlage von Vergleichen zwischen der Zieleingabe und den Vektoren in den ähnlichsten Clustern zurückgibt. IVS_FLAT reduziert die Abfragezeit drastisch, wenn man die Anzahl der abgefragten Cluster berücksichtigt. Bitte beachten Sie, dass IVF_FLAT keine Komprimierung durchführt, sodass die von ihm erzeugten Indexdateien ungefähr dieselbe Größe haben wie die ursprünglichen, rohen, nicht indexierten Vektordaten.
- IV_SQ8: IVF_SQ8 ist ein quantisierungsbasierter Index und eignet sich am besten für Szenarien, die eine erhebliche Reduzierung des Speicherverbrauchs von Festplatte, CPU und GPU in Situationen anstreben, in denen diese Ressourcen begrenzt sind. IV_SQ8 kann dies erreichen, indem jedes FLOAT (4 Byte) durch skalare Quantisierung in UINT8 (1 Byte) umgewandelt wird. Der IV_SQ8-Index eignet sich für Szenarien mit niedrigdimensionalen Daten mit weniger als 100.000 Einträgen.
- HNSW Index: Hierarchical Navigable Small World (HNSW) ist ein graphbasierter Index, der sich am besten für Szenarien mit hohem Bedarf an Sucheffizienz eignet. Dieser Index erstellt eine baumartige Struktur, um die Vektoren zu indexieren. Daher ist er nützlich, wenn der Datensatz enorm ist (großer Datensatz mit vielen Dimensionen) und eine schnelle Suche erfordert. Er erstellt gemäß bestimmten Regeln eine mehrschichtige Navigationsstruktur für ein Bild. In dieser Struktur sind die oberen Schichten spärlicher und die Abstände zwischen den Knoten größer; die unteren Schichten sind dichter und die Abstände zwischen den Knoten kleiner. Die Suche beginnt in der obersten Schicht, findet den Knoten, der dem Ziel in dieser Schicht am nächsten liegt, und geht dann in die nächste Schicht über, um eine weitere Suche zu beginnen. Nach mehreren Iterationen kann sie sich schnell der Zielposition nähern.
- IVF_PQ: IVF_PQ ist ein quantisierungsbasierter Index, der sich am besten für Szenarien eignet, die eine hohe Abfragegeschwindigkeit bei hochdimensionalen Daten anstreben, selbst auf Kosten der Genauigkeit. Er zerlegt den hochdimensionalen Vektorraum gleichmäßig in kartesische Produkte niedrigdimensionaler Vektorräume und quantisiert anschließend die niedrigdimensionalen Vektorräume. Produktquantisierung berechnet Abstände zwischen dem Zielvektor und dem Clustering-Zentrum jedes niedrigdimensionalen Raums, wodurch die Zeit- und Raumkomplexität reduziert wird. Die IVF_PQ-Indexdatei ist kleiner (und weniger genau) als IVF_SQ8.
- ANNOY: ANNOY ist ein baumbasierter Index, der sich am besten für Szenarien eignet, die eine hohe Recall-Rate anstreben. Er ist praktisch für Datensätze (weniger als 1 Million Einträge) mit vielen Dimensionen (und bei der Suche nach ähnlichen Vektoren).
- BIN_FLAT: Dieser Index eignet sich für niedrigdimensionale Daten mit weniger als 100.000 Einträgen. Dieser Index ist derselbe wie FLAT, außer dass BIN_FLAT für binäre Embeddings verwendet wird.
- BIN_IVF_FLAT: Dieser Index eignet sich für hochdimensionale Datensätze mit weniger als 10 Millionen Einträgen bei der Suche nach ähnlichen Vektoren. Dieser Index ist derselbe wie FLAT, außer dass BIN_IVF_FLAT für binäre Embeddings verwendet wird.
Fazit
Milvus unterstützt verschiedene Indextypen, die dabei helfen, Datenabfragen und -abrufe für unterschiedliche Anwendungsfälle zu optimieren. Die Wahl des richtigen Indextyps kann die Suchleistung Ihrer Anwendung erheblich verbessern.
Wenn Sie noch nicht sicher sind, welcher Indextyp für Ihren spezifischen Anwendungsfall geeignet ist, empfiehlt es sich, verschiedene Indizes auszuprobieren und deren Leistung zu vergleichen. Milvus kann mit dem richtigen Indextyp und der richtigen Konfiguration blitzschnelle Suchleistung für Ihre KI-Anwendungen bieten.
Nächste Schritte
- Laden Sie Milvus herunter und legen Sie los
- Lesen Sie mehr über Milvus-Indextypen
- Sehen Sie sich die Milvus-Benchmarks in diesem Paper an
Weiterlesen
Notion's Vector Search Is Excellent. Their Next Problem Is Harder.
Notion solved vector search scaling in two years. The next bottleneck — offline context engineering, unified data, and the real-time/offline gap — is harder.
DeepSeek-OCR Explained: Optical Compression for Scalable Long-Context and RAG Systems
Discover how DeepSeek-OCR uses visual tokens and Contexts Optical Compression to boost long-context LLM efficiency and reshape RAG performance.
DeepSeek Always Busy? Deploy It Locally with Milvus in Just 10 Minutes—No More Waiting!
Learn how to set up DeepSeek-R1 on your local machine using Ollama, AnythingLLM, and Milvus in just 10 minutes. Bypass busy servers and enhance AI responses with custom data.