Wie wählen Sie den am besten geeigneten CU-Typ und die passende CU-Größe für Ihr Unternehmen aus?
Eine Compute Unit (CU) in Zilliz Cloud bezieht sich auf Hardwareressourcen, die Suchanfragen und Indizes bedienen. Zilliz Cloud bietet drei Arten von CUs: Performance-optimierte, Kapazitätsoptimierte und Extended-Capacity CU. Jeder CU-Typ umfasst unterschiedliche Kombinationen aus CPU-, Arbeitsspeicher- und Speicherressourcen für verschiedene geschäftliche Anforderungen. Daher ist die Auswahl der geeigneten CU-Optionen und -Größen bei der Konfiguration eines Zilliz Cloud-Clusters entscheidend.
Performance-optimierte CU
Eine performance-optimierte CU ist ideal für Aufgaben des Similarity Retrieval, die eine schnelle Antwortzeit im Millisekundenbereich mit einem hohen Durchsatz von mindestens 100 Abfragen pro Sekunde (QPS) erfordern. Jede CU kann etwa 1,5 Millionen 768-dimensionale Vektoren verarbeiten.
Dieser CU-Typ ist wesentlich für (aber nicht beschränkt auf) die folgenden Anwendungsfälle:
- Generative-AI-Anwendungen
- Empfehlungssysteme
- Suchmaschinen
- Chatbots
- Inhaltsmoderation
- Erweiterung der Wissensbasis von LLMs
- Betrugsbekämpfungssysteme
Kapazitätsoptimierte CU
Wenn Ihre Anwendung Dutzende Millionen von Vektoren verarbeitet, sollten Sie die Verwendung einer kapazitätsoptimierten CU in Betracht ziehen. Jede CU kann etwa 5 Millionen 768-dimensionale Vektoren verarbeiten. Dieser CU-Typ kann deutlich mehr Daten speichern als eine performance-optimierte CU, bei geringeren Kosten, aber auch mit geringerer Leistung.
Kapazitätsoptimierte CUs sind besonders nützlich für (aber nicht beschränkt auf) die folgenden Szenarien:
- Durchsuchen groß angelegter unstrukturierter Daten, wie Text, Bilder, Videos und molekulare Strukturen
- Erkennen von Urheberrechtsverletzungen
- Verifizieren von Identitäten.
Extended-Capacity CU
Die Extended-Capacity CU ist ideal, wenn Ihnen die Antwortzeit nicht wichtig ist und Sie über ein sehr knappes Budget verfügen. Jede CU kann 20 Millionen 768-dimensionale Vektoren zu einem relativ angemessenen Preis verarbeiten. Obwohl sie eine höhere Suchlatenz aufweist, kann sie bis zu 4-mal mehr Daten aufnehmen als eine kapazitätsoptimierte CU.
Dieser CU-Typ ist perfekt für Offline-Aufgaben wie:
- Datenbeschriftung oder Clustering
- Deduplizierung
- Erkennung von Ausreißern in Datensätzen oder Klassenausgleich.
Bewertung der drei CU-Typen
Die folgende Tabelle bietet einen Überblick über die Unterschiede zwischen den CU-Typen von Zilliz Cloud.
| CU-Typ | Latenz | Durchsatz | Kapazität | Kosten pro Million Vektoren (Hinweis: basierend auf 768-dimensionalen Vektoren) |
|---|---|---|---|---|
| Performance-optimiert | Niedrig | Hoch | Niedrig | Ab $65/Monat |
| Kapazitätsoptimiert | Mittel | Mittel | Mittel | Ab $20/Monat |
| Extended-Capacity CU | Hoch | Niedrig | Hoch | Ab $10/Monat |
Leistungsvergleich
Um die Leistung verschiedener CU-Optionen zu messen, haben wir zwei zentrale Indikatoren betrachtet: Suchlatenz und Durchsatz. Wir haben die drei CU-Typen von Zilliz Cloud mit zwei Datensätzen und verschiedenen topk-Werten (10, 100, 250, 1000) getestet. Der erste Datensatz besteht aus 1.000.000 Vektoren mit 768 Dimensionen, und der zweite umfasst 5.000.000 Vektoren mit derselben Dimension.
| top_k | / | / | 10 | 100 | 250 | 1000 |
|---|---|---|---|---|---|---|
| Latenz | Performance-optimierte CU | 1M 768dim | <10ms | <10ms | <10ms | 10-20ms |
| Kapazitätsoptimierte CU | 5M 768dim | <50ms | <50ms | <50ms | 50-100ms | |
| Extended-Capacity CU |
Die obige Tabelle zeigt, dass die leistungsoptimierte CU die beste Wahl für niedrige Latenz ist und die kapazitätsoptimierte CU übertrifft. Sie hält bei typischen topk-Werten von 10-250 eine Latenz von unter zehn Millisekunden aufrecht und ist damit fünf- bis zehnmal schneller als die kapazitätsoptimierte. Bei topk-Werten im Tausenderbereich variiert die Latenz für jeden CU-Typ zwischen 10-20 ms für die leistungsoptimierte CU und 50-100 ms für die kapazitätsoptimierte CU. Es ist jedoch erwähnenswert, dass die leistungsoptimierte CU, obwohl sie bei Aufgaben mittopk-Werten im Tausenderbereich langsamere Antworten liefert, dennoch eine Suchlatenz bietet, die für viele Echtzeitanwendungen geeignet ist.
| top_k | 10 | 100 | 250 | 1000 | ||
|---|---|---|---|---|---|---|
| QPS | Leistungsoptimierte CU | 1M 768dim | 520 | 440 | 270 | 150 |
| Kapazitätsoptimierte CU | 5M 768dim | 100 | 80 | 60 | 40 | |
| CU mit erweiterter Kapazität |
In Bezug auf den Durchsatz ist die leistungsoptimierte CU überlegen. Sie übertrifft die kapazitätsoptimierte CU um das Vier- bis Fünffache.
Kapazitätsvergleich
Wir haben die drei CU-Typen von Zilliz Cloud anhand eines Standardsatzes von Vektordimensionen getestet: 128, 256, 512, 768 und 1024.
| Vektordimensionen | Anzahl der Vektoren pro CU (Millionen) | Anzahl der Vektoren pro CU (Millionen) | Anzahl der Vektoren pro CU (Millionen) |
|---|---|---|---|
| / | Leistungsoptimierte CU | Kapazitätsoptimierte CU | CU mit erweiterter Kapazität |
| 128 | 5 | 25 | Demnächst verfügbar |
| 256 | 2.96 | 14.87 | Demnächst verfügbar |
| 512 | 1.63 | 8.22 | Demnächst verfügbar |
| 768 | 1.5 | 5 | 20 |
| 1024 | 0.86 | 4.34 | Demnächst verfügbar |
Basierend auf dem Testergebnis in der obigen Tabelle stellen wir fest:
- Die CUs mit erweiterter Kapazität haben die größten Kapazitäten beim Speichern von 768-dimensionalen Vektoren, 13-mal bzw. 4-mal größer als die leistungsoptimierten und kapazitätsoptimierten CUs.
- Mit zunehmenden Vektordimensionen wird mehr Speicherplatz benötigt, um die Daten aufzunehmen. Beispielsweise kann eine CU ungefähr doppelt so viele 512-dimensionale Vektoren speichern wie 1024-dimensionale Vektoren.
Hinweis: Dieses Experiment konzentrierte sich nur auf den Primärschlüssel und Vektoren, ohne skalare Felder hinzuzufügen. Wenn jedoch zusätzliche skalare Felder wie id, label, keywords, summary, URL usw. vorhanden sind, kann die tatsächliche Kapazität jedes CU-Typs von der obigen Tabelle abweichen. Daher ist es für die Genauigkeit unerlässlich, sich auf empirische Messungen zu stützen.
Schauen wir uns einige Beispiele an!
Wir haben die drei CU-Optionen von Zilliz Cloud aus der Perspektive von Latenz, Durchsatz, Kapazität und Kosten verglichen. Aber wie wählen Sie die am besten geeignete Option für Ihr Unternehmen? Schauen wir uns zwei Beispiele an, die Ihnen helfen, die richtige Wahl zu treffen.
Beispiel 1
Angenommen, Sie erstellen einen LLM-erweiterten Chatbot, der Zilliz Cloud verwendet, um mehr als 10 Millionen Textblöcke privater Dokumente mit einem 768-dimensionalen Einbettungsvektor zu speichern. Ihre Anwendung erfordert, dass Zilliz Cloud 1.000 QPS unterstützt und die Top-10-Ergebnisse mit einer End-to-End-Latenz von weniger als 30 Millisekunden abruft.
Eine leistungsoptimierte CU ist die einzige Möglichkeit, eine Latenz unter 30 ms zu erreichen. Da jede leistungsoptimierte CU bis zu 1,5 Millionen 768-dimensionale Vektoren aufnehmen kann, benötigen Sie mindestens sieben CUs, um alle 10 Millionen Vektoren zu verarbeiten. Eine CU kann bei einem topk-Wert von 10 einen Spitzen-QPS-Wert von 520 für den Durchsatz erreichen. Um 1.000 QPS zu bewältigen, benötigen Sie zwei Replikate.
Daher besteht der beste Ansatz für dieses Szenario darin, zwei Replikate einer leistungsoptimierten CU zu verwenden, die jeweils sieben CUs enthalten.
Beispiel 2
Angenommen, Ihre Anwendung erkennt Urheberrechtsverletzungen in Bildern und muss ähnliche Bilder aus einem Pool von 100 Millionen finden. Jedes Bild wird in einen 768-dimensionalen Vektor eingebettet. Sie benötigen keine Echtzeitantworten, erwarten aber die Top-100-Ergebnisse mit einem Durchsatz von 50 QPS.
Sowohl kapazitätsoptimierte als auch leistungsoptimierte CU können 50 Anfragen pro Sekunde verarbeiten, wenn Sie die Top-100-Ergebnisse abrufen. Die kapazitätsoptimierte CU kann jedoch dreimal mehr Vektoren speichern als die leistungsoptimierte CU. Daher ist die kapazitätsoptimierte CU die geeignetere Option für Ihre Anforderungen.
Basierend auf den Testergebnissen kann eine einzelne kapazitätsoptimierte CU bis zu 5,6 Millionen 768-dimensionale Vektoren speichern. Um Ihre 100 Millionen Vektoren unterzubringen, benötigen Sie mindestens 20 CUs. Wenn der topk-Wert 100 beträgt, kann eine einzelne CU einen Spitzen-QPS-Wert von 80 für den Durchsatz erreichen. Für 50 QPS reicht ein Replikat aus. Daher benötigen Sie einen Cluster mit 20 kapazitätsoptimierten CUs.
Zusammenfassung
Zilliz Cloud bietet drei Arten von CUs. Wenn Ihre Anwendung blitzschnell sein und in Echtzeit reagieren muss, ist die leistungsoptimierte CU die richtige Wahl. Die kapazitätsoptimierte CU ist die beste Wahl für Anwendungen, die das Speichern und Abrufen von Dutzenden Millionen Vektoren erfordern. Wenn Sie ein knappes Budget haben und bereit sind, Abstriche bei Geschwindigkeit und Durchsatz zu machen, ist die Extended-Capacity CU perfekt für Sie.
Erste Schritte mit Zilliz Cloud
Entdecken Sie unser kostenloses Kontingent (keine Kreditkarte erforderlich), oder testen Sie unsere 30-tägige Enterprise-Testversion mit bis zu $200 Guthaben. Abonnieren Sie über einen beliebigen Cloud Marketplace und erhalten Sie ein zusätzliches Guthaben von $100.
Tauchen Sie tiefer in die Zilliz Cloud-Dokumentation ein.
Weiterlesen
What Is a Vector Lakebase?
A Vector Lakebase is a unified, lake-native data architecture for AI that combines vector-database-grade serving with open lake storage, reusable lake-level indexes, and a shared semantic layer.
Migrating from S3 Vectors to Zilliz Cloud: Unlocking the Power of Tiered Storage
Learn how Zilliz Cloud bridges cost and performance with tiered storage and enterprise-grade features, and how to migrate data from AWS S3 Vectors to Zilliz Cloud.
What Exactly Are AI Agents? Why OpenAI and LangChain Are Fighting Over Their Definition?
AI agents are software programs powered by AI that can perceive their environment, make decisions, and take actions to achieve a goal—often autonomously.