Zilliz Cloud: accendere la ricerca vettoriale con una velocità da razzo
Di recente abbiamo lanciato la versione più recente di Zilliz Cloud, introducendo una serie di funzionalità entusiasmanti, tra cui un nuovo livello gratuito, schema dinamico e chiavi di partizione, oltre a piani tariffari più convenienti per soddisfare esigenze aziendali diverse. Abbiamo anche migliorato significativamente le prestazioni, rendendo Zilliz Cloud due volte più veloce della versione precedente e da tre a dieci volte più veloce di Milvus e altri database vettoriali.
In qualità di software engineer, sono particolarmente entusiasta della velocità fulminea di Zilliz Cloud nella gestione delle query. In questo post, mostrerò quanto è veloce Zilliz Cloud e cosa rende Zilliz rapidissimo.
Quanto è veloce Zilliz Cloud?
Prima di dimostrare la velocità di Zilliz Cloud, dobbiamo stabilire il contesto del nostro confronto e le condizioni specifiche che stiamo valutando.
VectorDBBench è uno strumento di benchmarking open-source che valuta le prestazioni di diversi database vettoriali su più metriche, come QPS, capacità, throughput e latenza, tramite un’interfaccia intuitiva e facile da usare.
Userò VectorDBBench per confrontare Zilliz Cloud con Milvus, un database open-source creato da Zilliz, e con altri database vettoriali sul mercato, tra cui Quadrant Cloud, Pinecone, WeaviateCloud ed ElasticCloud.
Zilliz Cloud supera facilmente Milvus di 6 volte
La figura seguente confronta le prestazioni di Zilliz Cloud e Milvus in termini di QPS nella gestione di un milione di dati a 768 dimensioni con diverse configurazioni di risorse di calcolo e storage. In base ai risultati, Zilliz Cloud è almeno tre volte più veloce di Milvus.
Zilliz Cloud vs. Milvus (dataset da 1M, 768 Dim)
Quando recupera 10 milioni di dati a 768 dimensioni, Zilliz Cloud supera Milvus di sei volte.
Zilliz Cloud vs. Milvus (dataset da 10M, 768 Dim)
Zilliz Cloud è almeno 4 volte più veloce di altri database vettoriali
Zilliz Cloud è anche più veloce di altri database vettoriali. In base ai risultati del benchmarking, Zilliz Cloud raggiunge un QPS da 4 a 191 volte superiore rispetto ai concorrenti quando recupera un milione di dati a 768 dimensioni e offre piani tariffari molto più convenienti.
Zilliz Cloud vs. altri database vettoriali (dataset da 1M, 768 Dim)
Quando esegue ricerche di similarità su dataset più grandi, Zilliz Cloud supera servizi di database vettoriali come Pinecone e Quadrant Cloud di 3 volte in termini di QPS.
Zilliz Cloud vs. altri database vettoriali (dataset da 10M, 768 Dim)
Per ulteriori risultati, consulta la nostra pagina di benchmarking.
Perché Zilliz Cloud è così veloce
Ora hai letto della velocità di Zilliz Cloud; è il momento di scoprire cosa lo rende così veloce.
Zilliz Cloud dispone di un robusto motore di indicizzazione vettoriale
I database vettoriali dipendono fortemente dalla potenza di calcolo, con i loro algoritmi di indicizzazione vettoriale che consumano la maggior parte delle risorse e determinano principalmente le prestazioni.
Zilliz Cloud dispone di un robusto motore di indicizzazione con potenti capacità di calcolo vettoriale. Glass è la versione open-source e ha raggiunto la vetta delle classifiche nei recenti risultati dei test pubblicati da ANN-Benchmark. Questo noto strumento di benchmarking confronta le prestazioni di diversi algoritmi su vari dataset reali.
Diamo un’occhiata a due esempi. I seguenti diagrammi mostrano i risultati di benchmarking più recenti di ANN-Benchmark basati su due diversi dataset:
gist-960-euclidean: un milione di vettori a 960 dimensioni che utilizzano la funzione di distanza euclidea.fashion-mnist-784-euclidean: 60.000 vettori a 784 dimensioni che utilizzano la funzione di distanza euclidea.
Più in alto arriva la curva, più query gli algoritmi possono elaborare al secondo. Allo stesso modo, più la curva si estende verso destra, maggiore è il recall che gli algoritmi possono ottenere.
Risultati ANN Benchmark (dataset: gist-960-euclidean, k=10)
Risultati ANN Benchmark (dataset: gist-960-euclidean, k=10)
Sulla base dei risultati mostrati nei diagrammi, Glass (la curva rosa) si è classificato come il miglior performer in termini sia di query al secondo sia di recall. Le prestazioni eccezionali di Glass hanno contribuito in modo significativo alla capacità di Zilliz Cloud di raggiungere velocità fulminee.
Struttura del codice ottimizzata
Oltre alla solida capacità di indicizzazione di Glass, abbiamo ottimizzato la struttura del codice di Zilliz Cloud. Questa ottimizzazione include la pulizia dei percorsi di query ridondanti, il miglioramento della pianificazione delle fusioni delle query e delle regole per le query concorrenti, l’ottimizzazione della struttura di bilanciamento del carico e la sostituzione/l’aggiornamento di molte librerie di terze parti inefficienti e obsolete. Tutti questi sforzi aiutano Zilliz Cloud a massimizzare le capacità del suo algoritmo di indicizzazione e a ridurre l’overhead.
Abbiamo inoltre risolto diversi problemi che in precedenza ostacolavano le prestazioni di query di Zilliz Cloud. Di conseguenza, le ricerche con filtro scalare e con filtro vettoriale su dataset su larga scala sono ora significativamente più veloci.
AutoIndex di Zilliz Cloud per tassi di recall stabili
Il tasso di recall è un fattore critico per le prestazioni del sistema. Un tasso di recall inadeguato porterà a risultati di recupero che non soddisfano i requisiti dei nostri clienti. Tuttavia, un tasso di recall eccessivamente alto può compromettere significativamente le prestazioni. Pertanto, abbiamo bisogno di un tasso di recall stabile che bilanci prestazioni e accuratezza, garantendo risultati prevedibili e un migliore supporto per vari scenari di produzione.
Controllare il tasso di recall è essenziale ma anche complicato, perché il tasso di recall può essere influenzato da vari fattori, tra cui la dimensione dei dati, i parametri di indicizzazione e di query, la distribuzione dei dati e persino la dimensione dei risultati topk. La maggior parte dei sistemi di database utilizza una delle seguenti due soluzioni per affrontare questo problema:
- Consentire agli utenti di fornire parametri: flessibile ma difficile da adottare.
- Fornire parametri empirici: facile da usare ma meno flessibile e non consente di controllare con precisione situazioni con dataset e requisiti topk diversi.
Zilliz Cloud offre una soluzione più semplice e flessibile chiamata AutoIndex. Analizza casi applicativi pratici basati su modelli e personalizza i parametri per ogni richiesta di indicizzazione. Questo approccio garantisce un tasso di recall stabile, offrendo al contempo prestazioni eccellenti per soddisfare i requisiti degli utenti nelle applicazioni pratiche.
Riepilogo
L’ultimo aggiornamento di Zilliz Cloud ha apportato miglioramenti fondamentali in termini di funzionalità e prestazioni. Ora vanta una velocità simile a un razzo nella gestione di enormi ricerche vettoriali, superando significativamente altri database vettoriali.
Iniziare con Zilliz Cloud
- Inizia gratuitamente con il nuovo Starter Plan! Un ottimo piano per iniziare senza problemi di installazione e senza bisogno di una carta di credito!
- Oppure avvia la tua prova gratuita di 30 giorni del piano Standard con crediti del valore di $100 al momento della registrazione e l’opportunità di guadagnare fino a un totale di $200 in crediti.
- Approfondisci nella documentazione di Zilliz Cloud.
- Consulta la guida sulla migrazione da Milvus a Zilliz Cloud.
Continua a leggere
Notion's Vector Search Is Excellent. Their Next Problem Is Harder.
Notion solved vector search scaling in two years. The next bottleneck — offline context engineering, unified data, and the real-time/offline gap — is harder.
Zilliz Cloud BYOC Now Available Across AWS, GCP, and Azure
Zilliz Cloud BYOC is now generally available on all three major clouds. Deploy fully managed vector search in your own AWS, GCP, or Azure account — your data never leaves your VPC.
AI Agents Are Quietly Transforming E-Commerce — Here’s How
Discover how AI agents transform e-commerce with autonomous decision-making, enhanced product discovery, and vector search capabilities for today's retailers.