TiDB vs Aerospike: scegliere il database vettoriale giusto per le tue app di IA
Cos'è un database vettoriale?
Prima di confrontare TiDB e Aerospike, esploriamo innanzitutto il concetto di database vettoriali.
Un database vettoriale è progettato specificamente per archiviare ed eseguire query su vettori ad alta dimensionalità, che sono rappresentazioni numeriche di dati non strutturati. Questi vettori codificano informazioni complesse, come il significato semantico del testo, le caratteristiche visive delle immagini o gli attributi dei prodotti. Consentendo efficienti ricerche di similarità, i database vettoriali svolgono un ruolo fondamentale nelle applicazioni di IA, permettendo analisi e recupero dei dati più avanzati.
I casi d'uso comuni per i database vettoriali includono raccomandazioni di prodotti e-commerce, piattaforme di scoperta di contenuti, rilevamento di anomalie nella cybersecurity, analisi di immagini mediche e attività di elaborazione del linguaggio naturale (NLP). Svolgono inoltre un ruolo cruciale nella Retrieval Augmented Generation (RAG), una tecnica che migliora le prestazioni dei modelli linguistici di grandi dimensioni (LLMs) fornendo conoscenza esterna per ridurre problemi come le allucinazioni dell'IA.
Sul mercato sono disponibili molti tipi di database vettoriali, tra cui:
- Database vettoriali appositamente progettati come Milvus, Zilliz Cloud (Milvus completamente gestito)
- Librerie di ricerca vettoriale come Faiss e Annoy.
- Database vettoriali leggeri come Chroma e Milvus Lite.
- Database tradizionali con componenti aggiuntivi di ricerca vettoriale in grado di eseguire ricerche vettoriali su piccola scala.
TiDB è un database tradizionale e Aerospike è anch'esso un database NoSQL distribuito e scalabile. Entrambi dispongono della ricerca vettoriale come componente aggiuntivo.Questo post confronta le loro capacità di ricerca vettoriale.
TiDB: Panoramica e tecnologia di base
TiDB, sviluppato da PingCAP, è un database SQL distribuito open-source che offre capacità di elaborazione transazionale e analitica ibrida (HTAP). È compatibile con MySQL, il che lo rende facile da adottare per i team già familiari con l'ecosistema MySQL. L'architettura SQL distribuita di TiDB offre scalabilità orizzontale come i database NoSQL, pur mantenendo il modello relazionale dei database SQL, rendendolo estremamente flessibile per gestire sia carichi di lavoro transazionali sia analitici.
Uno dei punti di forza principali di TiDB è la sua architettura HTAP, che gli consente di elaborare carichi di lavoro transazionali (OLTP) e analitici (OLAP) in un unico database, riducendo la necessità di sistemi separati. Inoltre, la compatibilità di TiDB con MySQL ne facilita l'integrazione in ambienti esistenti che si basano su MySQL senza modifiche significative al codice dell'applicazione. Il database dispone anche di auto-sharding, distribuendo automaticamente i dati tra i nodi per migliorare le prestazioni di lettura e scrittura mantenendo al contempo una forte coerenza.
TiDB supporta la ricerca vettoriale attraverso l'integrazione con librerie e plugin esterni, consentendo una gestione e interrogazione efficienti dei dati vettorializzati. Questa funzionalità, combinata con l'architettura HTAP di TiDB, lo rende un'opzione versatile per le aziende che necessitano di capacità di ricerca vettoriale insieme a carichi di lavoro transazionali e analitici. L'architettura distribuita di TiDB gli consente di gestire query vettoriali su larga scala una volta implementate le configurazioni necessarie.
Sebbene includere funzionalità di ricerca vettoriale in TiDB richieda una configurazione aggiuntiva, la compatibilità SQL del sistema consente agli sviluppatori di combinare la ricerca vettoriale con le query relazionali tradizionali. Questa flessibilità rende TiDB adatto ad applicazioni complesse che richiedono sia la ricerca vettoriale sia capacità di database relazionali, offrendo una soluzione completa per diverse esigenze di gestione dei dati.
Aerospike: Panoramica e tecnologia di base
Aerospike è un database NoSQL per applicazioni in tempo reale ad alte prestazioni. Ha aggiunto il supporto per l’indicizzazione e la ricerca vettoriale, quindi è adatto a casi d’uso di database vettoriali. La funzionalità vettoriale si chiama Aerospike Vector Search (AVS) ed è in Preview. Puoi richiedere l’accesso anticipato ad Aerospike.
AVS supporta solo indici Hierarchical Navigable Small World (HNSW) per la ricerca vettoriale. Quando in AVS vengono effettuati aggiornamenti o inserimenti, i dati del record, incluso il vettore, vengono scritti nell’Aerospike Database (ASDB) e sono immediatamente visibili. Per l’indicizzazione, ogni record deve avere almeno un vettore nel campo vettoriale specificato di un indice. Puoi avere più vettori e indici per un singolo record, quindi puoi cercare gli stessi dati in modi diversi. Aerospike consiglia di assegnare i record sottoposti a upsert a un set specifico, in modo da poterli monitorare e gestire.
AVS ha un modo unico di costruire l’indice: è concorrente su tutti i nodi AVS. Mentre gli aggiornamenti dei record vettoriali vengono scritti direttamente in ASDB, i record dell’indice vengono elaborati in modo asincrono da una coda di indicizzazione. Questo avviene in batch ed è distribuito su tutti i nodi AVS, quindi utilizza tutti i core CPU nel cluster AVS ed è scalabile. Le prestazioni di ingestione dipendono fortemente dalla memoria dell’host e dalla configurazione del livello di storage.
Per ogni elemento nella coda di indicizzazione, AVS elabora il vettore per l’indicizzazione, costruisce i cluster per ciascun vettore e li salva su ASDB. Un record di indice contiene una copia del vettore stesso e i cluster per quel vettore a un determinato livello del grafo HNSW. L’indicizzazione utilizza estensioni vettoriali (AVX) per l’elaborazione parallela single instruction, multiple data.
AVS esegue query durante l’ingestione per “pre-idratare” la cache dell’indice, perché i record nei cluster sono interconnessi. Queste query non vengono conteggiate come richieste di query, ma risultano come letture a livello di storage. In questo modo, la cache viene popolata con dati rilevanti e può migliorare le prestazioni delle query. Questo mostra come AVS gestisce i dati vettoriali e costruisce indici per la ricerca di similarità, così da poter scalare per ricerche vettoriali ad alta dimensionalità.
Differenze principali
TiDB offre la ricerca vettoriale tramite integrazioni esterne e mantiene il suo core come database SQL distribuito con capacità HTAP. È compatibile con MySQL e combina la ricerca vettoriale con le query relazionali tradizionali.
Aerospike adotta un approccio più specializzato con Aerospike Vector Search (AVS), che utilizza solo l’indicizzazione HNSW. Consente la costruzione concorrente degli indici su più nodi e utilizza estensioni vettoriali per l’elaborazione parallela.
Metodologia di ricerca:
TiDB integra la ricerca vettoriale tramite plugin; le query SQL e vettoriali possono funzionare insieme. Aerospike utilizza solo indici HNSW, con code di indicizzazione asincrone per prestazioni migliori.
Dati:
TiDB gestisce carichi di lavoro transazionali e analitici con auto-sharding. Aerospike elabora i dati vettoriali in modo asincrono, con visibilità immediata per gli aggiornamenti mentre i record dell’indice vengono elaborati in batch.
Scalabilità:
TiDB distribuisce automaticamente i dati tra i nodi e mantiene la coerenza. L’indicizzazione distribuita di Aerospike utilizza tutti i core CPU nel cluster e scala in base alla memoria dell’host e allo storage.
Integrazione:
TiDB si adatta agli ambienti MySQL e supporta sia operazioni SQL sia vettoriali. AVS di Aerospike è più focalizzato sulla ricerca vettoriale, ma si integra strettamente con il database Aerospike di base.
Quando scegliere TiDB
TiDB è ideale per applicazioni enterprise che necessitano sia di operazioni di database tradizionali sia di ricerca vettoriale, soprattutto in ambienti MySQL. La sua architettura HTAP è perfetta per le organizzazioni che hanno carichi di lavoro misti - dalle transazioni regolari alle analisi complesse - e necessitano di ricerca vettoriale. La compatibilità con MySQL significa che i team esistenti possono adottarlo con modifiche minime alle loro applicazioni e ai loro flussi di lavoro.
Quando scegliere Aerospike
Aerospike è ideale per applicazioni in cui la ricerca vettoriale ad alte prestazioni è la massima priorità, soprattutto in tempo reale. Il suo sistema AVS con creazione concorrente degli indici e ottimizzazione dell'elaborazione vettoriale è perfetto per applicazioni che necessitano di una rapida ricerca di similarità vettoriale su larga scala, come motori di raccomandazione, sistemi di riconoscimento delle immagini o altre applicazioni basate sull'AI che danno priorità alla velocità di ricerca rispetto alle operazioni di database tradizionali.
Conclusione
TiDB e Aerospike sono destinati a casi d'uso diversi nello spazio della ricerca vettoriale. TiDB è un database completo con funzionalità vettoriali, perfetto per le aziende che necessitano sia di operazioni di database tradizionali sia di ricerca vettoriale. Aerospike è una ricerca vettoriale ad alte prestazioni con indicizzazione ottimizzata, perfetta per applicazioni specialistiche di ricerca vettoriale. Scegli ciò di cui hai bisogno, un database completo con ricerca vettoriale (TiDB) o una soluzione specialistica di ricerca vettoriale (Aerospike).
Leggi questo per ottenere una panoramica di TiDB e Aerospike, ma per valutarli devi farlo in base al tuo caso d'uso. Uno strumento che può aiutare in questo è VectorDBBench, uno strumento di benchmarking open-source per il confronto dei database vettoriali. Alla fine, un benchmarking approfondito con i tuoi dataset e i tuoi pattern di query sarà fondamentale per prendere una decisione tra questi due approcci potenti ma diversi alla ricerca vettoriale nei sistemi di database distribuiti.
Usare VectorDBBench open-source per valutare e confrontare autonomamente i database vettoriali
VectorDBBench è uno strumento di benchmarking open-source per gli utenti che necessitano di sistemi di archiviazione e recupero dei dati ad alte prestazioni, in particolare database vettoriali. Questo strumento consente agli utenti di testare e confrontare diversi sistemi di database vettoriali come Milvus e Zilliz Cloud (il Milvus gestito) utilizzando i propri dataset e di trovare quello adatto ai loro casi d'uso. Con VectorDBBench, gli utenti possono prendere decisioni basate sulle prestazioni effettive dei database vettoriali piuttosto che su affermazioni di marketing o voci di corridoio.
VectorDBBench è scritto in Python e concesso in licenza sotto la licenza open-source MIT, il che significa che chiunque può usarlo, modificarlo e distribuirlo liberamente. Lo strumento è mantenuto attivamente da una community di sviluppatori impegnati a migliorarne le funzionalità e le prestazioni.
Scarica VectorDBBench dal suo repository GitHub per riprodurre i risultati dei nostri benchmark o ottenere risultati sulle prestazioni sui tuoi dataset.
Dai una rapida occhiata alle prestazioni dei principali database vettoriali nella classifica VectorDBBench.
Leggi i seguenti blog per saperne di più sulla valutazione dei database vettoriali.
Ulteriori risorse su VectorDB, GenAI e ML
Continua a leggere
What Is a Vector Lakebase?
A Vector Lakebase is a unified, lake-native data architecture for AI that combines vector-database-grade serving with open lake storage, reusable lake-level indexes, and a shared semantic layer.
Zilliz Cloud BYOC Now Available Across AWS, GCP, and Azure
Zilliz Cloud BYOC is now generally available on all three major clouds. Deploy fully managed vector search in your own AWS, GCP, or Azure account — your data never leaves your VPC.
Zilliz Cloud Introduces Advanced BYOC-I Solution for Ultimate Enterprise Data Sovereignty
Explore Zilliz Cloud BYOC-I, the solution that balances AI innovation with data control, enabling secure deployments in finance, healthcare, and education sectors.
The Definitive Guide to Choosing a Vector Database
Overwhelmed by all the options? Learn key features to look for & how to evaluate with your own data. Choose with confidence.