SingleStore vs MongoDB: scegliere il database vettoriale giusto per le tue app di IA
Che cos'è un database vettoriale?
Prima di confrontare SingleStore e MongoDB, esploriamo innanzitutto il concetto di database vettoriali.
Un database vettoriale è progettato specificamente per archiviare e interrogare vettori ad alta dimensionalità, che sono rappresentazioni numeriche di dati non strutturati. Questi vettori codificano informazioni complesse, come il significato semantico del testo, le caratteristiche visive delle immagini o gli attributi dei prodotti. Consentendo ricerche di similarità efficienti, i database vettoriali svolgono un ruolo fondamentale nelle applicazioni di IA, permettendo analisi e recupero dei dati più avanzati.
I casi d'uso comuni per i database vettoriali includono raccomandazioni di prodotti nell'e-commerce, piattaforme di scoperta di contenuti, rilevamento di anomalie nella cybersecurity, analisi di immagini mediche e attività di elaborazione del linguaggio naturale (NLP). Svolgono inoltre un ruolo cruciale nella Retrieval Augmented Generation (RAG), una tecnica che migliora le prestazioni dei modelli linguistici di grandi dimensioni (LLMs) fornendo conoscenza esterna per ridurre problemi come le allucinazioni dell'IA.
Esistono molti tipi di database vettoriali disponibili sul mercato, tra cui:
- Database vettoriali appositamente progettati come Milvus, Zilliz Cloud (Milvus completamente gestito)
- Librerie di ricerca vettoriale come Faiss e Annoy.
- Database vettoriali leggeri come Chroma e Milvus Lite.
- Database tradizionali con componenti aggiuntivi per la ricerca vettoriale capaci di eseguire ricerche vettoriali su piccola scala.
SingleStore è un sistema di gestione di database SQL distribuito, relazionale, e MongoDB è un database NoSQL che archivia i dati in documenti simili a JSON. Entrambi dispongono della ricerca vettoriale come componente aggiuntivo. Questo post confronta le loro capacità di ricerca vettoriale.
SingleStore: panoramica e tecnologia di base
SingleStore ha reso possibile la ricerca vettoriale integrandola nel database stesso, quindi non hai bisogno di database vettoriali separati nel tuo stack tecnologico. I vettori possono essere archiviati in normali tabelle di database e cercati con query SQL standard. Ad esempio, puoi cercare immagini di prodotti simili filtrando per fascia di prezzo o esplorare embedding di documenti limitando i risultati a reparti specifici. Il sistema supporta sia la ricerca semantica utilizzando FLAT, IVF_FLAT, IVF_PQ, IVF_PQFS, HNSW_FLAT e HNSW_PQ per l'indice vettoriale, sia prodotto scalare e distanza euclidea per il matching di similarità. Questo è estremamente utile per applicazioni come sistemi di raccomandazione, riconoscimento di immagini e chatbot IA, dove il matching di similarità è rapido.
Nel suo nucleo SingleStore è progettato per prestazioni e scalabilità. Il database distribuisce i dati su più nodi, così puoi gestire operazioni su dati vettoriali su larga scala. Man mano che i tuoi dati crescono, puoi semplicemente aggiungere più nodi e sei a posto. Il processore di query può combinare la ricerca vettoriale con operazioni SQL, quindi non è necessario effettuare più query separate. A differenza dei database solo vettoriali, SingleStore offre queste funzionalità come parte di un database completo, così puoi creare funzionalità di IA senza gestire più sistemi o occuparti di trasferimenti di dati complessi.
Per l’indicizzazione vettoriale SingleStore offre due opzioni. La prima è la ricerca esatta dei k vicini più prossimi (kNN), che trova l’insieme esatto dei k vicini più prossimi per un vettore di query. Ma per dataset molto grandi o alta concorrenza SingleStore supporta anche la ricerca Approximate Nearest Neighbor (ANN) tramite indicizzazione vettoriale. La ricerca ANN può trovare k vicini prossimi molto più rapidamente della ricerca kNN esatta, a volte di ordini di grandezza. C’è un compromesso tra velocità e accuratezza: ANN è più veloce ma potrebbe non restituire l’insieme esatto dei k vicini più prossimi. Per applicazioni con miliardi di vettori che richiedono tempi di risposta interattivi e non necessitano di precisione assoluta, la ricerca ANN è la strada da seguire.
L’implementazione tecnica degli indici vettoriali in SingleStore ha requisiti specifici. Questi indici possono essere creati solo su tabelle columnstore e devono essere creati su una singola colonna che memorizza i dati vettoriali. Il sistema attualmente supporta il formato Vector Type(dimensions[, F32]), F32 è l’unico tipo di elemento supportato. Questo approccio strutturato rende SingleStore ottimo per applicazioni come la ricerca semantica usando vettori provenienti da modelli linguistici di grandi dimensioni, la generazione aumentata tramite recupero (RAG) per la generazione di testo focalizzata e il matching di immagini basato su embedding vettoriali. Combinando queste funzionalità con le caratteristiche tradizionali dei database, SingleStore consente agli sviluppatori di creare applicazioni AI complesse usando la sintassi SQL mantenendo al contempo prestazioni e scalabilità.
MongoDB: Panoramica e tecnologia di base
MongoDB Atlas Vector Search è una funzionalità che consente di eseguire ricerche di similarità vettoriale sui dati memorizzati in MongoDB Atlas. Puoi indicizzare ed eseguire query su embedding vettoriali ad alta dimensionalità insieme ai dati dei tuoi documenti e fare AI e machine learning direttamente nel database.
Alla base, Atlas Vector Search usa l’algoritmo Hierarchical Navigable Small World (HNSW) per indicizzare e cercare dati vettoriali. Questo crea un grafo multilivello dello spazio vettoriale così puoi eseguire ricerche Approximate Nearest Neighbor (ANN). È un equilibrio tra velocità e accuratezza per la ricerca vettoriale su larga scala. Atlas Vector Search supporta anche le ricerche Exact Nearest Neighbors (ENN), che privilegiano l’accuratezza rispetto alle prestazioni per query fino a 10.000 documenti.
Uno dei grandi vantaggi di Atlas Vector Search è la sua integrazione con il modello documentale flessibile di MongoDB. Puoi memorizzare embedding vettoriali insieme ad altri dati del documento così puoi effettuare ricerche in modo più contestuale e preciso. Puoi interrogare qualsiasi tipo di dato che possa essere incorporato fino a 4096 dimensioni. Atlas Vector Search consente di combinare ricerche di similarità vettoriale con il filtraggio tradizionale dei documenti. Ad esempio, una ricerca semantica di prodotti potrebbe essere filtrata per categoria, fascia di prezzo o disponibilità.
Atlas Vector Search supporta anche la ricerca ibrida, combinando la ricerca vettoriale con la ricerca full text per risultati più granulari. Questo è diverso da Atlas Search, che è focalizzato sulla ricerca basata su parole chiave. La piattaforma si integra con servizi e strumenti AI popolari così puoi usarla con modelli di embedding di provider come OpenAI, VoyageAI e molti altri elencati su Hugging Face. Supporta anche framework open-source come LangChain e LlamaIndex per creare applicazioni che usano Large Language Models (LLMs).
Per garantire scalabilità e prestazioni, MongoDB Atlas fornisce Search Nodes, che offre un’infrastruttura dedicata per i carichi di lavoro Atlas Search e Vector Search. Questo ti permette di avere risorse di calcolo ottimizzate e una scalabilità indipendente delle esigenze di ricerca, così ottieni prestazioni migliori su larga scala.
Avendo queste capacità nell’ecosistema MongoDB, Atlas Vector Search è una soluzione completa per gli sviluppatori che creano applicazioni basate su AI, sistemi di raccomandazione o funzionalità di ricerca avanzate. Non serve un database vettoriale separato, puoi usare la scalabilità e le ricche funzionalità di MongoDB insieme alla ricerca vettoriale.
Differenze chiave
Metodologia di ricerca e algoritmi
SingleStore offre diverse opzioni di ricerca vettoriale per adattarsi a differenti casi d’uso. Per risultati esatti, dispone della ricerca exact k-nearest neighbors (kNN). Per privilegiare la velocità rispetto all’esattezza, SingleStore offre la ricerca Approximate Nearest Neighbor (ANN) con diversi tipi di indice: FLAT, IVF_FLAT, IVF_PQ, IVF_PQFS, HNSW_FLAT e HNSW_PQ. Supporta sia il prodotto scalare sia la distanza euclidea per la corrispondenza di similarità, così gli sviluppatori hanno flessibilità nel modo in cui misurano la similarità vettoriale.
MongoDB Atlas Vector Search adotta un approccio più mirato e utilizza HNSW (Hierarchical Navigable Small World) come metodo di ricerca principale. Per dataset più piccoli fino a 10.000 documenti, MongoDB dispone della ricerca Exact Nearest Neighbors (ENN). Per scale più grandi, passa alla ricerca ANN per mantenere le prestazioni. Questo semplifica la decisione per gli sviluppatori pur fornendo capacità di ricerca.
Gestione e struttura dei dati
SingleStore utilizza un approccio strutturato basato su tabelle columnstore. I dati vettoriali devono essere nel formato: Vector Type(dimensions[, F32]). Questo approccio strutturato consente a SingleStore di combinare in modo efficiente SQL tradizionale con operazioni vettoriali. Funziona bene per applicazioni con uno schema dati chiaro in cui le operazioni SQL sono il requisito principale.
MongoDB adotta un approccio più flessibile con il suo storage basato su documenti. Supporta vettori fino a 4096 dimensioni e puoi combinare dati vettoriali con qualsiasi struttura di documento. Questa flessibilità rende MongoDB adatto ad applicazioni con dati semi-strutturati e non strutturati in cui lo schema potrebbe cambiare nel tempo.
Scalabilità e prestazioni
SingleStore scala tramite la distribuzione dei dati su più nodi. Man mano che i dati crescono, puoi aggiungere più nodi per mantenere le prestazioni. Combina la ricerca vettoriale con SQL in una singola query, riducendo la complessità e migliorando le prestazioni. Questa architettura rende SingleStore adatto a operazioni vettoriali ad alte prestazioni all’interno di un database tradizionale.
MongoDB scala tramite Search Nodes dedicati per i carichi di lavoro di ricerca vettoriale. Questa separazione dell’infrastruttura di ricerca dalle operazioni principali del database consente una scalabilità indipendente della ricerca. È ottimizzato per operazioni basate su documenti con ricerca vettoriale integrata, quindi è adatto ad applicazioni che devono bilanciare l’archiviazione documentale tradizionale con funzionalità di ricerca vettoriale.
Integrazione ed ecosistema
Il punto di forza di SingleStore è il suo approccio basato su SQL. Funziona perfettamente con strumenti e flussi di lavoro SQL esistenti, quindi è un’ottima scelta per organizzazioni con competenze e infrastrutture SQL già esistenti. Le applicazioni che richiedono una forte integrazione SQL possono utilizzare le capacità vettoriali di SingleStore senza cambiamenti architetturali significativi.
MongoDB offre un’ampia integrazione con servizi AI popolari come OpenAI e VoyageAI. Supporta framework AI moderni come LangChain e LlamaIndex e funziona con vari modelli di embedding. Dispone inoltre di supporto integrato per la ricerca ibrida che combina ricerca vettoriale e ricerca full-text. Questo ricco ecosistema rende MongoDB una buona scelta per applicazioni basate sull’AI.
Quando scegliere SingleStore
SingleStore è pensato per aziende che utilizzano SQL e devono gestire dati strutturati su larga scala. È perfetto per applicazioni enterprise in cui la corrispondenza vettoriale esatta è importante, come piattaforme di analisi finanziaria, motori di raccomandazione in tempo reale o grandi sistemi di ricerca di similarità tra immagini che richiedono risultati precisi. È indicato quando devi combinare operazioni di database tradizionali con la ricerca vettoriale e il tuo team ha competenze SQL e la tua infrastruttura è costruita attorno a database relazionali.
Quando scegliere MongoDB
MongoDB è la scelta ovvia quando la tua app ha bisogno di strutture dati flessibili e di un’integrazione fluida con i moderni servizi di AI. È ottimo per applicazioni come sistemi di raccomandazione di contenuti, ricerca semantica di documenti o chatbot basati su AI che devono combinare la ricerca vettoriale con dati non strutturati. È ideale quando devi prototipare rapidamente e iterare sulla tua implementazione di ricerca vettoriale, hai bisogno di ricerca ibrida o prevedi di integrarti con molti servizi di AI e modelli di embedding.
Conclusione
Sia SingleStore sia MongoDB sono ottimi per la ricerca vettoriale, ma rispondono a esigenze diverse nel panorama delle app moderne. Il punto di forza di SingleStore è il suo approccio SQL first, le operazioni vettoriali precise e la gestione dei dati strutturati su larga scala, quindi è ottimo per ambienti enterprise in cui le competenze SQL sono abbondanti. La flessibilità di MongoDB, l’integrazione con i servizi di AI e l’approccio basato su documenti lo rendono perfetto per le app moderne che devono combinare la ricerca vettoriale con più tipi di dati e capacità di AI. La tua scelta dovrebbe basarsi sul tuo caso d’uso, sullo stack tecnologico esistente, sulle competenze del team e sul fatto che tu abbia bisogno di operazioni precise basate su SQL oppure di flessibilità e facilità di integrazione con l’AI.
Leggi questo per ottenere una panoramica di SingleStore e MongoDB, ma per valutarli devi farlo in base al tuo caso d’uso. Uno strumento che può aiutare in questo è VectorDBBench, uno strumento di benchmarking open-source per il confronto di database vettoriali. Alla fine, un benchmarking approfondito con i tuoi dataset e i tuoi pattern di query sarà fondamentale per prendere una decisione tra questi due approcci potenti ma diversi alla ricerca vettoriale nei sistemi di database distribuiti.
Usare VectorDBBench open-source per valutare e confrontare autonomamente i database vettoriali
VectorDBBench è uno strumento di benchmarking open-source per gli utenti che hanno bisogno di sistemi di archiviazione e recupero dati ad alte prestazioni, in particolare database vettoriali. Questo strumento consente agli utenti di testare e confrontare diversi sistemi di database vettoriali come Milvus e Zilliz Cloud (il Milvus gestito) usando i propri dataset e di trovare quello adatto ai loro casi d’uso. Con VectorDBBench, gli utenti possono prendere decisioni basate sulle prestazioni effettive dei database vettoriali anziché su affermazioni di marketing o voci di corridoio.
VectorDBBench è scritto in Python e concesso in licenza con la licenza open-source MIT, il che significa che chiunque può usarlo, modificarlo e distribuirlo liberamente. Lo strumento è mantenuto attivamente da una community di sviluppatori impegnati a migliorarne funzionalità e prestazioni.
Scarica VectorDBBench dal suo repository GitHub per riprodurre i nostri risultati di benchmark o ottenere risultati sulle prestazioni sui tuoi dataset.
Dai una rapida occhiata alle prestazioni dei principali database vettoriali nella Leaderboard di VectorDBBench.
Leggi i seguenti blog per saperne di più sulla valutazione dei database vettoriali.
Ulteriori risorse su VectorDB, GenAI e ML
Continua a leggere
Zilliz Cloud Now Available in Azure North Europe: Bringing AI-Powered Vector Search Closer to European Customers
The addition of the Azure North Europe (Ireland) region further expands our global footprint to better serve our European customers.
How to Build an Enterprise-Ready RAG Pipeline on AWS with Bedrock, Zilliz Cloud, and LangChain
Build production-ready enterprise RAG with AWS Bedrock, Nova models, Zilliz Cloud, and LangChain. Complete tutorial with deployable code.
What is the K-Nearest Neighbors (KNN) Algorithm in Machine Learning?
KNN is a supervised machine learning technique and algorithm for classification and regression. This post is the ultimate guide to KNN.
The Definitive Guide to Choosing a Vector Database
Overwhelmed by all the options? Learn key features to look for & how to evaluate with your own data. Choose with confidence.