MongoDB vs Vearch: scegliere il database giusto per le applicazioni GenAI
Con l’evoluzione delle applicazioni guidate dall’AI, l’importanza delle capacità di ricerca vettoriale nel supportare questi progressi non può essere sottovalutata. Questo post del blog discuterà due importanti database con capacità di ricerca vettoriale: MongoDB e Vearch. Ciascuno offre solide capacità per gestire la ricerca vettoriale, una funzionalità essenziale per applicazioni come motori di raccomandazione, recupero di immagini e ricerca semantica. Il nostro obiettivo è fornire a sviluppatori e ingegneri un confronto chiaro, aiutandoli a decidere quale database si allinei meglio ai loro requisiti specifici.
Che cos’è un database vettoriale?
Prima di confrontare MongoDB vs Vearch, esploriamo innanzitutto il concetto di database vettoriali.
Un database vettoriale è progettato specificamente per archiviare e interrogare vettori ad alta dimensionalità, che sono rappresentazioni numeriche di dati non strutturati. Questi vettori codificano informazioni complesse, come il significato semantico del testo, le caratteristiche visive delle immagini o gli attributi dei prodotti. Abilitando efficienti ricerche di similarità, i database vettoriali svolgono un ruolo fondamentale nelle applicazioni AI, consentendo analisi e recupero dei dati più avanzati.
I casi d’uso comuni per i database vettoriali includono raccomandazioni di prodotti e-commerce, piattaforme di scoperta dei contenuti, rilevamento delle anomalie nella cybersecurity, analisi di immagini mediche e attività di elaborazione del linguaggio naturale (NLP). Svolgono inoltre un ruolo cruciale nella Retrieval Augmented Generation (RAG), una tecnica che migliora le prestazioni dei modelli linguistici di grandi dimensioni (LLM) fornendo conoscenza esterna per ridurre problemi come le allucinazioni dell’AI.
Esistono molti tipi di database vettoriali disponibili sul mercato, tra cui:
- Database vettoriali appositamente progettati come Milvus, Zilliz Cloud (Milvus completamente gestito)
- Librerie di ricerca vettoriale come Faiss e Annoy.
- Database vettoriali leggeri come Chroma e Milvus Lite.
- Database tradizionali con componenti aggiuntivi di ricerca vettoriale capaci di eseguire ricerche vettoriali su piccola scala.
MongoDB è un database NoSQL con la ricerca vettoriale come componente aggiuntivo. Vearch è un database vettoriale appositamente progettato. Questo post confronta le loro capacità di ricerca vettoriale.
MongoDB: le basi
MongoDB Atlas Vector Search è una funzionalità che consente di eseguire ricerche di similarità vettoriale sui dati archiviati in MongoDB Atlas. Puoi indicizzare e interrogare embedding vettoriali ad alta dimensionalità insieme ai dati dei tuoi documenti ed eseguire AI e machine learning direttamente nel database.
Alla base, Atlas Vector Search utilizza l’algoritmo Hierarchical Navigable Small World (HNSW) per indicizzare e cercare dati vettoriali. Questo crea un grafo multilivello dello spazio vettoriale, così puoi eseguire ricerche Approximate Nearest Neighbor (ANN). È un equilibrio tra velocità e accuratezza per la ricerca vettoriale su larga scala. Atlas Vector Search supporta anche ricerche Exact Nearest Neighbors (ENN), che danno priorità all’accuratezza rispetto alle prestazioni per query fino a 10.000 documenti.
Uno dei grandi vantaggi di Atlas Vector Search è la sua integrazione con il modello documentale flessibile di MongoDB. Puoi archiviare gli embedding vettoriali insieme ad altri dati del documento, così da poter effettuare ricerche in modo più contestuale e preciso. Puoi interrogare qualsiasi tipo di dato che possa essere incorporato fino a 4096 dimensioni. Atlas Vector Search ti consente di combinare ricerche per similarità vettoriale con il filtraggio tradizionale dei documenti. Ad esempio, una ricerca semantica di prodotti potrebbe essere filtrata per categoria, fascia di prezzo o disponibilità.
Atlas Vector Search supporta anche la ricerca ibrida, combinando la ricerca vettoriale con la ricerca full text per risultati più granulari. Questo è diverso da Atlas Search, che si concentra sulla ricerca basata su parole chiave. La piattaforma si integra con servizi e strumenti AI popolari, così puoi usarla con modelli di embedding di provider come OpenAI, VoyageAI e molti altri elencati su Hugging Face. Supporta anche framework open-source come LangChain e LlamaIndex per creare applicazioni che utilizzano Large Language Models (LLMs).
Per garantire scalabilità e prestazioni, MongoDB Atlas fornisce Search Nodes, che offre un’infrastruttura dedicata per i carichi di lavoro di Atlas Search e Vector Search. Questo ti consente di avere risorse di calcolo ottimizzate e una scalabilità indipendente delle esigenze di ricerca, così da ottenere prestazioni migliori su larga scala.
Avendo queste funzionalità nell’ecosistema MongoDB, Atlas Vector Search è una soluzione completa per gli sviluppatori che creano applicazioni basate su AI, sistemi di raccomandazione o funzionalità di ricerca avanzate. Non serve un database vettoriale separato: puoi usare la scalabilità e le ricche funzionalità di MongoDB insieme alla ricerca vettoriale.
Che cos’è Vearch? Le basi
Vearch è uno strumento per sviluppatori che creano applicazioni AI che necessitano di ricerche di similarità rapide ed efficienti. È come un database potenziato, ma invece di archiviare dati normali, è progettato per gestire quei complessi embedding vettoriali che alimentano molta della tecnologia AI moderna.
Una delle cose più interessanti di Vearch è la sua ricerca ibrida. Puoi cercare tramite vettori (pensa a trovare immagini o testi simili) e anche filtrare per dati regolari come numeri o testo. Così puoi eseguire ricerche complesse come “trova prodotti simili a questo, ma solo nella categoria elettronica e sotto i $500”. È anche veloce: parliamo di ricerche su un corpus di milioni di vettori in millisecondi.
Vearch è progettato per crescere con le tue esigenze. Usa una configurazione a cluster, come un team di computer che lavorano insieme. Hai diversi tipi di nodi (master, router e partition server) che gestiscono lavori diversi, dalla gestione dei metadati all’archiviazione e al calcolo dei dati. Questo consente a Vearch di scalare orizzontalmente ed essere affidabile man mano che i tuoi dati crescono. Puoi aggiungere più macchine per gestire più dati o traffico senza fatica.
Per gli sviluppatori, Vearch ha alcune funzionalità utili che semplificano la vita. Puoi aggiungere dati al tuo indice in tempo reale, così i risultati di ricerca sono sempre aggiornati. Supporta più campi vettoriali in un singolo documento, il che è pratico per dati complessi. C’è anche un Python SDK per sviluppo e test rapidi. Vearch è flessibile nei metodi di indicizzazione (IVFPQ e HNSW) e supporta sia versioni CPU sia GPU, così puoi ottimizzare per il tuo hardware e caso d’uso specifici. Che tu stia creando un sistema di raccomandazione, una ricerca di immagini simili o qualsiasi app AI che richieda un matching di similarità rapido, Vearch ti dà gli strumenti per realizzarlo in modo efficiente.
Differenze chiave
Quando crei applicazioni AI che richiedono ricerca vettoriale, vengono in mente due strumenti: MongoDB Atlas Vector Search e Vearch. Entrambi sono potenti, ma presentano alcune differenze chiave che influenzeranno la tua decisione. Vediamo come questi strumenti si confrontano in diverse aree fondamentali.
Metodologia di ricerca
MongoDB Atlas Vector Search utilizza l’algoritmo Hierarchical Navigable Small World (HNSW) per indicizzare e cercare dati vettoriali. Crea un grafo multilivello dello spazio vettoriale per ricerche Approximate Nearest Neighbor (ANN). Supporta anche ricerche Exact Nearest Neighbors (ENN) per dataset più piccoli.
Vearch, d’altra parte, offre flessibilità nei metodi di indicizzazione. Supporta sia gli algoritmi IVFPQ sia HNSW, quindi hai più opzioni per ottimizzare in base al tuo caso d’uso.
Dati
MongoDB Atlas Vector Search eccelle grazie alla sua integrazione con il modello a documenti di MongoDB. Puoi archiviare gli embedding vettoriali insieme ad altri dati del documento, così puoi effettuare ricerche con più contesto e precisione. Questo è particolarmente utile per applicazioni che devono combinare ricerche di similarità vettoriale con il filtraggio dei documenti.
Vearch supporta anche la ricerca ibrida, quindi puoi cercare per vettori e filtrare in base a dati ordinari. Può gestire più campi vettoriali in un singolo documento, il che è utile per strutture dati complesse.
Scalabilità e prestazioni
MongoDB Atlas dispone di Search Nodes dedicati per i carichi di lavoro di Vector Search, così puoi scalare la ricerca in modo indipendente. Questo significa migliori prestazioni su larga scala, specialmente per dataset di grandi dimensioni.
Vearch ha una configurazione cluster con diversi tipi di nodi (master, router e partition server) che gestiscono compiti diversi. Questa architettura consente a Vearch di scalare orizzontalmente man mano che i tuoi dati crescono e puoi aggiungere più macchine per gestire più dati o traffico.
Flessibilità e personalizzazione
MongoDB Atlas Vector Search può interrogare qualsiasi dato che possa essere trasformato in embedding fino a 4096 dimensioni. Supporta inoltre la combinazione di ricerche di similarità vettoriale con filtraggio dei documenti e ricerca full-text.
Vearch offre flessibilità nei metodi di indicizzazione e supporta sia versioni CPU sia GPU, così puoi ottimizzare in base al tuo hardware e al tuo caso d’uso.
Integrazione ed ecosistema
MongoDB Atlas Vector Search si integra con servizi e strumenti AI popolari. Funziona con modelli di embedding di OpenAI e VoyageAI e supporta LangChain e LlamaIndex per creare applicazioni con Large Language Models (LLMs).
Vearch ha un SDK Python per sviluppo e test rapidi, ma non ci sono informazioni sulla sua integrazione con altri strumenti o framework AI in questo contesto.
Facilità d’uso
MongoDB Atlas Vector Search trae vantaggio dall’essere parte dell’ecosistema MongoDB, che molti sviluppatori conoscono già, quindi potrebbe ridurre la curva di apprendimento per i team che utilizzano già MongoDB.
Vearch dispone di indicizzazione in tempo reale e di un SDK Python, il che rende lo sviluppo e i test più semplici, ma la sua architettura distribuita richiede maggiori conoscenze di configurazione e manutenzione.
Costo
MongoDB Atlas è un servizio gestito, quindi semplifica le operazioni, ma potrebbe costare di più a seconda del tuo utilizzo.
Vearch è open source, quindi può ridurre i costi diretti, ma richiede un maggiore investimento in infrastruttura e gestione.
Sicurezza
MongoDB Atlas probabilmente dispone delle robuste funzionalità di sicurezza di MongoDB, tra cui crittografia, autenticazione e controllo degli accessi.
La sicurezza di Vearch dipende da te.
Quando usare MongoDB Atlas Vector Search
Usa MongoDB Atlas Vector Search quando hai dati complessi basati su documenti che richiedono sia query tradizionali sia ricerca vettoriale. È perfetto per applicazioni che devono combinare ricerche di similarità vettoriale con il filtraggio dei documenti, come sistemi avanzati di raccomandazione prodotti o piattaforme di scoperta dei contenuti. Se stai già usando MongoDB per i tuoi dati e vuoi aggiungere una ricerca potenziata dall’AI senza introdurre un database vettoriale separato, Atlas Vector Search offre un’integrazione fluida. È anche adatto a progetti che richiedono una stretta integrazione con servizi e strumenti AI popolari, poiché supporta modelli di embedding di vari provider e funziona bene con LangChain e LlamaIndex.
Quando usare Vearch
Vearch è utile quando hai bisogno di maggiore controllo sui metodi di indicizzazione e sull’ottimizzazione dell’hardware. È perfetto per progetti che richiedono indicizzazione in tempo reale e possono gestire più campi vettoriali in un singolo documento. Se stai sviluppando un’applicazione che deve scalare per gestire enormi quantità di dati vettoriali, l’architettura basata su cluster di Vearch potrebbe essere una buona soluzione. È utile anche per gli sviluppatori che vogliono la flessibilità di scegliere tra implementazioni CPU e GPU in base alla loro configurazione hardware. Vearch potrebbe anche essere l’opzione migliore per i team che preferiscono soluzioni open-source e vogliono un maggiore controllo sulla propria infrastruttura di ricerca vettoriale.
Riepilogo
Sia MongoDB Atlas Vector Search sia Vearch sono ottime soluzioni di ricerca vettoriale, ma per esigenze diverse. MongoDB Atlas Vector Search è utile per integrare la ricerca vettoriale con dati basati su documenti ed è un servizio gestito all’interno dell’ecosistema MongoDB. Vearch è utile per la flessibilità nei metodi di indicizzazione, l’ottimizzazione dell’hardware e l’architettura scalabile. La scelta tra questi due dovrebbe basarsi sul tuo caso d’uso, sull’infrastruttura esistente, sui requisiti di prestazioni e sulle competenze del team. Considera la complessità dei dati, le esigenze di scalabilità, i requisiti di integrazione e se desideri un servizio gestito o una soluzione open-source che puoi personalizzare in modo significativo.
Leggi questo per ottenere una panoramica di MongoDB e Vearch, ma per valutarli devi farlo in base al tuo caso d’uso. Uno strumento che può aiutare in questo è VectorDBBench, uno strumento di benchmarking open-source per il confronto di database vettoriali. Alla fine, un benchmarking approfondito con i tuoi dataset e i tuoi pattern di query sarà fondamentale per prendere una decisione tra questi due approcci potenti ma diversi alla ricerca vettoriale nei sistemi di database distribuiti.
Utilizzare VectorDBBench open-source per valutare e confrontare i database vettoriali autonomamente
VectorDBBench è uno strumento di benchmarking open-source per utenti che necessitano di sistemi di archiviazione e recupero dati ad alte prestazioni, in particolare database vettoriali. Questo strumento consente agli utenti di testare e confrontare diversi sistemi di database vettoriali come Milvus e Zilliz Cloud (il Milvus gestito) utilizzando i propri dataset e trovare quello più adatto ai loro casi d’uso. Con VectorDBBench, gli utenti possono prendere decisioni basate sulle prestazioni effettive dei database vettoriali piuttosto che su affermazioni di marketing o voci di corridoio.
VectorDBBench è scritto in Python e concesso in licenza con la licenza open-source MIT, il che significa che chiunque può utilizzarlo, modificarlo e distribuirlo liberamente. Lo strumento è mantenuto attivamente da una comunità di sviluppatori impegnati a migliorarne funzionalità e prestazioni.
Scarica VectorDBBench dal suo repository GitHub per riprodurre i nostri risultati di benchmark o ottenere risultati sulle prestazioni sui tuoi dataset.
Dai una rapida occhiata alle prestazioni dei database vettoriali mainstream nella classifica VectorDBBench.
Leggi i seguenti blog per saperne di più sulla valutazione dei database vettoriali.
Ulteriori risorse su VectorDB, GenAI e ML
Continua a leggere
Smarter Autoscaling in Zilliz Cloud: Always Optimized for Every Workload
With the latest upgrade, Zilliz Cloud introduces smarter autoscaling—a fully automated, more streamlined, elastic resource management system.
8 Latest RAG Advancements Every Developer Should Know
Explore eight advanced RAG variants that can solve real problems you might be facing: slow retrieval, poor context understanding, multimodal data handling, and resource optimization.
Vector Databases vs. Object-Relational Databases
Use a vector database for AI-powered similarity search; use an object-relational database for complex data modeling with both relational integrity and object-oriented features.
The Definitive Guide to Choosing a Vector Database
Overwhelmed by all the options? Learn key features to look for & how to evaluate with your own data. Choose with confidence.