La prossima tappa per i database vettoriali: 8 previsioni per il 2023
Il 2022 ha segnato un anno significativo per i database vettoriali. In particolare, la community di Milvus ha rilasciato il database vettoriale cloud-native Milvus 2.0. Su GitHub sono emersi più di dieci prodotti di database vettoriali open-source, come Vald, Weaviate, Qdrant, Vespa, Vearch, AquilaDB e Marqo. Produttori di database come Elastic e Redis sono entrati nella mischia, introducendo funzionalità di retrieval vettoriale. Sul fronte cloud, Zilliz, il team dietro la community di Milvus, ha lanciato un servizio DBaaS completamente gestito, Zilliz Cloud, in competizione con aziende come Pinecone e Google Vertex AI.
Il mercato dei capitali è stato altrettanto vivace, con diverse aziende di database vettoriali che hanno ottenuto finanziamenti significativi, ponendo le basi per un'ulteriore crescita. Questo afflusso di capitali e l'interesse per i database vettoriali nel 2022 aprono la strada alle mie previsioni per il 2023, un anno in cui mi aspetto di assistere al continuo sviluppo e alla maturazione di questa tecnologia emergente.
| Azienda | Raccolto | Data |
|---|---|---|
| Zilliz | $60M (Round B+) | Ago 2022 |
| Pinecone | $28M (Round A) | Mar 2022 |
| Weaviate | $16M (Round A) | Feb 2022 |
| Qdrant | €2M (Round Pre-Seed) | Gen 2022 |
Situazioni di finanziamento delle aziende di database vettoriali nel 2022
Previsioni 2023 per i database vettoriali
Previsione #1: Differenziazione e specializzazione nei database vettoriali
Nel 2023, i database vettoriali evolveranno in modo distintivo grazie all'afflusso di capitali e al rapido sviluppo dei casi d'uso, portando a differenziazione e specializzazione:
Serving online contro elaborazione offline: I database vettoriali tradizionali, progettati per elevate esigenze online in tempo reale con scale di dati più ridotte, ora si adatteranno per gestire enormi set di dati provenienti da ambiti come l'elaborazione delle immagini e il NLP, rendendo necessarie capacità migliorate di elaborazione batch e offline.
Istanze logiche contro istanze fisiche: Il settore vedrà una divisione tra istanze logiche, focalizzate sulla facilità d'uso e su deployment semplici, e istanze fisiche come Milvus, che offrono soluzioni di storage flessibili e retrieval efficiente. Questa divergenza risponde a esigenze diverse, dalla semplice elaborazione vettoriale alla complessa generazione di vettori.
Sistemi standalone contro sistemi distribuiti cloud-native: La scelta tra sistemi standalone e sistemi distribuiti cloud-native sarà cruciale. Mentre i sistemi standalone offrono stabilità, i design distribuiti cloud-native come Milvus 2.0 sono predisposti per la scalabilità e le efficienze basate sul cloud.
Diverse implementazioni di indicizzazione: Le metodologie di indicizzazione si stanno diversificando. Con nuovi sviluppi come la tecnologia ScaNN di Google, i database vettoriali si stanno evolvendo in termini di prestazioni e funzionalità, adattandosi a casi d'uso specifici e a requisiti di efficienza.
Queste tendenze indicano un movimento verso database vettoriali più personalizzati e specializzati, allineati alle esigenze specifiche di applicazioni e scale di dati diverse.
Previsione #2: Passaggio verso un'interfaccia di query unificata
Attualmente, i database vettoriali non dispongono di un'interfaccia di query unificata, utilizzando prevalentemente SDK Python personalizzati o API Restful. Tuttavia, sviluppi come BigLake di Big Query a Google Next 2022, che promuove SQL come linguaggio primario per dati non strutturati ed elaborazione vettoriale, suggeriscono un cambiamento significativo. Nonostante la base utenti tradizionale di SQL differisca dagli sviluppatori di deep learning e il suo successo nel machine learning sia stato alterno, il suo potenziale come linguaggio di query per i database vettoriali merita attenzione.
Oltre SQL, ci sono esperimenti con linguaggi di query basati su GraphQL e DSL personalizzati. Indipendentemente da quale interfaccia otterrà una maggiore accettazione, la previsione per il 2023 è l'emergere di un'interfaccia standard de facto nel dominio dei database vettoriali, con più prodotti che adottano un approccio simile per l'implementazione.
Previsione #3: Ulteriore integrazione dei database vettoriali con i database tradizionali
I database vettoriali si sono evoluti considerevolmente negli ultimi due anni, andando oltre la loro fase iniziale come semplici wrapper attorno a FAISS. Ora presentano regolarmente funzionalità per il filtraggio e l'indicizzazione di campi scalari e la gestione di operazioni CRUD su dati in streaming, integrando elementi come parser, ottimizzatori, memoria e gestione della concorrenza dai database tradizionali. Molti database OLAP e NoSQL incorporano funzionalità di recupero vettoriale, diventando attori significativi in questo campo.
Nonostante la convinzione che "una soluzione unica non sia adatta a tutti", con i database tradizionali in difficoltà nel recupero vettoriale a causa di limitazioni umane e architetturali, il 2023 vedrà probabilmente più produttori di database tradizionali entrare nello spazio del recupero vettoriale, attratti dal suo potenziale. I database vettoriali, d'altra parte, stanno imparando sempre più dagli ambiti dei database tradizionali, trasferendo il loro nucleo dall'infrastruttura AI a funzionalità più orientate ai database. Questo cambiamento è guidato dalla necessità di soluzioni di recupero vettoriale più general-purpose e stabili. Di conseguenza, ci aspettiamo di vedere un afflusso di talenti con background nei database tradizionali (inclusi elaborazione delle transazioni, elaborazione delle applicazioni, ricerca e caching) nel settore dei database vettoriali nel 2023.
Previsione #4: Significativa riduzione dei costi nei database vettoriali
Nel 2023, si prevede che i database vettoriali sperimentino una riduzione dei costi di 3-5 volte. Questo cambiamento è cruciale poiché costi e prestazioni sono stati ostacoli significativi al superamento della ricerca tradizionale basata su parole chiave da parte del recupero vettoriale. Attualmente, la maggior parte dei database vettoriali si basa esclusivamente sulla memoria. Per archiviare dati vettoriali nell'ordine di decine di miliardi, hanno bisogno di una capacità di memoria dell'ordine di decine di terabyte.
Diversi fattori stanno contribuendo a questa riduzione dei costi:
Uso diffuso dell'architettura ARM nel cloud: Le semplici prestazioni computazionali di ARM offrono un'efficienza in termini di costi 2-3 volte migliore rispetto a X86.
Crescita dell'hardware eterogeneo: Questi sistemi superano le capacità di memoria/archiviazione e larghezza di banda delle GPU.
Progressi nelle tecniche di quantizzazione: In particolare l'applicazione della quantizzazione a 4 bit nel recupero vettoriale.
Focus sulla ricerca sugli indici Disk Anns: Emergendo come una direzione di ricerca mainstream.
Prestazioni dei dischi NVMe: Utilizzando tecnologie come AIO e IO_URING, raggiungendo IOPs a livello di milioni.
Comprensione più profonda dei database vettoriali: Sfruttando metadati e tecniche di pruning simili a quelle dei database tradizionali, riducendo la necessità di interrogare tutti gli shard ogni volta.
Selezione dei parametri di indice e modello basata sul machine learning: Questo approccio verrà implementato in produzione per la prima volta.
Caratteristiche di temperatura dei dati vettoriali: Come i dati scalari tradizionali, i dati vettoriali presentano caratteristiche hot e cold.
Questi sviluppi indicano un anno promettente per i database vettoriali, rendendoli più convenienti ed efficienti in termini di costi.
Previsione #5: Emergere del primo database vettoriale serverless
Nel 2023, prevediamo l'introduzione del primo database vettoriale serverless. L'architettura serverless offre flessibilità e fatturazione on-demand, particolarmente interessante per i servizi di database vettoriali ospitati nel cloud. Questa tecnologia si adatta alla natura complessa dei recuperi vettoriali, che includono processi offline e online e spesso affrontano carichi fluttuanti in ambienti multi-tenant. Il serverless semplifica la valutazione della capacità e l'isolamento del business per gli utenti.
Sebbene i database vettoriali serverless siano ancora in evoluzione e abbiano ancora strada da fare prima di raggiungere la maturità, esiste il potenziale per sviluppi iniziali simili ai sistemi autonomi basati su container e scalabili dinamicamente di AWS Aurora. Tuttavia, la piena realizzazione di un database vettoriale serverless realmente distribuito potrebbe essere ancora piuttosto lontana.
Previsione #6: Ascesa degli strumenti open-source per i database vettoriali
Nel 2023, possiamo aspettarci di vedere l’ascesa di strumenti open-source pensati per i database vettoriali. Le caratteristiche uniche dei dati vettoriali richiedono la creazione di strumenti innovativi che vadano oltre i metodi tradizionali di rappresentazione dei dati. Questi strumenti forniranno modi più intuitivi e visivi per visualizzare i dati vettoriali, inclusa la loro distribuzione e i percorsi delle query.
Anche lo sviluppo di strumenti per il trasferimento dei dati sarà un obiettivo chiave. Questi strumenti miglioreranno le capacità di backup, migrazione e importazione dei dati, rispondendo alla crescente diversità dei database vettoriali. Svolgeranno un ruolo cruciale nel collegare diversi tipi di dati e nel gestire il flusso di dati vettoriali su larga scala generati da piattaforme come Spark, PyTorch e TensorFlow, facilitando un’integrazione senza soluzione di continuità tra vari cloud e data center.
Previsione #7: Adozione precoce dell’AI per Database (AI4DB) nei database vettoriali
Nel 2023, i database vettoriali apriranno la strada a un’implementazione pratica delle tecnologie di AI per Database (AI4DB). Sebbene l’AI4DB sia un concetto presente nel campo dei database da molti anni, la sua adozione su larga scala è stata impegnativa. L’ostacolo principale è rappresentato dalle elevate esigenze di accuratezza e spiegabilità dei database relazionali, dove anche una minima percentuale di imprecisioni può ostacolare le applicazioni di AI nei casi d’uso reali.
I database vettoriali, tuttavia, operano intrinsecamente sull’ottimizzazione probabilistica, concentrandosi più sui tassi di recall che sull’accuratezza assoluta. Questa caratteristica consente un’applicazione più aggressiva dell’AI4DB, come la regolazione automatica dei parametri, la riscrittura delle istruzioni di query e l’uso di indici appresi. I test hanno dimostrato che l’utilizzo delle previsioni dei modelli per i parametri delle query può più che raddoppiare le prestazioni su dataset di grandi dimensioni. L’ottimizzazione degli indici e dei parametri delle query basata sui dataset e su un piccolo insieme di query porterà probabilmente a miglioramenti ancora più significativi.
Previsione #8: Seconda azienda commerciale emergente da Milvus open-source
Nel 2023, possiamo aspettarci il lancio di nuove iniziative commerciali che sfruttano il database vettoriale open-source Milvus. Milvus è uno dei database vettoriali cloud-native più importanti e avanzati a livello globale. Come progetti open-source di successo quali Hadoop, Presto e Clickhouse, Milvus ispirerà entità commerciali a contribuire alla sua base e a costruirvi sopra. Sebbene avviare da zero un progetto di database vettoriale diventi sempre più impegnativo, il potenziale per sviluppare SaaS (Software as a Service) basati su database vettoriali come Milvus rimane significativo. Questa tendenza probabilmente continuerà con l’ingresso di più contributori nella comunità open-source, la collaborazione al progetto Milvus e l’esplorazione di opportunità commerciali.
Considerazioni finali
Negli ultimi anni si è assistito a una significativa espansione delle capacità e dei casi d’uso dei database vettoriali, fortemente favorita dai progressi nella potenza di calcolo, incluse GPU e hardware specializzato. Guardando al 2023, si prospetta un anno molto atteso per il settore e per la comunità open-source. Promette di essere un periodo di continua innovazione, crescita e collaborazione.
Questa serie di previsioni, seppur breve, mira a offrire uno sguardo sul futuro dei database vettoriali, evidenziando gli sviluppi entusiasmanti e le opportunità all’orizzonte. Man mano che procediamo nel 2023, le prospettive per questo campo sono promettenti e indicative della natura dinamica e in evoluzione della tecnologia. Attendiamo con interesse ciò che il prossimo anno ci porterà nei database vettoriali. Ci vediamo nel 2023!
Continua a leggere
Why and How to Migrate from Self-Hosted Milvus to Zilliz Cloud
A simple, step-by-step guide to migrating from Milvus to Zilliz Cloud. Learn both endpoint and backup methods for a smooth, scalable vector database migration.
Balancing Precision and Performance: How Zilliz Cloud's New Parameters Help You Optimize Vector Search
Optimize vector search with Zilliz Cloud’s level and recall features to tune accuracy, balance performance, and power AI applications.
Vector Databases vs. Document Databases
Use a vector database for similarity search and AI-powered applications; use a document database for flexible schema and JSON-like data storage.