Il miglior database vettoriale è appena migliorato
Spinti dall’adozione diffusa di ChatGPT e di altri LLM, i database vettoriali hanno visto crescere la loro popolarità nel 2023.
Sebbene molti clienti di Zilliz Cloud utilizzino il nostro servizio in qualche tipo di sistema di generazione aumentata dal recupero (RAG), abbiamo osservato un’adozione anche in vari sistemi di ricerca e recupero. Non si tratta di un’anomalia; in senso ampio, Zilliz Cloud è pensato come un modo per consentire ai computer di comprendere davvero i dati generati dagli esseri umani, da testi e immagini a transazioni bancarie e comportamenti degli utenti.
Oggi abbiamo introdotto il passo successivo nella nostra evoluzione aggiungendo una serie di nuove funzionalità a Zilliz Cloud: range search, multi-tenancy e RBAC, prestazioni di ricerca e indicizzazione migliorate fino a 10 volte e molto altro. Ma perché abbiamo deciso di introdurre queste funzionalità? La risposta è semplice: i nostri utenti le hanno richieste. Le applicazioni che stanno costruendo e le sfide ingegneristiche che stanno affrontando rendono necessario un database vettoriale purpose-built che supporti funzionalità di database essenziali e una varietà di carichi di lavoro. Nel resto di questo post, approfondirò tre casi d’uso reali di clienti in cui le nuove funzionalità di Zilliz Cloud non sono state solo utili, ma fondamentali nello sviluppo e nel successo delle applicazioni dei nostri utenti.
Entriamo nel merito.
Agenti autonomi efficienti
La memoria - frammenti di testo inseriti nella finestra di contesto di un LLM per fornirgli informazioni storiche - è probabilmente uno dei componenti più importanti di un agente autonomo (personaggio virtuale). Le finestre di contesto sono fortemente limitate per tre motivi diversi: 1) non sono infinite, 2) contesti lunghi rallentano significativamente la generazione del testo e 3) la maggior parte degli LLM a contesto lungo tende a "ricordare" solo le informazioni all’inizio e alla fine della finestra di contesto. I database vettoriali risolvono tutti questi problemi.
Prendiamo come esempio un bot di servizio clienti o un agente di supporto. In questa applicazione, molte informazioni diverse, ad esempio la knowledge base originale, tutti i prompt dell’utente, le immagini caricate dagli utenti, frammenti audio, tutte le risposte dell’agente, ecc., devono essere archiviate in Zilliz Cloud per consentire un recupero rapido. Ogni volta che un cliente digita un messaggio, tutti i contenuti rilevanti dalla knowledge base e dalle conversazioni precedenti devono essere recuperati, rendendo questo carico di lavoro sia a elevata intensità di lettura sia a elevata intensità di scrittura, con enormi quantità di dati dei messaggi archiviate ogni secondo.
Per rendere questo problema ancora più impegnativo, i dati forniti a questo agente di servizio clienti sono intrinsecamente multimodali; la ricerca testuale semplicemente non è sufficiente. L’architettura di database distribuito di Zilliz supporta già tutto questo su scala enorme - aumentando il numero di query node per una maggiore capacità di lettura e il numero di data node per una maggiore capacità di scrittura - ma il nostro nuovo motore di ricerca vettoriale Cardinal è stato il fattore decisivo finale. Cardinal include il nostro indice vettoriale proprietario, una serie di ottimizzazioni di calcolo a livello di codice macchina e algoritmi cache-aware, tra molte altre ottimizzazioni delle prestazioni. Per farla breve, per questa particolare applicazione, Zilliz Cloud ha finito per consentire la stessa capacità di ricerca e indicizzazione di altri database vettoriali a meno di un terzo del prezzo. Laddove il costo annuale era proibitivo per altre soluzioni di ricerca vettoriale, siamo intervenuti e abbiamo reso questo agente autonomo una realtà.
Raccomandazione di prodotti
I sistemi di raccomandazione sono progettati per proporre una varietà di contenuti, ad es. prodotti, notizie, contenuti degli utenti, ecc., in base alla cronologia precedente di visualizzazione o navigazione di un consumatore. I database vettoriali sono perfetti per questo tipo di applicazione: vettorializzando e memorizzando ogni singolo elemento in Zilliz Cloud, le raccomandazioni possono essere eseguite semplicemente chiamando collection.search. I vicini più prossimi risultanti sono essi stessi le raccomandazioni più pertinenti.
Raccomandazioni rapide e pertinenti sono un requisito imprescindibile per qualsiasi prodotto B2C, ma nel mondo dell'e-commerce le raccomandazioni di prodotto sono particolarmente cruciali per l'esperienza complessiva e possono essere motori di ricavi incredibilmente efficienti. Una delle missioni principali dei nostri utenti era migliorare le prestazioni del loro sistema di raccomandazione dei prodotti sfruttando l'AI. Come per molti altri, il loro caso d'uso era estremamente sensibile alla latenza: le query al loro database vettoriale dovevano essere completate entro 10 millisecondi per mantenere una buona esperienza per l'utente finale, e richiedeva un throughput moderato. Inoltre, queste raccomandazioni non erano ricerche generiche. I loro utenti finali avevano spesso bisogno di raccomandazioni filtrate (come dimensioni specifiche per l'abbigliamento o un particolare numero di scarpe). Questa complessità si estendeva alla natura dei dati di prodotto, che era intrinsecamente multimodale, comprendendo titoli, descrizioni e immagini dei prodotti.
Cardinal ha permesso loro di soddisfare i requisiti prestazionali, ma lo schema dinamico e il supporto JSON di Zilliz Cloud si sono rivelati una svolta in questo caso. Ha consentito al cliente di adattare i propri modelli di dati alle caratteristiche specifiche di ciascuna classe di prodotto, garantendo che i metadati vari e complessi potessero essere memorizzati e interrogati in modo efficiente insieme a ciascun vettore. Questa adattabilità, combinata con le prestazioni superiori di Cardinal, è stata il fattore decisivo per questo particolare cliente.
Scoperta di farmaci basata sull'AI
La scoperta di farmaci è un problema incredibilmente difficile. Le molecole per i farmaci possono variare in dimensioni, dalle "small molecules" con decine di atomi ai grandi biologici con decine di migliaia di atomi. Il machine learning può vettorializzare ogni molecola, creando una rappresentazione basata sulla sua funzione, come il trattamento di una specifica malattia o sintomo.
In questo processo, la funzionalità di ricerca per intervallo di Zilliz Cloud svolge un ruolo cruciale. I ricercatori vettorializzano la malattia o il sintomo target e cercano in Zilliz Cloud farmaci candidati. La ricerca per intervallo va oltre le ricerche top-k standard trovando tutti i vettori (molecole) entro una certa distanza dal target, fornendo tutti i candidati pertinenti invece di un numero fisso. Questa funzionalità non è solo vitale per la scoperta di farmaci, ma è anche applicabile in aree come il rilevamento delle frodi e la sicurezza informatica. Ad esempio, nel settore bancario, le transazioni vengono vettorializzate e confrontate con nuove transazioni utilizzando la ricerca per intervallo per identificare attività passate simili, aiutando nel rilevamento degli outlier.
Parole conclusive
RAG è stato e continuerà a essere incredibilmente importante per noi, ma è solo la punta dell'iceberg dei database vettoriali. Qui abbiamo presentato tre casi d'uso reali resi direttamente possibili da alcune delle nuove funzionalità che annunciamo oggi. Confrontando Zilliz Cloud con altri database vettoriali, queste funzionalità sono state, e continueranno a essere, il fattore determinante per il successo.
Detto questo, non fidatevi solo della mia parola. Molti tipi di dati possono essere vettorializzati, memorizzati e interrogati all'interno di Zilliz Cloud. Provatelo ora gratuitamente senza complicazioni di installazione, e lasciate che la rivoluzione dei dati abbia inizio.
Continua a leggere
Top 10 Context Engineering Techniques You Should Know for Production RAG
A practical guide to context engineering for production LLM systems, covering RAG, context processing, memory, agents, and multimodal context.
Smarter Autoscaling in Zilliz Cloud: Always Optimized for Every Workload
With the latest upgrade, Zilliz Cloud introduces smarter autoscaling—a fully automated, more streamlined, elastic resource management system.
Why AI Databases Don't Need SQL
Whether you like it or not, here's the truth: SQL is destined for decline in the era of AI.