L'evoluzione e il futuro dell'IA e la sua influenza sui database vettoriali: approfondimenti da Charles, CEO di Zilliz
Questa è la seconda puntata della nostra serie di blog in due parti.
Bentornati al secondo articolo della nostra serie di blog in due parti, in cui continuiamo a esplorare l’interazione dinamica tra l’Intelligenza Artificiale (AI), in particolare i large language models (LLMs), e i database vettoriali, guidati dagli approfondimenti di Charles Xie, CEO di Zilliz.
Nella prima parte, abbiamo posto le basi esplorando la natura e lo stato attuale dei database vettoriali, descrivendo in dettaglio lo sviluppo di Milvus, e riflettendo sulla futura traiettoria della tecnologia dei database vettoriali. Questa puntata amplia queste basi, addentrandosi nell’evoluzione delle tecnologie AI, discutendo il ruolo critico che i database vettoriali svolgono nell’era dei Foundation Models, e prevedendo come queste tecnologie intrecciate plasmeranno reciprocamente i propri progressi in futuro.
Database vettoriali pionieristici: il percorso pre-LLM di Zilliz nell’innovazione AI
Sei anni fa, noi di Zilliz abbiamo intrapreso lo sviluppo del database vettoriale Milvus, entrando in un territorio in gran parte inesplorato ben prima dell’avvento dei large language models. Già allora, credevamo che i database vettoriali fossero essenziali per un ampio spettro di applicazioni AI, aprendo estesi casi d’uso e opportunità di mercato.
All’epoca, mentre giganti tecnologici come Google, DeepMind e OpenAI facevano progressi nello sviluppo degli algoritmi, e NVIDIA e Intel potenziavano la capacità computazionale, l’aspetto critico della gestione dei dati, in particolare per i dati non strutturati, che costituivano già l’80% dei dati mondiali, era in qualche modo trascurato. Così, i database vettoriali sono emersi come una soluzione per soddisfare la domanda pressante nel panorama AI pre-LLM. Hanno fornito uno strumento potente per gestire in modo efficiente i dati non strutturati in vari ambiti, tra cui elaborazione del linguaggio, computer vision e sistemi di raccomandazione. Questa tecnologia consente agli sviluppatori di sfruttare i dati non strutturati in modo più efficace nello sviluppo di app AI, mettendo in mostra il nostro spirito pionieristico nel dominio dei database vettoriali.
Dal passaggio da database vettoriali incentrati sulle aziende all’AI democratizzata per tutti
Quando abbiamo avviato la nostra iniziativa sei anni fa, il nostro obiettivo principale era soddisfare le esigenze complesse degli utenti enterprise e coinvolgere gli early adopter in aree come sistemi di raccomandazione, e-commerce e riconoscimento delle immagini. Questi settori richiedevano un sistema di database vettoriale affidabile, scalabile e ad alte prestazioni per i loro ambienti di produzione.
Il nostro percorso ci ha anche visto stringere alleanze strategiche con aziende AI consolidate, in particolare quelle che gestiscono enormi dataset per l’elaborazione del linguaggio naturale. A quel tempo, il panorama AI era dominato principalmente da hyperscaler e grandi aziende, dove lo sviluppo di algoritmi e applicazioni AI comportava un costo significativo. Queste partnership si sono rivelate inestimabili, fornendoci insight unici.
Tuttavia, il panorama dell'AI ha subito una trasformazione significativa negli ultimi due anni, trainata dai progressi nelle moderne tecnologie di AI e dalla proliferazione dei grandi modelli linguistici. Abbiamo assistito a un notevole aumento del numero di sviluppatori AI indipendenti, che sono principalmente piccoli team o singoli contributori. Questo cambiamento segna il passaggio da un'era dell'AI incentrata sulle aziende a un ambiente AI più democratizzato, in cui l'AI è ora alla portata di una gamma più ampia di partecipanti. In risposta a questo panorama in evoluzione, i nostri obiettivi si sono evoluti non solo per fornire soluzioni enterprise di fascia alta, ma anche per rendere i servizi di ricerca vettoriale più accessibili a singoli sviluppatori e piccoli team.
D'altra parte, mentre le grandi imprese tradizionali hanno riconosciuto il potenziale delle moderne tecnologie di AI e degli LLM, devono affrontare sfide come requisiti di sicurezza rigorosi e una carenza di competenze moderne in ambito AI. Stiamo aiutando queste imprese a superare tali ostacoli sfruttando le nostre capacità di AI e la nostra esperienza nel soddisfare gli standard e i requisiti del settore.
Un esempio emblematico di questo cambiamento è la creazione di Zilliz Cloud, una versione completamente gestita di Milvus sul cloud, che offre proposte convenienti e operazioni semplificate pensate sia per gli sviluppatori interessati a prototipare e sperimentare lo sviluppo di applicazioni AI, sia per le imprese alla ricerca di capacità AI moderne con scalabilità, prestazioni e tolleranza ai guasti. Questa svolta strategica riflette il nostro impegno a democratizzare l'AI, garantendo che le tecnologie di database vettoriali all'avanguardia siano alla portata degli innovatori a ogni livello.
Il significato dei database vettoriali nell'era in rapida evoluzione dell'AI e degli LLM
I database vettoriali sono progettati per il recupero per similarità semantica all'interno di un'ampia gamma di dati non strutturati, tra cui testo, immagini, audio, video, dati geospaziali, modelli comportamentali e sequenze biologiche complesse, come la genetica e le strutture proteiche. Questi database consentono a computer e macchine di analizzare, comprendere e utilizzare questi dati attraverso sofisticati modelli e algoritmi di deep learning per l'acquisizione di conoscenza e il processo decisionale.
Nell'ultimo anno si è assistito a un aumento drastico del mercato dei database vettoriali, stimolato dal rapido avanzamento degli LLM come ChatGPT. I database vettoriali fungono da memoria a lungo termine e serbatoio di conoscenza esterna degli LLM, mitigando i loro problemi di "allucinazioni."
Oltre ai grandi modelli linguistici, nei prossimi anni assisteremo anche all'ascesa di uno spettro più ampio di Foundation Model, già osservabile nella visione artificiale e presto in espansione in campi come la guida autonoma, i motori di raccomandazione e la ricerca biofarmaceutica. Ogni Foundation Model richiede un sistema di archiviazione semantica capace di gestire diversi tipi di dati, tra cui testo, immagini e interazioni degli utenti. I database vettoriali si distingueranno offrendo una soluzione di gestione dei dati pratica, accessibile ed economica, migliorando il recupero semantico dei dati tra diversi Foundation Model, a vantaggio esteso degli sviluppatori.
Un aumento previsto dell'80% dell'accuratezza del recupero RAG con Milvus 3.0
La generazione aumentata dal recupero (RAG) è una tecnologia AI all'avanguardia che incorpora LLM e database vettoriali. Il suo scopo principale è affrontare i problemi di allucinazione negli LLM integrando informazioni contestuali. Un tipico sistema RAG è composto da un database vettoriale, un LLM e prompt come codice. Il database vettoriale svolge un ruolo cruciale in questo sistema, archiviando informazioni specifiche di dominio o private e recuperando i frammenti più rilevanti come contesti per l'LLM. Questo processo consente all'LLM di generare risposte più accurate e di qualità superiore.
Nonostante i significativi progressi nella tecnologia RAG nell'ultimo anno, raggiungere un'elevata accuratezza nel recupero rimane una sfida. Per affrontare questo problema, stiamo introducendo funzionalità avanzate di ricerca ibrida nella nostra prossima release di Milvus 3.0. Questa combinazione di ricerche precise basate su parole chiave e ricerche di similarità basate su vettori dovrebbe elevare i tassi di richiamo di RAG dal precedente 30%-40% all'80%-90%, adattandosi a una gamma più ampia di casi d'uso.
Che cosa comporta raggiungere un'accuratezza dell'80%? Considera un'applicazione RAG di livello enterprise: con un tasso di accuratezza del 60%, supera già le capacità analitiche di metà della forza lavoro dell'azienda. Tuttavia, aumentare questo tasso all'80% significa che la qualità dell'output dell'AI supererebbe quella dell'80%-90% dei dipendenti, inclusi i dirigenti senior. Pertanto, raggiungere un benchmark di accuratezza dell'80% indica che l'AI può fornire risultati più precisi e di qualità, rivoluzionando l'esperienza utente e amplificando l'impatto dei prodotti infusi di AI.
ChatGPT e database vettoriali: complemento o concorrente nella ricerca semantica?
I modelli linguistici di grandi dimensioni come ChatGPT e i database vettoriali utilizzano embedding vettoriali per rappresentare e comprendere il significato semantico dei dati non strutturati. Questi embedding vengono confrontati utilizzando metriche di distanza come euclidea o coseno, consentendo un'analisi e un'interrogazione efficienti dei dati basate sulla similarità semantica dei dati. Questa sinergia solleva domande sul potenziale di ChatGPT di eclissare i database vettoriali nella ricerca semantica.
Nonostante le loro funzionalità sovrapposte, ChatGPT non è un sostituto dei database vettoriali. Il punto di forza di ChatGPT risiede nella comprensione e generazione di testo coerente e contestualmente rilevante in base all'input che riceve, piuttosto che nel funzionare come un database per eseguire operazioni esatte di ricerca semantica. D'altra parte, i database vettoriali sono progettati su misura per archiviare e recuperare embedding vettoriali, facilitando ricerche efficienti di similarità semantica.
Inoltre, le implicazioni in termini di costi dell'esecuzione di ricerche semantiche differiscono significativamente tra database vettoriali e LLM. Eseguire la ricerca semantica in un sistema di database vettoriale risulta essere circa 100 volte più conveniente rispetto allo svolgimento di queste operazioni all'interno di un modello linguistico di grandi dimensioni. Questa sostanziale differenza di costo spinge molte aziende leader nell'AI, inclusa OpenAI, a sostenere l'uso dei database vettoriali nelle applicazioni AI per la ricerca semantica e del vicino più prossimo k.
La distinzione tra LLM e database vettoriali diventerà più evidente nei prossimi cinque anni. Gli LLM sono destinati a emergere come sofisticati processori semantici al di sopra dell'infrastruttura informatica tradizionale. Allo stesso tempo, i database vettoriali si sono evoluti come sofisticate soluzioni di archiviazione semantica, offrendo un recupero intelligente dei dati su supporti di archiviazione standard come dischi, nastri, cloud storage e file system.
Il futuro dell'AI: l'ascesa di un'intelligenza generale accessibile entro cinque anni
Nel prossimo quinquennio, con l’evoluzione degli algoritmi di machine learning, si prevede che l’IA diventi esponenzialmente più intelligente, potenzialmente 100 volte più di oggi. La sfida cruciale, tuttavia, consiste nel rendere questa IA avanzata accessibile e conveniente. Sebbene le spese associate alle implementazioni dell’IA siano in calo, i costi cumulativi, inclusi l’acquisizione di hardware, l’utilizzo di large language models e la manutenzione operativa continua, rimangono considerevolmente elevati. Ad esempio, ridurre il costo dell’abbonamento di un assistente IA da $20-30 a $3-5 al mese potrebbe ampliarne significativamente la base utenti. Pertanto, la visione per i prossimi cinque anni è l’emergere dell’Affordable General Intelligence (AGI), che mira a rendere le soluzioni di IA economicamente sostenibili per tutti gli individui e le aziende, realizzando così la democratizzazione della tecnologia IA.
In qualità di provider di database vettoriali, ci impegniamo a contribuire a questo futuro migliorando l’efficienza della gestione dei dati e riducendo i costi, consentendo così un accesso più ampio alle tecnologie di IA.
Continua a leggere
The Real Bottlenecks in Autonomous Driving — And How AI Infrastructure Can Solve Them
Autonomous driving faces a data bottleneck. Learn how AI-native vector databases like Zilliz solve scale, cost, and insight challenges across AV pipelines.
Vector Databases vs. Key-Value Databases
Use a vector database for AI-powered similarity search; use a key-value database for high-throughput, low-latency simple data lookups.
DeepSeek-VL2: Mixture-of-Experts Vision-Language Models for Advanced Multimodal Understanding
Explore DeepSeek-VL2, the open-source MoE vision-language model. Discover its architecture, efficient training pipeline, and top-tier performance.