Zilliz ha partecipato al VLDB Workshop 2021
Quali sono le principali innovazioni nel settore dei database nel 2021?
Questo agosto, Zilliz è stata invitata al VLDB Workshop 2021 per condividere i suoi ultimi progressi e risultati di ricerca nell'applicazione di metodi di machine learning ai sistemi di database, insieme a Harvard University, Carnegie Mellon University, Tsinghua University, Microsoft e molte altre organizzazioni. Il ricercatore senior di Zilliz, il Dr. Xiaomeng Yi, ha presentato il contesto di sviluppo, le idee progettuali, le sfide e le innovazioni tecnologiche durante lo sviluppo di Milvus, un database vettoriale open source.
VLDB, SIGMOD e ICDE sono note come le tre conferenze più prestigiose nel campo dei database. Recentemente, il risultato della ricerca del team di ricerca di Zilliz, Milvus: A Purpose Built Vector Data Management System, è stato selezionato da SIGMOD e incluso come uno dei 21 paper di quest'anno grazie all'eccellente funzionalità sottostante e alla perfetta applicazione in scenari aziendali di Milvus.
Ogni giorno, il mondo produce un'enorme quantità di dati, di cui oltre l'80% è costituito da dati non strutturati difficili da elaborare. Mentre i database tradizionali possono archiviare solo dati strutturati, il team di ingegneri di Milvus ha proposto un'ipotesi: tutti i dati possono essere rappresentati uniformemente da vettori a livello semantico, indipendentemente dai tipi di dati. Il Dr. Yi ha osservato che, se il modello di rete neurale AI viene utilizzato per estrarre la semantica dei dati e presentarli uniformemente come vettori, la logica di elaborazione di molti dati può essere eseguita direttamente a livello dei vettori.
Milvus è progettato specificamente per l'analisi e il recupero di enormi quantità di vettori di caratteristiche. Fornisce un framework completo per l'aggiornamento, l'indicizzazione e la ricerca di similarità dei dati vettoriali, che non solo possono essere eseguiti in tempo reale su dati in streaming, ma soddisfano anche i diversi requisiti di ricerca negli scenari aziendali reali. Finora, Milvus ha rilasciato due versioni: 1.0 e 2.0. Il codice sorgente di Milvus è completamente open source su GitHub ed è stato ampiamente utilizzato nei settori di frontiera dell'intelligenza artificiale. Testate da 1.000 utenti in tutto il mondo, le sue prestazioni superano notevolmente quelle dei prodotti concorrenti.
VLDB
Nella condivisione, il Dr. Yi ha presentato il concetto di design di Milvus 2.0: cloud-native, log-as-data e elaborazione unificata batch-and-stream. Sulla base del suo predecessore, Milvus 2.0 offre agli utenti un'esperienza di ricerca intelligente, stabile e fluida.
Di fronte alle due principali sfide della selezione degli indici e del tuning dei dati nello sviluppo dei database, il Dr. Yi ritiene che l'AI possa aprire le porte alle migliori soluzioni. Ad esempio, una nuova configurazione può essere prima testata e valutata su un piccolo dataset, e poi trasferita a un grande dataset. Utilizzare il machine learning per analizzare il dataset esistente e guidare la configurazione del nuovo dataset, in modo da ottenere prestazioni migliori rispetto a quelle dell'attuale algoritmo BOHB.
Il Dr. Xiaomeng Yi (Ph.D. in Architettura dei computer, Huazhong University of Science and Technology), ricercatore senior e leader del team di ricerca di Zilliz. La sua ricerca si concentra sulla gestione di dati ad alta dimensionalità, sul recupero di informazioni su larga scala e sull'allocazione delle risorse nei sistemi distribuiti. I lavori di ricerca del Dr. Yi sono stati pubblicati su importanti riviste e conferenze internazionali tra cui IEEE Network Magazine, IEEE/ACM TON, ACM SIGMOD, IEEE ICDCS e ACM TOMPECS.
Continua a leggere
Introducing Customer-Managed Encryption Keys (CMEK) on Zilliz Cloud
We're announcing the general availability of Customer-Managed Encryption Keys (CMEK) on Zilliz Cloud.
AI Agents Are Quietly Transforming E-Commerce — Here’s How
Discover how AI agents transform e-commerce with autonomous decision-making, enhanced product discovery, and vector search capabilities for today's retailers.
How to Build RAG with Milvus, QwQ-32B and Ollama
Hands-on tutorial on how to create a streamlined, powerful RAG pipeline that balances efficiency, accuracy, and scalability using the QwQ-32B and Milvus.