Democratizzare i database vettoriali: promuovere accesso e uguaglianza
Questo post è stato originariamente pubblicato su TheSequence e viene ripubblicato qui con autorizzazione.
Il XXI secolo riguarda la democratizzazione della tecnologia. Il boom di Internet ha reso possibile una collaborazione su larga scala, portando l’open source a diventare un modello tipico di adozione del software. Man mano che il ritmo e la portata dell’innovazione tecnologica crescono, dobbiamo lavorare per renderla più accessibile.
Come ingegnere del software, la democratizzazione della tecnologia significa renderla disponibile il più ampiamente possibile. Significa usare ciò che so per rendere più facile per gli altri creare, adottare e comprendere i progressi tecnologici. Qui in Zilliz, ci siamo sempre concentrati sull’accelerare l’adozione dei database vettoriali, non solo sull’aumentare l’adozione del progetto open source Milvus.
In questo articolo, tratterò:
Cosa significa democratizzare i database vettoriali per gli sviluppatori
Pilastri della democratizzazione della tecnologia
Formazione sui database vettoriali e sugli strumenti correlati
Aumentare l’accessibilità ai database vettoriali
Evangelizzazione tecnologica
Un riepilogo sulla democratizzazione dei database vettoriali
Cosa significa democratizzare i database vettoriali per gli sviluppatori?
Ogni volta che sento “democratizzare” nel contesto di “democratizzare la tecnologia XYZ,” penso all’ampliamento dell’accesso a quella tecnologia. Quindi, quando si tratta di database vettoriali, penso ad ampliare l’accesso ai database vettoriali. Tradizionalmente, i database vettoriali sono stati disponibili solo per gli sviluppatori software nelle imprese.
Milvus ha avviato il processo di democratizzazione dei database vettoriali quando è diventato un progetto open-source della Linux Foundation. È stato uno dei primi database vettoriali disponibili per gli sviluppatori grazie al fatto di essere un progetto open-source. Man mano che il progetto è cresciuto, sempre più sviluppatori hanno potuto usare, conoscere e contribuire ai database vettoriali.
Pilastri della democratizzazione della tecnologia
La democratizzazione della tecnologia comporta sfide specifiche — soprattutto la democratizzazione di strumenti complessi come i database vettoriali. Ci sono tre pilastri da considerare quando si tratta di democratizzare la tecnologia. Sono la formazione, l’aumento dell’accessibilità e l’evangelizzazione.
Formazione sui database vettoriali e sugli strumenti correlati
La formazione è l’argomento più cruciale che molte aziende spesso sbagliano. La formazione riguarda l’educare sul proprio prodotto specifico, sulla tecnologia in generale e sugli strumenti correlati. Ecco perché qui in Zilliz creiamo contenuti su molte cose, non solo su Milvus.
I contenuti che scriviamo riflettono il nostro desiderio di accelerare l’adozione dei database vettoriali attraverso la formazione. Pertanto, abbiamo contenuti su concetti essenziali come Hierarchical Navigable Small Worlds (HNSW), quantizzazione scalare e di prodotto e indici a file invertito.
Oltre a fornire risorse per comprendere i concetti alla base dei database vettoriali, dobbiamo fornire risorse per gli strumenti correlati. Ad esempio, la popolarità dei large language model (LLM) ha introdotto una gamma di nuovi strumenti.
Alcuni nuovi strumenti emersi in primo piano includono LlamaIndex, Auto-GPT e LangChain. Inoltre, in linea con il nostro obiettivo di fornire risorse formative alla community, molti dei nostri contenuti vengono distribuiti a terze parti, come The Sequence, The New Stack e alcune pubblicazioni Medium.
Aumentare l’accessibilità ai database vettoriali
Sebbene fornire formazione sulla tecnologia sia eccellente, non è utile a meno che non si offrano modi per accedervi. Nel nostro caso, rendere Milvus open source è stato il primo passo per aumentare l’accesso ai database vettoriali. Andando oltre il semplice fatto di essere open source, il progetto Milvus ha anche perseguito altre strade per aumentare l’accessibilità.
Milvus è disponibile anche tramite immagini Docker con template per Docker Compose e Helm. Inoltre, di recente lo abbiamo reso disponibile tramite pip install come Milvus Lite. Milvus ha raggiunto oltre 3,5 milioni di download Docker, 18,8k stelle su GitHub e 212 contributori.
Oltre a Milvus, anche Zilliz ha lavorato per aumentare l’accessibilità. Inizialmente, Zilliz offriva 400 $ in crediti gratuiti e ora offre un piano gratuito che consente fino a mezzo milione di vettori! È sufficiente praticamente per qualsiasi sviluppatore. Con il piano gratuito di Zilliz Cloud, quasi ogni sviluppatore può iniziare a usare i database vettoriali — gratuitamente.
Evangelizzazione tecnologica
L’ultimo pilastro da affrontare nella democratizzazione della tecnologia è evangelizzarla. A cosa serve rendere disponibile una tecnologia e fornire formazione su di essa se non si spiega alle persone perché è utile? In termini di accelerazione dell’adozione, la formazione spiega il come, e l’aumento dell’accessibilità copre il cosa — l’evangelizzazione fornisce il perché.
Facciamo evangelizzazione principalmente attraverso contenuti che mostrano la potenza dei database vettoriali. Lo si può vedere in alcuni dei materiali didattici che ho fornito sopra. Teniamo anche interventi sui database vettoriali. Alcuni interventi virtuali e alcuni di persona. Di recente ho tenuto un intervento a Seattle sull’uso dei database vettoriali come soluzione per risolvere problemi di dati con gli LLM.
Riassumendo: democratizzare i database vettoriali
Democratizzare i database vettoriali è fondamentale perché i database vettoriali risolvono molti problemi nei dati non strutturati. In precedenza erano disponibili solo agli sviluppatori delle grandi aziende a causa dell’enorme complessità e scala di un progetto del genere. Tuttavia, la popolarità degli LLM ha portato l’idea dei database vettoriali nel mainstream e ha dato origine a innumerevoli casi d’uso che prima non avevano. Questo rende la democratizzazione ancora più cruciale.
In Zilliz, abbiamo affrontato la democratizzazione con tre pilastri — formazione, accessibilità ed evangelizzazione. La formazione è per noi la parte più cruciale di questi pilastri. Per gli sviluppatori, il materiale didattico fornisce il “come” usare i database vettoriali e gli strumenti complementari.
Inoltre, abbiamo sempre lavorato per aumentare l’accessibilità e continuiamo a farlo. Rendere il software open source è stato il primo passo. Altri passi per aumentare l’accessibilità includono fornire template e immagini per la containerizzazione. Di recente abbiamo rilasciato Milvus Lite, un database vettoriale che può essere eseguito direttamente nel tuo Jupyter Notebook.
Infine, ci impegniamo nell’evangelizzazione tecnica per diffondere la conoscenza dell’uso e della potenza dei database vettoriali. Lo facciamo fornendo webinar, parlando a eventi della community ed essendo presenti sui social media.
Zilliz continua a impegnarsi per democratizzare i database vettoriali e questo è entusiasmante per quanto sono importanti. I database vettoriali sono fondamentali per risolvere problemi di dati negli LLM e sono la migliore soluzione esistente per cose come la ricerca inversa di immagini, la ricerca semantica di testo e le raccomandazioni di prodotti. Personalmente sono entusiasta di far parte di un team che sta aiutando a far crescere lo spazio dei database vettoriali e non vedo l’ora di vedere tutte le cose straordinarie che saranno costruite per e dalla community!
Continua a leggere
From Vector Database to Vector Lakebase
Zilliz offers a fully managed Vector Lakebase powered by Milvus, unifying real-time vector search, lake-scale discovery, and Al data operations.
How to Build an Enterprise-Ready RAG Pipeline on AWS with Bedrock, Zilliz Cloud, and LangChain
Build production-ready enterprise RAG with AWS Bedrock, Nova models, Zilliz Cloud, and LangChain. Complete tutorial with deployable code.
Our Journey to 35K+ GitHub Stars: The Real Story of Building Milvus from Scratch
Join us in celebrating Milvus, the vector database that hit 35.5K stars on GitHub. Discover our story and how we’re making AI solutions easier for developers.