Il nostro percorso verso oltre 35.000 stelle su GitHub: la vera storia della creazione di Milvus da zero
Negli ultimi anni ci siamo concentrati su una sola cosa: costruire un database vettoriale enterprise-ready per l'era dell'IA. La parte difficile non è costruire un database: è costruirne uno che sia scalabile, facile da usare e che risolva davvero problemi reali in produzione.
Questo giugno abbiamo raggiunto un nuovo traguardo: Milvus ha raggiunto 35.000 stelle su GitHub (ora ne ha oltre 35,5K al momento della scrittura). Non faremo finta che sia solo un altro numero: significa molto per noi.
Ogni stella rappresenta uno sviluppatore che si è preso il tempo di guardare ciò che abbiamo costruito, lo ha trovato abbastanza utile da aggiungerlo ai preferiti e, in molti casi, ha deciso di usarlo. Alcuni di voi sono andati oltre: aprendo issue, contribuendo con codice, rispondendo alle domande nei nostri forum e aiutando altri sviluppatori quando si bloccano.
Volevamo prenderci un momento per condividere la nostra storia—quella vera, con incluse tutte le parti complicate.
Abbiamo iniziato a costruire Milvus perché nient'altro funzionava
Nel 2017 abbiamo iniziato con una domanda semplice: mentre le applicazioni di IA iniziavano a emergere e i dati non strutturati stavano esplodendo, come si possono archiviare e cercare in modo efficiente gli embedding vettoriali che alimentano la comprensione semantica?
I database tradizionali non erano stati costruiti per questo. Sono ottimizzati per righe e colonne, non per vettori ad alta dimensionalità. Le tecnologie e gli strumenti esistenti erano o impossibili da usare o dolorosamente lenti per ciò di cui avevamo bisogno.
Abbiamo provato tutto ciò che era disponibile. Soluzioni messe insieme con Elasticsearch. Indici personalizzati costruiti sopra MySQL. Abbiamo persino sperimentato con FAISS, ma era progettato come libreria di ricerca, non come infrastruttura di database di produzione. Niente forniva la soluzione completa che immaginavamo per i carichi di lavoro di IA aziendale.
Così abbiamo iniziato a costruirne uno nostro. Non perché pensassimo che sarebbe stato facile—i database sono notoriamente difficili da realizzare bene—ma perché vedevamo dove stava andando l'IA e sapevamo che avrebbe avuto bisogno di un'infrastruttura appositamente progettata per arrivarci.
Nel 2018 eravamo nel pieno dello sviluppo di quello che sarebbe diventato Milvus. Il termine "database vettoriale" non esisteva ancora. Stavamo essenzialmente creando una nuova categoria di software infrastrutturale, il che era al tempo stesso entusiasmante e terrificante.
Rendere Milvus open source: costruire in pubblico
Nel novembre 2019 abbiamo deciso di rendere open source la versione 0.10 di Milvus.
Rendere qualcosa open source significa esporre al mondo tutti i propri difetti. Ogni hack, ogni commento TODO, ogni decisione di design di cui non sei del tutto sicuro. Ma credevamo che, se i database vettoriali sarebbero diventati un'infrastruttura critica per l'IA, dovessero essere aperti e accessibili a tutti.
La risposta è stata travolgente. Gli sviluppatori non si sono limitati a usare Milvus: lo hanno migliorato. Hanno trovato bug che ci erano sfuggiti, suggerito funzionalità che non avevamo considerato e posto domande che ci hanno spinto a riflettere più a fondo sulle nostre scelte di design.
Nel 2020 siamo entrati a far parte della LF AI & Data Foundation. Non era solo per credibilità: ci ha insegnato come mantenere un progetto open source sostenibile. Come gestire la governance, la compatibilità all'indietro e costruire software che duri anni, non mesi.
Nel 2021 abbiamo rilasciato Milvus 1.0 e ci siamo graduati dalla LF AI & Data Foundation. Quello stesso anno abbiamo vinto la sfida globale BigANN per la ricerca vettoriale su scala di miliardi. Quella vittoria è stata gratificante, ma soprattutto ha confermato che stavamo risolvendo problemi reali nel modo giusto.
La decisione più difficile: ricominciare da capo
Qui le cose si complicano. Nel 2021 Milvus 1.0 funzionava bene per molti casi d'uso, ma i clienti enterprise continuavano a chiedere le stesse cose: una migliore architettura cloud-native, uno scaling orizzontale più semplice, maggiore semplicità operativa.
Avevamo una scelta: procedere con patch o ricostruire da zero. Abbiamo scelto di ricostruire.
Milvus 2.0 è stata essenzialmente una riscrittura completa. Abbiamo introdotto un'architettura storage-compute completamente disaccoppiata con scalabilità dinamica. Ci sono voluti due anni e, onestamente, è stato uno dei periodi più stressanti nella storia della nostra azienda. Stavamo buttando via un sistema funzionante che migliaia di persone usavano per costruire qualcosa di non ancora provato.
Ma quando abbiamo rilasciato Milvus 2.0 nel 2022, ha trasformato Milvus da un potente database vettoriale in un'infrastruttura pronta per la produzione, capace di scalare per carichi di lavoro enterprise. Nello stesso anno, abbiamo anche completato un round di finanziamento Series B+—non per bruciare denaro, ma per puntare ancora di più sulla qualità del prodotto e sul supporto ai clienti globali. Sapevamo che questo percorso avrebbe richiesto tempo, ma ogni passo doveva essere costruito su fondamenta solide.
Quando tutto ha accelerato con l'AI
Il 2023 è stato l'anno della RAG (retrieval-augmented generation). All'improvviso, la ricerca semantica è passata dall'essere una tecnica di AI interessante a un'infrastruttura essenziale per chatbot, sistemi di domande e risposte su documenti e agenti AI.
Le stelle GitHub di Milvus sono aumentate vertiginosamente. Le richieste di supporto si sono moltiplicate. Sviluppatori che non avevano mai sentito parlare di database vettoriali hanno iniziato all'improvviso a porre domande sofisticate sulle strategie di indicizzazione e sull'ottimizzazione delle query.
Questa crescita era entusiasmante ma anche travolgente. Ci siamo resi conto che dovevamo scalare non solo la nostra tecnologia, ma l'intero approccio al supporto della community. Abbiamo assunto più developer advocate, riscritto completamente la nostra documentazione e iniziato a creare contenuti formativi per sviluppatori nuovi ai database vettoriali.
Abbiamo anche lanciato Zilliz Cloud—la nostra versione completamente gestita di Milvus. Alcune persone ci hanno chiesto perché stessimo "commercializzando" il nostro progetto open-source. La risposta sincera è che mantenere un'infrastruttura di livello enterprise è costoso e complesso. Zilliz Cloud ci consente di sostenere e accelerare lo sviluppo di Milvus mantenendo al contempo il progetto core completamente open source.
Poi è arrivato il 2024. Forrester ci ha nominati leader nella categoria dei database vettoriali. Milvus ha superato le 30.000 stelle su GitHub. E ci siamo resi conto: la strada che avevamo asfaltato per sette anni era finalmente diventata un'autostrada. Man mano che sempre più aziende adottavano i database vettoriali come infrastruttura critica, la crescita del nostro business ha accelerato rapidamente—confermando che le fondamenta che avevamo costruito potevano scalare sia tecnicamente sia commercialmente.
Il team dietro Milvus: Zilliz
Ecco qualcosa di interessante: molte persone conoscono Milvus ma non Zilliz. A noi, in realtà, va bene così. Zilliz è il team dietro Milvus—lo costruiamo, lo manteniamo e lo supportiamo.
Ciò che ci sta più a cuore sono le cose poco appariscenti che fanno la differenza tra una demo interessante e un'infrastruttura pronta per la produzione: ottimizzazioni delle prestazioni, patch di sicurezza, documentazione che aiuta davvero i principianti e risposte ponderate alle issue su GitHub.
Abbiamo costruito un team di supporto globale 24/7 tra Stati Uniti, Europa e Asia, perché gli sviluppatori hanno bisogno di aiuto nei loro fusi orari, non nei nostri. Abbiamo contributor della community che chiamiamo "Milvus Ambassadors" che organizzano eventi, rispondono alle domande nei forum e spesso spiegano i concetti meglio di noi.
Abbiamo anche accolto con favore integrazioni con AWS, GCP e altri provider cloud—anche quando offrono le proprie versioni gestite di Milvus. Più opzioni di deployment sono un bene per gli utenti. Anche se abbiamo notato che, quando i team incontrano sfide tecniche complesse, spesso finiscono per contattarci direttamente perché comprendiamo il sistema al livello più profondo.
Molte persone pensano che l'open source sia solo una "cassetta degli attrezzi", ma in realtà è un "processo evolutivo": uno sforzo collettivo di innumerevoli persone che lo amano e ci credono. Solo chi comprende davvero l'architettura può fornire il "perché" dietro le correzioni dei bug, l'analisi dei colli di bottiglia delle prestazioni, l'integrazione dei sistemi di dati e gli adeguamenti architetturali.
Quindi, se stai usando Milvus open-source, o stai considerando i database vettoriali come componente centrale del tuo sistema AI, ti invitiamo a contattarci direttamente per il supporto più professionale e tempestivo.
Impatto reale in produzione: la fiducia degli utenti
I casi d'uso di Milvus sono cresciuti oltre ciò che avevamo inizialmente immaginato. Stiamo alimentando l'infrastruttura AI per alcune delle aziende più esigenti al mondo in ogni settore.
Bosch, leader globale nella tecnologia automobilistica e pioniere della guida autonoma, ha rivoluzionato la propria analisi dei dati con Milvus, ottenendo una riduzione dell'80% dei costi di raccolta dati e 1,4 milioni di dollari di risparmi annuali, cercando al contempo miliardi di scenari di guida in millisecondi per casi limite critici.
Read AI, una delle aziende AI per la produttività in più rapida crescita, al servizio di milioni di utenti attivi mensili, utilizza Milvus per ottenere una latenza di recupero inferiore a 20-50 ms su miliardi di record e un'accelerazione di 5× nella ricerca agentica. Il loro CTO afferma: "Milvus funge da repository centrale e alimenta il nostro recupero delle informazioni tra miliardi di record."
Un leader fintech globale, una delle più grandi piattaforme di pagamento digitale al mondo, che elabora decine di miliardi di transazioni in oltre 200 paesi e più di 25 valute, ha scelto Milvus per un'ingestione batch 5-10× più veloce rispetto ai concorrenti, completando in meno di 1 ora lavori che per altri richiedevano oltre 8 ore.
Filevine, la principale piattaforma di lavoro legale considerata affidabile da migliaia di studi legali negli Stati Uniti, gestisce 3 miliardi di vettori su milioni di documenti legali, facendo risparmiare agli avvocati il 60-80% del tempo nell'analisi dei documenti e raggiungendo una "vera coscienza dei dati" per la gestione dei casi legali.
Supportiamo anche NVIDIA, OpenAI, Microsoft, Salesforce, Walmart, e molti altri in quasi ogni settore. Oltre 10.000 organizzazioni hanno scelto Milvus o Zilliz Cloud come database vettoriale di riferimento.
Queste non sono solo storie di successo tecnico: sono esempi di come i database vettoriali stiano silenziosamente diventando un'infrastruttura critica che alimenta le applicazioni AI che le persone usano ogni giorno.
Perché abbiamo creato Zilliz Cloud: database vettoriale di livello enterprise come servizio
Milvus è open-source e gratuito da usare. Ma eseguire Milvus correttamente su scala enterprise richiede competenze approfondite e risorse significative. Selezione degli indici, gestione della memoria, strategie di scalabilità, configurazioni di sicurezza: queste non sono decisioni banali. Molti team vogliono la potenza di Milvus senza la complessità operativa e con supporto enterprise, garanzie SLA, ecc.
Ecco perché abbiamo creato Zilliz Cloud: una versione completamente gestita di Milvus distribuita in 25 regioni globali e su 5 principali cloud, inclusi AWS, GCP e Azure, progettata specificamente per carichi di lavoro AI su scala enterprise che richiedono prestazioni, sicurezza e affidabilità.
Ecco cosa rende Zilliz Cloud diverso:
Scalabilità massiva con alte prestazioni: Il nostro motore proprietario AutoIndex basato su AI offre velocità di query 3-5× superiori rispetto a Milvus open-source, senza richiedere alcuna ottimizzazione degli indici. L'architettura cloud-native supporta miliardi di vettori e decine di migliaia di query simultanee mantenendo tempi di risposta inferiori al secondo.
Sicurezza e conformità integrate: Crittografia a riposo e in transito, RBAC granulare, registrazione completa degli audit, integrazione SAML/OAuth2.0 e deployment BYOC (bring your own cloud). Siamo conformi a GDPR, HIPAA e ad altri standard globali di cui le aziende hanno effettivamente bisogno.
Ottimizzato per l’efficienza dei costi: Archiviazione dei dati a livelli hot/cold, scalabilità elastica che risponde ai carichi di lavoro reali e prezzi pay-as-you-go possono ridurre il costo totale di proprietà del 50% o più rispetto ai deployment autogestiti.
Davvero cloud-agnostic senza vendor lock-in: Esegui il deployment su AWS, Azure, GCP, Alibaba Cloud o Tencent Cloud senza vendor lock-in. Garantiamo coerenza e scalabilità globali indipendentemente da dove lo esegui.
Queste funzionalità potrebbero non sembrare appariscenti, ma risolvono problemi reali e quotidiani che i team enterprise affrontano quando creano applicazioni AI su larga scala. E soprattutto: sotto il cofano è ancora Milvus, quindi non ci sono lock-in proprietari né problemi di compatibilità.
Cosa viene dopo: Vector Data Lake
Abbiamo coniato il termine "vector database" e siamo stati i primi a costruirne uno, ma non ci fermiamo qui. Ora stiamo costruendo la prossima evoluzione: Vector Data Lake.
Ecco il problema che stiamo risolvendo: non ogni ricerca vettoriale richiede una latenza di millisecondi. Molte aziende hanno enormi dataset che vengono interrogati occasionalmente, tra cui analisi di documenti storici, calcoli di similarità in batch e analisi delle tendenze a lungo termine. Per questi casi d’uso, un database vettoriale tradizionale in tempo reale è sia eccessivo sia costoso.
Vector Data Lake utilizza un’architettura con separazione tra storage e compute specificamente ottimizzata per vettori su scala massiva e ad accesso infrequente, mantenendo al contempo i costi drasticamente inferiori rispetto ai sistemi in tempo reale.
Le funzionalità principali includono:
Stack dati unificato: Collega senza soluzione di continuità i livelli di dati online e offline con formati coerenti e storage efficiente, così puoi spostare i dati tra livelli hot e cold senza riformattazioni o migrazioni complesse.
Ecosistema compute compatibile: Funziona nativamente con framework come Spark e Ray, supportando tutto, dalla ricerca vettoriale all’ETL tradizionale e all’analytics. Questo significa che i tuoi team dati esistenti possono lavorare con dati vettoriali usando strumenti che già conoscono.
Architettura ottimizzata per i costi: I dati hot restano su SSD o NVMe per un accesso rapido; i dati cold si spostano automaticamente su object storage come S3. Strategie intelligenti di indicizzazione e storage mantengono l’I/O veloce quando ne hai bisogno, rendendo al contempo i costi di storage prevedibili e accessibili.
Non si tratta di sostituire i database vettoriali: si tratta di offrire alle aziende lo strumento giusto per ogni workload. Ricerca in tempo reale per applicazioni rivolte agli utenti, data lake vettoriali convenienti per analytics ed elaborazione storica.
Crediamo ancora nella logica alla base della Legge di Moore e del Paradosso di Jevons: quando il costo unitario del calcolo diminuisce, l’adozione cresce. Lo stesso vale per l’infrastruttura vettoriale.
Migliorando indici, strutture di storage, caching e modelli di deployment—giorno dopo giorno—speriamo di rendere l’infrastruttura AI più accessibile e conveniente per tutti, e di contribuire a portare i dati non strutturati nel futuro AI-native.
Un grande grazie a tutti voi!
Quelle oltre 35K stelle rappresentano qualcosa di cui siamo sinceramente orgogliosi: una community di sviluppatori che trova Milvus abbastanza utile da consigliarlo e contribuire.
Ma non abbiamo finito. Milvus ha bug da correggere, miglioramenti delle prestazioni da apportare e funzionalità che la nostra community richiede da tempo. La nostra roadmap è pubblica e desideriamo sinceramente il vostro contributo su cosa prioritizzare.
Il numero in sé non è ciò che conta: è la fiducia che quelle stelle rappresentano. La fiducia che continueremo a costruire in modo aperto, ad ascoltare i feedback e a rendere Milvus migliore.
Ai nostri contributor: le vostre PR, segnalazioni di bug e migliorie alla documentazione rendono Milvus migliore ogni giorno. Grazie di cuore.
Ai nostri utenti: grazie per averci affidato i vostri carichi di lavoro di produzione e per il feedback che ci aiuta a restare onesti.
Alla nostra community: grazie per rispondere alle domande, organizzare eventi e aiutare i nuovi arrivati a iniziare.
Se sei alle prime armi con i database vettoriali, saremmo felici di aiutarti a iniziare. Se stai già usando Milvus o Zilliz Cloud, ci piacerebbe conoscere la tua esperienza. E se sei semplicemente curioso di sapere cosa stiamo costruendo, i nostri canali della community sono sempre aperti.
Continuiamo a costruire insieme l’infrastruttura che rende possibili le applicazioni di IA.
Ci trovi qui: Milvus su GitHub | Zilliz Cloud | Discord | LinkedIn | X | YouTube
Continua a leggere
Zilliz Cloud Delivers Better Performance and Lower Costs with Arm Neoverse-based AWS Graviton
Zilliz Cloud adopts Arm-based AWS Graviton3 CPUs to cut costs, speed up AI vector search, and power billion-scale RAG and semantic search workloads.
AI Agents Are Quietly Transforming E-Commerce — Here’s How
Discover how AI agents transform e-commerce with autonomous decision-making, enhanced product discovery, and vector search capabilities for today's retailers.
AI Integration in Video Surveillance Tools: Transforming the Industry with Vector Databases
Discover how AI and vector databases are revolutionizing video surveillance with real-time analysis, faster threat detection, and intelligent search capabilities for enhanced security.