Zilliz Cloud offre prestazioni migliori e costi inferiori con AWS Graviton basato su Arm Neoverse
Con l’evoluzione dell’infrastruttura cloud a supporto della crescita esponenziale dell’AI, Zilliz Cloud —il database vettoriale completamente gestito basato su Milvus —sfrutta CPU basate su Arm Neoverse per offrire efficienza dei costi e prestazioni senza pari per workload AI su scala enterprise. Questo blog esplora come Zilliz Cloud sia passato da CPU x86 a CPU Arm per workload ad alta intensità di calcolo, riducendo i costi operativi e abilitando la ricerca vettoriale su scala di miliardi per workload AI mission-critical, come RAG e ricerca multi-modale.
Zilliz Cloud: Database vettoriale completamente gestito per workload di produzione
Zilliz Cloud è un database vettoriale completamente gestito progettato per applicazioni AI in produzione, che offre ricerca vettoriale su larga scala a basso costo. Basato sull’open-source Milvus, supporta fino a 100 miliardi di vettori su dati non strutturati (immagini, testo, audio) con ricerca di similarità vettoriale con latenza inferiore a 20 ms, rendendolo ideale per applicazioni come RAG, AI Agents, ricerca visiva, sistemi di raccomandazione e rilevamento di anomalie. Le funzionalità principali di Zilliz Cloud includono AutoIndex, che seleziona dinamicamente strategie di indicizzazione ottimali per un’elevata accuratezza della ricerca senza tuning manuale, un motore di indicizzazione Cardinal che sblocca ricerche 10 volte più veloci rispetto a Milvus open-source, e il supporto al retrieval ibrido che combina ricerca vettoriale densa e ricerca full-text per risultati migliori.
Vantaggi principali di Zilliz Cloud
Prestazioni elevate: In grado di servire dati vettoriali su scala di miliardi con migliaia di QPS. Scelta flessibile dei tipi di cluster per ottenere un equilibrio tra latenza, accuratezza e costo
Scalabilità: Scala orizzontalmente per gestire fino a 100 miliardi di vettori tramite l’architettura distribuita, cloud native
Efficienza dei costi: Riduce i costi dell’infrastruttura del 70% tramite quantizzazione binaria RaBitQ, ottimizzazioni degli indici vettoriali e storage a livelli
Facilità d’uso: Semplifica deployment e operation con AutoIndex e un servizio completamente gestito
Sicurezza & Affidabilità: Offre sicurezza di livello enterprise e SLA di uptime del 99,95%
Comprendere i database vettoriali
I database vettoriali sono specializzati nell’archiviazione di vettori ad alta dimensionalità generati da modelli di embedding. Questi vettori abilitano la ricerca semantica tramite ricerca Approximate Nearest Neighbour, fondamentale per i workflow AI nell’elaborazione del linguaggio naturale, nella computer vision e nei sistemi di raccomandazione. Gestendo l’indicizzazione in tempo reale e le query multimodali, i database vettoriali affrontano le sfide della gestione efficiente dei dati non strutturati. Zilliz Cloud sfrutta queste capacità per alimentare applicazioni AI con latenza inferiore a 20 ms, garantendo prestazioni elevate per workload di produzione.
Il ruolo di Milvus
Milvus, il database vettoriale open-source più popolare con oltre 36K stelle su GitHub, è la base di Zilliz Cloud con la sua architettura scalabile e cloud-native. Il suo design distribuito consente a Zilliz Cloud di scalare orizzontalmente su miliardi di vettori mantenendo una bassa latenza, permettendo una gestione efficiente di dataset enormi.
A partire da Milvus 2.3, è stato aggiunto il supporto per CPU Arm insieme a immagini Docker ufficiali per Arm64, semplificando installazione e deployment su piattaforme convenienti ed efficienti dal punto di vista energetico. Eseguire Milvus su CPU Arm offre un incremento delle prestazioni del 20% rispetto ai tradizionali x86, con query più rapide per applicazioni che si basano su ricerca e retrieval vettoriale veloci.
Il percorso verso CPU basate su Arm
L'adozione da parte di Zilliz Cloud dei processori AWS Graviton3 basati su Arm segna un salto strategico nelle prestazioni e nell'efficienza dei costi dei carichi di lavoro AI. I processori AWS Graviton3, basati sull'architettura Arm Neoverse, sfruttano il supporto alle istruzioni SVE e BFloat16 per offrire prestazioni ed efficienza superiori. Questi miglioramenti architetturali includono anche unità vettoriali più ampie e uno stack software migliorato, rendendo Graviton3 una scelta ideale per attività GenAI come la ricerca semantica e le pipeline RAG che richiedono operazioni vettoriali ad alta produttività ed elaborazione in tempo reale.
Il costo è un ostacolo importante all'adozione della ricerca AI su larga scala nelle imprese. Per affrontare questo problema, Zilliz Cloud ha implementato numerose ottimizzazioni ingegneristiche che riducono significativamente i costi e migliorano l'efficienza, rendendo la ricerca vettoriale più accessibile ai suoi clienti, anche su scala di miliardi.
Dopo aver compreso la potenza di calcolo avanzata e la progettazione ottimizzata delle istruzioni per le operazioni vettoriali, il team di Zilliz Cloud ha lavorato a stretto contatto con i team di Arm e AWS per migrare i carichi di lavoro di indicizzazione a elevata intensità di calcolo su AWS Graviton3.
Uno dei vantaggi più notevoli dell'adozione dei processori AWS Graviton3 è il sostanziale incremento delle prestazioni e dell'efficienza dei costi. In particolare, Zilliz Cloud ha osservato:
Prestazioni di creazione degli indici: Le prestazioni di creazione degli indici sono aumentate del 50% rispetto all'implementazione x86, accelerando drasticamente l'indicizzazione vettoriale, un'operazione critica durante l'ingestione dei dati per velocizzare la query al momento del recupero. Questo miglioramento consente un'elaborazione dei dati più rapida e una gestione più efficiente di dataset vettoriali su scala di miliardi.
Operazioni di ricerca: Le operazioni di ricerca hanno registrato un guadagno di efficienza del 10% rispetto al benchmark x86, con risultati di esecuzione delle query più rapidi e un recupero dei dati più reattivo. Questo miglioramento consente una navigazione più fluida attraverso grandi dataset, assicurando che gli utenti possano individuare rapidamente record specifici o esplorare vaste quantità di informazioni.
Oltre ai guadagni prestazionali, l'adozione di istanze cloud basate su AWS Graviton3 ha ridotto i costi operativi di Zilliz Cloud del 10%, grazie all'efficienza energetica dei processori e al vantaggio prezzo-prestazioni rispetto alle istanze x86. Questo aggiornamento è in linea con la missione di Zilliz Cloud di offrire soluzioni ad alte prestazioni ed economicamente convenienti per le applicazioni AI. Sfruttando i processori AWS Graviton3, Zilliz Cloud potenzia la propria capacità di gestire carichi di lavoro GenAI impegnativi riducendo al contempo il costo totale di proprietà.
"L'architettura di AWS Graviton basata su Arm Neoverse offre una soluzione economicamente conveniente ed efficiente dal punto di vista energetico per la ricerca vettoriale su vastissima scala in produzione, garantendo che le imprese possano aumentare l'adozione della ricerca AI senza compromettere le prestazioni", ha dichiarato James Luan, VP of Engineering at Zilliz. "Integrando il design innovativo di Arm, Zilliz Cloud consente alle organizzazioni di scalare le applicazioni AI con maggiore efficienza, mantenendo al contempo le alte prestazioni necessarie per rimanere competitive."
Conclusione
L'integrazione da parte di Zilliz Cloud dei processori AWS Graviton3 basati su Arm offre un vantaggio competitivo nell'infrastruttura AI, combinando scalabilità e prestazioni ottimizzate nei costi per carichi di lavoro critici. Sfruttando la sua architettura di calcolo potenziata ed efficiente dal punto di vista energetico, la piattaforma accelera le implementazioni AI/ML attraverso una costruzione più rapida degli indici, capacità di ricerca accelerate e costi infrastrutturali ridotti. Poiché le organizzazioni danno sempre più priorità a soluzioni scalabili ed economicamente convenienti per carichi di lavoro guidati dall'AI, l'adozione da parte di Zilliz Cloud di tecnologia di calcolo ad alte prestazioni ed efficiente nei costi garantisce che rimanga leader nell'offerta di servizi cloud innovativi ed efficienti. Questo approccio orientato al futuro consente ai clienti di affrontare sfide complesse legate ai dati mantenendo agilità in un panorama tecnologico sempre più complesso e in evoluzione.
Visita l'Arm Developer Hub per strumenti collaudati sul campo, demo e guide passo passo per potenziare le tue applicazioni AI sull'architettura Arm.
Pronto a rivoluzionare la ricerca semantica? Esplora il nostro tutorial su come creare un'applicazione basata su RAG utilizzando Zilliz Cloud su server basati su Arm.
Esegui la migrazione senza problemi con Arm Cloud Migration – la tua scorciatoia per aumentare l'efficienza e ottimizzare le prestazioni su Arm.
Jiang ChenJiang is currently Director of Technical GTM at Zilliz. He has years of experience in data infrastructures and cloud security. Before joining Zilliz, he had previously served as a tech lead and product manager at Google, where he led the development of web-scale semantic understanding and search indexing that powers innovative search products such as short video search. He has extensive industry experience handling massive unstructured data and multimedia content retrieval. He has also worked on cloud authorization systems and research on data privacy technologies. Jiang holds a Master's degree in Computer Science from the University of Michigan.
Ashok BhatAshok Bhat is the Senior Product Manager at Arm.
Continua a leggere
What Is a Vector Lakebase?
A Vector Lakebase is a unified, lake-native data architecture for AI that combines vector-database-grade serving with open lake storage, reusable lake-level indexes, and a shared semantic layer.
Build for the Boom: Why AI Agent Startups Should Build Scalable Infrastructure Early
Explore strategies for developing AI agents that can handle rapid growth. Don't let inadequate systems undermine your success during critical breakthrough moments.
Demystifying the Milvus Sizing Tool
Explore how to use the Sizing Tool to select the optimal configuration for your Milvus deployment.