Le CPU sono sufficienti? Una recensione della ricerca vettoriale eseguita su hardware innovativo
La ricerca vettoriale è emersa come una tecnologia fondamentale, consentendo il recupero rapido e accurato delle informazioni in numerose applicazioni, dai sistemi di raccomandazione al riconoscimento delle immagini. Tradizionalmente, le CPU sono state i motori trainanti di queste operazioni. Tuttavia, con l’aumento vertiginoso dei volumi di dati e l’escalation delle esigenze di velocità ed efficienza, sorge la domanda: le CPU sono sufficienti per soddisfare le crescenti necessità della moderna ricerca basata sull’AI?
Nel suo recente intervento all’Unstructured Data Meetup 2024, organizzato da Zilliz, George Williams, esperto di computer vision presso Smile Identity e organizzatore della NeurIPS BigANN Challenge (2021, 2023), ha affrontato la questione se le CPU siano sufficienti per la ricerca vettoriale/ANN. Ha esplorato come nuove soluzioni hardware potrebbero rivoluzionare la ricerca vettoriale, evidenziando l’intersezione tra algoritmi di ricerca avanzati e hardware all’avanguardia, e offrendo approfondimenti sul futuro delle tecnologie di recupero dei dati.
In questo blog, distilleremo i principali spunti dell’intervento, esaminando gli obiettivi e i risultati delle competizioni NeurIPS BigANN, in cui un approccio basato su Zilliz è stato uno dei vincitori. Approfondiremo inoltre le sfide pratiche dell’implementazione della ricerca vettoriale, le innovazioni che guidano efficienza e prestazioni, e la nuova entusiasmante era dell’hardware che promette di trasformare il settore.
Competizione Neurips BigANN e ruolo e contributi di Zilliz
Le competizioni NeurIPS BigANN mirano a spingere i confini di ciò che è possibile nel campo della tecnologia di ricerca vettoriale, incoraggiando l’innovazione e la collaborazione tra ricercatori e leader del settore. Ai partecipanti viene richiesto di sviluppare soluzioni che massimizzino recall, Queries Per Second (QPS), efficienza energetica e convenienza economica, fornendo una valutazione completa delle prestazioni hardware nelle attività di ricerca vettoriale. Le competizioni sono organizzate in collaborazione con iniziative come il progetto ANN-Benchmarks, che fornisce una piattaforma per inviare e valutare implementazioni di ricerca vettoriale, incluse soluzioni di rilievo come Milvus.
Le competizioni presentano tre track, ciascuna progettata per testare diversi aspetti delle prestazioni della ricerca vettoriale, come mostrato nella figura uno.
Fig 1. Le tre track della competizione NeurIPS BigANN
Track 1: Budget limitato di risorse hardware
Specifiche: i partecipanti sono limitati a un server da datacenter con 64 GB di RAM.
Criteri: le soluzioni sono classificate in base al recall, enfatizzando l’accuratezza nel recupero dei nearest neighbor entro i vincoli di risorse hardware limitate.
Track 2: Capacità di archiviazione migliorate
Specifiche: i partecipanti utilizzano un server da datacenter con 64 GB di RAM e un SSD ad alta produttività da 2 TB.
Criteri: Questa traccia si concentra anche sul recall, ma consente capacità di archiviazione più estese, sfidando i partecipanti a ottimizzare sia l’utilizzo della memoria sia le prestazioni di storage, ambito in cui Zilliz è risultata vincitrice come mostrato nella figura 2. L’approccio di Zilliz+SUST ha ottenuto buoni risultati nel dataset di range search (SSNPP) con il punteggio di recall più alto. Questa vittoria mette in evidenza la competenza e l’innovazione di Zilliz nello sviluppo di algoritmi efficienti di vector search adattati ai vincoli dell’hardware moderno. Descriveremo l’approccio di Zilliz nella prossima sezione.
Fig 2. Il team Zilliz+SUST vince la seconda traccia
Traccia 3: Open Hardware
Specifiche: I partecipanti possono utilizzare qualsiasi hardware, a condizione che presentino prove dei costi e monitorino il consumo energetico.
Criteri: Le soluzioni vengono valutate in base a una combinazione di recall, QPS, efficienza energetica e costo, rendendo questa traccia la più completa e impegnativa.
Queste tracce consentono alla competizione di affrontare un’ampia gamma di considerazioni pratiche, dall’ottimizzazione di risorse limitate allo sfruttamento di configurazioni hardware avanzate. Attraverso queste valutazioni, le competizioni NeurIPS BigANN offrono approfondimenti sullo stato della tecnologia di vector search e mettono in evidenza i progressi più promettenti nel settore.
Ottimizzazione e valutazione nella vector search
Ottimizzare la vector search richiede un approccio multifattoriale, in particolare quando si tratta dell’utilizzo della memoria e degli SSD. Una delle principali innovazioni introdotte da Zilliz è l’Hybrid Graph Clustering Index mostrato nella figura 3. Questo metodo migliora l’efficienza della vector search strutturando i dati in modo da ottimizzare il layout della memoria e i pattern di accesso, in particolare per gli SSD. Organizzando i dati in bucket allineati alle pagine, Zilliz garantisce che i vettori a piena precisione siano archiviati insieme ai loro metadati, riducendo la latenza e migliorando la velocità di recupero. Questo approccio non solo aumenta le prestazioni, ma massimizza anche l’utilizzo dello storage SSD, che è fondamentale per gestire dataset di grandi dimensioni. Inoltre, Zilliz si è concentrata sull’ottimizzazione della memoria per garantire che l’accesso ai dati sia efficiente e allineato alle capacità dell’hardware sottostante. Ciò comporta un’attenta strutturazione dei dati per ridurre al minimo i tempi di accesso e migliorare il throughput complessivo, rendendo le loro soluzioni altamente efficaci per attività di vector search su larga scala.
Inoltre, il rilascio di Milvus 2.4, la loro ultima versione del database vettoriale open-source, introduce diverse funzionalità rivoluzionarie come il supporto Multi-vector, la Grouping Search e la GPU Indexing con CUDA-Accelerated Graph Index for Vector Retrieval di NVIDIA (CAGRA). Queste innovazioni dimostrano ulteriormente la strategia e l’impegno di Zilliz nel migliorare le prestazioni e l’efficienza della vector search.
Fig 3. Hybrid Graph Clustering Index e layout della memoria e accesso ottimizzati per SSD
Direzioni future
Secondo il relatore, il futuro della ricerca vettoriale potrebbe presto passare dall’affidarsi a tecniche di approssimazione allo sfruttamento di metodi brute force, pur mantenendo tempi brevi. Questo cambiamento sarà guidato dalla crescente scalabilità dei vettori grezzi senza la necessità di creare indici, segnando un’evoluzione significativa nel mercato della memoria. Sebbene i chip specializzati siano costosi da produrre e richiedano investimenti sostanziali e tempo per sviluppare toolkit—spesso servono oltre un anno per portarli sul mercato—l’hardware commoditizzato potrebbe diventare la norma. In questo scenario, il software avrebbe bisogno di modifiche significative per ottimizzare le prestazioni. Viene introdotto il concetto di chiplet, in cui le migliori tecnologie dei semiconduttori sono progettate modularmente da diverse aziende, in modo simile allo sviluppo software. Questo approccio modulare consente il riutilizzo del software su chip esistenti, permettendo a individui non esperti di chip di progettare i propri chip, più economici e più veloci. Ciò potrebbe fungere da punto di ingresso per molte aziende, rendendo la progettazione avanzata di chip più accessibile e conveniente.
Conclusione
I rapidi progressi nella tecnologia hardware stanno aprendo la strada a capacità di ricerca vettoriale più efficienti e potenti. Come illustrato dalla competizione NeurIPS BigANN e dai contributi di Zilliz, l’intersezione tra hardware avanzato e algoritmi innovativi è fondamentale per il futuro delle tecnologie di recupero dei dati. Sebbene le CPU siano state la spina dorsale dell’informatica per decenni, l’emergere di soluzioni hardware specializzate segna una nuova era, in cui efficienza e prestazioni sono fondamentali. Zilliz, uno dei database vettoriali più ampiamente adottati, si concentra sull’ottimizzazione dell’efficienza della memoria e sulla massimizzazione della velocità di recupero dei dati, sfruttando capacità hardware avanzate per spingere oltre i confini di ciò che è possibile nella tecnologia di ricerca vettoriale. Segui Zilliz su twitter @zilliz_universe e @milvusio e guarda tantissimi video talk e tutorial ricchi di risorse sul canale YouTube di Zilliz.
Risorse
Migliorare la funzionalità delle app: ottimizzare la ricerca con i database vettoriali - Zilliz blog
Milvus: un sistema di gestione dei dati vettoriali purpose-built
Milvus 2.4 svela funzionalità rivoluzionarie per una ricerca vettoriale migliorata
Come valutare e ottimizzare le prestazioni dello storage di Milvus - Zilliz blog
Continua a leggere
Introducing Business Critical Plan: Enterprise-Grade Security and Compliance for Mission-Critical AI Applications
Discover Zilliz Cloud’s Business Critical Plan—offering advanced security, compliance, and uptime for mission-critical AI and vector database workloads.
Zilliz Named "Highest Performer" and "Easiest to Use" in G2's Summer 2025 Grid® Report for Vector Databases
Zilliz shines in G2's Summer 2025 Grid® Report as both "Highest Performer" and "Easiest to Use," solving the performance-usability dilemma.
8 Latest RAG Advancements Every Developer Should Know
Explore eight advanced RAG variants that can solve real problems you might be facing: slow retrieval, poor context understanding, multimodal data handling, and resource optimization.