As CPUs são suficientes? Uma análise da busca vetorial em execução em hardware inovador
Busca vetorial emergiu como uma tecnologia fundamental, permitindo a recuperação rápida e precisa de informações em inúmeras aplicações, de sistemas de recomendação a reconhecimento de imagens. Tradicionalmente, as CPUs têm sido os pilares que impulsionam essas operações. No entanto, à medida que os volumes de dados disparam e as demandas por velocidade e eficiência aumentam, surge a pergunta: as CPUs são suficientes para atender às necessidades crescentes da busca moderna impulsionada por IA?
Em sua recente palestra no Unstructured Data Meetup 2024, organizado pela Zilliz, George Williams, especialista em visão computacional na Smile Identity e organizador do NeurIPS BigANN Challenge (2021, 2023), abordou se as CPUs são suficientes para busca vetorial/ANN. Ele explorou como novas soluções de hardware poderiam revolucionar a busca vetorial, destacando a interseção entre algoritmos de busca avançados e hardware de ponta, e oferecendo insights sobre o futuro das tecnologias de recuperação de dados.
Neste blog, vamos destilar os principais insights da palestra, examinando os objetivos e resultados das competições NeurIPS BigANN, nas quais uma abordagem baseada na Zilliz foi uma das vencedoras. Também vamos nos aprofundar nos desafios práticos de implementar a busca vetorial, nas inovações que impulsionam eficiência e desempenho, e na empolgante nova era de hardware que promete transformar o campo.
Competição Neurips BigANN e papel e contribuições da Zilliz
As competições NeurIPS BigANN visam expandir os limites do que é possível no campo da tecnologia de busca vetorial, incentivando inovação e colaboração entre pesquisadores e líderes do setor. Os participantes têm a tarefa de desenvolver soluções que maximizem recall, Consultas por Segundo (QPS), eficiência energética e custo-benefício, fornecendo uma avaliação abrangente do desempenho de hardware em tarefas de busca vetorial. As competições são organizadas em colaboração com iniciativas como o projeto ANN-Benchmarks, que fornece uma plataforma para enviar e avaliar implementações de busca vetorial, incluindo soluções proeminentes como Milvus.
As competições apresentam três trilhas, cada uma projetada para testar diferentes aspectos do desempenho da busca vetorial, conforme mostrado na figura um.
Fig 1. As três trilhas da competição NeurIPS BigANN
Trilha 1: Orçamento limitado de recursos de hardware
Especificações: Os participantes são limitados a um servidor de datacenter com 64 GB de RAM.
Critérios: As soluções são classificadas com base no recall, enfatizando a precisão da recuperação dos vizinhos mais próximos dentro das restrições de recursos de hardware limitados.
Trilha 2: Capacidades de armazenamento aprimoradas
Especificações: Os participantes usam um servidor de datacenter com 64 GB de RAM e um SSD de alto rendimento de 2 TB.
Critérios: Esta trilha também se concentra em recall, mas permite capacidades de armazenamento mais extensas, desafiando os participantes a otimizar tanto o uso de memória quanto o desempenho de armazenamento, área em que a Zilliz foi a vencedora, como mostrado na figura 2. A abordagem da Zilliz+SUST teve bom desempenho no conjunto de dados de busca por intervalo (SSNPP), com a maior pontuação de recall. Essa vitória destaca a expertise e a inovação da Zilliz no desenvolvimento de algoritmos eficientes de busca vetorial adaptados às restrições do hardware moderno. Descreveremos a abordagem da Zilliz na próxima seção.
Fig 2. Equipe Zilliz+SUST vence a segunda trilha
Trilha 3: Hardware Aberto
Especificações: Os participantes podem usar qualquer hardware, desde que apresentem evidências de custo e monitorem o consumo de energia.
Critérios: As soluções são avaliadas com base em uma combinação de recall, QPS, eficiência energética e custo, tornando esta trilha a mais abrangente e desafiadora.
Essas trilhas permitem que a competição aborde uma ampla gama de considerações práticas, desde a otimização de recursos limitados até o aproveitamento de configurações avançadas de hardware. Por meio dessas avaliações, as competições NeurIPS BigANN fornecem insights sobre o estado da tecnologia de busca vetorial e destacam os avanços mais promissores na área.
Otimização e Avaliação em Busca Vetorial
Otimizar a busca vetorial requer uma abordagem multifacetada, particularmente quando se trata do uso de memória e SSD. Uma das principais inovações introduzidas pela Zilliz é o Hybrid Graph Clustering Index mostrado na figura 3. Esse método aumenta a eficiência da busca vetorial ao estruturar os dados de uma forma que otimiza o layout de memória e os padrões de acesso, particularmente para SSDs. Ao organizar os dados em buckets alinhados a páginas, a Zilliz garante que vetores de precisão total sejam armazenados junto com seus metadados, reduzindo a latência e melhorando a velocidade de recuperação. Essa abordagem não apenas aumenta o desempenho, mas também maximiza a utilização do armazenamento SSD, o que é crucial para lidar com grandes conjuntos de dados. Além disso, a Zilliz tem se concentrado em otimizar o layout de memória para garantir que o acesso aos dados seja eficiente e alinhado às capacidades do hardware subjacente. Isso envolve uma estruturação cuidadosa dos dados para minimizar os tempos de acesso e melhorar a taxa de transferência geral, tornando suas soluções altamente eficazes para tarefas de busca vetorial em larga escala.
Além disso, o lançamento do Milvus 2.4, a versão mais recente de seu banco de dados vetorial open-source, introduz vários recursos inovadores, como suporte a múltiplos vetores, Grouping Search e indexação por GPU com o CUDA-Accelerated Graph Index for Vector Retrieval (CAGRA) da NVIDIA. Essas inovações demonstram ainda mais a estratégia e o compromisso da Zilliz em aprimorar o desempenho e a eficiência da busca vetorial.
Fig 3. Hybrid Graph Clustering Index e layout de memória e acesso otimizado para SSD
Direções futuras
De acordo com o palestrante, o futuro da busca vetorial pode em breve deixar de depender de técnicas de aproximação para aproveitar métodos de força bruta, ainda em um curto período de tempo. Essa mudança será impulsionada pela escalabilidade crescente dos vetores brutos sem a necessidade de criar índices, marcando uma evolução significativa no mercado de memória. Embora chips especializados sejam caros de produzir e exijam investimentos substanciais e tempo para desenvolver toolkits—muitas vezes levando mais de um ano para chegar ao mercado—hardware comoditizado pode se tornar a norma. Nesse cenário, o software precisaria de ajustes significativos para otimizar o desempenho. O conceito de chiplets é apresentado, no qual as melhores tecnologias de semicondutores são projetadas de forma modular por diferentes empresas, semelhante ao desenvolvimento de software. Essa abordagem modular permite a reutilização de software em chips existentes, possibilitando que indivíduos sem conhecimento aprofundado em chips projetem seus chips de forma mais barata e rápida. Isso poderia servir como um ponto de entrada para muitas empresas, tornando o design avançado de chips mais acessível e econômico.
Conclusão
Os rápidos avanços na tecnologia de hardware estão abrindo caminho para capacidades de busca vetorial mais eficientes e poderosas. Conforme ilustrado pela competição NeurIPS BigANN e pelas contribuições da Zilliz, a interseção entre hardware avançado e algoritmos inovadores é fundamental para o futuro das tecnologias de recuperação de dados. Embora as CPUs tenham sido a espinha dorsal da computação por décadas, o surgimento de soluções de hardware especializadas significa uma nova era, na qual eficiência e desempenho são primordiais. A Zilliz, um dos bancos de dados vetoriais mais amplamente adotados, está focada em otimizar a eficiência da memória e maximizar a velocidade de recuperação de dados, aproveitando recursos avançados de hardware para expandir os limites do que é possível na tecnologia de busca vetorial. Siga a Zilliz no twitter @zilliz_universe e @milvusio e assista a inúmeros vídeos informativos de palestras e tutoriais no canal do YouTube da Zilliz.
Recursos
Continue lendo
Announcing the General Availability of Single Sign-On (SSO) on Zilliz Cloud
SSO is GA on Zilliz Cloud, delivering the enterprise-grade identity management capabilities your teams need to deploy vectorDB with confidence.
Our Journey to 35K+ GitHub Stars: The Real Story of Building Milvus from Scratch
Join us in celebrating Milvus, the vector database that hit 35.5K stars on GitHub. Discover our story and how we’re making AI solutions easier for developers.
Vector Databases vs. Time Series Databases
Use a vector database for similarity search and semantic relationships; use a time series database for tracking value changes over time.