Como selecionar o tipo e o tamanho de CU mais apropriados para o seu negócio?

Uma Unidade de Computação (CU) no Zilliz Cloud refere-se a recursos de hardware que atendem a solicitações de busca e índices. O Zilliz Cloud fornece três tipos de CUs: Otimizada para desempenho, Otimizada para capacidade e CU de Capacidade Estendida. Cada tipo de CU compreende diferentes combinações de recursos de CPU, memória e armazenamento para diferentes necessidades de negócios. Portanto, selecionar as opções e tamanhos de CU apropriados é crucial ao configurar um cluster do Zilliz Cloud.

CU otimizada para desempenho

Uma CU otimizada para desempenho é ideal para tarefas de recuperação por similaridade que exigem um tempo de resposta rápido em milissegundos com uma alta taxa de transferência de pelo menos 100 consultas por segundo (QPS). Cada CU pode lidar com cerca de 1,5 milhão de vetores de 768 dimensões.

Este tipo de CU é essencial para (mas não se limita a) os seguintes casos de uso:

• Aplicações de IA generativa
• Sistemas de recomendação
• Mecanismos de busca
• Chatbots
• Moderação de conteúdo
• Ampliação da base de conhecimento de LLMs
• Sistemas antifraude

CU otimizada para capacidade

Se sua aplicação lida com dezenas de milhões de vetores, considere usar uma CU otimizada para capacidade. Cada CU pode lidar com cerca de 5 milhões de vetores de 768 dimensões. Este tipo de CU pode armazenar muito mais dados do que uma CU otimizada para desempenho com um custo menor, mas também com um desempenho inferior.

CUs otimizadas para capacidade são particularmente úteis para (mas não se limitam a) os seguintes cenários:

• Busca em dados não estruturados em larga escala, como texto, imagens, vídeos e estruturas moleculares
• Detecção de violações de direitos autorais
• Verificação de identidades.

CU de Capacidade Estendida

A CU de Capacidade Estendida é ideal se você não está preocupado com o tempo de resposta e tem um orçamento muito apertado. Cada CU pode lidar com 20 milhões de vetores de 768 dimensões com um preço relativamente razoável. Embora tenha uma latência de busca mais alta, ela pode armazenar até 4 vezes mais dados do que uma CU otimizada para capacidade.

Este tipo de CU é perfeito para tarefas offline, como:

• Rotulagem ou agrupamento de dados
• Deduplicação
• Detecção de outliers em conjuntos de dados ou balanceamento de classes.

Avaliando três tipos de CU

A tabela abaixo fornece uma visão geral das diferenças entre os tipos de CU do Zilliz Cloud.

Tipo de CU	Latência	Taxa de transferência	Capacidade	Custo por Milhão de Vetores (observação: com base em vetores de 768 dimensões)
Otimizada para desempenho	Baixa	Alta	Baixa	A partir de $65/mês
Otimizada para capacidade	Média	Média	Média	A partir de $20/mês
CU de Capacidade Estendida	Alta	Baixa	Alta	A partir de $10/mês

Comparação de desempenho

Para medir o desempenho de diferentes opções de CU, analisamos dois indicadores principais: latência de busca e taxa de transferência. Testamos os três tipos de CUs do Zilliz Cloud usando dois conjuntos de dados com vários valores de topk (10, 100, 250, 1000). O primeiro conjunto de dados consiste em 1.000.000 de vetores com 768 dimensões, e o segundo tem 5.000.000 de vetores com a mesma dimensão.

top_k	/	/	10	100	250	1000
Latência	CU otimizada para desempenho	1M 768dim	<10ms	<10ms	<10ms	10-20ms
	CU otimizada para capacidade	5M 768dim	<50ms	<50ms	<50ms	50-100ms
	CU de Capacidade Estendida

A tabela acima mostra que a CU otimizada para desempenho é a melhor escolha para baixa latência, superando a CU otimizada para capacidade. Ela mantém uma latência inferior a dez milissegundos para valores típicos de topk de 10-250, cinco a dez vezes mais rápida do que a otimizada para capacidade. Ao lidar com valores de topk na casa dos milhares, a latência para cada tipo de CU varia de 10-20 ms para a CU otimizada para desempenho e de 50-100 ms para a CU otimizada para capacidade. No entanto, vale observar que, embora a CU otimizada para desempenho fique mais lenta nas respostas ao executar tarefas com valores detopk na casa dos milhares, sua latência de busca ainda é adequada para muitas aplicações em tempo real.

top_k			10	100	250	1000
QPS	CU otimizada para desempenho	1M 768dim	520	440	270	150
	CU otimizada para capacidade	5M 768dim	100	80	60	40
	CU de capacidade estendida

Quando se trata de throughput, a CU otimizada para desempenho é superior. Ela supera a CU otimizada para capacidade em quatro a cinco vezes.

Comparação de capacidade

Testamos os três tipos de CUs da Zilliz Cloud usando um conjunto padrão de dimensões vetoriais: 128, 256, 512, 768 e 1024.

Dimensões vetoriais	Número de vetores por CU (Milhões)	Número de vetores por CU (Milhões)	Número de vetores por CU (Milhões)
/	CU otimizada para desempenho	CU otimizada para capacidade	CU de capacidade estendida
128	5	25	Em breve
256	2.96	14.87	Em breve
512	1.63	8.22	Em breve
768	1.5	5	20
1024	0.86	4.34	Em breve

Com base no resultado do teste na tabela acima, constatamos que:

• As CUs de capacidade estendida têm as maiores capacidades para armazenar vetores de 768 dimensões, sendo 13 vezes e 4 vezes maiores do que as CUs otimizadas para desempenho e otimizadas para capacidade, respectivamente.
• À medida que as dimensões vetoriais aumentam, mais espaço de armazenamento é necessário para conter os dados. Por exemplo, uma CU pode armazenar aproximadamente o dobro do número de vetores de 512 dimensões em comparação com vetores de 1024 dimensões.

Observação: Este experimento se concentrou apenas na chave primária e nos vetores, sem adicionar campos escalares. No entanto, se houver campos escalares adicionais como id, label, keywords, summary, URL etc., a capacidade real de cada tipo de CU pode diferir da tabela acima. Portanto, é essencial confiar na medição empírica para obter precisão.

Vamos ver alguns exemplos!

Comparamos as três opções de CU da Zilliz Cloud analisando-as sob a perspectiva de latência, throughput, capacidade e custo. Mas como escolher a opção mais adequada para o seu negócio? Vamos ver dois exemplos para ajudar você a fazer a escolha certa.

Exemplo 1

Suponha que você esteja criando um chatbot aumentado por LLM que adota a Zilliz Cloud para armazenar mais de 10 milhões de trechos de texto de documentos privados com um vetor de embedding de 768 dimensões. Sua aplicação exige que a Zilliz Cloud suporte 1.000 QPS e recupere os 10 principais resultados com uma latência de ponta a ponta inferior a 30 milissegundos.

Uma CU otimizada para desempenho é a única forma de alcançar uma latência abaixo de 30 ms. Como cada CU otimizada para desempenho pode conter até 1,5 milhão de vetores de 768 dimensões, você precisará de pelo menos sete CUs para lidar com todos os 10 milhões de vetores. Uma CU pode atingir um QPS de pico de 520 para throughput quando o valor de topk é 10. Para atender a 1.000 QPS, você precisará de duas réplicas.

Portanto, a melhor abordagem para este cenário é usar duas réplicas de uma CU otimizada para desempenho, cada uma contendo sete CUs.

Exemplo 2

Suponha que sua aplicação detecte violações de direitos autorais em imagens e precise encontrar imagens semelhantes em um conjunto de 100 milhões. Cada imagem é incorporada em um vetor de 768 dimensões. Você não precisa de respostas em tempo real, mas espera os 100 principais resultados com um throughput de 50 QPS.

Tanto a CU otimizada para capacidade quanto a CU otimizada para desempenho podem lidar com 50 solicitações por segundo quando você recupera os 100 principais resultados. No entanto, a CU otimizada para capacidade pode armazenar três vezes mais vetores do que a CU otimizada para desempenho. Portanto, a CU otimizada para capacidade é a opção mais adequada para suas necessidades.

Com base nos resultados dos testes, uma única CU otimizada para capacidade pode armazenar até 5,6 milhões de vetores de 768 dimensões. Para acomodar seus 100 milhões de vetores, você precisará de um mínimo de 20 CUs. Quando o valor de topk é 100, uma única CU pode atingir um QPS de pico de 80 para throughput. Para 50 QPS, uma réplica é suficiente. Portanto, você precisará de um cluster com 20 CUs otimizadas para capacidade.

Resumo

O Zilliz Cloud oferece três tipos de CUs. Se você precisa que sua aplicação seja extremamente rápida e responsiva em tempo real, a CU otimizada para desempenho é a melhor opção. A CU otimizada para capacidade é a melhor escolha para aplicações que exigem armazenar e recuperar dezenas de milhões de vetores. Se você está com um orçamento apertado e não se importa em sacrificar velocidade e throughput, a CU de Capacidade Estendida é perfeita para você.

Começando com o Zilliz Cloud

Explore com nosso nível gratuito (sem necessidade de cartão de crédito) ou experimente nosso teste empresarial de 30 dias com até $200 em créditos. Assine por meio de qualquer marketplace de nuvem e receba um crédito adicional de $100.

Aprofunde-se na documentação do Zilliz Cloud.