ZeroEntropy and Zilliz Cloud Integration
Integrate Zilliz Cloud with ZeroEntropy to build high-accuracy semantic search using two-stage vector retrieval and reranking.
Use esta integração gratuitamenteO que é ZeroEntropy
ZeroEntropy é uma empresa de infraestrutura de busca com IA que fornece modelos de embeddings e reranking por meio de uma API amigável para desenvolvedores.
Ela oferece dois modelos principais:
zembed-1(Modelo de embedding): Converte texto em embeddings vetoriais que capturam o significado semântico. Suporta dimensões de saída configuráveis — 40, 80, 160, 320, 640, 1.280 ou 2.560 — para que você possa equilibrar precisão e custo de armazenamento. O zembed-1 pode reduzir os custos de armazenamento de bancos de dados vetoriais em até 10x em comparação com alternativas de dimensão completa.zerank-2(Modelo de reranking): Um cross-encoder que pontua pares consulta-documento quanto à relevância. Em vez de depender apenas da distância vetorial, ele lê a consulta e o documento juntos para avaliar quão bem eles correspondem.zerank-2também oferece suporte a seguimento de instruções: você pode passar instruções em linguagem natural para orientar o comportamento de ranqueamento sem retreinar o modelo.
Ambos os modelos têm pesos abertos e estão disponíveis por meio da API da ZeroEntropy e do SDK Python.
Como os Embeddings e o Reranking da ZeroEntropy funcionam com a Zilliz Cloud
ZeroEntropy e Zilliz Cloud trabalham juntos em um pipeline de recuperação em dois estágios:
Estágio 1 — Incorporar e recuperar. Você usa
zembed-1para gerar embeddings vetoriais para seus documentos e, em seguida, os armazena em uma coleção do Zilliz Cloud. Quando uma consulta chega, você a incorpora com o mesmo modelo e executa uma busca por similaridade vetorial no Zilliz Cloud para obter os principais candidatos. Esta etapa é rápida, mesmo em milhões de documentos.Estágio 2 — Reordenar para precisão. Você passa os candidatos do Estágio 1 para
zerank-2. O reranker avalia cada candidato em relação à consulta em detalhes e os reordena por relevância. Esta segunda passagem identifica resultados que são semanticamente próximos, mas não realmente relevantes, e destaca aqueles que são.
O resultado: O Zilliz Cloud lida com escala e velocidade, o ZeroEntropy lida com precisão.
Por que usar o ZeroEntropy com o Zilliz Cloud para criar aplicativos de IA
Maior precisão de busca com recuperação em duas etapas. A busca por similaridade vetorial encontra documentos que estão próximos no espaço de embeddings, mas próximo nem sempre significa relevante. Adicionar o reranker da ZeroEntropy como uma segunda etapa melhora a qualidade dos resultados ao pontuar a relevância real, em vez de depender apenas da distância vetorial.
Menores custos de armazenamento com dimensões de embedding flexíveis.
zembed-1oferece suporte a dimensões de saída de 40 a 2.560. Embeddings menores ocupam menos espaço na sua coleção do Zilliz Cloud, reduzindo os custos de armazenamento e memória. Quando combinados com reranking, você pode usar embeddings compactos sem perder qualidade de busca.Ranking específico de domínio sem retreinamento do modelo.
zerank-2aceita instruções em linguagem natural junto com a consulta — por exemplo, "priorize técnicas práticas em vez de teoria" ou "classifique por recência." Isso permite adaptar o mesmo pipeline a diferentes casos de uso (pesquisa jurídica, suporte ao cliente, recuperação médica) sem ajuste fino ou retreinamento.Integração simples. O pipeline completo — embed, store, search, rerank — leva algumas linhas de Python usando os SDKs
zeroentropyepymilvus. O Zilliz Cloud lida com a indexação automaticamente assim que você insere seus embeddings.Armazenamento e recuperação vetorial escaláveis. Milvus foi criado para indexar e buscar bilhões de vetores. À medida que sua coleção de documentos cresce, o Zilliz Cloud escala automaticamente para lidar com o aumento do volume de dados e da carga de consultas, para que o reranker da ZeroEntropy sempre tenha uma recuperação rápida de primeira etapa com a qual trabalhar.
Infraestrutura gerenciada com indexação automática. O Zilliz Cloud lida com a criação de índices, o provisionamento de recursos e o ajuste de desempenho de forma pronta para uso. Você insere seus embeddings da ZeroEntropy; o Zilliz Cloud cuida do restante — sem necessidade de configuração manual de índices ou gerenciamento de infraestrutura.
Como integrar o ZeroEntropy ao Zilliz Cloud
Se você usa o Milvus de código aberto, basta instalar o SDK Python da ZeroEntropy (
zeroentropy) e a biblioteca cliente do Milvus (pymilvus). Se você usa o Zilliz Cloud (o Milvus gerenciado), é muito mais fácil. Os modelos de embedding e reranking são integrados internamente; nenhuma dependência externa é necessária.Gere embeddings vetoriais para seus documentos usando
zembed-1, especificando o tamanho de dimensão de sua preferência.Insira os embeddings em uma coleção do Zilliz Cloud ou do Milvus. O Zilliz Cloud lida com a indexação automaticamente.
Para cada consulta, gere seu embedding com
zembed-1e pesquise a coleção no Zilliz Cloud para recuperar os principais candidatos.Passe os candidatos para
zerank-2para reordená-los por relevância. Opcionalmente, inclua uma instrução em linguagem natural para personalizar o comportamento de ordenação.
Aprenda como usar o ZeroEntropy com o Zilliz Cloud
A melhor maneira de começar é com um tutorial prático. Este tutorial mostra como criar um pipeline de pesquisa semântica em duas etapas usando os modelos de embedding e reranking da ZeroEntropy com Milvus.
Tutorial: Pesquisa semântica com ZeroEntropy e Milvus
E aqui estão mais alguns recursos: