Como Integrar a API de Embeddings da OpenAI com o Zilliz Cloud
Em 2018, a Zilliz desenvolveu o banco de dados vetorial Milvus para transformar a forma como lidamos com busca e armazenamento (já discutimos anteriormente o impacto de embeddings e bancos de dados vetoriais). Inicialmente, o Milvus concentrou-se em fornecer recursos essenciais para um banco de dados vetorial, com ênfase em melhorar a experiência do usuário, garantir confiabilidade e aprimorar o desempenho e a escalabilidade. Essa abordagem levou a um crescimento substancial dentro da comunidade Milvus, incluindo usuários, colaboradores e estrelas — agora se aproximando de 30.000.
Recentemente, particularmente com o lançamento do Milvus 2.4, a comunidade expressou um forte interesse em expandir o ecossistema de banco de dados vetorial para incluir mais ferramentas, visualizações e conectores. Uma solicitação importante tem sido uma integração mais estreita com modelos de embedding. Esse feedback reflete as necessidades em evolução dos usuários e a crescente importância dos modelos de embedding no cenário de bancos de dados vetoriais.
Integrações de modelos de embedding
Para atender a essa demanda crescente, temos o prazer de apresentar integrações com modelos de embeddings, que conectarão de forma perfeita seu banco de dados Milvus ou Zilliz Cloud tanto a modelos de código aberto quanto a modelos comerciais. Essas integrações são projetadas para acomodar a ampla gama de modelos de aprendizado de máquina disponíveis hoje, atendendo a diferentes tipos de dados e casos de uso. Quer você esteja trabalhando com texto, imagens ou outros tipos de dados, esse recurso garante que você possa aproveitar facilmente o poder dos modelos de embedding para aprimorar suas capacidades de busca por similaridade semântica.
Em resposta ao cenário em evolução dos modelos de embeddings e às necessidades dos usuários, ofereceremos dois conjuntos paralelos de integrações. O primeiro conjunto foca em modelos de embeddings populares de código aberto, proporcionando flexibilidade e custo-benefício para usuários que preferem soluções impulsionadas pela comunidade. O segundo conjunto inclui integrações com modelos de embeddings premium e comerciais, oferecendo recursos avançados e desempenho aprimorado para usuários com requisitos mais especializados. Essa abordagem dupla garante que todos os usuários, independentemente de suas necessidades de embedding ou orçamento, tenham acesso a ferramentas poderosas para otimizar seus bancos de dados Milvus ou Zilliz Cloud.
Por que a integração com o Zilliz Cloud é fundamental
Integrar a API de Embedding da OpenAI ao Zilliz Cloud é importante para desenvolvedores que buscam aprimorar suas capacidades de busca vetorial, como no Processamento de Linguagem Natural. Ao combinar os embeddings poderosos e pré-treinados da OpenAI com o banco de dados vetorial de alto desempenho da Zilliz Cloud, você pode criar sistemas de busca e recuperação mais precisos e eficientes. Os embeddings da OpenAI capturam relações semânticas complexas em seus dados, enquanto o Zilliz Cloud fornece a escalabilidade e a velocidade necessárias para lidar com grandes volumes de dados vetoriais. Essa integração permite que os desenvolvedores aproveitem modelos avançados de IA para obter maior relevância nos resultados de busca, facilitando a criação de aplicações que entendem e respondem às consultas dos usuários com maior precisão.
Além disso, essa integração simplifica o processo de desenvolvimento ao oferecer uma forma otimizada de lidar e pesquisar em conjuntos de dados massivos. Com o Zilliz Cloud gerenciando a infraestrutura de backend e a API de Embedding da OpenAI fornecendo as representações de dados sofisticadas, os desenvolvedores podem se concentrar mais na criação de suas aplicações e menos nas complexidades do tratamento de dados. Essa configuração não apenas melhora o desempenho, mas também reduz o tempo de desenvolvimento, permitindo
Exemplos no Zilliz Cloud
O primeiro conjunto de integrações é uma série de exemplos prontos para POC e scripts executáveis utilizando Milvus e Zilliz Cloud. Esses exemplos têm como objetivo fornecer um ponto de partida totalmente personalizável para engenheiros de software criarem aplicações em uma variedade de casos de uso. A maioria desses exemplos será composta por scripts bastante simples que combinam modelos de embedding upstream e o Milvus SDK. Você pode encontrá-los em nossos notebooks, onde cada exemplo pode se parecer com algo assim (significativamente simplificado para facilitar a leitura):
from pymilvus import connections, Collection
import openai
...
connections.connect(uri=URI, user=USER, password=PASSWORD, secure=True)
collection = Collection(name=COLLECTION_NAME, schema=schema)
collection.create_index(field_name="embedding", index_params=index_params)
...
for text in document:
embedding = openai.Embedding.create(
input=text,
engine=OPENAI_ENGINE)["data"][0]["embedding"]
collection.insert([embedding])
...
Embora pequenos scripts de exemplo sejam bons para uso geral, descobrimos que havia uma reutilização significativa em cada script; inferência de modelo e consulta ao banco de dados, por exemplo, são duas ações executadas em quase todos os exemplos. Para resolver esse problema recorrente, lançamos o Towhee, um projeto da Zilliz dentro do ecossistema Milvus. O Towhee integra centenas de modelos open-source, APIs de embedding e modelos internos, dando aos profissionais de ML a capacidade de montar pipelines de busca de ponta a ponta apoiados pelo Milvus ou Zilliz Cloud em apenas algumas linhas de código. Um pipeline de exemplo para vetorizar títulos de livros (usando a API de embedding da OpenAI) e inseri-los no Milvus poderia se parecer com algo assim:
pipeline = (
pipe.input('id', 'text')
.map(
ops.text_embedding.openai(
engine='embedding-engine',
api_key='my-api-key'
)
)
.map(
ops.ann_insert.milvus_client(
host='my-vector-database.url',
port='19530',
collection_name='my-collection'
)
)
.output()
)
Você pode ver mais exemplos do Towhee no Milvus bootcamp, juntamente com um guia completo na documentação do Towhee.
Conecte-se conosco
Resumindo: fizemos muito progresso em cinco anos, mas ainda temos um longo caminho pela frente. A Zilliz continuará sendo uma apoiadora-chave e a principal força motriz por trás do projeto Milvus, mas também estaremos focados em integrações e parcerias com o ecossistema mais amplo de machine learning daqui em diante.
Se você é um committer open source e gostaria de conversar sobre uma possível integração, por favor entre em contato conosco ou nos envie uma mensagem no Twitter. Estamos ansiosos para ter você como parte da comunidade!
Continue lendo
A Few Notes from Databricks Data + AI Summit 2026: Why the Data Layer Matters Again
James Luan shares notes from Databricks Data + AI Summit 2026 on why production AI is pushing the data layer back to the center of infrastructure.
Zilliz Cloud Update: Tiered Storage, Business Critical Plan, Cross-Region Backup, and Pricing Changes
This release offers a rebuilt tiered storage with lower costs, a new Business Critical plan for enhanced security, and pricing updates, among other features.
Zilliz Cloud Enterprise Vector Search Powers High-Performance AI on AWS
Zilliz Cloud on AWS powers secure, scalable, ultra-fast vector search for enterprise AI apps, with BYOC, sub-10ms latency, and zero-DevOps simplicity.