Desbloqueie a busca com tecnologia de IA com Fivetran e Milvus

Este blog foi originalmente publicado na Fivetran.

A Fivetran agora oferece suporte ao banco de dados vetorial Milvus como destino, facilitando a integração de todas as fontes de dados para RAG e busca com tecnologia de IA.

Os dados são a espinha dorsal da IA, e a conectividade contínua é fundamental para desbloquear todo o seu potencial. Dados não estruturados agora representam cerca de 80% de todos os dados e têm imenso valor para aplicações de IA, como busca empresarial e chatbots alimentados por geração aumentada por recuperação (RAG). À medida que os volumes de dados crescem, bancos de dados vetoriais escaláveis como Milvus tornam-se essenciais para armazenar e pesquisar com eficiência as informações de uma organização.

Os dados para busca são armazenados em vários lugares, como armazenamento em nuvem, aplicações de negócios e bancos de dados relacionais. A abordagem típica é unir essas fontes em um único repositório, converter dados não estruturados, como texto, em embeddings vetoriais e armazená-los em um banco de dados vetorial com metadados. Essa abordagem permite que aplicações de IA acessem uma ampla variedade de conjuntos de dados e se adaptem a mudanças nas fontes de dados.

O destino Milvus da Fivetran simplifica esse processo e elimina a necessidade de criar, manter e monitorar pipelines de dados complexos. Com apenas alguns cliques, engenheiros de dados podem criar soluções de busca por IA rápidas, eficientes e escaláveis, liberando-os para se concentrar na criação de valor para o negócio, em vez de gerenciar complexidades de infraestrutura.

Como configurar o destino Milvus da Fivetran

Como Milvus e Fivetran constroem uma base para IA

Milvus é um banco de dados vetorial de código aberto e alto desempenho, criado para escala. Um único cluster do Milvus implantado no Kubernetes pode lidar com bilhões de vetores. Zilliz Cloud é uma versão totalmente gerenciada do Milvus, adicionando prontidão empresarial, como RBAC e SOC2, e desempenho ainda melhor graças ao mecanismo de busca vetorial Cardinal proprietário. Milvus e Zilliz Cloud são amplamente usados em aplicações modernas de IA, como busca semântica, RAG e busca multimodal.

Um dos desafios na criação de soluções de busca com tecnologia de IA é ingerir dados de várias fontes para o Milvus para torná-los pesquisáveis semanticamente em tempo real. O Milvus Destination da Fivetran simplifica a ingestão de dados de qualquer fonte no Milvus, permitindo que as empresas obtenham insights sem o incômodo de gerenciar a movimentação de dados. Ao utilizar os recursos avançados de busca vetorial do Milvus e esse fluxo de dados simplificado, os desenvolvedores podem criar rapidamente aplicações de IA que aproveitam plenamente as diversas fontes de dados de sua organização.

Com o destino Fivetran Milvus, você pode:

• Ingerir dados de mais de 600 fontes por meio de conectores Fivetran no Milvus/Zilliz.

• Simplificar a extração, carregamento e vetorização de dados não estruturados com modelos de embedding da OpenAI.

• Habilitar a filtragem de metadados na busca vetorial propagando colunas de dados estruturados.

• Criar busca quase em tempo real com sincronização incremental.

Partner SDK da Fivetran: Criando conectores e destinos personalizados

O Partner SDK da Fivetran capacita fornecedores de tecnologia a criar conectores de origem ou destino para seus serviços e integrar-se perfeitamente à plataforma automatizada de movimentação de dados da Fivetran. Os principais benefícios do SDK incluem:

• Independente de linguagem: O SDK baseado em gRPC permite que conectores de origem e destino sejam escritos em qualquer linguagem de programação compatível, oferecendo flexibilidade para os desenvolvedores reutilizarem ou escreverem novo código na linguagem de sua escolha.

• Complexidade reduzida: Com modelos e um ambiente de teste local, fornecedores terceirizados podem testar e implantar conectores facilmente.

• Novas oportunidades para plataformas de dados: O SDK abre novos canais para ativação de produtos, permitindo que data warehouses, data lakes e plataformas de armazenamento acessem facilmente os mais de 600 conectores da Fivetran.

Zilliz, a empresa por trás do Milvus, criou uma integração com a Fivetran mapeando de perto suas operações de banco de dados vetorial para o modelo de atualização relacional da Fivetran. Eles também simplificaram soluções de terceiros, como o serviço de embeddings da OpenAI, para gerar vetores durante a ingestão.

Busca com IA em ação

Dados não estruturados, embora frequentemente sejam os mais valiosos, também são os mais desafiadores de gerenciar. Com Fivetran e Milvus, as empresas podem criar ferramentas de busca com IA de forma rápida e fácil para extrair insights de seus conjuntos de dados mais ricos.

Os conectores totalmente gerenciados da Fivetran movem dados automaticamente, de forma confiável e segura, a partir dos principais aplicativos empresariais com suporte integrado à migração de esquemas. Por exemplo, imagine uma empresa que deseja criar uma ferramenta de busca interna para mensagens do Slack. Usando o conector Slack da Fivetran, os dados são primeiro replicados e armazenados em um formato normalizado em um data warehouse ou data lakehouse, como o Snowflake. Esses dados podem então ser desnormalizados, concatenados, fragmentados e transformados, após o que podem ser conectados ao Milvus usando o conector de origem Snowflake da Fivetran. Ao simplesmente armazenar os fragmentos de texto em uma coluna chamada original_text, o destino Milvus chama automaticamente o serviço de embeddings da OpenAI para gerar vetores a partir do texto. Os vetores são armazenados no Milvus junto com todos os outros rótulos como campos escalares e usados em conjunto para uma busca semântica eficiente baseada em similaridade vetorial com filtragem de metadados.

Figura- Como criar um pipeline de busca para fontes de dados com a integração Fivetran e Milvus

Conclusão

O recém-introduzido destino Milvus da Fivetran expande ainda mais o cenário de dados em IA para tornar toda fonte de dados semanticamente pesquisável. Ao ingerir os dados de origem de um conjunto diversificado de bancos de dados/warehouses e aplicativos empresariais para o banco de dados vetorial Milvus, essa integração facilita o desenvolvimento de fluxos de trabalho de IA. Você pode começar a usar o destino Milvus da Fivetran seguindo as instruções de configuração.

Para saber mais sobre essa integração e ver como criar uma busca em tempo real em ação, participe do nosso webinar de lançamento do produto em 26 de setembro de 2024. Vamos apresentar os recursos dessa integração e demonstrar como usar esse conector para criar chatbot RAG para issues do GitHub!