Desbloqueie a busca com tecnologia de IA com Fivetran e Milvus
Este blog foi originalmente publicado na Fivetran.
A Fivetran agora oferece suporte ao banco de dados vetorial Milvus como destino, facilitando a integração de todas as fontes de dados para RAG e busca com tecnologia de IA.
Os dados são a espinha dorsal da IA, e a conectividade contínua é fundamental para desbloquear todo o seu potencial. Dados não estruturados agora representam cerca de 80% de todos os dados e têm imenso valor para aplicações de IA, como busca empresarial e chatbots alimentados por geração aumentada por recuperação (RAG). À medida que os volumes de dados crescem, bancos de dados vetoriais escaláveis como Milvus tornam-se essenciais para armazenar e pesquisar com eficiência as informações de uma organização.
Os dados para busca são armazenados em vários lugares, como armazenamento em nuvem, aplicações de negócios e bancos de dados relacionais. A abordagem típica é unir essas fontes em um único repositório, converter dados não estruturados, como texto, em embeddings vetoriais e armazená-los em um banco de dados vetorial com metadados. Essa abordagem permite que aplicações de IA acessem uma ampla variedade de conjuntos de dados e se adaptem a mudanças nas fontes de dados.
O destino Milvus da Fivetran simplifica esse processo e elimina a necessidade de criar, manter e monitorar pipelines de dados complexos. Com apenas alguns cliques, engenheiros de dados podem criar soluções de busca por IA rápidas, eficientes e escaláveis, liberando-os para se concentrar na criação de valor para o negócio, em vez de gerenciar complexidades de infraestrutura.
Como configurar o destino Milvus da Fivetran
Como Milvus e Fivetran constroem uma base para IA
Milvus é um banco de dados vetorial de código aberto e alto desempenho, criado para escala. Um único cluster do Milvus implantado no Kubernetes pode lidar com bilhões de vetores. Zilliz Cloud é uma versão totalmente gerenciada do Milvus, adicionando prontidão empresarial, como RBAC e SOC2, e desempenho ainda melhor graças ao mecanismo de busca vetorial Cardinal proprietário. Milvus e Zilliz Cloud são amplamente usados em aplicações modernas de IA, como busca semântica, RAG e busca multimodal.
Um dos desafios na criação de soluções de busca com tecnologia de IA é ingerir dados de várias fontes para o Milvus para torná-los pesquisáveis semanticamente em tempo real. O Milvus Destination da Fivetran simplifica a ingestão de dados de qualquer fonte no Milvus, permitindo que as empresas obtenham insights sem o incômodo de gerenciar a movimentação de dados. Ao utilizar os recursos avançados de busca vetorial do Milvus e esse fluxo de dados simplificado, os desenvolvedores podem criar rapidamente aplicações de IA que aproveitam plenamente as diversas fontes de dados de sua organização.
Com o destino Fivetran Milvus, você pode:
Ingerir dados de mais de 600 fontes por meio de conectores Fivetran no Milvus/Zilliz.
Simplificar a extração, carregamento e vetorização de dados não estruturados com modelos de embedding da OpenAI.
Habilitar a filtragem de metadados na busca vetorial propagando colunas de dados estruturados.
Criar busca quase em tempo real com sincronização incremental.
Partner SDK da Fivetran: Criando conectores e destinos personalizados
O Partner SDK da Fivetran capacita fornecedores de tecnologia a criar conectores de origem ou destino para seus serviços e integrar-se perfeitamente à plataforma automatizada de movimentação de dados da Fivetran. Os principais benefícios do SDK incluem:
Independente de linguagem: O SDK baseado em gRPC permite que conectores de origem e destino sejam escritos em qualquer linguagem de programação compatível, oferecendo flexibilidade para os desenvolvedores reutilizarem ou escreverem novo código na linguagem de sua escolha.
Complexidade reduzida: Com modelos e um ambiente de teste local, fornecedores terceirizados podem testar e implantar conectores facilmente.
Novas oportunidades para plataformas de dados: O SDK abre novos canais para ativação de produtos, permitindo que data warehouses, data lakes e plataformas de armazenamento acessem facilmente os mais de 600 conectores da Fivetran.
Zilliz, a empresa por trás do Milvus, criou uma integração com a Fivetran mapeando de perto suas operações de banco de dados vetorial para o modelo de atualização relacional da Fivetran. Eles também simplificaram soluções de terceiros, como o serviço de embeddings da OpenAI, para gerar vetores durante a ingestão.
Busca com IA em ação
Dados não estruturados, embora frequentemente sejam os mais valiosos, também são os mais desafiadores de gerenciar. Com Fivetran e Milvus, as empresas podem criar ferramentas de busca com IA de forma rápida e fácil para extrair insights de seus conjuntos de dados mais ricos.
Os conectores totalmente gerenciados da Fivetran movem dados automaticamente, de forma confiável e segura, a partir dos principais aplicativos empresariais com suporte integrado à migração de esquemas. Por exemplo, imagine uma empresa que deseja criar uma ferramenta de busca interna para mensagens do Slack. Usando o conector Slack da Fivetran, os dados são primeiro replicados e armazenados em um formato normalizado em um data warehouse ou data lakehouse, como o Snowflake. Esses dados podem então ser desnormalizados, concatenados, fragmentados e transformados, após o que podem ser conectados ao Milvus usando o conector de origem Snowflake da Fivetran. Ao simplesmente armazenar os fragmentos de texto em uma coluna chamada original_text, o destino Milvus chama automaticamente o serviço de embeddings da OpenAI para gerar vetores a partir do texto. Os vetores são armazenados no Milvus junto com todos os outros rótulos como campos escalares e usados em conjunto para uma busca semântica eficiente baseada em similaridade vetorial com filtragem de metadados.
Figura- Como criar um pipeline de busca para fontes de dados com a integração Fivetran e Milvus
Conclusão
O recém-introduzido destino Milvus da Fivetran expande ainda mais o cenário de dados em IA para tornar toda fonte de dados semanticamente pesquisável. Ao ingerir os dados de origem de um conjunto diversificado de bancos de dados/warehouses e aplicativos empresariais para o banco de dados vetorial Milvus, essa integração facilita o desenvolvimento de fluxos de trabalho de IA. Você pode começar a usar o destino Milvus da Fivetran seguindo as instruções de configuração.
Para saber mais sobre essa integração e ver como criar uma busca em tempo real em ação, participe do nosso webinar de lançamento do produto em 26 de setembro de 2024. Vamos apresentar os recursos dessa integração e demonstrar como usar esse conector para criar chatbot RAG para issues do GitHub!
Jiang ChenJiang is currently Director of Technical GTM at Zilliz. He has years of experience in data infrastructures and cloud security. Before joining Zilliz, he had previously served as a tech lead and product manager at Google, where he led the development of web-scale semantic understanding and search indexing that powers innovative search products such as short video search. He has extensive industry experience handling massive unstructured data and multimedia content retrieval. He has also worked on cloud authorization systems and research on data privacy technologies. Jiang holds a Master's degree in Computer Science from the University of Michigan.
Charles WangLead Product Evangelist, Fivetran
Continue lendo
Zilliz Cloud Delivers Better Performance and Lower Costs with Arm Neoverse-based AWS Graviton
Zilliz Cloud adopts Arm-based AWS Graviton3 CPUs to cut costs, speed up AI vector search, and power billion-scale RAG and semantic search workloads.
Zilliz Cloud Enterprise Vector Search Powers High-Performance AI on AWS
Zilliz Cloud on AWS powers secure, scalable, ultra-fast vector search for enterprise AI apps, with BYOC, sub-10ms latency, and zero-DevOps simplicity.
Announcing the General Availability of Zilliz Cloud BYOC on Google Cloud Platform
Zilliz Cloud BYOC on GCP offers enterprise vector search with full data sovereignty and seamless integration.