Crie aplicações GenAI em tempo real com Zilliz Cloud e Confluent Cloud para Apache Flink®
Hoje, estamos entusiasmados em fazer parceria com a Confluent para desbloquear a busca semântica para atualizações em tempo real impulsionadas pelo Apache Kafka®, Apache Flink® e pelo banco de dados vetorial Milvus. Com o avanço da IA, modelos de embeddings e recuperação vetorial tornaram-se amplamente adotados para implementar busca e recomendação em muitas aplicações, incluindo busca corporativa, e-commerce e a cada vez mais popular Retrieval Augmented Generation (RAG). Para qualquer sistema de busca e recomendação, a atualidade das informações é fundamental para a experiência do usuário final.
A Confluent acaba de anunciar a disponibilidade geral do único serviço Apache Flink® cloud-native e serverless do setor — agora disponível diretamente junto ao Apache Kafka® cloud-native na plataforma de streaming de dados totalmente gerenciada da Confluent. A nova oferta Flink agora está pronta para uso na AWS, Google Cloud e Azure. Diretamente integrada ao Milvus e ao Zilliz Cloud (Milvus totalmente gerenciado), a Confluent fornece uma solução simples para acessar e processar fluxos de dados de toda a empresa para construir uma base de conhecimento em tempo real, contextual e confiável para alimentar aplicações de IA.
Como o Zilliz Cloud funciona com o Confluent Cloud
Aplicações de GenAI em tempo real exigem processamento de dados em tempo real
Implantar com sucesso aplicações de GenAI, como Retrieval Augmented Generation (RAG), exige a criação de pipelines de dados que forneçam fluxos de dados relevantes e em tempo real provenientes de todos os cantos da empresa. No entanto, preparar pipelines desse tipo não é uma tarefa fácil—especialmente ao considerar uma quantidade cada vez maior de fontes de dados diversas que abrangem tanto ambientes de dados legados quanto modernos.
Garantir que as aplicações tenham acesso a pipelines em tempo real com dados processados e preparados frequentemente exigirá a alocação de recursos valiosos de engenharia para gerenciar ferramentas de código aberto internamente, em vez de focar na inovação com impacto nos negócios. Como alternativa, processar fluxos de dados com segurança em vários sistemas downstream (ou em vários sistemas distribuídos) é complexo e inibe a (re)utilização dos dados, exigindo processamento redundante e caro.
Sem um meio confiável e econômico de processar e preparar fluxos de dados em tempo real exigidos por ferramentas downstream, os benefícios da GenAI permanecerão fora do alcance da maioria.
Crie facilmente fluxos de dados reutilizáveis e de alta qualidade com o único serviço Flink cloud-native e serverless do setor
O Apache Flink é um framework unificado de processamento de fluxos e em lote que tem sido um dos cinco principais projetos Apache por muitos anos. O Flink tem uma comunidade de contribuidores forte e diversa, apoiada por empresas como Alibaba e Apple. Ele impulsiona plataformas de processamento de fluxos em muitas empresas, incluindo nativas digitais como Uber, Netflix e LinkedIn, bem como empresas bem-sucedidas como ING, Goldman Sachs e Comcast.
Totalmente integrado ao Apache Kafka no Confluent Cloud, o novo serviço Flink da Confluent permite que as empresas:
● Filtrem, juntem e enriqueçam seus fluxos de dados da Confluent sem esforço com o Flink, o padrão de facto para processamento de fluxos
● Habilitem processamento de fluxos de alto desempenho e eficiente em qualquer escala, sem as complexidades do gerenciamento de infraestrutura
● Vivenciem Kafka e Flink como uma plataforma unificada, com monitoramento, segurança e governança totalmente integrados
Ao aproveitar o Kafka e o Flink como uma plataforma unificada, as equipes podem se conectar a fontes de dados em qualquer ambiente, limpar e enriquecer fluxos de dados em tempo real e entregá-los em tempo real ao banco de dados vetorial Milvus para pesquisa semântica ou recomendação eficientes. Graças à arquitetura escalável do Milvus, os dados se tornam instantaneamente pesquisáveis sem sacrificar a latência das consultas de pesquisa em andamento. Isso garante que os aplicativos de GenAI tenham a visão mais atualizada dos dados de negócios.
O serviço Flink totalmente gerenciado da Confluent agora está geralmente disponível em todos os três principais provedores de serviços em nuvem, fornecendo aos clientes uma verdadeira solução multicloud e a flexibilidade para implantar perfeitamente cargas de trabalho de processamento de fluxos em todos os lugares onde seus dados e aplicações residem. Com respaldo de um SLA de 99,99% de tempo de atividade, a Confluent garante processamento de fluxos confiável com suporte e serviços dos principais especialistas em Kafka e Flink.
Juntas, Zilliz e Confluent possibilitam o desenvolvimento mais simples de aplicações de GenAI
Nossa integração com a Confluent permite que suas equipes aproveitem um banco de dados vetorial continuamente enriquecido com atualizações de dados de negócios sendo transmitidas e indexadas em tempo real, para que você possa criar e escalar rapidamente as aplicações de IA com a melhor experiência do usuário.
Começando
Confira o Kafka-Milvus Connector de código aberto e use-o com suas instâncias do Flink e do Kafka no Confluent Cloud e o Milvus totalmente gerenciado no Zilliz Cloud para disponibilizar instantaneamente atualizações de dados em tempo real para pesquisa vetorial.
Ainda não é cliente da Confluent? Comece hoje seu teste gratuito do Confluent Cloud. Novos cadastros recebem US$ 400 para usar durante os primeiros 30 dias — sem necessidade de cartão de crédito.
Continue lendo
8 Latest RAG Advancements Every Developer Should Know
Explore eight advanced RAG variants that can solve real problems you might be facing: slow retrieval, poor context understanding, multimodal data handling, and resource optimization.
Why AI Databases Don't Need SQL
Whether you like it or not, here's the truth: SQL is destined for decline in the era of AI.
OpenAI o1: What Developers Need to Know
In this article, we will talk about the o1 series from a developer's perspective, exploring how these models can be implemented for sophisticated use cases.