Confluent
Real-time data ingestion for your RAG applications with Kafka
Utilize esta integração gratuitamenteZilliz x Confluent: Criar aplicações RAG em tempo real sem alucinações
O Kafka é uma plataforma de fonte aberta de fluxo de dados em tempo real e um corretor de mensagens que permite às aplicações publicar (escrever) e subscrever (ler) fluxos de dados de forma eficiente. Os programadores utilizam o Kafka para criar condutas de dados escaláveis e tolerantes a falhas que podem alimentar bases de dados vectoriais para melhorar as aplicações retrieval augmented generation (RAG). A Confluent é uma empresa que fornece soluções e ferramentas comerciais baseadas no Kafka para simplificar a sua utilização em aplicações orientadas para eventos e arquitecturas de fluxo de dados.
A IA generativa (LLMs, modelos de difusão, GANs, etc.) é amplamente aplicável em muitos sectores e sectores verticais diferentes. A injeção de dados do domínio nestes modelos através de RAG está a tornar-se cada vez mais comum a nível da aplicação - o CVP (ChatGPT, base de dados vetorial, prompting) é uma instanciação frequentemente utilizada de RAG que aproveita uma base de dados vetorial para efetuar pesquisa semântica.
A integração do Confluent utiliza o Zilliz Cloud (Hosted Milvus) e o Confluent Kafka para realizar a ingestão, a análise e o processamento de dados em tempo real, a fim de reduzir a alucinação em grandes modelos de linguagem (LLM), fornecendo informações actualizadas e contextualmente relevantes que ajudam a melhorar a experiência do utilizador.
Há um grande número de [casos de utilização] (https://zilliz.com/use-cases) que podem beneficiar desta integração, tais como chatbots, análise de sentimentos em tempo real e apoio ao cliente.
Para além da GenAI, também pode utilizar esta integração para criar sistemas de recomendação em tempo real, detetar anomalias e desenvolver várias outras aplicações que beneficiam da IA em tempo real.
Como funciona a integração entre o Confluent e o Zilliz Cloud
Como funciona a integração
- Os dados em tempo real são escritos no Confluent através de produtores de tópicos; estes dados são analisados e enviados de volta para o Confluent.
- Os consumidores Milvus lêem e processam os dados em tempo real do Confluent.
- Os dados em tempo real são convertidos em embeddings vectoriais através de modelos de embedding.
- Os vectores de incorporação são armazenados no Zilliz Cloud.
- Os utilizadores enviam as suas perguntas ao chatbot (ou à aplicação RAG).
- A pergunta é transformada em embeddings vectoriais para consultas.
- O Zilliz Cloud encontra os k resultados mais relevantes para a pergunta através de uma pesquisa por semelhança.
- Os resultados recuperados do Zilliz Cloud são anexados ao prompt e enviados para o LLM.
- O LLM gera a resposta e envia-a ao utilizador através do chatbot.
Saiba como
Consulte estes tutoriais para saber como utilizar a integração do Confluent.