Confluent

O Kafka é uma plataforma de fonte aberta de fluxo de dados em tempo real e um corretor de mensagens que permite às aplicações publicar (escrever) e subscrever (ler) fluxos de dados de forma eficiente. Os programadores utilizam o Kafka para criar condutas de dados escaláveis e tolerantes a falhas que podem alimentar bases de dados vectoriais para melhorar as aplicações retrieval augmented generation (RAG). A Confluent é uma empresa que fornece soluções e ferramentas comerciais baseadas no Kafka para simplificar a sua utilização em aplicações orientadas para eventos e arquitecturas de fluxo de dados.

A IA generativa (LLMs, modelos de difusão, GANs, etc.) é amplamente aplicável em muitos sectores e sectores verticais diferentes. A injeção de dados do domínio nestes modelos através de RAG está a tornar-se cada vez mais comum a nível da aplicação - o CVP (ChatGPT, base de dados vetorial, prompting) é uma instanciação frequentemente utilizada de RAG que aproveita uma base de dados vetorial para efetuar pesquisa semântica.

A integração do Confluent utiliza o Zilliz Cloud (Hosted Milvus) e o Confluent Kafka para realizar a ingestão, a análise e o processamento de dados em tempo real, a fim de reduzir a alucinação em grandes modelos de linguagem (LLM), fornecendo informações actualizadas e contextualmente relevantes que ajudam a melhorar a experiência do utilizador.

Há um grande número de [casos de utilização] (https://zilliz.com/use-cases) que podem beneficiar desta integração, tais como chatbots, análise de sentimentos em tempo real e apoio ao cliente.

Para além da GenAI, também pode utilizar esta integração para criar sistemas de recomendação em tempo real, detetar anomalias e desenvolver várias outras aplicações que beneficiam da IA em tempo real.

Como funciona a integração

1. Os dados em tempo real são escritos no Confluent através de produtores de tópicos; estes dados são analisados e enviados de volta para o Confluent.
2. Os consumidores Milvus lêem e processam os dados em tempo real do Confluent.
3. Os dados em tempo real são convertidos em embeddings vectoriais através de modelos de embedding.
4. Os vectores de incorporação são armazenados no Zilliz Cloud.
5. Os utilizadores enviam as suas perguntas ao chatbot (ou à aplicação RAG).
6. A pergunta é transformada em embeddings vectoriais para consultas.
7. O Zilliz Cloud encontra os k resultados mais relevantes para a pergunta através de uma pesquisa por semelhança.
8. Os resultados recuperados do Zilliz Cloud são anexados ao prompt e enviados para o LLM.
9. O LLM gera a resposta e envia-a ao utilizador através do chatbot.

Consulte estes tutoriais para saber como utilizar a integração do Confluent.

Baixe a integração e o início rápido