Confluent

Kafka è una piattaforma open-source di streaming di dati in tempo reale e un broker di messaggi che consente alle applicazioni di pubblicare (scrivere) e sottoscrivere (leggere) flussi di dati in modo efficiente. Gli sviluppatori usano Kafka per costruire pipeline di dati scalabili e tolleranti ai guasti che possono alimentare database vettoriali per migliorare le applicazioni retrieval augmented generation (RAG). Confluent è un'azienda che fornisce soluzioni commerciali e strumenti costruiti attorno a Kafka per semplificarne l'uso nelle applicazioni event-driven e nelle architetture di streaming dei dati.

L'intelligenza artificiale generativa (LLM, modelli di diffusione, GAN, ecc.) è ampiamente applicabile in molti settori e verticali diversi. L'iniezione di dati di dominio in questi modelli tramite RAG sta diventando sempre più comune a livello applicativo: il framework CVP (ChatGPT, vector database, prompting) è un'istanziazione frequentemente utilizzata di RAG che sfrutta un database vettoriale per eseguire ricerche semantiche.

L'integrazione di Confluent sfrutta Zilliz Cloud (Hosted Milvus) e Confluent Kafka per eseguire l'ingestione, il parsing e l'elaborazione dei dati in tempo reale, al fine di ridurre l'allucinazione nei Large Language Models (LLM), fornendo informazioni aggiornate e contestualmente rilevanti che contribuiscono a migliorare l'esperienza dell'utente.

Esiste un gran numero di casi d'uso che possono trarre vantaggio da questa integrazione, come i chatbot, l'analisi del sentiment in tempo reale e l'assistenza clienti.

Oltre a GenAI, è possibile utilizzare questa integrazione per creare sistemi di raccomandazione in tempo reale, rilevare anomalie e sviluppare varie altre applicazioni che traggono vantaggio dall'IA in tempo reale.

Come funziona l'integrazione

1. I dati in tempo reale vengono scritti su Confluent tramite i produttori di argomenti; questi dati vengono analizzati e inviati nuovamente a Confluent.
2. I consumatori Milvus leggono ed elaborano i dati in tempo reale da Confluent.
3. I dati in tempo reale vengono convertiti in embeddings vettoriali tramite modelli di embedding.
4. Gli embeddings vettoriali vengono memorizzati in Zilliz Cloud.
5. Gli utenti inviano le loro domande al chatbot (o all'app RAG).
6. La domanda viene trasformata in embeddings vettoriali per le query.
7. Zilliz Cloud trova i primi k risultati più rilevanti per la domanda attraverso una ricerca di similarità.
8. I risultati recuperati da Zilliz Cloud vengono aggiunti al prompt e inviati al LLM.
9. L'LLM genera la risposta e la invia all'utente tramite il chatbot.

Date un'occhiata a queste esercitazioni per imparare a usare l'integrazione con Confluent.

Scaricare l'integrazione e l'avvio rapido .