Zilliz×Confluent：幻覚を見ずにリアルタイムRAGアプリケーションを構築する
Kafkaはオープンソースのリアルタイム・データ・ストリーミング・プラットフォームであり、アプリケーションがデータ・ストリームを効率的にパブリッシュ（書き込み）およびサブスクライブ（読み込み）できるようにするメッセージ・ブローカーである。開発者は Kafka を使ってスケーラブルで耐障害性のあるデータパイプラインを構築し、ベクトルデータベースにフィードして retrieval augmented generation (RAG) アプリケーションを強化することができる。Confluent は、イベント駆動型アプリケーションとストリーミング・データ・アーキテクチャの使用を簡素化するために、Kafka を中心に構築された商用ソリューションとツールを提供する企業である。
ジェネレーティブAI（LLM、拡散モデル、GANなど）は、さまざまな業界や業種に幅広く適用できる。CVP](https://zilliz.com/blog/ChatGPT-VectorDB-Prompt-as-code)(ChatGPT、ベクトルデータベース、プロンプト)フレームワークは、セマンティック検索を実行するためにベクトルデータベースを活用するRAGのインスタンスとして頻繁に使用されている。
Confluentの統合は、Zilliz Cloud (ホスティングされたMilvus)とConfluent Kafkaを活用し、データのリアルタイムの取り込み、構文解析、処理を実行し、ユーザーエクスペリエンスの向上に役立つ最新かつコンテキストに関連した情報を提供することで、大規模言語モデル(LLM)の幻覚を減らす。
チャットボット、リアルタイムの感情分析、カスタマーサポートなど、この統合の恩恵を受ける膨大な数のユースケースがあります。
GenAI以外にも、この統合を利用してリアルタイムのレコメンダーシステムを構築したり、異常を検出したり、リアルタイムAIの恩恵を受ける様々なアプリケーションを開発することができる。
Confluent と Zilliz のクラウド統合の仕組み
統合の仕組み
1.リアルタイムデータはトピックプロデューサー経由で Confluent に書き込まれ、このデータは解析されて Confluent に送り返される。 2.Milvus コンシューマーは Confluent からリアルタイムデータを読み込み、処理する。 3.リアルタイムデータは埋め込みモデルを介してベクトル埋め込みに変換される。 4.ベクトル埋め込みはZilliz Cloudに保存される。 5.ユーザーはチャットボット（またはRAGアプリ）に質問を送信する。 6.質問はクエリ用のベクトル埋め込みに変換される。 7.Zilliz Cloudは、類似性検索を通じて、質問に最も関連する上位k件の結果を見つける。 8.Zilliz Cloudから検索された結果は、プロンプトに追加され、LLMに送信される。 9.LLMは回答を生成し、チャットボットを通じてユーザーに送信する。
方法を学ぶ
Confluent インテグレーションの使用方法については、以下のチュートリアルをご覧ください。