Zilliz CloudとConfluent Cloud for Apache Flink®によるリアルタイムGenAIアプリケーションの構築

本日、私たちはConfluentと提携し、Apache Kafka®、Apache Flink®、およびMilvusベクトルデータベースを利用したリアルタイム更新のセマンティック検索を実現できることを嬉しく思います。AIの進歩に伴い、埋め込みモデルとベクトル検索は、エンタープライズ検索、eコマース、ますます人気のRAG（Retrieval Augmented Generation）など、多くのアプリケーションで検索と推薦を実装するために広く採用されるようになった。どのような検索・推薦システムにおいても、情報の最新性はエンドユーザーにとって非常に重要である。

Confluentは、業界唯一のクラウドネイティブ、サーバーレスApache Flink^®サービスの一般提供を発表しました。これは、Confluentの完全に管理されたデータストリーミングプラットフォーム上で、クラウドネイティブのApache Kafka^®と一緒に直接利用できるようになったものです。この新しいFlinkサービスは、AWS、Google Cloud、Azureで使用できるようになりました。MilvusおよびZilliz Cloud（フルマネージドMilvus）と直接統合されたConfluentは、ビジネス全体からデータストリームにアクセスし処理するためのシンプルなソリューションを提供し、AIアプリケーションに燃料を供給するための、リアルタイムで文脈に沿った信頼できるナレッジベースを構築する。

Zilliz CloudとConfluent Cloudの連携](https://assets.zilliz.com/how_zilliz_cloud_works_with_confluent_b99a6f0ca6.png)

リアルタイムの GenAI アプリケーションにはリアルタイムのデータ処理が必要

Retrieval Augmented Generation](https://zilliz.com/learn/Retrieval-Augmented-Generation) (RAG) のような GenAI アプリケーションをうまく展開するには、ビジネスの隅々から供給される関連性の高いリアルタイムのデータストリームを提供するデータパイプラインを構築する必要がある。しかし、この種のパイプラインを準備するのは簡単な作業ではありません。特に、レガシーデータ環境と最新のデータ環境の両方にまたがる、増え続ける多様なデータソースを考慮する場合はなおさらです。

特に、レガシーデータと最新のデータ環境の両方にまたがる、増え続ける多様なデータソースを考慮する場合はなおさらです。処理済みの準備済みデータを含むリアルタイムのパイプラインにアプリケーションが確実にアクセスできるようにするには、多くの場合、ビジネスに影響を与えるイノベーションに集中するよりも、オープンソースのツールを社内で管理するために貴重なエンジニアリングリソースを割り当てる必要があります。あるいは、複数のダウンストリームシステム（または複数の分散システム）でデータストリームを安全に処理することは複雑で、データの（再）利用性を阻害し、冗長かつ高価な処理を必要とする。

ダウンストリームツールが必要とするリアルタイムのデータストリームを処理し、準備するための信頼性が高く、費用対効果の高い手段がなければ、GenAIの利点はほとんどの人にとって手の届かないものにとどまるだろう。

業界唯一のクラウドネイティブなサーバーレスFlinkサービスで、高品質で再利用可能なデータストリームを簡単に構築できる

Apache Flinkは、ストリーム処理とバッチ処理を統合したフレームワークであり、長年にわたりApacheのトップ5プロジェクトとなっている。Flinkは、AlibabaやAppleのような企業に支えられた強力で多様な貢献者コミュニティを持っています。Uber、Netflix、LinkedInのようなデジタルネイティブ企業や、ING、Goldman Sachs、Comcastのような成功した企業を含む多くの企業のストリーム処理プラットフォームを支えている。

Confluent Cloud 上の Apache Kafka と完全に統合された Confluent の新しい Flink サービスにより、企業は以下のことが可能になる：

ストリーム処理のデファクトスタンダードである Flink** を使用して、Confluent のデータストリームを簡単にフィルタリング、結合、リッチ化できます。

インフラの複雑な管理なしに、あらゆる規模** でハイパフォーマンスかつ効率的なストリーム処理を可能にします。

監視、セキュリティ、ガバナンスが完全に統合された Kafka と Flink を統合プラットフォーム** として体験できます。

KafkaとFlinkを統合プラットフォームとして活用することで、チームはあらゆる環境のデータソースに接続し、データストリームをオンザフライでクリーニングおよびエンリッチし、効率的なセマンティック検索やレコメンデーションのためにMilvusベクトルデータベースにリアルタイムで配信することができます。Milvusのスケーラブルなアーキテクチャのおかげで、継続的な検索クエリのレイテンシを犠牲にすることなく、データは即座に検索可能になる。これにより、GenAIアプリはビジネスデータの最新ビューを確保できる。

ConfluentのフルマネージドFlinkサービスは現在、3つの主要なクラウドサービスプロバイダーすべてで一般的に利用可能であり、顧客に真のマルチクラウドソリューションと、データとアプリケーションが存在するあらゆる場所にストリーム処理ワークロードをシームレスに展開する柔軟性を提供する。99.99%のアップタイムSLAに支えられたConfluentは、KafkaとFlinkのエキスパートによるサポートとサービスにより、信頼性の高いストリーム処理を保証します。

ZillizとConfluentの連携により、GenAIアプリケーションの開発がよりシンプルになる

当社のConfluentインテグレーションは、ビジネスデータの更新がリアルタイムでストリーミングされインデックス化されることで、チームが継続的にエンリッチされたベクターデータベースを利用することを可能にし、最高のユーザーエクスペリエンスでAIアプリケーションを迅速に構築し拡張することができます。

はじめに

オープンソースのKafka-Milvus Connectorをチェックアウトし、Confluent Cloud上のFlinkとKafkaインスタンス、およびZilliz Cloud上のフルマネージドMilvusで使用することで、リアルタイムデータ更新をベクトル検索で即座に利用できるようになります。

まだ Confluent のお客様ではありませんか？今すぐ Confluent Cloud の無料トライアル を開始してください。新規ご登録のお客様には、最初の 30 日間に 400 ドルをご利用いただけます。