Confluent's Kafka Connector for Milvus and Zilliz Cloudを発表：リアルタイム AI のパワーを解き放つ
オープンソースのMilvusおよびZilliz Cloud(Milvusのフルマネージド版)とConfluentのKafka Sink Connectorが利用可能になったことを発表できることを嬉しく思います。このコラボレーションは、ConfluentからMilvusまたはZillizベクトルデータベースへのシームレスなリアルタイムベクトルデータストリーミングを可能にし、非構造化データの可能性を最大限に引き出し、OpenAIのGPT-4のような大規模言語モデル(LLMs)を搭載したリアルタイムGenerative AIを大幅に強化する。
Zilliz と Confluent の相乗効果：リアルタイム・ベクター・ストリームを可能にする
デジタル時代において、非構造化データはかつてない速度で生成されており、新しく作成される情報の80%以上を占めている。その膨大な量と絶え間ない更新は、意味のある洞察をリアルタイムで迅速に消化し、抽出する上で大きな課題となっている。ベクトル埋め込みは、この非構造化データのカオスからインサイトを抽出するための、実績のあるアプローチである。問題の核心は、膨大なリアルタイムのベクトル・データを保存し、消化し、簡単に検索できるようにする効率的なソリューションを見つけることにある。
ConfluentとMilvus/Zillizベクターデータベースの相乗効果は完璧なソリューションを提供する。このコラボレーションにより、非構造化データから変換されたリアルタイムのConfluentベクトルストリームをMilvus/Zillizに移植することが可能になり、開発者はリアルタイムのセマンティック検索、画像/動画/音声の類似検索、検索拡張世代など様々なユースケースのアプリケーションを構築することができる。
ZillizとConfluentの統合からどのような恩恵が受けられるか
ConfluentとZillizの統合は様々な分野やアプリケーションの可能性を広げる。この統合を活用する方法をいくつかご紹介しよう。
リアルタイムナレッジベースによるジェネレーティブ AI の強化
増分ベクトルデータを瞬時に検索可能にすることで、ZillizとConfluentの統合はGenAIアプリケーションに最新の記憶をもたらし、より新鮮で正確な結果をもたらす。例えば、金融業界では、投資会社はConfluentを使用して、SEC提出書類や複数のソースからの最新の金融ニュースから得られたベクトル埋め込みをストリーミングするためのリアルタイムデータパイプラインを設定することができます。このデータは Kafka シンクコネクターを経由してリアルタイムで Milvus/Zilliz に取り込まれ、ベクトルの類似性検索に利用される。Milvus/ZillizはTop-Kの最も関連性の高い結果を迅速に検索し、Large Language Models (LLM)に最新のコンテキストを提供し、トレーダーやエコノミスト、その他の意思決定者にタイムリーで実用的な洞察を生み出します。
Eコマースプラットフォームのためのパーソナライズされたレコメンデーションの最適化
このKafkaシンク・コネクターにより、電子商取引企業は、リアルタイムの在庫更新や顧客行動に迅速に適応するレコメンデーション・システムを構築できます。画像、名前、説明文などの商品属性から生成されたベクトルは、Kafkaシンクコネクタを通じてMilvus/Zillizにリアルタイムでストリーミングされます。そして、Milvus/Zillizは、これらのベクトル埋め込みを類似検索に即座に使用し、システムが最新のデータに基づいて推奨商品を調整することを可能にする。
はじめに：リアルタイム・イノベーションへのシンプルなステップ
Confluent と Zilliz でリアルタイム AI の可能性を活用することに興奮していますか？どのように始められるかをご紹介します。
ステップ 1: Kafka Sink Connector をダウンロードする。
GitHub リポジトリ](https://github.com/zilliztech/kafka-connect-milvus#kafka-connect-milvus-connector) または Confluent Hub から最新のコネクター zip ファイルにアクセスしてください。
ステップ 2: アカウントの設定
無料のConfluentアカウントとZillizアカウントにサインアップする。Confluent Cloud でトピックを作成し、Zilliz Cloud でベクトルフィールドを持つコレクションを作成する。同じフィールド名であることを確認してください。
ステップ 3: コネクターをロードする
Confluent Cloud クラスターの Connectors セクションに zip ファイルをアップロードします。トークンのような機密性の高いプロパティを設定します。詳細については、custom-connector ページを確認してください。
ステップ 4: コネクターの設定
Confluent Cloud API Key と Secret を入力します。パブリックエンドポイント、トークン、ベクターコレクション名、Kafka トピックを含む、Milvus コネクターの設定を提供します。
ステップ 5: コネクターの起動
KafkaからMilvusへシームレスにデータをストリーミングするためにコネクタを起動します。Zilliz Cloudへのデータ挿入を確認し、リアルタイムデータ取り込みのマジックを目撃する。
詳細な情報やサンプルはGitHubリポジトリをご覧ください。
ZillizとConfluentでリアルタイムAIを取り入れる
Confluentインテグレーションページ](https://zilliz.com/product/integrations/confluent)で詳細なリソースをご覧いただき、AIイノベーションの未来へ飛躍してください。
Zillizは初めてですか？無料で始める 新しいスタータープランでは、インストールの手間もなく、クレジットカードも必要ありません。また、スタンダードプランの30日間無料トライアルでは、ご登録時に[100ドル分]のクレジットが付与され、合計で[200ドル分]のクレジットを獲得することができます。Zilliz Cloudをご利用中に問題やご質問が発生した場合は、サポートポータルからお問い合わせいただけます。
まだ Confluent のお客様ではありませんか？Confluent Cloud の無料トライアルを開始すると、最初の30日間400ドルのクレジットを受け取ることができます。
リアルタイムのジェネレーティブAIの時代が幕を開けた。私たちと一緒にAIイノベーションの未来を切り開きましょう。AIの真の可能性を一緒に解き明かしましょう。
_Zillizはベクトルデータベース技術のリーダーであり、10倍高速なベクトル検索を可能にする超高速プラットフォームを提供しています。クラウドネイティブの原則に基づいて構築されたZillizは、複雑な類似検索を必要とするアプリケーションのバックボーンとして機能し、検索拡張生成などのGenAI機能を活用するように設計されています。Zillizを使えば、開発者は高度な検索機能をシームレスにアプリケーションに統合し、ユーザーエクスペリエンスとバックエンドのパフォーマンスを大幅に向上させることができる。さらに詳しく知りたい方は、www.zilliz.com.をご覧ください。
Confluent**は、データストリーミング・プラットフォームであり、データを動かすデータインフラストラクチャの根本的な新カテゴリーを開拓しています。Confluent が提供するクラウドネイティブなプラットフォームは、複数のソースからのリアルタイムデータを組織全体で常時ストリーミングできるようにするインテリジェントな結合組織として設計されています。Confluent を利用することで、組織はリッチでデジタルなフロントエンドの顧客体験を提供し、洗練されたリアルタイムのソフトウェア主導のバックエンド業務に移行するという、新たなビジネス上の要請に応えることができる。詳細については、www.confluent.io.をご覧ください。
Fendy FengFendy Feng is the Technical Marketing Writer at Zilliz. She has extensive experience developing and enhancing the impact of open-source projects in various global markets by producing high-quality, tailored content. Before joining Zilliz, Fendy worked as a Content Strategist at PingCAP, a fast-growing E-Series startup renowned for its open-source distributed SQL database.
読み続けて
A Developer's Guide to Exploring Milvus 2.6 Features on Zilliz Cloud
Milvus 2.6 marks a shift from “vector search + glue code” to a more advanced retrieval engine, and it is now Generally Available (GA) on Zilliz Cloud (a managed Milvus service).
VidTok: Rethinking Video Processing with Compact Tokenization
VidTok tokenizes videos to reduce redundancy while preserving spatial and temporal details for efficient processing.
AI Integration in Video Surveillance Tools: Transforming the Industry with Vector Databases
Discover how AI and vector databases are revolutionizing video surveillance with real-time analysis, faster threat detection, and intelligent search capabilities for enhanced security.