Fivetran
Zilliz Cloud and Fivetran simplify building AI search solutions with efficient data ingestion.
この統合を無料で利用するFivetranについて
Fivetranは、様々なソースから一元化された宛先へのデータの抽出、ロード、変換のプロセスを自動化するデータ統合プラットフォームです。Fivetranは、500以上の事前構築済みコネクタにより、主要なビジネスアプリケーション、データベース、およびその他のソースから、信頼性の高いセキュアなデータ移行を可能にします。このプラットフォームはスキーマ移行をサポートし、シームレスなデータレプリケーションのために完全に管理されたコネクタを提供します。
なぜZilliz CloudとFivetranなのか？
Zilliz CloudとFivetranを組み合わせることで、AIを活用した検索アプリケーションを構築するための強力なソリューションが誕生します。Milvus ベクトルデータベースのフルマネージド版であるZilliz Cloudは、セマンティック検索やretrieval-augmented generation (RAG)に不可欠な高性能ベクトル検索機能を提供します。FivetranのMilvusデスティネーションは、様々なソースからZilliz Cloudへのデータ取り込みプロセスを簡素化し、複雑なデータパイプラインを不要にします。
この統合により、企業は多様なデータソースをZilliz Cloudに簡単に接続することができ、構造化データと非構造化データを横断した効率的なAIを活用した検索が可能になる。データ取り込みを合理化し、Zilliz Cloudの高度なベクトル検索機能を活用することで、開発者は組織のデータリソースをフル活用するAIアプリケーションを迅速に構築することができる。
ZillizクラウドとFivetranの仕組み
Zilliz CloudとFivetranの統合は、FivetranのMilvusデスティネーションコネクタを使用することで機能します。このコネクタにより、500以上のソースからZilliz Cloudにデータを簡単に移動することができる。このプロセスは、Fivetranがクラウドストレージ、ビジネスアプリケーション、リレーショナルデータベースなどの様々なソースからデータを抽出することから始まる。このデータは次に、データウェアハウスやデータレイクハウスのような一元化されたリポジトリにロードされる。 次に、非正規化、連結、チャンキングなど、必要に応じてデータを変換します。Fivetran Milvusのデスティネーションは、この処理されたデータに接続し、OpenAIのエンベッディングモデルを使用して、非構造化データのベクトル化を自動的に処理します。これらのベクトルは、関連するメタデータとともに、Zilliz Cloudに効率的に保存される。このセットアップにより、高速でスケーラブルなAI搭載検索ソリューションが可能になり、アプリケーションはセマンティック検索を実行し、より正確な結果を得るためにメタデータフィルタリングを使用することができる。
学ぶ
チュートリアルの実践から始めるのが一番です。このチュートリアルでは、FivetranとZilliz Cloudを使って様々なデータソースのデータ取り込みパイプラインを構築する方法を説明します。
さらにいくつかのリソースがあります：
- FivetranのMilvus Destinationドキュメント
- Zilliz Cloud クイックスタート ガイド
- ウェビナーFivetranとZilliz Cloudによるリアルタイム検索の構築（2024年9月26日）
- ブログ記事FivetranとMilvusでAIを活用した検索を解き放つ