Zilliz Cloud Pipelines 2月リリース - サードパーティ埋め込みモデルとユーザビリティの改善！
Zilliz Cloud Pipelines](https://zilliz.com/zilliz-cloud-pipelines)の大幅なアップデートを発表できることを嬉しく思います。柔軟で高品質な検索とDevOpsのオーバーヘッドをゼロにするエキサイティングな機能が満載です。
2月のリリースでは、モデルの埋め込みと使いやすさという2つの重要な分野に焦点を当てました。
OpenAIとVoyage AIによる新しい埋め込みモデル
OpenAIとVoyage AIが提供するサードパーティのエンベッディングモデルが追加され、Zilliz Cloud Pipelinesは6つのエンベッディングモデル（英語モデル5つ、中国語モデル1つ）を柔軟に選択できるようになりました！ストレージコスト、検索品質、レイテンシーのどのバランスを重視する場合でも、最適な選択が可能です：
- 品質とオーバーヘッドのバランス：
openai/text-embedding-3-smallは、低次元のベクトルを生成する非常に効率的なモデルで、競争力のある品質を持っています。推論とストレージのオーバーヘッドが最も小さい。 - 特定のタスクに対して最高のパフォーマンスを求める：
voyageai/voyage-code-2は、ソースコードや技術文書などのコード集約的なテキストに対して卓越した検索品質を持つ。 - インジェストとクエリ提供のネットワーク遅延に敏感：zilliz/bge-base-en-v1.5`は、ベクトルデータベースと同じネットワーク環境に設置された優れた汎用モデルであり、エンドツーエンドで最良の取り込みとクエリ待ち時間を実現する。
| 埋め込みモデル
| ----------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------ |
| zilliz/bge-base-en-v1.5｜BAAIによってリリースされたこの最先端のオープンソースモデルは、Zillizクラウド上でホストされ、ベクトルデータベースと同居しているため、高品質で最良のネットワークレイテンシーを提供します。これは language が ENGLISH のときのデフォルトの埋め込みモデルである。 |
| voyageai/voyage-2｜Voyage AIによってホストされています。この汎用モデルは、説明的なテキストやコードを含む技術文書の検索に優れています。より軽量なバージョンであるvoyage-lite-02-instructは[MTEB leaderboard.]でトップにランクされている(https://zilliz.com/glossary/massive-text-embedding-benchmark-(mteb))。このモデルは言語がENGLISHの場合にのみ利用可能である。|
| voyageai/voyage-code-2｜Voyage AIによってホストされています。このモデルはプログラミングコード用に最適化されており、検索コードブロックに優れた品質を提供する。このモデルは language が ENGLISH の場合にのみ利用可能である。 |
| openai/text-embedding-3-small｜OpenAIによってホストされている。この非常に効率的な埋め込みモデルは、前身のtext-embedding-ada-002よりも強力な性能を持ち、推論コストと品質のバランスをとっている。このモデルは language が ENGLISH の場合のみ利用可能である。 |
| openai/text-embedding-3-large｜OpenAIによってホストされています。これはOpenAIの最もパフォーマンスの良いモデルです。text-embedding-ada-002と比較すると、MTEBスコアは61.0%から64.6%に増加しています。このモデルは language が ENGLISH の場合のみ利用可能です。 |
| zilliz/bge-base-zh-v1.5｜BAAIによってリリースされたこの最先端のオープンソースモデルは、Zillizクラウド上でホスティングされ、ベクトルデータベースと同居しているため、高品質で最良のネットワーク遅延を提供します。これは language が CHINESE のときのデフォルトの埋め込みモデルである。 |
より良いオンボーディング体験のためのユーザビリティの向上
検索のワンストップソリューションとして、Zilliz Cloud Pipelinesの開発フェーズとオンボーディングフェーズの両方で最高の開発者体験を提供することを目指しています。今回のリリースでは、新たに「パイプラインの実行」ページとローカルファイルのアップロード機能を追加しました。また、GCPのus-west-2リージョンにある全てのvector db専用クラスタに対応し、パイプライン機能がサーバーレスフリープランに限定されなくなりました。
パイプライン実行の新しいUX
新しく作成したパイプラインをテストする際、数クリックで実行してみたいという衝動はよくわかります。新しくデザインされた "Run Pipeline" ページで、パイプライン機能をテストしやすくなりました。左側のパネルにコレクションごとにパイプラインを整理しました。左側のパネルからパイプラインを選択し、文書の取り込みや検索クエリの試行を行うことができます。パイプラインの種類はUIに表示されるので、すぐに見分けることができます。
ローカルファイルのアップロード
本番環境ではオブジェクトストアからドキュメントを取り込むのが便利で安全ですが、多くの開発者は利便性のために開発中にローカルファイルをアップロードすることを好みます。このリリースでは、S3とGCSに加えてローカルファイルのアップロードもサポートしています。Run Pipeline "UIの "Attach File "ボタンをクリックすることで、ローカルファイルを直接取り込むことができます。
専用ベクターデータベースクラスターのサポート
Zilliz Cloud Pipelinesの提供開始以来、より多くの種類のベクトルデータベースクラスタにサービスを拡張してほしいというユーザーからのフィードバックを受けてきました。今回のリリースでは、その制限を取り除くことができました。Zilliz Cloud Pipelinesは、ServerlessやDedicatedを含む、GCP us-west-2リージョン内のあらゆる種類のベクターデータベースクラスターで動作することができるようになりました。今後のリリースでは、AWS、Azure、Alicloudなど、より多くのクラウドやリージョンにサービスを拡大する予定です。
専用クラスタのサポートにより、ベクトル検索のパフォーマンスと信頼性が向上し、便利なワンストップ検索サービスであるZilliz Cloud Pipelinesの恩恵を受けることができます。
今すぐZilliz Cloud Pipelinesを始めよう
Zilliz Cloud Pipelinesの2月のリリースは以上です：選べるエンベッディングモデルの増加、ユーザーエクスペリエンスの向上、ローカルファイルアップロード、専用クラスタサポート。
Zilliz Cloud Pipelinesのパワーを体験してみませんか？今すぐ無料でサインアップし、品質、柔軟性、DevOpsオーバーヘッドのない合理化された検索ソリューションをお試しください。また、LlamaIndexのような人気のあるRAGフレームワークでZilliz Cloud Pipelinesを使用することもできます。Zilliz Cloud Pipelinesを利用して、インフラストラクチャのメンテナンスやDevOpsからイノベーションを解放している多くの開発者の仲間入りをしましょう。
Jiang ChenJiang is currently Head of Ecosystem and Developer Relations at Zilliz. He has years of experience in data infrastructures and cloud security. Before joining Zilliz, he had previously served as a tech lead and product manager at Google, where he led the development of web-scale semantic understanding and search indexing that powers innovative search products such as short video search. He has extensive industry experience handling massive unstructured data and multimedia content retrieval. He has also worked on cloud authorization systems and research on data privacy technologies. Jiang holds a Master's degree in Computer Science from the University of Michigan.
読み続けて
Introducing Functions and Model Inference on Zilliz Cloud: Automatic Embedding and Reranking with Hosted Models
Zilliz Cloud Functions auto-generate embeddings via OpenAI, Voyage AI, Cohere, or Zilliz Hosted Models. Built-in reranking — just insert text and search.
Introducing Customer-Managed Encryption Keys (CMEK) on Zilliz Cloud
We're announcing the general availability of Customer-Managed Encryption Keys (CMEK) on Zilliz Cloud.
Optimizing Embedding Model Selection with TDA Clustering: A Strategic Guide for Vector Databases
Discover how Topological Data Analysis (TDA) reveals hidden embedding model weaknesses and helps optimize vector database performance.