Zilliz Cloudの新機能：Cardinal Search Engine、GCP Marketplace、Databricks Connectorなど
ベクターデータベースとデータサービスによるAIイノベーションを通じて、真のビジネスインパクトを促進する新機能を搭載したZilliz Cloudの最新製品が発表されました。新機能とは？Zilliz Cloudは、エンタープライズグレードのセキュリティとシームレスなデータ統合を確保しながら、ベクトル検索のパフォーマンスを大幅に向上させます。
主な導入機能には、10倍という驚異的なパフォーマンスの向上、予算編成、支払い、調達プロセスの簡素化、カスタムコードの不要化、非構造化データのスムーズなデータ処理とインデックス作成などがあります。
詳細はこちらをご覧ください：
Zilliz Cloudの新機能
枢機卿サーチエンジン](https://zilliz.com/blog/Zilliz-Jan-24-launch-Milvus-2-3-RBAC-Databricks-Connector#Cardinal-Search-Engine-10X-faster-search-50-more-capacity)
Milvus 2.3がZilliz Cloudで一般利用可能に](https://zilliz.com/blog/Zilliz-Jan-24-launch-Milvus-2-3-RBAC-Databricks-Connector#Milvus-23-generally-available-on-Zilliz-Cloud-advanced-vector-search-features-ready-for-production-workloads)
Googleクラウドマーケットプレイス統合](https://zilliz.com/blog/Zilliz-Jan-24-launch-Milvus-2-3-RBAC-Databricks-Connector#GCP-Marketplace-integration-simplifying-budget-planning-payment-and-procurement)
役割ベースのアクセス制御](https://zilliz.com/blog/Zilliz-Jan-24-launch-Milvus-2-3-RBAC-Databricks-Connector#Role-based-Access-Control-enable-granular-access-controls-to-critical-resources-at-scale)
Databricks コネクタ](https://zilliz.com/blog/Zilliz-Jan-24-launch-Milvus-2-3-RBAC-Databricks-Connector#Databricks-Connector-leverage-Databricks-powerful-data-processing-alongside-Zilliz-Clouds-vector-index-and-search-with-no-custom-code-required)
その他のセキュリティアップデート](https://zilliz.com/blog/Zilliz-Jan-24-launch-Milvus-2-3-RBAC-Databricks-Connector#Other-security-updates)
ローンチウェビナー](https://zilliz.com/event/zilliz-cloud-product-launch) に参加して、これらのイノベーションを実際にご覧ください。
ウェビナー](https://assets.zilliz.com/new_features_zilliz_cloud_9f74290c84.png)
カーディナル・サーチ・エンジン：検索速度10倍、容量50％アップ
最新のC++と実用的な近似最近傍探索(ANNS)メソッドで一から設計されたCardinalは、マルチスレッド対応の高効率ベクトル検索エンジンです。ブルートフォース検索からANNSインデックスの修正、FP32、FP16、BF16を含むさまざまなデータ形式の処理まで、幅広いタスクを処理する。Cardinalが最も重視するのはスピードと効率性で、リソースの制約の中でより多くのユーザーリクエストを処理できるようにします。
Cardinalの背後にある技術革新は、ヘテロジニアス・コンピューティングを心から取り入れた当社の謙虚な出発点の証です。当社のチームはアルゴリズムを微調整し、低レベルに特化した最適化カーネルを計算集約型処理に採用し、x86やARMなど複数のハードウェアプラットフォームのサポートを保証してきました。Cardinalは、x86向けのAVX-512拡張やARM向けのNEONおよびSVE命令セットなどの最先端技術を活用し、効率的な計算のために最適化されたコードを提供します。これらの綿密な最適化により、Cardinalは最高のパフォーマンスで動作することが保証され、業界最速のベクトル検索エンジンとなります。
Cardinalを使用することで、お客様はオープンソースのMilvusと比較して10倍という驚異的なパフォーマンス向上を達成し、高い再現率を維持しながらクエリを高速に処理することができます。大規模なデータセットを扱う場合でも、迅速な応答が必要な場合でも、Cardinalはベクトル検索を迅速かつ効率的に実行します。スピーディーなクエリ結果はユーザーエクスペリエンスを向上させ、お客様のAIアプリケーションに競争上の優位性をもたらします。私たちがCardinalを構築するきっかけとなった実際の使用例については、こちらをご覧ください。
「PicdmoのCEO兼創設者であるアレックス・アレクサンダー氏は、「我々は、特に高負荷データ下でのZilliz Cloudのパフォーマンスに感銘を受けてきました。「Cardinal検索エンジンの導入は、Milvusのパフォーマンスを向上させ、従来のZilliz Cloudの2倍にすることを約束するもので、我々にとって画期的なものになるでしょう。この効率性の飛躍は、セキュリティの最新の進歩と相まって、お客様に高度な画像類似検索を提供する我々の能力を大幅に向上させるでしょう。"
詳しくはCardinal Search Engineブログをご覧ください。
Milvus 2.3がZilliz Cloudで一般利用可能に：高度なベクトル検索機能が本番ワークロードに対応
4ヶ月のベータ段階を経て、待望のMilvus 2.3がZilliz Cloudで一般利用可能になりました。Zilliz Cloudのユーザーは、本番環境でこれらの高度なベクトル検索とデータ管理機能を自信を持って利用できるようになりました。
このバージョンのハイライトは以下の通りです：
コサイン類似度](https://docs.zilliz.com/docs/search-metrics-explained?_highlight=cosine#cosine-similarity):**類似度計算の高度な機能により、事前のベクトル正規化を不要にし、クエリプロセスを合理化します。
アップサート関数**](https://docs.zilliz.com/docs/insert-update-delete?_highlight=upsert#upsert-entities)：データセットの更新と削除の効率を向上させ、データ管理を簡素化。データの一貫性と原子性が重要な動的環境では特に有用。
範囲検索: この機能は、ベクトルクエリの範囲をトップK検索を超えて広げることで、いくつかのユースケースに対してより正確なデータ検索方法を提供します。これは特に推薦エンジンにとって有益であり、ユーザーにとってより適切な提案を保証する。
Apache Parquet File Support:** Parquet の効率的なカラムナー・ストレージ・フォーマットによるデータ処理機能が向上し、特に複雑なデータセットに対して、より優れた圧縮とクエリ・パフォーマンスを提供します。
配列データ型のサポート：*** 複数の属性に基づく高度な検索のための正確なメタデータのフィルタリングを可能にします。例えば、電子商取引では、この機能により、さまざまな商品タグに基づく高度な検索が可能になり、ユーザーに関連性の高い検索結果を提供します。
GCP Marketplaceの統合: 予算計画、支払い、調達の簡素化
Zilliz CloudはGoogle Cloud Marketplaceとの統合を開始し、開発者にその機能を活用するためのシームレスな体験を提供しています。Google Cloudのリソースやインフラストラクチャを、個別の支払いや調達手続きの複雑さなしに利用することができます。また、この統合により、新たな AI イニシアチブのための予算計画やコミットメントを前もって行う必要がなくなり、利用が簡素化されます。プロジェクトが発展するにつれて、クラスターを拡張し、必要に応じて支払うことで、リソースをプロジェクトの成長に合わせることができます。
Google Cloud Marketplaceを通じてZilliz Cloudにアクセスする方法を柔軟に選択できます。Zilliz CloudのUIで支払い方法としてGCP Marketplaceを設定するか、Google Marketplace listingから直接申し込むことができます。GCP Marketplaceからお申し込みいただいた開発者様には、新規ユーザー様向けの標準クレジット(100円分)に加え、さらに100円分のクレジットが付与されます。
Zilliz Cloud UIにGCP Marketplaceを追加](https://assets.zilliz.com/GCP_marketplace_19b9e152ec.png)
これまでZilliz Cloudは、AWS、Azure、GCPの3つの主要なクラウドプロバイダーで、世界8リージョンで利用可能でした。この広範な可用性は、あなたのプロジェクトがホストされている場所を問わず、Zilliz Cloudの強力な機能にアクセスできることを保証します。柔軟性とアクセシビリティを提供し、AIアプリケーションを簡単に展開することができます。
役割ベースのアクセス制御：重要なリソースへのきめ細かなアクセス制御を大規模に実現します。
Zilliz Cloudのロールベースアクセスコントロール(RBAC)は、データアクセスセキュリティのためのアクセス許可を管理するための構造化されたスケーラブルなアプローチを提供します。ここ数ヶ月の間に、私たちは複数の機能を導入し、Zilliz CloudのRBACシステムは、市場のどのベクターデータベースベンダーよりもきめ細かく、包括的なものになりました。RBACは制御層とデータ層の2層に分かれている。コントロールレイヤーでは、ロールがクラスタ、プロジェクト、ユーザー、課金などのリソースの運用権限を管理する。Zilliz Cloudはコントロールレイヤーで4つのロールをサポートしており、組織管理者、プロジェクトオーナー、プロジェクトメンバーがよく使われる3つのロールである：
組織管理者:**このロールは、組織の設定、支払い方法、課金、APIキー、組織内のすべてのプロジェクト、および関連リソースを含む、組織の完全な管理権限を持っています。
プロジェクト所有者:**プロジェクト所有者は、プロジェクト設定、プロジェクト内のすべてのクラスタ、APIキー、およびその他の関連リソースを含む、プロジェクトの完全な管理権限を持っています。
プロジェクト・メンバー:** プロジェクト・メンバーは、プロジェクト内のすべてのクラスタに対する読み書き権限、クラスタの詳細を表示する権限、およびコレクションとインデックスを管理する権限を持ちます。
対照的に、データレイヤーでは、ロールはクラスタ内のデータの追加、削除、変更、およびアクセス能力を制御することに重点を置いています。Zilliz Cloudはデータレイヤーに3つの組み込みロールを提供します：Admin, Read-Only, Read-Writeの3つで、クラスタデータの読み書き権限と管理権限を制御します。さらに、機密データへのアクセスを許可された担当者に許可したり、安全なデータアクセスを保証するためにコレクションをマルチテナント分離ユニットとして使用したりするような特定のビジネス要件のために、Zilliz Cloudではユーザーがカスタムロールを作成することができます。これらのカスタム・ロールは、特定のコレクション、パーティション、またはオペレーションに対して保持すべき権限を定義することができ、Zilliz Cloudを使用する際のデータ権限を最小限に抑えるという原則を保証します。
コントロールレイヤーとデータレイヤーの両方にわたるきめ細かなRBACにより、企業はデータへのアクセスをきめ細かく制御することができ、セキュリティとコンプライアンスを強化するとともに、チーム間のコラボレーションを促進し、ユーザーの役割と責任に応じた適切なレベルのアクセスを確保することができます。
Databricks Connector: Databricksの強力なデータ処理とZilliz Cloudのベクトルインデックスおよび検索を、カスタムコードなしで利用できます。
当社は最近、ConfluentとAirbyte Connectorsを導入し、データ接続と変換機能を拡張しました。ユーザーのデータ統合ニーズに対して、すぐに使えるソリューションを提供するという私たちのコミットメントが、これらのリリースを後押ししました。非構造化データプラットフォームの構築という次のマイルストーン、Databricks Connectorに進みましょう。
Databricks Connectorは簡単なデータ移行と変換ソリューションを提供し、多くのAIユースケースの開発プロセスを簡素化します。埋め込みモデルを更新したいML研究能力を持つチームであれ、SparkからMilvusに直接データフレームレコードをアップロードしたい個人ユーザーであれ、このコネクタは必要な柔軟性を提供します。
Databricks Connectorを使用すると、リアルタイム更新のためのストリーミングと大規模データセットのためのバッチの2つの方法でZilliz Cloudにデータをインポートすることができます。効果的な使い方のステップバイステップガイドはノートブック例をご覧ください。
その他のセキュリティアップデート
Zilliz Cloudはここ数ヶ月でSOC2 Type2とISO27001のコンプライアンス認証を取得しました。これらの認証は、お客様の大切なデータを安全に管理し、機密性、完全性、可用性を確保するために、Zilliz Cloudを信頼していただけるよう、最高のセキュリティとデータ保護基準を維持するという当社のコミットメントを示すものです。
Zilliz Cloudの機能でより堅牢なAIアプリケーションを構築する
もっと知りたいですか？2月1日のZilliz Cloud Q1 '24 Launch webinar にお申し込みください。Zilliz Cloudがどのように非構造化データとAIアプリケーションのトランスフォーメーションを支援し、比類のないパフォーマンスとスケーラビリティを実現するのか、当社のエンジニアリング担当副社長から学ぶことができます。
Zilliz Cloudをまだご利用でない方は、無料で始めることができます。インストールの手間もなく、クレジットカードも必要ありません。また、スタンダードプランの30日間無料トライアルでは、ご登録時に100ドル分のクレジットを差し上げます。Zilliz Cloudを使用する際に問題や質問が発生した場合は、サポートポータルからお問い合わせいただけます。
Steffi LiSteffi is the Director of Product Marketing at Zilliz, with prior experience leading the GTM strategies for open-source data technologies such as Apache Kafka and Apache Airflow. Passionate about travel, yoga, and non-fiction reading, she brings a balanced and enriched worldview to her professional pursuits.
読み続けて
Data Deduplication at Trillion Scale: How to Solve the Biggest Bottleneck of LLM Training
Explore how MinHash LSH and Milvus handle data deduplication at the trillion-scale level, solving key bottlenecks in LLM training for improved AI model performance.
The Great AI Agent Protocol Race: Function Calling vs. MCP vs. A2A
Compare Function Calling, MCP, and A2A protocols for AI agents. Learn which standard best fits your development needs and future-proof your applications.
How AI Is Transforming Information Retrieval and What’s Next for You
This blog will summarize the monumental changes AI brought to Information Retrieval (IR) in 2024.