Join the Webinar
Loading...
何を学べますか？
Zilliz は、Milvus の開発者によって作られたフルマネージドの Milvus サービスである Zilliz Cloud の一般提供開始を発表できることを嬉しく思います。この新しいマルチクラウドサービス（AWS および GCP）は、すべてのクラウドにわたって一貫した管理、セキュリティ、ガバナンス体験を提供します。信頼性と回復性が組み込まれており、99.99% の稼働率 SLA とデータ破損ゼロを提供します。Zilliz の Director of Operations & ML Architect である Frank Liu が、このウェビナーで主要な製品機能をデモします。
取り上げるトピック：
- 10億を超える多次元ベクトルをサポートする新しいクラスターサイズ
- 埋め込みモデル統合（OpenAI、Hugging Face、Cohere）
- 強力なバックアップと復元
- Milvus から Zilliz へのシンプルな移行
- 最新の Milvus 機能すべて
- パフォーマンス改善など！
クラウドとしてのベクトル検索の力を解き放つAccession Whistle、そして本日のスピーカーは私の同僚であるFrank Liuです。FrankはZillizでオペレーションディレクター兼機械学習アーキテクトを務めています。Zilliz以前には、Frankは上海を拠点とするML搭載の屋内測位スタートアップであるOrion Innovationsを共同創業し、サンフランシスコのYahooでMLエンジニアとして働いていました。Frankは非常に優秀で、Stanfordで電気工学の修士号を取得しています。ようこそFrank皆さんこんにちは。本日のセッションでは、Zilliz Cloudのベクトル検索全般について、そして実際にZilliz Cloudをどのように始められるかについてお話しします。機能には何があるのか、ユースケースには何があるのかについても取り上げます。
では、さっそく始めましょう。はい、簡単な自己紹介です。私の名前はFrankで、Zillizでオペレーションディレクター、MLアーキテクトを務めています。私に連絡したい場合は、下に私のSNSがあります。
まず最初に、Zillizとは何者なのか、そしてどこから来たのかについて少しお話ししたいと思います。そうですよね。Zilliz Cloud自体はベクトルデータベースですが、Milvusの完全マネージド版という位置づけです。これは本当に世界で最も人気のあるオープンソースのベクトルデータベースです。聞いたことがあるかもしれませんが、実際に何をするかというと、こうした機械学習モデルから得られるさまざまな埋め込みやメタデータ、あるいはその他どんな非構造化データであっても、それらを保存、検索、インデックス化するための非常に強力で柔軟な方法を提供します。
どんなデータセットサイズでも非常に高速なクエリ、ベクトルの費用対効果の高いストレージを提供しており、これについては後のセッションでもう少し詳しく触れます。そしてオペレーションの手間はまったくありません。つまり完全マネージドサービスであり、オンラインに行ってボタンをいくつかクリックするだけで、本番環境に対応したデータベースをほんの数秒で立ち上げることができます。つまり、本当にフルサービスであることを意図したものです。面倒な作業は不要です。では、このセッションでこれから扱う内容を簡単にプレビューします。
まず、Zilliz Cloudの紹介を行います。Zilliz Cloudの機能や性能について話し、その後に続けて、そしてこのセッションを見ている多くの方はおそらくすでにMilvus、つまりZilliz Cloudのコミュニティエディションを使っていると思いますので、そこからの移行についても少し話します。その後、いくつかのユースケースを紹介します。念のため言っておくと、それらは最近よく見られる人気のあるユースケースの一部であり、Zilliz Cloud開発の過程を通じて見てきたものです。そして最後に簡単なデモ、というより簡単なツアーを行います。では、これ以上前置きせずに始めましょう。まずはZilliz Cloudの簡単な紹介です。
Zilliz Cloudとは何でしょうか。これについてはすでに少し触れましたが、これはプラットフォームです。Milvusの上に構築され、アプリケーションが必要とするものに合わせて最適化された、本番環境対応のベクトルデータベースです。アプリケーションが非常に大規模で、多くのストレージを必要とする場合、それを実現する方法があります。非常に高いパフォーマンス、高いQPS、高いスループットが必要な場合にも、それを実現する方法があります。非常に伸縮性が高く、スケーラブルです。
そのため、必要に応じていつでもインスタンスをスケールアップ、スケールダウンできます。従量課金制です。つまり、ベクトルデータベースを使用する中で、停止することを決めた場合でも、使用しているストレージ量、内部に保存しているベクトル、コンピュートの観点での使用量に応じて課金されます。これは、どう言えばよいでしょうか。厳格な制約を拡張することはありません。つまり、1か月、6か月、1年といった期間を強制することはありません。そしてマルチクラウドにも対応しています。そうですよね。現在はAWSとgcp上で提供しており、今後さらに増えていく予定です。また、99.99%の稼働率SLAを提供し、データ損失は一切ありません。ですので、Zilliz Cloudにベクトルを保存すれば、必要なときに必ずそこにあると確信できます。データを失うことは決してありません。
その多くが起こるのを防ぐために、私たちは多くのセーフガードを組み込んで配置しています。エンタープライズセキュリティとガバナンスですよね？ですから、期待されるデータベース、これらのベクター検索エンジンを作成することについては多く語るべきことがあると思いますが、それらに必要な多くのエンタープライズ機能を持たせずに、ということです。そして those Cloud は実際には素晴らしい A であり、つまり、ここでのこの意味において、そして私たちは多くの主要な埋め込みモデルとも統合されています。ですから、Lane chain の大規模言語モデルを使いたい場合、huggling face のオープンソースモデルを使いたい場合、opening and betting APR や code here embedding API、あるいは Sports Vision models torch を使いたい場合。Are you models それを行う方法があります。those Cloud はそれらのモデルの多くとの非常に非常に簡単な統合を提供します。
ウェブサイトにも素晴らしい例があります。そして、sdks Python と Java のサポートがあります。ですから、ユースケースやニーズに応じて、それに合うように使うことができます、はい。さて、これでその話は済みました。皆さんに少しおさらいをしていただきたいと思います。これは何で、何に使われるのか、通常本番環境でどのように使われるのかについてです。そしてそれは、このカードについてさらに話すための非常に、まあスムーズな移行になると思います。
ですから milvis は、先ほど述べたように、世界で最も人気のあるオープンソースの Vector database です。そしてベクター in database として、私たちがそう呼ぶように、さまざまな種類の非構造化データを保存することを本当に目的としています。ですから、たとえばさまざまなドキュメントを与えます。さまざまなテキストを与え、埋め込みモデルを使い、自分自身のモデルを使います。実際にこれらをいわゆる埋め込みベクトルに変換します。そしてこれらのベクトルは、あなたの革新的なデータの非常に優れた、非常に強力な表現です。
ですから、たとえばドキュメントがあるとします。1ページ分、あるいは5段落だとしましょう。インデックスしたいものがあります。それらを、その入力データを意味的に非常に非常によく表すベクトルに変換できますよね。そして、それらの dog を保存します。それらのベクトルを no lists の中に保存します。No this は、あなたが望むストレージ、インデックス作成、検索機能を提供します。
それはそうします。それらは非常に非常にスケーラブルで、Brilliant scale away billion です。billion scale vectors によって、失礼しました。では movies について話しましょう。そうですね、そしてこれは、those Cloud で少し後に出てくるいくつかのことへの導入のようなものです。
さて、これらはアプリケーションの一部であり、完全なリストではまったくありません。セマンティックテキスト検索として、最近多くの取り組みが行われており、back your databases を大規模 line with models と統合しています。類似検索のように、私のお気に入りのもののもう一つです。それらは本当に、これらの非常に非常に複雑な分子構造を、固定長ベクトルに変換し、その検索によって、そのような Discovery アプリケーションのために本当に AI を行います。ベクターデータベースを使って、また逆画像検索もあります。ですから、他の画像を使って画像を検索できるようにしたい場合、それはそれを行う方法の一つです。そして繰り返しますが、これは effective database を使って構築できるさまざまなアプリケーションの一例にすぎませんよね？さて、少し余分に時間を使いたいと思います。llms と a key を備えた Vector databases について。
多くの請求書で見られる方法です。Sales cloudloms を使っているエンジニアや開発者がたくさんいます。もしドキュメントのコーパスがある場合、あるいは例えば航空会社にいる、金融業界にいるとしましょう。社内の財務文書があり、自己回帰型言語モデルに質問に答えさせ、それらの文書を要約させたい場合、私たちが非常によく見かける重要で一般的な方法は、ベクトルデータベースを使ってすべてのドキュメントを保存し、クエリすることです。例えば lungs に複数のプロンプトを与え、その promise query を factory database で使用すると、そのクエリに関連するすべての development documents、そのプロンプトに関連するものを取得し、それを追加の problems として大規模言語モデルに注入することで、そのクエリについて質問に答えさせることができます。アプリケーションに、より多くのドメイン知識を本当に注入できます。
そしてそれは、Cloud のような Vector databases が今日本番環境で使われている、非常に非常に強力な方法の一つです。よいです。そこを本当に強調するために、さらに1、2分取りたいと思いました。では、なぜ Movis ではなく zilla's を選ぶのか？そしてこれはより、つまり、Zeals が提供するものと Novus が提供するものの比較であり、繰り返しますが、どちらも素晴らしいデータベースです。Zeal is this cloud は novices の上に構築されています。そしてここで分かるように、どちらも、基盤となる better search capability に関して、必要とするほぼすべての機能を提供しています。
どちらも非常にスケーラブルで効率的、使いやすい Vector similarity search を提供しており、アプリケーションに必要な正確な contender performance を得るために、さまざまなパラメータを調整できます。else は hybrid search も提供します。つまり基本的に、Vector と metadata search の両方を行う能力もあります。もし vectors があり、それに関連付けられた scalar Fields があるなら、それらを検索できますし、それらすべてのフィールドに indexes を作成できます。さまざまなタイプの schemas のサポートとして、ここでは float と binary vectors に言及しましたが、同時に Strings のサポートもあります。
Boolean values、integers などもあります。したがって、本当に必要なとおりに scheme を定義できます。また、自動インデックス作成を行う機能もあります。失礼しました、Zeus cloud には automatic indexing の機能があります。Novus でも、ある意味 automatic indexing を行うことはできますが、それを行うには少し追加のコード、少し追加のロジックが必要です。
そのため、そうした types of specify other index については、少し後でさらに説明します。そして、本当にそれによって、望む正確な type next thing を実行できるようになります。また、Zeus 向けには、ほとんど Community Edition も含め、さまざまな互換性のある sdks があります。Python と Java があります。これらは本当に完全にサポートされ、100% テストされており、この flower で本当に動作することを確認していますよね？そして、novice にはない、それら public Bots の機能にも触れたいと思います。最初は、当然ながらこれは確実にマネージドであるということだと思います。つまり、Ops のオーバーヘッドはゼロです。完全に自動化されており、automatic upgrades、backup store など、求める多くの機能があります。
これらは zillow's Cloud に実装されています。心配する必要はありません。そして、非常に非常に高いものがあります。高可用性もあり、failover 付きの four nine up time SLA もあります。そのため、vector database に何かが起きても、そのデータを常に先へ進められます。Blessed scaling については、少し前に触れました。billion scale regular search を行えるようにしたい場合。
非常に非常に高速な、1秒あたり1,000、10,000クエリのリセットを実行できるようにしたい場合。クラスターをスケールアップできるようにしたいですか？私たちは、最高の無料アプリケーションを実行するために最適化された、さまざまなマシンタイプも用意すべきだと思います。そしてまたまた、少し後でもあります。必要なだけのストレージがあります。ですので、例えば1億ベクトルを保存する場合、10億ベクトルを保存する場合、それらと一緒に書き込み履歴を保存する場合でも、ご存じのように、必要なだけサポートできる優れた方法があります。そして私のお気に入りの機能の1つでもあるのが、非常に使いやすいUIで、これを使って管理、表示、監視を行い、Midwestインスタンスを本当にいつでも管理面で確認できます。
そこにディメンションがあり、リソースモニターもあります。そうですよね？ですので、制限を設定したり、しきい値を送信したりできるようにしたい場合。データベースが少し使われ過ぎていて、より大きな、より大きなインスタンスへ自動的に引き上げられるようにしたい場合。それも実行できる方法の1つです。では、サポートやサービスの面でもあります。
私たちは、年間を通じた専門家のサポートがありますので、当社にご連絡いただければ、非常に迅速に回答します。また、認定済みであることもお伝えしますので、本当にそれらのクラウドを安心して利用できますし、データがそこにあり、整合性も常に保たれていると確信できます。データリカバリ、バックアップ、保存。私たちにはリサイクルビンと呼ばれるものがあり、データが本当に、もし何か内部で起きたり、UI上でデータが誤って削除されたりした場合でも、事故や損失が発生した際にはいつでも戻って次の復元、データの復元を行うことができます。
転送時は完全に暗号化されており、データのセキュリティも保護します。また、ロールベースのアクセス制御もありますよね？これにより、多くのプライベートなデータ、多くの機密データ、つまり多くの他の人たち、たとえば特権グループの外部の人に見られたくないデータを保護できます。つまり、zillase cloudの中には本当に重要な、またはエンタープライズ向けの機能がたくさんあり、特にそれは本当に、ご存じのように、最もCommunity Editionにも一部はありますが、そうしたエンタープライズ機能の多くが必要であれば、それらのCloudを利用するのがよい方法です。では。機能について、those Cloudが提供できるもの、この製品におけるデータの簡単な説明について少し話しました。続けて、それらのCloudで見られるいくつかの機能や類似の機能性について話したいと思います。これはより、これはもう少し、そうですね。
resilience Cloudのウォークスルーにも少しなります。まずいくつかの基本を確認したいと思いますよね。そして、先ほどのセクションで十分に興味を持っていただけたことを願っています。ここではいくつかのスクリーンショットを見て、何が起きているのかを話し、それからそれが提供するさまざまな機能や機能性を一通り見ていきます。ただその前に、まずいくつかの用語を本当に確認したいと思います。ですので、このCloudの中では、すべてのインスタンスに、それに関連付けられた一定数のweekly past students、つまりコンピュートユニットがあります。先ほど触れたように、さまざまなタイプ、さまざまな種類のstudentsがあり、パフォーマンス最適化されています。
コンピュート最適化もあり、失礼しました。CU のパフォーマンス向上と CU のキャパシティがあり、おそらくお分かりのとおり、パフォーマンス最適化のほうは、非常に非常に高い無料フード大量のクエリ向けです。データベースから最大限のパフォーマンスを引き出せるようにしたい場合に使います。一方、キャパシティ最適化の新しいものは、より多くのデータを保存できるようにしたい人向けです。もちろん、そのCapabilities speed も最先端です。しかし、より大きな、より大きなコレクションをサポートしたい場合、より多くのレコードデータをサポートしたい場合にそこにあります。つまり、そこにはキャパシティの概念があり、1 キャパシティから、2 の倍数、4 の倍数で、2006 までずっと進むことができます。zillow's Cloud の中でインデックスを追跡し、実際に維持するためです。
プロジェクトという概念もあります。これは Cloud リソースを使ったことがある人、以前にいくつかのプロバイダーを使ったことがある人にとっては、プロジェクトの概念はかなり馴染みがあるはずです。those cloud の中にある各データベースは単一のプロジェクトに割り当てられ、データベースを実際に分離するために、必要に応じてプロジェクトを割り当てたり作成したりできます。そして各データベースの中にも、コレクションという概念があります。これらは本質的にはコンテナであり、従来のリレーショナルデータベースのテーブルに非常に非常によく似ています。
mongodb のコレクションにも非常によく似ています。たとえば DB で、これらは本質的に同じモデルによって生成されたベクトルのデフォルトコンテナです。ですので、もし機能的なものがあるとして、たとえばソーシャルプロセス上の 1436 ベクトルについて述べたとします。それらは同じモデル、少なくとも同じドメイン、同じハイパースペースで生成されたベクトルになりますよね？そして、以前にも述べたように、さまざまなサポートもあります。その場合も同様です。つまり python Java などが進行中です。
この流れに沿って続けると、AWS と gcp のサポートがあります。ここに画面から見えるように、Azure もまもなく利用可能になります。また AWS Marketplace でも利用可能です。そうですよね？ですので、好みのプロバイダーがあるなら素晴らしいですし、Google Cloud を使うことを好む人もいれば、AWS もあります。それを選択できます。
この cloud に関しては、その柔軟性があります。また、この 40 億規模のコレクションにも対応しています。コンピュート最適化 CEU capacity units のパフォーマンス最適化では、最大 256 use まで進むことができ、それほど大量のコンピュートとストレージがあっても、ミリ秒単位の応答時間を得ることができました。そしてそれこそが those Cloud の力です。キャパシティ最適化の使用では、非常に非常に高いストレージ容量になります。最大 128 まで進むことができ、そのタイプのクラスターでは 3 point を提供します。
10 億ベクトルをサポートします。そうですよね？ですので、私たちが 10 億規模と言い、本番対応と言うとき、それは本当にビジネス規模を意味しています。また、非常に非常に使いやすい UI も提供します。これは those cloud の中で利用できるウィンドウ、またはさまざまな機能の一つにすぎません。コレクションを取得する機能、コレクションをアップロードする機能、自分のデータをアップロードする機能です。たとえばテーブルベースの形式や S3 形式で、それらを those platform に自動的に取り込ませることができます。ですので、私たちが提供するこのケースのいずれかを使うのではなく UI を使うことを選んだ場合、それを提供します。では、移りましょう。those communication では必ずしもできないこともできるようになります。
トラベリングサポートです。つまり、もしあなたが自分のVPCを持っていて、たとえばAWSだとして、それを接続できるようにしたい場合、つまり人々があなたのインスタンス、あなたのZeals CloudインスタンスをあなたのVPCに接続する場合です。それを行うための非常に非常に簡単な方法がありますし、もしprivate linkを作成したい、使いたい場合には、オンラインにガイドもあります。そしてローリングアップグレードについてですが、独自のメンテナンスのダウンタイムをスケジュールすることができます。月に1分未満のダウンタウンでアップグレードできるようになります。そしてこれが実際に可能にするのは、アプリケーションの構築に集中できるということです。そうですね、インフラストラクチャについて何も心配する必要はありません。
最新バージョンへのアップグレードについても心配する必要はありません。追加なしで、最新かつ最高のVector検索体験をすぐに利用できます。なぜバックアップと復元なのかというと、多くの組織にとって、データ損失はさまざまな理由でしばしば偶発的に発生することがあります。不適切に設定された権限が原因の場合もあります。他にもさまざまな要因があり得ます。そしてデータ損失の結果はかなり悪いものになり得ますよね。信頼できるバックアップとRecovery Solutionを持つことは、私たちにとって非常に非常に重要であり、偶発的に失われたデータをそうしたタイプの1つの適合ソリューションで非常に非常に簡単にカバーし、インデックスを復元し、vector databasesを復元し、Worldアプリケーションを構築し続け、保護し続けられるようにするためのものです。ですので、そのことを心配する必要はありません。では、そうですね、これらはいくつかの機能であり、obseries cloudingのもう少し重要な機能の一部だと思います。
興味のある方のために、このCloudウェブサイトにも完全なリストがあります。オンラインに行って確認してみることをお勧めします。ごくごく簡単に話したいことがあります。illnessからの移行について話すために、数分使いたいと思います。ここにいる多くの方は、おそらくすでにMillisインスタンスを立ち上げて稼働させているかもしれませんし、zillows cloudへの移行を検討しているか、あるいは「ねえ、すでにこのインスタンスを持っています」と言えるようにしたいのだと思います。
私はすでに自分で管理しています。limitsの管理版に移行したいです。もう少し、もう少し、たぶんそこまでHands-Onではないものに行きたいです。アプリケーション開発に集中できるようになります。noticeから移行する非常に非常に簡単な方法を提供しています。このセクションはかなり短く、本当に3つの簡単なステップを説明するだけです。
最初は、既存のbuild this databaseをバックアップすることです。これはローカルに直接、直接行うこともできます。ローカルディレクトリに行うこともできます。非常に非常に大きなdatabaseがある場合は、実際にそれを任意のS3 bucketにアップロードできます。バックアップを作成し、そうですね、ここでmoves backup utilityを使用して、あなたのこのインスタンスのバックアップを作成します。そしてlocal folderを指定することも、S3上のフォルダーを指定することもできます。urlで場所を指定でき、それが自動的にすべてを行ってくれますよね？ええと、これについては少し後で触れます。しかし本当に、ここでの重要な考え方の多くは、those two zerosから移行しようとしている多くの方々にとって、そこから行う非常に非常に簡単な方法があるということです。
ここではたった3つのステップです。そして、少し後で行うこのトークツアーでは、この移行ステップと、それをどのように行うかについても少し話すつもりです。はい。ではここで、いくつかのユースケースについて少し時間を使って話したいと思います。4つ用意していて、Neilのユーザーが本番環境でVectorデータベースを使い、アプリケーションをスケールさせてきたいくつかの方法を取り上げます。これらのユースケースは決して100%完全なリストではありませんが、Vectorデータベースが本番環境でどのように使われているのかをよりよく理解してもらうために、いくつか強調しておきたいものを選びました。このクラウドを使ってどのようなことができるのか、またそれらが皆さんのスタックにどのように組み込まれるのかについて、より一般的なイメージを持ってもらうためです。
まず、llansと一緒にsales cloudを使うという点に戻ると、先ほど少し触れましたが、これはOSS chatinismの例で、実際に私たちが構築したサンプルアプリケーションです。これは、オープンソースプロジェクトと実質的にチャットできるようにするものです。つまり、GitHubの形や、すぐには利用できないその他のドキュメントの形で大量のプロジェクト情報がある場合、そうですよね。これらのAuto guess oneは、ほとんどchatbc4のようなものです。そのデータで学習されていない場合でも、実際にはそのプロジェクト情報をzillow's cloudから、OS chatから、us to chat websiteから取得できます。
私たちは、これについてかなり関連性の高い質問に本当に答えることができます。ここでアーキテクチャを見ていくと、右側にこれらのプロジェクトドキュメントがあり、実際には埋め込まれて内部に保存されていることがわかります。ユーザーが使っていて、私がvoices chatアプリケーションを確認しているときに質問をすると、そのデータはまずzerosに送られます。そうですよね。zillow's Cloudは、この最近傍探索を行うことで最も関連性の高いドキュメントを取得し、それがchat GP、あるいはあなたが使用することに決めた他のllmへのプロンプトとして注入されます。そして、よりドメイン固有の応答を返せるようになります。つまり、より多くのドメイン知識を持ち、より正確で、ステーションがはるかにはるかに起こりにくい応答です。
これは、今日 those clouds を使って those lens を使用する際に見られる非常に非常に一般的なパターンであり、またかなりのスニークピークにもなります。将来のセッションにもつながりますよね。このフレームワークについてもう少し深く掘り下げ、Vectorデータベース、Vectorデータベースの購入、そして大規模言語モデルを使うために利用できる優れた方法や、優れたライブラリ、利用できるオープンソースライブラリにはどのようなものがあるのかを実際にお見せします。Product recommendation、これは少しより伝統的なものです。間違いなく検索・推薦の領域ですが、これも大きなものです。そしてこれは、pediaと一緒に行った新しいdisease caseの例です。そこでは、製品があり、さまざまな異なるフィールドがありますよね。製品そのもの、カテゴリ、ラベル、画像があり、それらすべてを単一のVectorにエンコードできること、そのすべての情報をVectorに落とし込み、それをMillsに保存できることによって、推薦を行うための非常に非常にセマンティックに豊かな方法が得られます。
ですから、たとえば製品とユーザーがあり、それらを同じ空間に埋め込みたいと想像できます。同じ空間に対するモデル、ベッティング戦略です。その後、それらを取得してillnessに保存し、検索結果、取得結果、推薦結果を非常に非常に迅速に、大規模に得ることができます。ここにどれだけ多くの製品があっても関係ありません。非常に小さな学習Pop Shopから、Walmartほど大きいもの、あるいはAmazonほど大きいものまで、Vector検索とthose CloudのようなVectorデータベースを使用することで、スケーラブルなProduct recommendationを行う能力があります。
パーソナライズされた検索、そしてご存じのように、これはコミュニティがCompassで行ったことで、繰り返しになりますが、Zilliz Cloudのようなベクトルデータベースを使用できる多くの方法の一例にすぎません。考え方としては、検索を自分のアプリケーションや特定のデータタイプにもう少し合わせて調整したい場合、自分のデータを取得し、適切だと思う形で再びこれらのベクトルに変換できる、つまりベクトル化できるということです。そしてそれによって、はるかにパーソナライズされた推薦や、はるかにパーソナライズされた検索を行えるようになりますよね。たとえばここでは、単に、ZillowやCompass、あるいはRedfinのような不動産検索で検索しようとしたことがある人ならわかると思いますが、「5ベッドルーム、4バスルームが欲しい」といった数字で検索するだけではなく、実際には間取りや向き、エリア、あるいはオンラインで検索することができますよね。検索を行うための、はるかに強力な方法を提供してくれます。そして最後に、リバース画像検索ですね。つまりコンピュータビジョンであり、これは私にとって非常に身近で大切な分野です。本質的には、画像を使って類似画像を検索する機能です。たとえば、非常に大規模な画像データセットがあるとしましょう。
その非常に大規模なデータセットの中から類似画像を検索できるようにしたいのです。これはZilliz Cloudと、そこにある任意の埋め込みモデルを組み合わせることで非常に簡単に実現できます。そして繰り返し強調したいのは、これら4つは、世の中に存在するさまざまなユースケースのごく一部にすぎないということです。ここでは触れなかったものもかなりあります。たとえば創薬、分子検索、さまざまな処理、地理空間データなどがありますが、これらは私が強調したかったものにすぎません。Zilliz Cloudを使ったレンズ、製品推薦、パーソナライズ検索、リバース検索は、私たちがよく目にする一般的なものであり、Zilliz Cloudが何に使えるのか、ベクトルデータベースが何に使えるのか、そしてその上に構築できる素晴らしい方法や素晴らしいもの、素晴らしいアプリケーションが何であるかについて、よりよいイメージを持っていただければと思います。はい。
では、ここでいったん止めて、Zilliz Cloudのごく簡単なデモ、あるいは簡単なツアーを行いたいと思います。UIについて話し、そこにアクセスしてデータベースを作成する方法について見ていきます。優れた機能にはどのようなものがあるのか、先ほど強調した機能のいくつかも取り上げます。それらがどのように実装されているのか、Zilliz Cloudでどのように使用できるのかを説明し、そこにある多くの優れた機能についても実際に見ていきます。では、ここで共有を停止します。
そして、別のリンクに移ります。もう1分ください。はい。では、Zilliz Cloudにあまり詳しくない方のために、Zilliz Cloudの簡単なツアー、簡単な概要です。Zilliz Cloudは、5ドルにアクセスするだけです。
0.com、あるいはzozo.comにアクセスすれば、実際に多くのものを見ることができます。そこからどこへ進めばよいかを正確に確認できます。そして先ほども述べたように、すべてのデータベースは実際にはプロジェクトに挿入されますよね。そして、すでにこれらのプロジェクトが存在している場合は、選択したプロジェクトでデータベースを作成するだけです。私は実際に、すでにZilliz Cloudで実行中のデータベースを持っています。
サインオンしてアカウントを作成すると、すでにデフォルトのプロジェクトがあります。今すぐアカウントを作成したい場合は入力できます。試用のためにいくつかの無料クレジットを提供する予定です。必要に応じて使用してください。そしてデータベース作成画面では、ご覧のように、かなり簡単です。
そうですね。それに、先ほど私がご紹介したスライドの中でも、実はこの一部を少しだけ先にお見せしていたと思います。もし新しいデータベースを作成したい場合、今すぐ作成するわけではありませんが、新しいデータベースを作成したい場合は、名前を入力し、この場合はプロジェクトを選択します。常に新しいプロジェクトを作成するか、そこにあるデフォルトのプロジェクトを使用する形になります。クラウドプロバイダーを選択し、リージョンを選択し、それからタイプを選びます。先ほども述べたように、私たちには2種類のキャパシティユニットがあります。1つ目はパフォーマンス最適化ユニットで、2つ目はキャパシティ最適化ユニットです。
アプリケーションのニーズに応じて、アプリケーションがより高いパフォーマンスやより高いQPSを必要とするのか、あるいはアプリケーションがスループット、失礼しました、より多くのストレージ機能を必要としていて、より多くのベクトルに対して近傍探索を行いたいのかによって、タイプも指定できます。作成して、ユーザー名を作成し、パスワードを作成して、そこから進めます。また、非常に優れたユーザーガイドも提供しています。ですので、もっと入門的な内容を知りたい場合は、より詳しい入門ガイドになっているはずです。
これは Zilliz Cloud にあり、このリンクからユーザーガイドに移動して、そこから内容を確認できると思います。私が作成したこのテストデータベースでは、実際に、データベースに自動的に接続するために使用できるパブリックエンドポイントが提供されていることがわかります。この場合、ここで私が行ったのは、実際にホワイトリストを設定して、任意の特定のIDから誰でもアクセスできるようにしたことですが、これは必要に応じて変更できます。つまり、たとえば非常に特定のIPだけにしたい場合や、特定のネットワーク範囲からのみレコードデータベースにアクセスできるようにしたい、ニュースレターインスタンスにアクセスできるようにしたい場合は、そこで設定できます。
前のページに戻ります。前のページに戻ります。先ほど少し触れたように、UIから直接コレクションをアップロードする機能もあります。繰り返しになりますが、コレクションとは単一のユニットにすぎません。つまり、ある単一の埋め込み技術の出力を表すもので、そのように扱います。そして、自分のデータを使用してコレクションを作成したり、データセットをアップロードしたりできます。
ここには、サンプルデータも実際に使用できる優れた機能があります。ですので、ベクトルデータベースを使い始めたばかり、または Zilliz Cloud を使い始めたばかりであれば、サンプルデータをインポートできます。これは実際には映画のデータセットで、とてもクールなデモです。まだ Zilliz Cloud を使ったことがない方には、ぜひこれも試していただきたいです。ご存じのように、監視も通常のデータベースにおいて非常に大きな部分を占めており、メトリクスを確認し、さまざまなアラートを設定でき、理解できることが重要です。利用率はどうなっているのか。たとえば24時間や1時間といった期間で、それがどのように変化するのか、ですよね。私たちは非常に簡単な方法を提供しています。
私たちはこれらすべての統計情報を追跡しており、Zilliz Cloud ではそれを非常に簡単に行えるようにしています。ここでさらにユーザーを割り当てることもできます。今あるのはデフォルトユーザーだけですが、必要であればいつでもさらに作成できます。そうですね、アプリケーションが何を必要とするか、組織内の人々に応じて、それは常にここで行えることです。バックアップを作成することもできますよね。そして繰り返しになりますが、これについては先ほどすべて触れました。
データ損失がある場合、そしてデータプライバシーは私たちにとって非常に非常に重要です。そして私たちは、皆さんのデータを提供できること、そしてベクトルデータについてまったく心配しなくて済むことを中心に、Zilliz Cloud を構築してきました。ここでバックアップを行うこと、つまりバックアップを実行できることは、その一部です。ここでバックアップを作成できます。まだ作成していません。ええ、このテストデータベースにはデータがないためですが、そうするためのオプションはあります。また、移行もあり、これは昨日私が行った移行です。
少し後で、Nervousの移行の非常に簡単な例をお見せしながら説明します。管理Councilでは、実際にここで設定できるホワイトリストやPrivate Linkを確認できます。これは、VPCをお持ちの場合に直接接続するためのCloud onlineの機能です。すでにクラスターをセットアップしていて、instanceと呼ばれるものがあり、それらを接続できるようにしたい場合ですね。これはそのための優れた方法で、よりネイティブな用途にも利用できます。ここにはresource monitorsとresource monitors alertsがあり、recycle binもあります。ですので、過去に行ったテストデータベースのいくつかに基づいて。
例えば1か月ほど前、あるいはそれ以上前のものでも、必要に応じて実際に復元できます。これらは実際に保存されているので、誤って失われた場合でもいつでもデータを取り戻すことができます。そして、Cloud Platformの非常に一般的な機能もいくつかあります。activities alertsやBillingsがあります。
ですので、例えばsales Cloud instanceをアップグレードしたい場合や、より多くのCUや設定を使いたい場合も、ここから可能です。ええと、これがzillow's cloudの非常に簡単なツアーでした。楽しんでいただけたら幸いです。今やりたいのは、これは昨日の朝作成したデータベースで、ここで共有を停止します。別のウィンドウに切り替えます。ターミナルがあるので、移行の例を行います。
ここで私のMac上でinstanceを起動して実行しているので、それをzealous cloudに移行し、そのプロセスがどのようなものか見ていきます。おそらく1分ほどで、あまり長くはかかりませんが、ここにいる多くのリスナーがすでにmobilesを社内で使用していたり、managed serviceを検討していたりすることは知っているので、それをお見せしたいと思います。ここにいる多くの方にとっても、それが選択肢になればと思います。
そうですね。ではもう一度、ここで共有を停止して、移行がどのように機能するかを正確にお見せするために、ターミナルに切り替えます。別の画面を共有します。はい。ではここに、ターミナルがあります。これは私が使っている簡単な作業スペースです。実際にお見せできますが、ここでno Standaloneのinstanceを実行しています。つまり、stand aloneですね。少し前にそれを立ち上げました。そして、先ほど述べたように、できる興味深いことの1つは、このinstance全体をフォルダー、単一のディレクトリにバックアップし、それをzillow's Cloudにアップロードして使用できることです。つまり、指を止めるだけでそこで移行を行える、ということです。
ですので、すでに行ったこととして、移行の最初のステップ、つまりそれらのダウンロードがあります。バックアップ実行ファイルはすでに実行済みです。それらのバックアップをダウンロードするときは、ご自身のプラットフォームに関連するバージョンをダウンロードするようにしてください。この場合、Intel CPUとmacOS用のものを使用しました。実際には、バックアップを作成し、バックアップを確認し、ここではmain IO clientsを使用してそのバックアップをフォルダーにコピーし、そのフォルダーをsales cloudにアップロードするだけの簡単なものです。
ではここでそれを行います。やりたい唯一のことは、これですね。バックアップ。デフォルトのconfigを使用しますよね。ですのでback up enamelを使います。やりたいことは、まずそのバックアップを作成することです。
名前を付けます。my backupとでも言いましょう。すると何が行われるかというと、あ、少し待ってください。データベースをバックアップして実行状態に戻す必要があります。少々お待ちください。in one and here。わかりました、ではそれを共有できるかもしれません。
では、今私がそこでやったことですが、つまり、Docker Desktopに戻ってデータベースを再び起動し、先ほど実行したかったコマンドを実際に再実行できるようにしました。なので繰り返しますが、これはMilvusのバックアップです。そして、people Emmaを指定します。作成するように指示します。この特定のバックアップを、再びmy backupと呼ぶことにします。
これが行うのは、実際に中に入って、あなたが持っているすべてのデータを取得し、バックアップすることです。そしてこの場合、すべてのデータは実際には、まあ、少し前に何をやっていたのか分かりませんが、単純にバイデン大統領のホワイトハウスでのスピーチのいくつかに対してテキスト検索を行っているだけです。ここからできることとして、実際に確認できます。同じコマンドを使うことができ、今回はcreateの代わりに、実際にバックアップ自体を取得できます。
なのでこれを実行すると、ご覧のとおり、最後に出力とログが表示されます。正常にバックアップされたことが分かります。ここにはそれほど多くのデータはありません。なので、これは実際に非常に非常に素早く完了します。そしてこの時点以降は。
これでバックアップはそこにあります。今やる必要がある唯一のことは、クライアントを使って、それを自分の好きな場所にコピーすることです。そして私はすでに設定してありますし、クライアントもあります。また、この名前を使って、バケット全体をダンプするだけです。そうです、そしてそこにはローカルディレクトリ用のハードバケットがあります。
先ほど述べたように、データはそれほど多くなく、数メガバイト程度です。そして今できることとして、ここにあった状態を実際に取得して、単にドラッグ＆ドロップするか、あるいはどこにアップロードしたいかを指定します、そうですよね？では、sales Cloudのウィンドウに戻ります。はい。では、今Cloudに戻ってきました。このアプリケーションをここで見てみましょう。そして私は実際にすでに移行ウィンドウを開いてあります。
やることは、先ほど指定したmy backupというバックアップを取得してアップロードするだけです。そうです、ここでアップロードできます、my backupをアップロードします。少し待つと、実際にそれを実行してくれるはずです。こんな感じです。あとはMigrateをクリックするだけです。
繰り返しますが、ここにはそれほど多くのデータはありませんが、ベクターデータベースのサイズによっては、もう少し時間がかかる場合があります。非常に非常に小さいベクターデータベースであれば、おそらくこれほど時間はかからないでしょうが、かなり素早いプロセスで、非常に非常に簡単です。バックアップスクリプトを取得し、データベースをダンプして、ここでZillizに直接アップロードするための、2〜3個の簡単なコマンドです。そしてその移行が完了すると、つまりここではそれほど長くはかからないはずですが、コレクション内で確認できるようになります。この場合、実際にここにデータがあります。
はい、スキーマを確認できます。この場合、embeddingフィールドがあり、さらにtitle、date、location、そしてoriginal IDがあります。データをプレビューできますし、ここでベクター検索を実行することもできます。
ここでは実行しません。ただし、必要であれば、それは選択肢として利用できます。はい。ということで、これはZilliz Cloudの簡単な紹介で、機能のいくつかを改めて見ていきました。今日サインアップすれば、これを利用するための4ドル分の無料クレジットを受け取ることができますが、適切だと思うように使えます。
MilvusからZilliz Cloudへ非常に非常に簡単に移行でき、さまざまなことができ、現在Milvusで行っていることとまったく同じことをマネージドサービス上で実行できます。非常に少ない手間で、それを行う人たちにとっては本当に、私は思います。簡単に、そして非常に、本当に必要に応じて行えますよね。そしてそれが、それこそがService Cloudの力です。では、ここでスライドに戻ります。
では、ここでリモートのパーセントに戻ります。そうですね、これは Cloud のとてもとても簡単なデモだったので、駆け足のツアーでした。繰り返しになりますが、もしご興味があれば、これが楽しそうに見えるなら、試してみたいものに見えるなら、あなたの組織がすでにベクターデータベースを使用していて、何かマネージドなもの、非常に非常に強力で高性能なものをやってみたいとお考えなら、ぜひ Cloud を試してみてください。私たちにご連絡いただけます。POC を立ち上げて稼働させるお手伝いをし、それを実現するために必要なすべてのステップを一緒に進めていきます。
また、ご興味があれば、ぜひ私たちのソーシャルメディアをフォローしてください。私たちは LinkedIn でも zoo is universe として活動しています。Those Community に参加し、Slack を通じてお気軽にご連絡ください。また、一番下にも引数があります。では、これでこのセッションは終了です。ここにある質問をいくつか確認して、皆さんが持っているかもしれないことに何でもお答えできればと思います。ありがとう、Frank。
いくつか聴衆からの質問があります。ではまず、dilla's Cloud をオンプレミスで実行するオプションはありますか？あります、今のところ zillow's Cloud をオンプレミスで実行するオプションはありません。オンプレミスは、まだ私たちが行っていることではありませんが、もし zillow's Cloud を UI 経由、freezeals. com 経由で実行したくない場合には、マーケットプレイスソリューションを使用するという選択肢が常にあります。私たちは AWS Marketplace で利用可能で、それは those Cloud を使用できる方法の一つです。ですので、オンプレミスは今私たちが必ずしも行っていることではありませんが、私が言おうとしているのは、利用可能な他の選択肢もあるということです。
それはとても必要なことですね。では、Melvis と zillow's のデータベースコードベースはどのくらい似ていますか？ええ、それは素晴らしい質問です。もし python SDK を使用している場合、milvis で python または Java SDK を使用している場合は、those Cloud でもほとんど変更なしで使用できます。ですので、コードベースは、すでにそれを持っていて Tech stack に統合されている場合、この時点へ非常に非常にシームレスに切り替えることができます。そして繰り返しになりますが、このクラウドは Novus に基づいています。
ある種の理解として、私たちのコミュニティ条件では、この those five はそれを基にしていると考えることができます。つまり、この多くの力を得ることができ、コードベースは非常に非常に似ています。ユーザーの観点からは、先ほど述べたように、何もする必要はありません。コードベースに大きな変更を加える必要はありません。どうもありがとうございます。
node と Ruby の sdks がいつ利用可能になるか、見通しはありますか？うーん、sdks ではありませんが、すでに node SDK があり、less Cloud で潜在的に使用できます。これは私たちが公式にサポートしているものではありません。しかし、選択肢ではあります。Ruby sdks はまだ利用可能ではなく、いつ登場するかはわかりません。ただし、オンラインで zealous communities がサポートする Community Support Ruby sdks を見つけられる可能性はあるかもしれません。
確認しなければなりませんが、それも素晴らしい質問です。milvis V1 を使用している人向けに zilla's への移行パスはありますか？つまり、one dot X ですね。移行パスはあります。実際に、もう一度その移行ウィンドウを表示させてください。実際、この前の移行ウィンドウで、もし私が望めば、movies 2 からでも Nova smart からでも移行できます。ですので、使用している notes のバージョンに関係なく、そのオプションがあります。そして、さまざまな理由で古いバージョンの list を使用している人が多いことは理解しており、私たちはそのための優れたパスも提供したいと考えています。
さて、バックアップを行うこととデータダンプを行うことは、noblest one と MOS to では少し違います。ご存じのとおり、そこにはちょっとした注意点がありますが、そのオプションは提供していますし、できるだけシームレスにしています。そうですね、ええと、では見てみましょう。他に何があるでしょうか？Vector searchを始めたばかりの人にどのようなアドバイスをしますか？はい、それも素晴らしい質問です。始めたばかりの人に対して私が最初にすることは、埋め込みの力を本当に理解することだと思います。そうですね。つまり、埋め込みを構成するものが何かを理解することです。
埋め込み、埋め込み演算、Vector演算を使って類似検索を行うためにできるさまざまなことにはどのようなものがあるのか、まず基本を理解し、それからぜひ、mobilesのようなベクトルデータベースをいくつか試してみてください。そうですね？誰にでも、すぐには明らかでないかもしれませんが、誰にでも使えるさまざまなタイプの非構造化データがあります。誰にでも、保存してデータベースに対してクエリできるデータがあります。そして、そのようなデータモダリティにはどのようなものがあるのか、それがアプリケーションにどのように組み込まれるのかをしっかり学び、そこから例えば Edition をダウンロードしたり、display をダウンロードして試したり、試用して遊んでみたり、必要に応じて移行してみたりするのがよいと思います。本当にそこから始めるべきだと思います。つまり、まず基本を押さえ、私たちが発明しているものとは何か、Vector searchを行うさまざまな方法には何があるのかを理解し、それからこれをいじり始め、これらのベクトルを活用し、これらのモデルを活用する本当にクールなアプリケーションを構築し始めることです。素晴らしいですね。では、始めるにあたってもう少しガードレールのようなものが欲しい人向けに、どのようなプロジェクトやチュートリアルが用意されていますか。はい、素晴らしい質問です。
そして、もしアクセスしていただくと、オンラインにこれらのガイドがあります。1つ、私はまだこのウィンドウを共有していて、これは実は完璧なのですが、endless Cloudです。実際に例があります。作成します、ええと、もし私がこのデータベースウィンドウに戻るとします。ここにはコレクションがありません。
しかし例えば、もし私が、ええと、これをドロップすれば可能ですが、サンプルコレクションをインポートすることもできます。そうですね。そしてサンプルコレクションは終了します。Those Cloudでは、例えばサンプルデータを自動的にインポートするような機能が実際に提供されます。この場合は映画データセットで、それを使って遊ぶことができます。自分のデータセットをダウンロードしたり、自分のデータをアップロードしたりする必要はありません。そうですね？つまり、これはすでにS3バケットに存在するデータであり、それを単にthose cloudにインポートし、すぐに触って遊んで、いくつかの方法を見てみるだけです。Vector searchをどのように使えるか、Cloudがどのようにそれを非常に素早く実現できるかというさまざまな方法です。強くお勧めします。
このようなことに興味がある方はぜひ行ってみてください。本当にクールですね。質問はこれで全部だと思います。Frankさん、本当に素晴らしいセッションをありがとうございました。
本日ご参加いただいた皆さま、ありがとうございました。次回のzillow'sウェビナーでお会いしましょう。ありがとうございました。
Meet the Speaker
Join the session for live Q&A with the speaker
Frank Liu
Director of Operations & ML Architect at Zilliz
Frank Liu is the Director of Operations & ML Architect at Zilliz, where he serves as a maintainer for the Towhee open-source project. Prior to Zilliz, Frank co-founded Orion Innovations, an ML-powered indoor positioning startup based in Shanghai and worked as an ML engineer at Yahoo in San Francisco. In his free time, Frank enjoys playing chess, swimming, and powerlifting. Frank holds MS and BS degrees in Electrical Engineering from Stanford University.