ShopeeがMilvusでマルチメディア事業に革命を起こす
> 100M
埋め込みベクトルの保存と検索
シームレスな統合
様々な社内システムと技術スタック
リアルタイムデータ検索の強化
待ち時間を短縮し、システムの可用性を向上
Milvus has dramatically facilitated the MMU team in building various business systems and effectively supports our rapid business growth. Thanks to the Milvus team for developing such a fantastic vector database with stable vector search capabilities and rich functionalities.
The MMU team
Shopeeについて
Shopeeは、東南アジアとラテンアメリカをリードするEコマースプラットフォームです。ユーザーフレンドリーなインターフェイス、安全な支払い方法、豊富な商品ラインナップにより、Shopeeは何百万人ものユーザーにシームレスなオンラインショッピング体験を提供し、最良の選択となっています。
Shopeeは、TikTokのような短編動画大手に対抗し、Eコマース市場シェアへの食い込みを防ぐため、マルチメディア理解（MMU）事業を開始した。MMU事業の一環として、ShopeeはShopee videoと呼ばれるTikTokのような機能やショートビデオアプリケーションを含むショートビデオサービスを展開している。
課題膨大な非構造化データに対する堅牢なベクトル検索エンジンの欠如
Shopeeの急成長するマルチメディア・ベンチャーでは、動画、画像、音声、テキストからなる膨大な量の非構造化データが流入することが大きな課題となり、従来のデータベースでは困難であることが判明しました。このデータから実用的な洞察を効果的に引き出すために、Shopeeのチームは、非構造化データを埋め込みベクトルに変換する埋め込みツールを採用しましたが、それらのベクトルを保存し、迅速に検索するための堅牢なベクトルデータベースシステムを緊急に必要としていました。
Shopeeのさまざまな社内システム（ビデオリコールシステム、ビデオ重複排除システム、ビデオ推薦システムなど）は、シナリオをさらに複雑にした。これらのシステムは、Shopeeのマルチメディアビジネスを管理し、強化するために綿密に作られた。これらの内部システムは異なる技術で構築され、ベクトル検索機能に大きく依存していた。そのためShopeeは、これらのシステムや様々な技術スタックにシームレスにフィットする堅牢なベクトル検索エンジンを必要としていました。
解決策Milvusを使用したベクター検索エンジンの構築
MMUチームは、堅牢なソリューションを求めて、さまざまなオープンソースのベクトル検索エンジンを厳密に調査しました。広範な調査の結果、Milvusが最適であることが判明しました。Milvusは何十億ものベクトルを扱うことができ、データ量の増加に応じて迅速にスケールアウトすることができます。Milvusのクラウドネイティブなアーキテクチャは、Shopeeの内部エコシステムとシームレスに統合されており、ゼロからベクトル検索システムを迅速にセットアップすることができます。分散処理、GPUサポート、インクリメンタルアップデート、スカラーサポートなど、Milvusの豊富な機能は、Shopeeの多面的な要件に包括的に対応しています。 慎重に検討した結果、チームはゼロからベクトル検索システムを構築するために、ベクトル検索エンジンの基盤としてMilvusを選択した。
Milvus 1.xで構築された検索エンジン：効率的だが、データ規模が大きくなるにつれて遅延が大きくなる
ShopeeのMUUチームは最初にMilvus 1.xを実装し、Milvus 1.1とMishardsを使用した分散ソリューションを採用した。この効率的なソリューションは、膨大な量のベクターの保存と検索というShopeeの痛みに対処することができました。しかし、Shopeeのビジネスが急成長し、データとリクエストが急増するにつれ、課題が発生しました。Mishardsのデフォルトのシャーディング戦略では、読み取り専用ノード間でセグメント分散が不均一になり、待ち時間が発生することがありました。解決策は、Mishardsクラスターを複数配置し、データベースとS3バケットを共有することでした。
Milvus 2.x：スケーラビリティの向上とレイテンシの短縮をもたらすゲームチェンジャー
Milvus 1.xで構築された検索エンジンは効果的であったが、このアプローチでは展開とメンテナンスに多大なコストがかかるため、チームはより効率的な展開方法を模索することになった。
Milvus 2.xの導入により、Shopeeのシステムは大きく変化した。Milvus 2.xの強化された安定性、スケーラビリティ、マルチレプリカ機能は革命的なものでした。これらの改善により、リアルタイムの検索サービスが強化され、低レイテンシと高可用性が保証されました。Milvus 2.xのクラウドネイティブアーキテクチャは、低コストのロギングとモニタリング機能を導入し、Shopeeにとってユーザーフレンドリーでより効率的なソリューションの時代の到来を告げた。
Milvus 2.xアーキテクチャ](https://assets.zilliz.com/Milvus_2_x_Architecture_1_8be5c488cf.png)
様々な業務システムを強化するMilvus
Shopeeのリアルタイム検索機能は、Milvusの統合によって新たな高みに到達した。ビデオリコールシステムは、この改善の典型的な例である。Milvusは、Shopeeのビデオ推薦システムにインスタントビデオリコールシステムをシームレスに組み込み、世界中の何百万人ものユーザー体験を向上させた。Milvusはまた、著作権ビデオマッチングとビデオ重複排除に不可欠なオフラインデータ検索をより効率的にしました。Milvusは、オリジナルのコンテンツを認識し、重複する動画を識別するのに役立っており、ユーザーの満足度を高めながら、コンテンツの新鮮さとオリジナル性を維持しています。
ビデオ・リコール・システム：ビデオ推薦の改善
Shopeeのビデオリコールシステムは、ビデオを推薦するプロセスの基礎としてMilvusを使用しています。ユーザーが動画を検索すると、ShopeeはMilvusにアクセスし、最も類似したTop-K候補を検索する。これらの結果は、ユーザーに返される前に、ポストランキングアルゴリズムによって改良されます。
Milvus 1.xを用いたビデオリコールシステムのアーキテクチャ](https://assets.zilliz.com/Video_Recall_System_Architecture_Using_Milvus_1_x_1_2ff70f4d29.png)
当初、ShopeeはMilvus 1.xを使用してビデオリコールシステムを構築した。しかし、システムの規模が大きくなるにつれ、待ち時間の問題に直面しました。この問題に対処するため、ShopeeはTop-Kとバックエンドの更新を保存するためのキャッシュメカニズムを導入しました。Milvus 2.xにアップグレードすることで、システムのアーキテクチャと運用が簡素化され、Milvusの堅牢な分散インターフェイスを介したTop-Kの直接呼び出しが可能になり、システムのパフォーマンスが向上しました。
Milvus 2.xによるビデオリコールシステムアーキテクチャ](https://assets.zilliz.com/Video_Recall_System_Architecture_Using_Milvus_2_x_ed4b211e25.png)
著作権マッチシステム：より良いユーザーエクスペリエンスとシステムの完全性
Shopeeのショートビデオサービスはますます人気が高まっており、その結果、多くのビデオが作成され、プラットフォームにアップロードされています。優れたユーザーエクスペリエンスを維持し、動画クリエイターの著作権を保護するため、ShopeeはMilvusを使用した著作権照合システムを導入しました。公開された動画の特徴はすべてベクトルに変換されてMilvusに保存され、新しくアップロードされた動画はすべて類似検索によってMilvusに保存されているものと照合されます。
著作権照合システムアーキテクチャ](https://assets.zilliz.com/Copyright_Detection_System_Architecture_a6bd490826.png)
この方法は、前処理、特徴抽出、結果ソート、再スキャンという4つの重要なモジュールで構成されている。これらのモジュールが連携することで、重複コンテンツや盗用コンテンツを正確に識別し、システムの完全性と信頼性を確保します。
ビデオ重複排除システム：ユーザー価値の向上
ビデオ重複排除システムは、Shopeeのビデオプラットフォームから冗長なコンテンツを排除するように設計されている。Shopeeの著作権照合システムと同様に、重複排除システムはMilvusを使用し、動画の特徴から変換された埋め込みベクトルを保存する。このシステムは、特定の部分と最も類似しているMilvusのTop-Kの結果を検索することで、重複する動画を効率的に識別し、排除します。Top-K類似度検索とは別に、本システムはバッチデータ検索、ポストランキング、クラスタリング、フィンガープリント割り当てなどの他の処理技術を含む。最終的にMilvusはこれらの結果をすべて保存し、様々なビジネスユニットに貴重な洞察を提供する。
ビデオ重複排除システムアーキテクチャ](https://assets.zilliz.com/Video_Deduplication_System_Architecture_e72edcac2a.png)
前途
ShopeeとMilvusのコラボレーションは、eコマースの未来を形作るイノベーションの力の証である。MilvusはShopeeのマルチメディアビジネスに力を与え、マルチメディアの複雑な理解を解きほぐすのに必要なツールを装備した。今後、ShopeeはMilvusがますます高度化するAIの需要に対応できるように進化することを想定している。Shopeeは、Milvusを揺るぎないパートナーとして、マルチメディア理解がユーザー体験とシームレスに統合され、Eコマースにおける新たな道を切り開く未来を期待している。
<br
*この投稿はShopee MMUチームによって書かれ、許可を得て編集され、ここに掲載されています。