ユーザーエクスペリエンスの最適化：BIGO、重複動画除去にMilvusを活用
ショートビデオ共有プラットフォームは、私たちの日常生活に欠かせないものとなっている。BIGO](https://zilliz.com/customers/bigo)が所有する世界的なショート動画プラットフォームであるLikeeには、毎日数百万のショート動画がアップロードされている。しかし、毎日膨大な数の新しい動画がアップロードされるため、重複動画の問題がコンテンツの品質と全体的なユーザー体験に脅威を与えている。この問題に取り組むため、BIGOはオープンソースのベクトルデータベースであるMilvusを使用して、動画重複排除システムを変革した。
この投稿では、BIGOが直面した具体的な課題、同社が動画重複排除システムにMilvusベクトルデータベースを選択した理由、そしてMilvusがどのように救いの手を差し伸べたかについて述べる。
重複動画の急増がユーザー体験の低下を招く
4億人を超える素晴らしいユーザーベースを持つLikeeでは、毎日何百万もの新しい動画がアップロードされている。しかし、新しいコンテンツの急増は、特に重複動画という形で、独自の課題を伴う。この急増は、高品質なコンテンツの推奨やユーザーフレンドリーな体験の維持を脅かし、他のクリエイターの知的財産権を侵害する可能性について懸念を抱かせる。
過去にLikeeは、類似検索・クラスタリングライブラリであるFAISSを採用することで、この問題に対処しました。当初は効果的であったものの、膨大なベクトルを管理・保存するという途方もないタスクに直面したとき、FAISSは限界を露呈しました。この限界により、クエリ応答が遅くなり、スループットが制限された。そこで、Likee チームは、急増する重複動画を迅速に特定し、排除できる、より効率的な技術の探求に乗り出しました。
Milvus: 変化のきっかけ
Milvus](https://zilliz.com/what-is-milvus)は、オープンソースのベクトルデータベースで、10億スケールの埋め込みベクトルを保存、索引付け、照会できるように設計されています。その衝撃は革命的というほかなかった。Milvusは、Likeeの重複排除システムに電光石火の類似検索機能を導入し、高い再現率を維持しながら、200ミリ秒以下で重複動画の検索を完了した。Likeeはまた、Milvusのスケーラビリティの恩恵を受け、ベクタークエリのスループットが改善され、作業効率が向上した。
MilvusでLikeeの重複動画に取り組む
Likeeの重複排除システムの変化は魅力的だ。新たにアップロードされた動画は、フレームにスライスされ、特徴ベクトルに変換され、既存のコンテンツに対応する7億以上のベクトルを収容する広範なデータベースと複雑に照合される。この複雑なプロセスは、Kafkaに動画を保存し、ディープラーニングモデルによって動画をベクトル埋め込みに変換し、Milvusで埋め込みにインデックスを付け、リコールした結果をCephに保存するという、最先端技術の振り付けである。より良い動画マッチングのために、ベクトル埋め込みに対応する動画IDはTiDBまたはPikaという2つのリレーショナルデータベースで管理される。
Likeeの重複排除システムのアーキテクチャ](https://assets.zilliz.com/The_architecture_of_Likees_deduplication_system_a2e4c22ac3.png)
Likeeの類似検索をMilvusで強化する
Milvusは、Likeeの類似検索プロセスに新しいレベルの効率性をもたらします。Milvusは、バッチ検索を行うことで、新しい動画から各特徴ベクトルに類似する上位100個のベクトルを呼び出します。そして、動画IDを比較し、残りの動画の特徴ベクトルを取得し、取得した特徴ベクトルとクエリ動画の特徴ベクトルの類似度をスコアリングすることで、重複動画を特定・削除します。
MilvusがLikeeの類似性検索を支援する方法](https://assets.zilliz.com/How_Milvus_helps_Likees_similarity_search_4eb5f087f0.png)
協調的な地平を目指して
MilvusがLikeeの動画重複排除システムを改良することに成功したことで、BIGOとMilvusはより広範な協力関係を築くことになる。BIGOのソフトウェアエンジニアであるXinyang Guo氏は、Milvusの能力をコンテンツモデレーション、制限、カスタマイズされたビデオサービスに拡張することを想定している。BIGOとMilvusの相乗効果は、両社が持続的な成長と繁栄を遂げる態勢を整え、相互に有益な旅を約束する。
結論として、MilvusはBIGOのLikeeを効率性とユーザー満足の新時代へと推進する原動力として浮上する。パートナーシップが発展するにつれ、複雑な課題を解決したMilvusのサクセスストーリーは、デジタル環境の複雑さを克服するオープンソース技術の可能性を例証している。
読み続けて
Introducing Loon: A New Storage Engine for Vector Data That Never Stops Changing
Loon is a new storage engine for Milvus 3.0 and Zilliz Vector Lakebase, built to manage evolving vector datasets with ColumnGroups, row ID alignment, and Manifests.
8 Latest RAG Advancements Every Developer Should Know
Explore eight advanced RAG variants that can solve real problems you might be facing: slow retrieval, poor context understanding, multimodal data handling, and resource optimization.
Cosmos World Foundation Model Platform for Physical AI
NVIDIA's Cosmos platform enables safe, digital twin training of GenAI models for physical applications, overcoming data scarcity and safety challenges.