MilvusがBIGOのビデオ重複排除システムを最適なスループットとユーザーエクスペリエンスに変えた理由

#BIGOについて

BIGOテクノロジー (BIGO)は、シンガポールに拠点を置き、世界中に30以上のオフィスと6つの研究開発センターを持つ急成長中のハイテク企業である。人工知能技術を搭載したBIGOは、ライブストリーミングのBigo Liveや短編動画共有のLikeeなど、動画ベースの製品やサービスを提供し、150カ国で4億人以上のユーザーを抱える人気企業となっている。

課題大量の重複動画の削除

Likeeは、ユーザーが短い動画を通じて自己表現し、その瞬間を共有できる素晴らしいグローバル・プラットフォームです。しかし、何千万人ものユーザーが毎日動画を投稿しているため、Likeeはユーザー体験を向上させ、高品質のコンテンツを推薦するという大きな課題に直面しています。Likeeが克服しなければならない最大の課題の1つは、プラットフォームにアップロードされた大量の重複動画です。

この問題に取り組むために、Likeeは重複動画を迅速かつ効率的に検出し、削除するソリューションを必要としています。このようなプロセスは複雑で、各動画の特徴を包括的に理解し、迅速に比較対照する能力が求められます。

これまでLikeeは、密なベクトルの類似性検索とクラスタリングのためのライブラリであるFaissを利用していました。しかし、Faiss は大量のベクトルを管理するのに苦労し、クエリのレスポンスが遅く、クエリのスループットが限られていました。そこで、Likee チームは、類似検索と検出のより効率的なソリューションを緊急に必要としていた。

解決策Milvusによる動画類似検索の強化

Milvusはオープンソースのベクトルデータベースで、埋め込みベクトルの保存、索引付け、クエリを目的として構築されており、高速な類似検索が特徴です。Milvusによって、Likeeのエンジニアリングチームは、高い再現率を維持しながら200ミリ秒以下で検索を実行する、より効率的な重複排除システムを構築した。Likeeはまた、Milvusのスケーラビリティの恩恵を受け、ベクタークエリのスループットが改善され、作業効率が向上した。

ライク社が重複動画を識別する方法

Likeeの重複排除システムは、新しくアップロードされた動画を15～20フレームにカットし、それぞれを特徴ベクトルに変換する。そして、既存の動画に対応する7億以上のベクトルを保存しているデータベースから、最も類似している上位k個のベクトルを検索する。そして、どのテープが重複で削除が必要かを判断する。

下図は、Likeeの重複排除システムの構造を示している。まず、新しい動画はデータストレージシステムであるKafkaに保存され、Kafkaコンシューマーによって消費される。その後、システムはディープラーニングモデルを使って動画を埋め込みに変換し、類似性監査に送る。さらなる検索のためにロードされる前に、埋め込みはMilvusによってインデックス化され、Cephに保存される。最後に、システムはそれらのエンベッディングに対応する動画IDを、TiDBまたはPikaという2つのリレーショナルデータベースに格納する。

Likeeの重複排除システムのアーキテクチャ](https://assets.zilliz.com/bigo_20230525_035947_149d0c0e81.png)

MilvusはどのようにLikeeの類似検索を強化するか？

下の図は、類似検索の手順を示している。

1.動画の類似性検索を行うために、Milvusはまず、新しい動画から抽出された各特徴ベクトルに類似する上位100個のベクトルを呼び出すバッチ検索を行います。各類似ベクトルは対応する動画IDと関連付けられる。 2.次に、Milvusは動画IDを比較して重複動画を削除し、残りの動画の特徴ベクトルをTiDBまたはPikaから取得する。 3.最後に、Milvusは検索された特徴ベクトルとクエリ動画の特徴ベクトルとの類似度を計算し、スコア化する。最もスコアの高い動画IDが結果として返される。

MilvusがLikeeの類似性検索を支援する方法](https://assets.zilliz.com/Bigo_graphics_2_30d7ca1fc6.png)

結果より速い検索レスポンスによるクエリスループットの向上

高性能なベクトル検索エンジンであるMilvusは、Likeeの動画重複排除システムにおいて重要な役割を果たし、ユーザーエクスペリエンスとBIGOの短編動画ビジネスの成長を大幅に改善した。Milvusを使用することで、Likeeは200ms未満で検索を完了することができ、高い想起率を確保している。また、Milvusは水平スケーラブルであるため、Likeeは性能を損なうことなくシステムの効率を高めながら、ベクトルクエリのスループットを大幅に向上させることができる。

BIGOは、ビデオ重複排除に加えて、センチメント分析、オブジェクト認識、パーソナライズされたビデオ推薦など、より多くのビデオ関連目的にMilvusを使用する計画を持っています。BIGOとMilvusは、これらの分野およびそれ以外での協力関係の拡大に興奮しています。