Optimiser l’expérience utilisateur : BIGO s’appuie sur Milvus pour la suppression des vidéos en double
Les plateformes de partage de courtes vidéos sont devenues une partie intégrante de notre vie quotidienne. Likee, une plateforme mondiale de courtes vidéos appartenant à BIGO, compte des millions de courtes vidéos mises en ligne chaque jour. Cependant, avec le nombre considérable de nouvelles vidéos quotidiennes, le problème des vidéos en double constitue une menace pour la qualité du contenu et l’expérience utilisateur globale. Pour résoudre ce problème, BIGO a utilisé Milvus, une base de données vectorielle open source, afin de transformer son système de déduplication vidéo.
Dans cet article, nous aborderons les défis spécifiques auxquels BIGO a été confrontée, pourquoi l’entreprise a choisi la base de données vectorielle Milvus pour alimenter son système de déduplication vidéo, et comment Milvus est venu à la rescousse.
L’augmentation des vidéos en double entraîne une mauvaise expérience utilisateur
Avec une base d’utilisateurs impressionnante dépassant les 400 millions, Likee voit des millions de nouvelles vidéos mises en ligne chaque jour. Cependant, la prolifération de nouveaux contenus s’accompagne de son propre lot de défis, notamment sous la forme de vidéos en double. Cette augmentation menace le maintien de recommandations de contenu de haute qualité et d’expériences conviviales, et soulève des préoccupations concernant d’éventuelles violations des droits de propriété intellectuelle d’autres créateurs.
Par le passé, Likee a traité ce problème en utilisant FAISS, une bibliothèque de recherche de similarité et de clustering. Bien qu’efficace au départ, FAISS a révélé des limites lorsqu’elle a été confrontée à la tâche colossale de gérer et de stocker des vecteurs massifs. Cette limitation a entraîné des réponses de requêtes lentes et un débit limité. Par conséquent, l’équipe Likee s’est lancée dans la recherche d’une technologie plus efficace, capable d’identifier et d’éliminer rapidement le nombre croissant de vidéos en double.
Milvus : un catalyseur du changement
Likee s’est tournée vers Milvus, une base de données vectorielle open source conçue pour stocker, indexer et interroger des vecteurs d’embedding à l’échelle du milliard, dans sa quête d’une solution plus efficace. L’impact a été véritablement révolutionnaire. Milvus a injecté des capacités de recherche de similarité ultra-rapides dans le système de déduplication de Likee, réalisant des recherches de vidéos en double en moins de 200 millisecondes tout en maintenant un taux de rappel élevé. Likee a également bénéficié de l’évolutivité de Milvus, ce qui a amélioré le débit des requêtes vectorielles et accru l’efficacité opérationnelle.
Traiter les vidéos en double de Likee avec Milvus
La transformation du système de déduplication de Likee est fascinante. Les vidéos nouvellement mises en ligne subissent une transformation méticuleuse : elles sont découpées en images, converties en vecteurs de caractéristiques, puis mises en correspondance de manière complexe avec une vaste base de données contenant plus de 700 millions de vecteurs correspondant à du contenu préexistant. Ce processus complexe est une chorégraphie de technologies de pointe impliquant le stockage des vidéos dans Kafka, la conversion des vidéos en embeddings vectoriels grâce à des modèles d’apprentissage profond, l’indexation des embeddings avec Milvus et le stockage des résultats rappelés dans Ceph. Pour une meilleure correspondance des vidéos, les ID de vidéos correspondant aux embeddings vectoriels sont gérés dans TiDB ou Pika, deux bases de données relationnelles.
L’architecture du système de déduplication de Likee
Renforcer la quête de Likee pour la recherche de similarité avec Milvus
Milvus apporte un nouveau niveau d’efficacité au processus de recherche de similarité de Likee. Milvus rappelle les 100 principaux vecteurs similaires à chaque vecteur de caractéristiques d’une nouvelle vidéo en effectuant une recherche par lots. Le système identifie ensuite et supprime les vidéos en double en comparant les ID de vidéos, en récupérant les vecteurs de caractéristiques des vidéos restantes et en notant la similarité entre les vecteurs de caractéristiques des vidéos récupérées et ceux de la vidéo de requête.
Comment Milvus aide la recherche de similarité de Likee
Vers un horizon collaboratif
Le succès de Milvus dans l’affinement du système de déduplication vidéo de Likee ouvre la voie à des collaborations plus larges entre BIGO et Milvus. Xinyang Guo, ingénieur logiciel chez BIGO, envisage d’étendre les capacités de Milvus à la modération de contenu, aux restrictions et aux services vidéo personnalisés. La synergie entre BIGO et Milvus promet un parcours mutuellement bénéfique, les deux entités étant prêtes à connaître une croissance et une prospérité durables.
En conclusion, Milvus s’impose comme la force motrice propulsant Likee de BIGO dans une nouvelle ère d’efficacité et de satisfaction des utilisateurs. À mesure que le partenariat évolue, la réussite de Milvus dans la résolution de défis complexes illustre le potentiel des technologies open source pour naviguer dans les complexités du paysage numérique et les surmonter.
Continuer à lire
Introducing Loon: A New Storage Engine for Vector Data That Never Stops Changing
Loon is a new storage engine for Milvus 3.0 and Zilliz Vector Lakebase, built to manage evolving vector datasets with ColumnGroups, row ID alignment, and Manifests.
Zilliz Cloud Enterprise Vector Search Powers High-Performance AI on AWS
Zilliz Cloud on AWS powers secure, scalable, ultra-fast vector search for enterprise AI apps, with BYOC, sub-10ms latency, and zero-DevOps simplicity.
OpenAI o1: What Developers Need to Know
In this article, we will talk about the o1 series from a developer's perspective, exploring how these models can be implemented for sophisticated use cases.