Optimiser l’expérience utilisateur : BIGO s’appuie sur Milvus pour la suppression des vidéos en double
Les plateformes de partage de courtes vidéos sont devenues une partie intégrante de notre vie quotidienne. Likee, une plateforme mondiale de courtes vidéos appartenant à BIGO, compte des millions de courtes vidéos mises en ligne chaque jour. Cependant, avec le nombre considérable de nouvelles vidéos quotidiennes, le problème des vidéos en double constitue une menace pour la qualité du contenu et l’expérience utilisateur globale. Pour résoudre ce problème, BIGO a utilisé Milvus, une base de données vectorielle open source, afin de transformer son système de déduplication vidéo.
Dans cet article, nous aborderons les défis spécifiques auxquels BIGO a été confrontée, pourquoi l’entreprise a choisi la base de données vectorielle Milvus pour alimenter son système de déduplication vidéo, et comment Milvus est venu à la rescousse.
L’augmentation des vidéos en double entraîne une mauvaise expérience utilisateur
Avec une base d’utilisateurs impressionnante dépassant les 400 millions, Likee voit des millions de nouvelles vidéos mises en ligne chaque jour. Cependant, la prolifération de nouveaux contenus s’accompagne de son propre lot de défis, notamment sous la forme de vidéos en double. Cette augmentation menace le maintien de recommandations de contenu de haute qualité et d’expériences conviviales, et soulève des préoccupations concernant d’éventuelles violations des droits de propriété intellectuelle d’autres créateurs.
Par le passé, Likee a traité ce problème en utilisant FAISS, une bibliothèque de recherche de similarité et de clustering. Bien qu’efficace au départ, FAISS a révélé des limites lorsqu’elle a été confrontée à la tâche colossale de gérer et de stocker des vecteurs massifs. Cette limitation a entraîné des réponses de requêtes lentes et un débit limité. Par conséquent, l’équipe Likee s’est lancée dans la recherche d’une technologie plus efficace, capable d’identifier et d’éliminer rapidement le nombre croissant de vidéos en double.
Milvus : un catalyseur du changement
Likee s’est tournée vers Milvus, une base de données vectorielle open source conçue pour stocker, indexer et interroger des vecteurs d’embedding à l’échelle du milliard, dans sa quête d’une solution plus efficace. L’impact a été véritablement révolutionnaire. Milvus a injecté des capacités de recherche de similarité ultra-rapides dans le système de déduplication de Likee, réalisant des recherches de vidéos en double en moins de 200 millisecondes tout en maintenant un taux de rappel élevé. Likee a également bénéficié de l’évolutivité de Milvus, ce qui a amélioré le débit des requêtes vectorielles et accru l’efficacité opérationnelle.
Traiter les vidéos en double de Likee avec Milvus
La transformation du système de déduplication de Likee est fascinante. Les vidéos nouvellement mises en ligne subissent une transformation méticuleuse : elles sont découpées en images, converties en vecteurs de caractéristiques, puis mises en correspondance de manière complexe avec une vaste base de données contenant plus de 700 millions de vecteurs correspondant à du contenu préexistant. Ce processus complexe est une chorégraphie de technologies de pointe impliquant le stockage des vidéos dans Kafka, la conversion des vidéos en embeddings vectoriels grâce à des modèles d’apprentissage profond, l’indexation des embeddings avec Milvus et le stockage des résultats rappelés dans Ceph. Pour une meilleure correspondance des vidéos, les ID de vidéos correspondant aux embeddings vectoriels sont gérés dans TiDB ou Pika, deux bases de données relationnelles.
L’architecture du système de déduplication de Likee
Renforcer la quête de Likee pour la recherche de similarité avec Milvus
Milvus apporte un nouveau niveau d’efficacité au processus de recherche de similarité de Likee. Milvus rappelle les 100 principaux vecteurs similaires à chaque vecteur de caractéristiques d’une nouvelle vidéo en effectuant une recherche par lots. Le système identifie ensuite et supprime les vidéos en double en comparant les ID de vidéos, en récupérant les vecteurs de caractéristiques des vidéos restantes et en notant la similarité entre les vecteurs de caractéristiques des vidéos récupérées et ceux de la vidéo de requête.
Comment Milvus aide la recherche de similarité de Likee
Vers un horizon collaboratif
Le succès de Milvus dans l’affinement du système de déduplication vidéo de Likee ouvre la voie à des collaborations plus larges entre BIGO et Milvus. Xinyang Guo, ingénieur logiciel chez BIGO, envisage d’étendre les capacités de Milvus à la modération de contenu, aux restrictions et aux services vidéo personnalisés. La synergie entre BIGO et Milvus promet un parcours mutuellement bénéfique, les deux entités étant prêtes à connaître une croissance et une prospérité durables.
En conclusion, Milvus s’impose comme la force motrice propulsant Likee de BIGO dans une nouvelle ère d’efficacité et de satisfaction des utilisateurs. À mesure que le partenariat évolue, la réussite de Milvus dans la résolution de défis complexes illustre le potentiel des technologies open source pour naviguer dans les complexités du paysage numérique et les surmonter.
Continuer à lire
Why We Built Vector Lakebase: Rethinking Unstructured Data Architecture for AI
Vector Lakebase: a unified, lake-native data foundation for AI workloads — and an answer to what happens after vector databases succeed.
DeepSeek-OCR Explained: Optical Compression for Scalable Long-Context and RAG Systems
Discover how DeepSeek-OCR uses visual tokens and Contexts Optical Compression to boost long-context LLM efficiency and reshape RAG performance.
Announcing the General Availability of Zilliz Cloud BYOC on Google Cloud Platform
Zilliz Cloud BYOC on GCP offers enterprise vector search with full data sovereignty and seamless integration.