Optimización de la experiencia de usuario: BIGO aprovecha Milvus para eliminar videos duplicados
Las plataformas para compartir videos cortos se han convertido en una parte integral de nuestra vida diaria. Likee, una plataforma global de videos cortos propiedad de BIGO, recibe millones de cargas de videos cortos a diario. Sin embargo, con la enorme cantidad de videos nuevos cada día, el problema de los videos duplicados supone una amenaza para la calidad del contenido y la experiencia general del usuario. Para abordar este problema, BIGO utilizó Milvus, una base de datos vectorial de código abierto, para transformar su sistema de deduplicación de videos.
En esta publicación, analizaremos los desafíos específicos que enfrentó BIGO, por qué la empresa eligió la base de datos vectorial Milvus para impulsar su sistema de deduplicación de videos y cómo Milvus acudió al rescate.
El aumento de videos duplicados conduce a una mala experiencia de usuario
Con una impresionante base de usuarios que supera los 400 millones, Likee presencia millones de nuevas cargas de videos a diario. Sin embargo, la proliferación de contenido nuevo viene con su propio conjunto de desafíos, particularmente en forma de videos duplicados. Este aumento amenaza con mantener recomendaciones de contenido de alta calidad y experiencias fáciles de usar, y genera preocupaciones sobre posibles violaciones de los derechos de propiedad intelectual de otros creadores.
En el pasado, Likee abordó este problema empleando FAISS, una biblioteca de búsqueda de similitud y agrupación. Aunque fue eficaz inicialmente, FAISS reveló limitaciones al enfrentarse a la monumental tarea de gestionar y almacenar vectores masivos. Esta limitación provocó respuestas de consulta lentas y un rendimiento restringido. Por lo tanto, el equipo de Likee emprendió la búsqueda de una tecnología más eficiente capaz de identificar y eliminar rápidamente el creciente número de videos duplicados.
Milvus: un catalizador para el cambio
Likee recurrió a Milvus, una base de datos vectorial de código abierto diseñada para almacenar, indexar y consultar vectores de incrustación a escala de miles de millones, en la búsqueda de una solución más eficiente. El impacto fue nada menos que revolucionario. Milvus inyectó capacidades de búsqueda de similitud ultrarrápidas en el sistema de deduplicación de Likee, completando búsquedas de videos duplicados en menos de 200 milisegundos y manteniendo una alta tasa de recuperación. Likee también se benefició de la escalabilidad de Milvus, lo que dio como resultado un mejor rendimiento de las consultas vectoriales y una mayor eficiencia de trabajo.
Abordar los videos duplicados de Likee con Milvus
La transformación del sistema de deduplicación de Likee es fascinante. Los videos recién cargados se someten a una transformación meticulosa: se dividen en fotogramas, se convierten en vectores de características y luego se comparan intrincadamente con una extensa base de datos que alberga más de 700 millones de vectores correspondientes a contenido preexistente. Este intrincado proceso es una coreografía de tecnologías de vanguardia que implica almacenar videos en Kafka, convertir videos en incrustaciones vectoriales mediante modelos de aprendizaje profundo, indexar incrustaciones con Milvus y almacenar los resultados recuperados en Ceph. Para una mejor coincidencia de videos, los ID de video correspondientes a las incrustaciones vectoriales se gestionan en TiDB o Pika, dos bases de datos relacionales.
La arquitectura del sistema de deduplicación de Likee
Potenciar la búsqueda de similitud de Likee con Milvus
Milvus aporta un nuevo nivel de eficiencia al proceso de búsqueda de similitud de Likee. Milvus recupera los 100 vectores principales similares a cada vector de características de un nuevo video realizando una búsqueda por lotes. Luego, el sistema identifica y elimina videos duplicados comparando los ID de video, recuperando los vectores de características de los videos restantes y puntuando la similitud entre los vectores de características de video recuperados y los de consulta.
Cómo Milvus ayuda a la búsqueda de similitud de Likee
Hacia un horizonte colaborativo
El éxito de Milvus al perfeccionar el sistema de deduplicación de videos de Likee sienta las bases para colaboraciones más amplias entre BIGO y Milvus. Xinyang Guo, ingeniero de software en BIGO, prevé extender la capacidad de Milvus a la moderación de contenido, la restricción y los servicios de video personalizados. La sinergia entre BIGO y Milvus promete un recorrido mutuamente beneficioso, con ambas entidades preparadas para un crecimiento y una prosperidad sostenidos.
En conclusión, Milvus emerge como la fuerza impulsora que lleva a Likee de BIGO hacia una nueva era de eficiencia y satisfacción del usuario. A medida que la colaboración evoluciona, la historia de éxito de Milvus al resolver desafíos complejos ejemplifica el potencial de las tecnologías de código abierto para navegar y conquistar las complejidades del panorama digital.
Sigue leyendo
Introducing Zilliz CLI and Agent Skills for Zilliz Cloud
Manage your vector database from your terminal or AI coding agent. Zilliz CLI and Agent Skills work with Claude Code, Cursor, Codex, and Copilot.
Zilliz Cloud Delivers Better Performance and Lower Costs with Arm Neoverse-based AWS Graviton
Zilliz Cloud adopts Arm-based AWS Graviton3 CPUs to cut costs, speed up AI vector search, and power billion-scale RAG and semantic search workloads.
Proactive Monitoring for Vector Database: Zilliz Cloud Integrates with Datadog
we're excited to announce Zilliz Cloud's integration with Datadog, enabling comprehensive monitoring and observability for your vectorDB deployments.