Shopee revoluciona su negocio multimedia con Milvus
> 100M
almacenamiento y búsqueda de vectores incrustados
Integración perfecta
con diversos sistemas internos y pilas tecnológicas
Recuperación de datos en tiempo real mejorada
con latencia reducida y mayor disponibilidad del sistema
Milvus has dramatically facilitated the MMU team in building various business systems and effectively supports our rapid business growth. Thanks to the Milvus team for developing such a fantastic vector database with stable vector search capabilities and rich functionalities.
The MMU team
Acerca de Shopee
Shopee es una plataforma de comercio electrónico líder en el Sudeste Asiático y América Latina, que tiende puentes entre compradores y vendedores de diversos productos. Gracias a su interfaz fácil de usar, sus opciones de pago seguras y su amplia gama de productos, Shopee ofrece a millones de usuarios de la región una experiencia de compra en línea perfecta, lo que la convierte en su primera opción.
Shopee ha lanzado su negocio Multimedia Understanding (MMU) para competir con gigantes del vídeo corto como TikTok y evitar que le coman terreno en su cuota de mercado de comercio electrónico. Como parte del negocio MMU, Shopee ha puesto en marcha sus servicios de vídeo corto, incluida una función similar a TikTok llamada Shopee video y una aplicación de vídeo corto.
El reto: Falta de un motor de búsqueda vectorial robusto para grandes volúmenes de datos no estructurados
En la floreciente empresa multimedia de Shopee, la afluencia de grandes cantidades de datos no estructurados, que comprenden vídeos, imágenes, audio y texto, supuso un reto importante y resultó desalentadora para las bases de datos tradicionales. Para obtener información procesable de estos datos, el equipo de Shopee utilizó herramientas de incrustación para transformar los datos no estructurados en vectores de incrustación, pero necesitaba urgentemente un sistema de base de datos vectorial robusto para almacenar estos vectores y realizar búsquedas rápidas en ellos.
Los diversos sistemas internos de Shopee, incluidos los sistemas de recuperación de vídeos, los sistemas de deduplicación de vídeos y las recomendaciones de vídeos, complicaban aún más el escenario. Estos sistemas se diseñaron meticulosamente para gestionar y mejorar el negocio multimedia de Shopee. Estos sistemas internos se construyeron con diferentes tecnologías y dependían en gran medida de las capacidades de búsqueda vectorial. Por lo tanto, Shopee necesitaba un motor de búsqueda vectorial robusto que se adaptara perfectamente a estos sistemas y a las diversas pilas tecnológicas.
La solución: Creación de un motor de búsqueda vectorial con Milvus
El equipo de MMU exploró rigurosamente varios motores de búsqueda vectorial de código abierto en busca de una solución robusta. Tras una exhaustiva investigación, Milvus se reveló como la solución perfecta. Milvus puede gestionar miles de millones de vectores y escalar rápidamente a medida que aumenta el volumen de datos. La arquitectura nativa en la nube de Milvus se integró a la perfección con el ecosistema interno de Shopee, permitiendo la rápida configuración de sistemas de recuperación de vectores desde cero. Su oferta rica en funciones, incluido el procesamiento distribuido, la compatibilidad con GPU, las actualizaciones incrementales y la compatibilidad escalar, abordaba de forma exhaustiva los polifacéticos requisitos de Shopee. Tras considerarlo detenidamente, el equipo seleccionó Milvus como base de su motor de búsqueda vectorial para construir sus sistemas de búsqueda vectorial desde cero.
Un motor de búsqueda construido con Milvus 1.x: Eficiente pero con alta latencia a medida que aumentan los datos
El equipo MUU de Shopee implementó inicialmente Milvus 1.x, empleando una solución distribuida utilizando Milvus 1.1 y Mishards. Esta eficiente solución podía resolver los puntos débiles de Shopee de almacenamiento y búsqueda a través de grandes cantidades de vectores. Sin embargo, surgieron desafíos a medida que el negocio de Shopee crecía con un rápido aumento de los datos y las solicitudes. La estrategia de fragmentación predeterminada de Mishards provocaba en ocasiones una distribución desigual de los segmentos entre los nodos de sólo lectura, lo que causaba latencia. La solución pasó por desplegar varios conjuntos de clústeres de Mishards, compartiendo bases de datos y buckets de S3.
Milvus 2.x: Un cambio de juego que mejora la escalabilidad y reduce la latencia
Aunque el motor de búsqueda construido con Milvus 1.x era eficaz, este enfoque generaba importantes costes de despliegue y mantenimiento, lo que llevó al equipo a explorar métodos de despliegue más eficientes.
Con la introducción de Milvus 2.x, los sistemas de Shopee experimentaron un cambio transformador. La mayor estabilidad, escalabilidad y capacidad de réplica múltiple de Milvus 2.x resultaron revolucionarias. Estas mejoras reforzaron los servicios de recuperación en tiempo real, garantizando una baja latencia y una alta disponibilidad. La arquitectura nativa en la nube de Milvus 2.x introdujo funciones de registro y supervisión de bajo coste, marcando el comienzo de una era de soluciones fáciles de usar y más eficientes para Shopee.
Arquitectura de Milvus 2.x](https://assets.zilliz.com/Milvus_2_x_Architecture_1_8be5c488cf.png)
Milvus potencia varios sistemas empresariales
Las capacidades de búsqueda en tiempo real de Shopee han alcanzado nuevas cotas con la integración de Milvus. El sistema de retirada de vídeos es un excelente ejemplo de esta mejora. Milvus ha incorporado a la perfección la recuperación instantánea de vídeos en los sistemas de recomendación de vídeos de Shopee, lo que ha mejorado la experiencia de usuario de millones de personas en todo el mundo. Milvus también ha hecho mucho más eficiente la recuperación de datos fuera de línea, que es crucial para la coincidencia de vídeos con derechos de autor y la deduplicación de vídeos. Milvus desempeña un papel decisivo en el reconocimiento de contenidos originales y la identificación de vídeos duplicados, lo que garantiza que los contenidos se mantengan frescos y originales al tiempo que mejora la satisfacción del usuario.
Sistema de recuperación de vídeos: Mejora de la recomendación de vídeos
El sistema de recuperación de vídeos de Shopee utiliza Milvus como piedra angular en el proceso de recomendación de vídeos. Cuando un usuario busca un vídeo, la empresa solicita acceso a Milvus para recuperar los candidatos Top-K más similares. Estos resultados se refinan mediante algoritmos posteriores a la clasificación antes de devolvérselos al usuario.
Arquitectura del sistema de recuperación de vídeos con Milvus 1.x](https://assets.zilliz.com/Video_Recall_System_Architecture_Using_Milvus_1_x_1_2ff70f4d29.png)
Inicialmente, Shopee utilizó versiones Milvus 1.x para construir el sistema de recuperación de vídeo. Sin embargo, a medida que el sistema se ampliaba, se enfrentaba a problemas de latencia. Para solucionar este problema, Shopee introdujo un mecanismo de caché para almacenar las actualizaciones de Top-K y backend. La actualización a Milvus 2.x ha simplificado la arquitectura y las operaciones del sistema, permitiendo la recuperación directa de Top-K a través de las sólidas interfaces distribuidas de Milvus y mejorando el rendimiento del sistema.
Arquitectura del sistema de recuperación de vídeo con Milvus 2.x](https://assets.zilliz.com/Video_Recall_System_Architecture_Using_Milvus_2_x_ed4b211e25.png)
Copyright Match System: Mejor experiencia del usuario e integridad del sistema
Los servicios de vídeos cortos de Shopee se han hecho cada vez más populares, lo que ha dado lugar a la creación y carga de un gran número de vídeos en su plataforma. Para mantener una excelente experiencia de usuario y proteger los derechos de autor de los creadores de vídeos, Shopee ha implantado un sistema de correspondencia de derechos de autor utilizando Milvus. Todas las características de los vídeos publicados se transforman en vectores y se almacenan en Milvus, y cada vídeo recién subido se coteja con los almacenados en Milvus mediante búsquedas de similitud.
Arquitectura del sistema de correspondencia de derechos de autor](https://assets.zilliz.com/Copyright_Detection_System_Architecture_a6bd490826.png)
El método consta de cuatro módulos esenciales: preprocesamiento, extracción de características, clasificación de resultados y reexploración. Estos módulos trabajan conjuntamente para identificar con precisión los contenidos duplicados o robados, garantizando la integridad y fiabilidad del sistema.
Sistema de deduplicación de vídeo: Aumento del valor para el usuario
El sistema de deduplicación de vídeo está diseñado para eliminar el contenido redundante de la plataforma de vídeo de Shopee. Al igual que el sistema de concordancia de derechos de autor de Shopee, el sistema de deduplicación utiliza Milvus para almacenar vectores de incrustación transformados a partir de características de vídeo. El sistema identifica y elimina eficazmente los vídeos duplicados buscando en Milvus los resultados Top-K más similares a una parte específica. Aparte de la búsqueda de similitudes Top-K, el sistema incluye otras técnicas de procesamiento, como la búsqueda de datos por lotes, la clasificación posterior, la agrupación y la asignación de huellas digitales. Al final, Milvus almacena todos estos resultados, proporcionando información valiosa a varias unidades de negocio.
Arquitectura del sistema de deduplicación de vídeo](https://assets.zilliz.com/Video_Deduplication_System_Architecture_e72edcac2a.png)
El camino por recorrer
La colaboración de Shopee con Milvus es un testimonio del poder de la innovación para dar forma al futuro del comercio electrónico. Milvus potenció el negocio multimedia de Shopee, dotándolo de las herramientas necesarias para desentrañar las complejidades de la comprensión multimedia. De cara al futuro, Shopee prevé que Milvus evolucione para satisfacer demandas de IA cada vez más sofisticadas. Con Milvus como socio firme, Shopee prevé un futuro en el que la comprensión multimedia se integre a la perfección con la experiencia del usuario, allanando nuevos caminos en el comercio electrónico.
*Este artículo ha sido escrito por el equipo de MMU de Shopee y se ha editado y publicado aquí con permiso.
- Acerca de Shopee
- El reto: Falta de un motor de búsqueda vectorial robusto para grandes volúmenes de datos no estructurados
- La solución: Creación de un motor de búsqueda vectorial con Milvus
- Un motor de búsqueda construido con Milvus 1.x: Eficiente pero con alta latencia a medida que aumentan los datos
- Milvus 2.x: Un cambio de juego que mejora la escalabilidad y reduce la latencia
- Milvus potencia varios sistemas empresariales
- El camino por recorrer
Contenido
Industria
Comercio electrónico