Shopee révolutionne son activité multimédia avec Milvus
> 100M
stockage et recherche de vecteurs d'intégration
Intégration transparente
avec divers systèmes internes et piles technologiques
Extraction améliorée des données en temps réel
avec un temps de latence réduit et une disponibilité accrue du système
Milvus has dramatically facilitated the MMU team in building various business systems and effectively supports our rapid business growth. Thanks to the Milvus team for developing such a fantastic vector database with stable vector search capabilities and rich functionalities.
The MMU team
A propos de Shopee
Shopee est une plateforme de commerce électronique de premier plan en Asie du Sud-Est et en Amérique latine, qui comble le fossé entre les acheteurs et les vendeurs de divers produits. Grâce à son interface conviviale, ses options de paiement sécurisées et sa vaste gamme de produits, Shopee offre à des millions d'utilisateurs régionaux une expérience d'achat en ligne transparente, ce qui en fait leur premier choix.
Shopee a lancé son activité Multimedia Understanding (MMU) pour concurrencer les géants de la vidéo courte comme TikTok et les empêcher de grignoter sa part de marché dans le commerce électronique. Dans le cadre de l'activité MMU, Shopee a déployé ses services de vidéo courte, y compris une fonction semblable à celle de TikTok appelée Shopee video et une application de vidéo courte.
Le défi : L'absence d'un moteur de recherche vectoriel robuste pour de vastes volumes de données non structurées
Dans l'entreprise multimédia en plein essor de Shopee, l'afflux de vastes quantités de données non structurées, comprenant des vidéos, des images, du son et du texte, a constitué un défi important et s'est avéré décourageant pour les bases de données traditionnelles. Pour tirer efficacement parti de ces données, l'équipe de Shopee a utilisé des outils d'intégration pour transformer les données non structurées en vecteurs d'intégration, mais elle avait besoin d'urgence d'un système de base de données vectorielles robuste pour stocker ces vecteurs et effectuer des recherches rapides dans ces derniers.
Les divers systèmes internes de Shopee, notamment les systèmes de rappel de vidéos, les systèmes de déduplication de vidéos et les recommandations de vidéos, ont encore compliqué le scénario. Ces systèmes ont été méticuleusement conçus pour gérer et améliorer les activités multimédias de Shopee. Ces systèmes internes ont été construits avec différentes technologies et s'appuient fortement sur des capacités de recherche vectorielle. Shopee avait donc besoin d'un moteur de recherche vectoriel robuste qui s'intègre parfaitement à ces systèmes et aux différentes piles technologiques.
La solution : Création d'un moteur de recherche vectoriel à l'aide de Milvus
L'équipe MMU a rigoureusement exploré plusieurs moteurs de recherche vectorielle à code source ouvert pour trouver une solution robuste. Après des recherches approfondies, Milvus s'est avéré être la solution idéale. Milvus peut gérer des milliards de vecteurs et s'adapter rapidement à l'augmentation du volume de données. L'architecture cloud-native de Milvus s'est parfaitement intégrée à l'écosystème interne de Shopee, permettant la mise en place rapide de systèmes de recherche vectorielle à partir de zéro. Ses offres riches en fonctionnalités, notamment le traitement distribué, la prise en charge des GPU, les mises à jour incrémentielles et la prise en charge scalaire, ont répondu de manière exhaustive aux exigences multiples de Shopee. Après mûre réflexion, l'équipe a choisi Milvus comme base de son moteur de recherche vectorielle pour construire ses systèmes de recherche vectorielle à partir de zéro.
Un moteur de recherche construit avec Milvus 1.x : Efficace mais avec une latence élevée à mesure que les données augmentent
L'équipe MUU de Shopee a initialement mis en œuvre Milvus 1.x, en employant une solution distribuée utilisant Milvus 1.1 et Mishards. Cette solution efficace pouvait répondre aux problèmes de Shopee en matière de stockage et de recherche dans de grandes quantités de vecteurs. Cependant, des difficultés sont apparues au fur et à mesure que l'activité de Shopee se développait, avec une augmentation rapide des données et des demandes. La stratégie de sharding par défaut de Mishards entraînait parfois une distribution inégale des segments entre les nœuds en lecture seule, ce qui provoquait des temps de latence. La solution a consisté à déployer plusieurs ensembles de clusters Mishards, à partager des bases de données et des buckets S3.
Milvus 2.x : Un changement de donne qui améliore l'évolutivité et réduit la latence
Bien que le moteur de recherche construit avec Milvus 1.x ait été efficace, cette approche a entraîné des coûts de déploiement et de maintenance importants, ce qui a incité l'équipe à explorer des méthodes de déploiement plus efficaces.
Avec l'introduction de Milvus 2.x, les systèmes de Shopee ont subi une transformation. L'amélioration de la stabilité, de l'évolutivité et de la capacité multiréplique de Milvus 2.x s'est avérée révolutionnaire. Ces améliorations ont renforcé les services de recherche en temps réel, garantissant une faible latence et une haute disponibilité. L'architecture cloud-native de Milvus 2.x a introduit des fonctions de journalisation et de surveillance à faible coût, ouvrant la voie à une ère de solutions conviviales et plus efficaces pour Shopee.
Architecture Milvus 2.x
Milvus renforce divers systèmes d'entreprise
Les capacités de recherche en temps réel de Shopee ont atteint de nouveaux sommets avec l'intégration de Milvus. Le système de rappel vidéo est un excellent exemple de cette amélioration. Milvus a intégré de manière transparente le rappel vidéo instantané dans les systèmes de recommandation vidéo de Shopee, ce qui a amélioré l'expérience des utilisateurs pour des millions de personnes dans le monde. Milvus a également rendu beaucoup plus efficace la récupération de données hors ligne, qui est cruciale pour la mise en correspondance et la déduplication de vidéos avec des droits d'auteur. Milvus contribue à la reconnaissance du contenu original et à l'identification des vidéos dupliquées, ce qui garantit que le contenu reste frais et original tout en améliorant la satisfaction de l'utilisateur.
Système de rappel vidéo : Améliorer la recommandation de vidéos
Le système de rappel de vidéos de Shopee utilise Milvus comme pierre angulaire du processus de recommandation de vidéos. Lorsqu'un utilisateur recherche une vidéo, l'entreprise demande l'accès à Milvus pour récupérer les candidats Top-K les plus similaires. Ces résultats sont affinés par des algorithmes de post-classement avant d'être renvoyés à l'utilisateur.
Architecture du système de rappel vidéo utilisant Milvus 1.x
Au départ, Shopee a utilisé les versions 1.x de Milvus pour construire le système de rappel vidéo. Cependant, au fur et à mesure que le système se développait, il s'est heurté à des problèmes de latence. Pour résoudre ce problème, Shopee a introduit un mécanisme de mise en cache pour stocker les mises à jour de Top-K et du backend. La mise à niveau vers Milvus 2.x a simplifié l'architecture et les opérations du système, permettant des capacités de rappel Top-K directes via les interfaces distribuées robustes de Milvus et améliorant les performances du système.
Architecture du système de rappel vidéo utilisant Milvus 2.x](https://assets.zilliz.com/Video_Recall_System_Architecture_Using_Milvus_2_x_ed4b211e25.png)
Système de correspondance des droits d'auteur : Meilleure expérience utilisateur et intégrité du système
Les services de vidéos courtes de Shopee sont devenus de plus en plus populaires, ce qui a entraîné la création et le téléchargement d'un grand nombre de vidéos sur sa plateforme. Afin de maintenir une excellente expérience utilisateur et de protéger les droits d'auteur des créateurs de vidéos, Shopee a mis en place un système de correspondance des droits d'auteur à l'aide de Milvus. Toutes les caractéristiques des vidéos publiées sont transformées en vecteurs et stockées dans Milvus, et chaque nouvelle vidéo téléchargée est mise en correspondance avec celles stockées dans Milvus à l'aide de recherches de similitudes.
Architecture du système de correspondance des droits d'auteur] (https://assets.zilliz.com/Copyright_Detection_System_Architecture_a6bd490826.png)
La méthode comprend quatre modules essentiels : le prétraitement, l'extraction des caractéristiques, le tri des résultats et le rescan. Ces modules travaillent ensemble pour identifier avec précision les contenus dupliqués ou volés, garantissant ainsi l'intégrité et la fiabilité du système.
Système de déduplication vidéo : Amélioration de la valeur pour l'utilisateur
Le système de déduplication vidéo est conçu pour éliminer le contenu redondant de la plateforme vidéo de Shopee. À l'instar du système de correspondance des droits d'auteur de Shopee, le système de déduplication utilise Milvus pour stocker les vecteurs d'intégration transformés à partir des caractéristiques vidéo. Le système identifie et élimine efficacement les vidéos dupliquées en recherchant les résultats Top-K dans Milvus qui sont les plus similaires à une partie spécifique. Outre la recherche de similarité Top-K, le système fait appel à d'autres techniques de traitement telles que la recherche de données par lots, le classement a posteriori, le regroupement et l'attribution d'empreintes digitales. Au final, Milvus stocke tous ces résultats, fournissant des informations précieuses aux différentes unités commerciales.
Architecture du système de déduplication vidéo] (https://assets.zilliz.com/Video_Deduplication_System_Architecture_e72edcac2a.png)
Le chemin à parcourir
La collaboration de Shopee avec Milvus témoigne du pouvoir de l'innovation pour façonner l'avenir du commerce électronique. Milvus a renforcé les activités multimédias de Shopee en les dotant des outils nécessaires pour démêler les complexités de la compréhension multimédia. À l'avenir, Shopee envisage l'évolution de Milvus pour répondre à des demandes d'IA de plus en plus sophistiquées. Avec Milvus comme partenaire indéfectible, Shopee anticipe un avenir où la compréhension multimédia s'intégrera de manière transparente à l'expérience utilisateur, ouvrant ainsi de nouvelles voies au commerce électronique.
*Cet article a été rédigé par l'équipe MMU de Shopee et est édité et publié ici avec sa permission.
- A propos de Shopee
- Le défi : L'absence d'un moteur de recherche vectoriel robuste pour de vastes volumes de données non structurées
- La solution : Création d'un moteur de recherche vectoriel à l'aide de Milvus
- Un moteur de recherche construit avec Milvus 1.x : Efficace mais avec une latence élevée à mesure que les données augmentent
- Milvus 2.x : Un changement de donne qui améliore l'évolutivité et réduit la latence
- Milvus renforce divers systèmes d'entreprise
- Le chemin à parcourir
Contenu
Secteur d'activité
Commerce électronique