Shopee revolutioniert sein Multimedia-Geschäft mit Milvus
> 100M
Einbettung der Vektorspeicherung und Suche
Nahtlose Integration
mit verschiedenen internen Systemen und Technologiepaketen
Verbesserter Datenabruf in Echtzeit
mit reduzierter Latenzzeit und erhöhter Systemverfügbarkeit
Milvus has dramatically facilitated the MMU team in building various business systems and effectively supports our rapid business growth. Thanks to the Milvus team for developing such a fantastic vector database with stable vector search capabilities and rich functionalities.
The MMU team
Über Shopee
Shopee ist eine führende E-Commerce-Plattform in Südostasien und Lateinamerika, die die Kluft zwischen Käufern und Verkäufern für verschiedene Produkte überbrückt. Mit seiner benutzerfreundlichen Oberfläche, den sicheren Zahlungsoptionen und dem umfangreichen Produktsortiment bietet Shopee Millionen von regionalen Nutzern ein nahtloses Online-Einkaufserlebnis und ist damit ihre erste Wahl.
Shopee hat sein Multimedia Understanding (MMU)-Geschäft gestartet, um mit Kurzvideogiganten wie TikTok zu konkurrieren und zu verhindern, dass diese in den E-Commerce-Marktanteil des Unternehmens eindringen. Als Teil des MMU-Geschäfts hat Shopee seine Kurzvideodienste eingeführt, darunter eine TikTok-ähnliche Funktion namens Shopee Video und eine Kurzvideoanwendung.
Die Herausforderung: Das Fehlen einer robusten Vektorsuchmaschine für riesige Mengen unstrukturierter Daten
Bei Shopees aufkeimendem Multimedia-Projekt stellte der Zustrom riesiger Mengen unstrukturierter Daten, die Videos, Bilder, Audio und Text umfassen, eine große Herausforderung dar und erwies sich für traditionelle Datenbanken als entmutigend. Um aus diesen Daten effektiv verwertbare Erkenntnisse zu gewinnen, setzte das Team von Shopee Einbettungstools ein, um unstrukturierte Daten in Einbettungsvektoren umzuwandeln, benötigte jedoch dringend ein robustes Vektordatenbanksystem, um diese Vektoren zu speichern und sie schnell zu durchsuchen.
Die verschiedenen internen Systeme von Shopee, darunter Videoabrufsysteme, Videodeduplizierungssysteme und Videoempfehlungen, machten das Szenario noch komplizierter. Diese Systeme wurden sorgfältig ausgearbeitet, um das Multimedia-Geschäft von Shopee zu verwalten und zu verbessern. Diese internen Systeme wurden mit unterschiedlichen Technologien aufgebaut und stützten sich stark auf Vektorsuchfunktionen. Daher benötigte Shopee eine robuste Vektorsuchmaschine, die sich nahtlos in diese Systeme und verschiedenen technologischen Stacks einfügt.
Die Lösung: Aufbau einer Vektorsuchmaschine mit Milvus
Das MMU-Team untersuchte gründlich verschiedene Open-Source-Vektorsuchmaschinen, um eine robuste Lösung zu finden. Nach umfangreichen Untersuchungen erwies sich Milvus als die perfekte Lösung. Milvus kann Milliarden von Vektoren verarbeiten und bei steigendem Datenvolumen schnell skalieren. Die Cloud-native Architektur von Milvus fügte sich nahtlos in das interne Ökosystem von Shopee ein und ermöglichte die schnelle Einrichtung von Vektor-Retrievalsystemen von Grund auf. Das funktionsreiche Angebot, einschließlich verteilter Verarbeitung, GPU-Unterstützung, inkrementeller Updates und skalarer Unterstützung, erfüllte umfassend die vielfältigen Anforderungen von Shopee. Nach sorgfältiger Abwägung entschied sich das Team für Milvus als Grundlage für seine Vektorsuchmaschine, um seine Vektorsuchsysteme von Grund auf neu zu entwickeln.
Eine mit Milvus 1.x gebaute Suchmaschine: Effizient, aber mit hoher Latenz bei steigenden Datenmengen
Das MUU-Team von Shopee implementierte zunächst Milvus 1.x, wobei es eine verteilte Lösung mit Milvus 1.1 und Mishards einsetzte. Diese effiziente Lösung konnte die Probleme von Shopee bei der Speicherung und Suche in großen Mengen von Vektoren beheben. Als das Geschäft von Shopee jedoch wuchs und die Zahl der Daten und Anfragen rapide zunahm, ergaben sich Herausforderungen. Die standardmäßige Sharding-Strategie von Mishards führte gelegentlich zu einer ungleichmäßigen Verteilung der Segmente auf die Nur-Lese-Knoten, was zu Latenzzeiten führte. Die Lösung bestand in der Bereitstellung mehrerer Mishards-Cluster, der gemeinsamen Nutzung von Datenbanken und S3-Buckets.
Milvus 2.x: Ein Game-Changer mit verbesserter Skalierbarkeit und reduzierter Latenz
Die mit Milvus 1.x erstellte Suchmaschine war zwar effektiv, aber dieser Ansatz verursachte erhebliche Bereitstellungs- und Wartungskosten, was das Team dazu veranlasste, effizientere Bereitstellungsmethoden zu untersuchen.
Mit der Einführung von Milvus 2.x erfuhren die Systeme von Shopee eine transformative Veränderung. Die verbesserte Stabilität, Skalierbarkeit und Multireplikationsfähigkeit von Milvus 2.x erwiesen sich als revolutionär. Diese Verbesserungen verbesserten die Echtzeit-Abrufservices und sorgten für niedrige Latenzzeiten und hohe Verfügbarkeit. Die Cloud-native Architektur von Milvus 2.x führte kostengünstige Protokollierungs- und Überwachungsfunktionen ein und läutete damit eine Ära benutzerfreundlicher und effizienter Lösungen für Shopee ein.
Milvus 2.x Architektur
Milvus stärkt verschiedene Geschäftssysteme
Die Echtzeit-Suchfunktionen von Shopee haben mit der Integration von Milvus neue Dimensionen erreicht. Das Video-Recall-System ist ein Paradebeispiel für diese Verbesserung. Milvus hat den sofortigen Videoabruf nahtlos in die Videoempfehlungssysteme von Shopee integriert, was die Nutzererfahrung für Millionen von Menschen weltweit verbessert hat. Milvus hat auch den Offline-Datenabruf, der für den Abgleich von Urheberrechtsvideos und die Videodeduplizierung entscheidend ist, wesentlich effizienter gemacht. Milvus ist maßgeblich an der Erkennung von Originalinhalten und der Identifizierung doppelter Videos beteiligt, wodurch sichergestellt wird, dass die Inhalte frisch und originell bleiben und die Nutzerzufriedenheit erhöht wird.
Video Recall System: Verbesserte Videoempfehlungen
Das Video-Recall-System von Shopee nutzt Milvus als Eckpfeiler im Prozess der Videoempfehlung. Wenn ein Nutzer nach einem Video sucht, fordert das Unternehmen Zugriff auf Milvus an, um die ähnlichsten Top-K-Kandidaten abzurufen. Diese Ergebnisse werden durch Post-Ranking-Algorithmen verfeinert, bevor sie an den Nutzer zurückgegeben werden.
Video Recall Systemarchitektur mit Milvus 1.x
Anfangs verwendete Shopee Milvus 1.x Versionen, um das Video Recall System aufzubauen. Bei der Skalierung des Systems traten jedoch Probleme mit der Latenzzeit auf. Um dieses Problem zu lösen, führte Shopee einen Caching-Mechanismus zum Speichern von Top-K- und Backend-Updates ein. Das Upgrade auf Milvus 2.x hat die Architektur und den Betrieb des Systems vereinfacht und ermöglicht den direkten Top-K-Abruf über die robusten verteilten Schnittstellen von Milvus sowie eine verbesserte Systemleistung.
Architektur des Video-Recall-Systems mit Milvus 2.x
Copyright Match System: Bessere Benutzererfahrung und Systemintegrität
Die Kurzvideodienste von Shopee erfreuen sich zunehmender Beliebtheit, was dazu führt, dass eine große Anzahl von Videos erstellt und auf die Plattform hochgeladen wird. Um ein hervorragendes Nutzererlebnis zu gewährleisten und die Urheberrechte der Videoersteller zu schützen, hat Shopee mit Milvus ein System zum Abgleich von Urheberrechten eingeführt. Alle veröffentlichten Videomerkmale werden in Vektoren umgewandelt und in Milvus gespeichert, und jedes neu hochgeladene Video wird mit den in Milvus gespeicherten Videos durch Ähnlichkeitssuche abgeglichen.
Copyright Match System Architektur
Die Methode besteht aus vier wesentlichen Modulen: Vorverarbeitung, Merkmalsextraktion, Ergebnissortierung und Rescan. Diese Module arbeiten zusammen, um doppelte oder gestohlene Inhalte genau zu identifizieren und die Integrität und Zuverlässigkeit des Systems zu gewährleisten.
Video-Deduplizierungssystem: Steigerung des Nutzwerts
Das Video-Deduplizierungssystem wurde entwickelt, um redundante Inhalte von der Shopee-Videoplattform zu entfernen. Wie das System zum Abgleich von Urheberrechten von Shopee verwendet das Deduplizierungssystem Milvus, um Einbettungsvektoren zu speichern, die aus Videomerkmalen transformiert wurden. Das System identifiziert und eliminiert effizient doppelte Videos durch die Suche nach Top-K-Ergebnissen in Milvus, die einem bestimmten Teil am ähnlichsten sind. Neben der Top-K-Ähnlichkeitssuche umfasst das System weitere Verarbeitungstechniken wie die Stapeldatensuche, Post-Ranking, Clustering und Fingerabdruckzuweisung. Am Ende speichert Milvus all diese Ergebnisse und liefert den verschiedenen Geschäftsbereichen wertvolle Erkenntnisse.
Architektur des Video-Deduplizierungssystems
Der Weg in die Zukunft
Die Zusammenarbeit von Shopee mit Milvus ist ein Beweis für die Kraft der Innovation bei der Gestaltung der Zukunft des E-Commerce. Milvus hat das Multimedia-Geschäft von Shopee gestärkt und das Unternehmen mit den notwendigen Tools ausgestattet, um die Komplexität des Multimedia-Verständnisses zu entwirren. Shopee plant, Milvus weiterzuentwickeln, um immer anspruchsvollere KI-Anforderungen zu erfüllen. Mit Milvus als verlässlichem Partner sieht Shopee einer Zukunft entgegen, in der das Multimedia-Verständnis nahtlos in die Benutzererfahrung integriert wird und neue Wege im E-Commerce beschritten werden.
*Dieser Beitrag wurde vom Shopee MMU-Team verfasst und wird hier mit Genehmigung veröffentlicht.
- Über Shopee
- Die Herausforderung: Das Fehlen einer robusten Vektorsuchmaschine für riesige Mengen unstrukturierter Daten
- Die Lösung: Aufbau einer Vektorsuchmaschine mit Milvus
- Eine mit Milvus 1.x gebaute Suchmaschine: Effizient, aber mit hoher Latenz bei steigenden Datenmengen
- Milvus 2.x: Ein Game-Changer mit verbesserter Skalierbarkeit und reduzierter Latenz
- Milvus stärkt verschiedene Geschäftssysteme
- Der Weg in die Zukunft
Inhalte
Anwendungsfall
Branche
Elektronischer Geschäftsverkehr