Die Zukunft gestalten: Wie Milvus Shopees Multimedia-Ambitionen vorantreibt
In der Welt des E-Commerce erfordert es mehr als nur eine benutzerfreundliche Oberfläche und eine große Produktauswahl, um der Konkurrenz voraus zu sein. Shopee, eine führende Plattform in Südostasien und Lateinamerika, verstand die sich wandelnde Landschaft und begab sich auf eine bahnbrechende Reise, um sein Multimedia-Understanding-(MMU)-Geschäft zu verändern. Um mit Kurzvideo-Giganten wie TikTok zu konkurrieren und seinen E-Commerce-Marktanteil zu sichern, wagte sich Shopee in die Welt der Kurzvideodienste. In diesem Blog gehen wir auf die Herausforderungen ein, vor denen Shoppee während dieses Prozesses stand, und darauf, wie Milvus dem Multimedia-Geschäft von Shopee geholfen hat.
Shopees Datendilemma
Als Shopee in die Multimedia-Welt eintauchte, sah es sich einer erheblichen Herausforderung gegenüber – dem Umgang mit riesigen Mengen an unstrukturierten Daten, darunter Videos, Bilder, Audio und Text. Die relationalen Datenbanken, die Shopee zuvor verwendete, hatten Schwierigkeiten mit der Komplexität all dieser unstrukturierten Daten, was das Team dazu veranlasste, einen robusten Tech-Stack zu erkunden, der solche Daten effizient speichern, verarbeiten, durchsuchen und optimal nutzen konnte. Vektordatenbanken sind einer der wichtigsten Bestandteile ihrer Erkundung.
Zusätzliche Komplexität entstand durch Shopees interne Systeme – Video-Recall, Video-Deduplizierung und Videoempfehlungen –, die jeweils mit unterschiedlichen Technologien entwickelt wurden und stark auf Vektorsuchfunktionen angewiesen sind. Shopee benötigte eine Lösung, die nahtlos in diese Systeme und verschiedene technologische Stacks integriert werden konnte.
Milvus erweist sich als perfekte Lösung
Nach gründlicher Prüfung der verfügbaren Optionen stach Milvus durch seine Fähigkeit hervor, Milliarden von Vektoren zu verarbeiten, durch seine Skalierbarkeit und durch die nahtlose Integration in Shopees internes Ökosystem. Milvus bot eine Cloud-native Architektur, die es einfach machte, Vektor-Retrieval-Systeme von Grund auf einzurichten.
Das Shopee-Team schätzte außerdem das umfangreiche Funktionsangebot von Milvus, darunter verteilte Verarbeitung, GPU-Unterstützung, inkrementelle Updates und Skalarunterstützung, was es zu einer idealen Wahl für den Aufbau einer hochgradig skalierbaren und leistungsfähigen Vektorsuchmaschine machte.
Die Migration von Milvus 1.x zu Milvus 2.x
Shopees Reise mit Milvus umfasste eine Migration von Version 1.x auf 2.x. Die zunächst effiziente Version 1.x stieß auf Herausforderungen, als Shopees Geschäft skalierte. Latenzprobleme traten aufgrund einer ungleichmäßigen Segmentverteilung auf schreibgeschützten Knoten auf. Die Migration zu Milvus 2.x markierte einen Wendepunkt.
Verbesserte Stabilität, Skalierbarkeit und Multi-Replica-Fähigkeiten in den Milvus-2.x-Versionen führten zu Retrieval-Diensten mit niedriger Latenz und hoher Verfügbarkeit. Die Cloud-native Architektur der Milvus-2.x-Versionen führte kosteneffiziente Logging- und Monitoring-Funktionen ein und optimierte so Shopees Betrieb.
Der Einsatz von Milvus hat außerdem Shopees Echtzeitsuchfunktionen auf ein beispielloses Niveau gehoben. Ein herausragendes Beispiel für diese Verbesserung zeigt sich im Video-Recall-System. Milvus integriert Instant-Video-Recall nahtlos in Shopees Videoempfehlungssysteme und trägt so zu einer besseren Benutzererfahrung für Millionen von Menschen weltweit bei. Darüber hinaus hat Milvus den Offline-Datenabruf erheblich optimiert, ein kritischer Aspekt für Copyright-Video-Matching- und Video-Deduplizierungsprozesse. Seine Rolle beim Erkennen von Originalinhalten und Identifizieren doppelter Videos stellt sicher, dass die Inhalte ihre Aktualität und Authentizität bewahren, was letztlich die Benutzerzufriedenheit erhöht.
Derzeit verwendet Shopee Milvus 2.2 in der Produktion und erwägt ein Upgrade auf die neuesten Versionen, um eine verbesserte Leistung und umfangreichere Funktionen wie Mmap, GPU-Indexierung und Bereichssuche zu erhalten.
Die Zukunft des E-Commerce mit Milvus gestalten
Ausgestattet mit Milvus stellt sich Shopee eine Zukunft vor, in der multimediales Verständnis nahtlos in die Benutzererfahrung integriert wird und neue Wege im E-Commerce ebnet. Während Shopee sich weiterentwickelt, bleibt Milvus ein enger Partner, bereit, zunehmend anspruchsvollere KI-Anforderungen zu erfüllen.
Weiterlesen
My Wife Wanted Dior. I Spent $600 on Claude Code to Vibe-Code a 2M-Line Database Instead.
Write tests, not code reviews. How a test-first workflow with 6 parallel Claude Code sessions turns a 2M-line C++ codebase into a daily shipping pipeline.
VidTok: Rethinking Video Processing with Compact Tokenization
VidTok tokenizes videos to reduce redundancy while preserving spatial and temporal details for efficient processing.
What is the K-Nearest Neighbors (KNN) Algorithm in Machine Learning?
KNN is a supervised machine learning technique and algorithm for classification and regression. This post is the ultimate guide to KNN.