Optimierung der Benutzererfahrung: BIGO nutzt Milvus zur Entfernung doppelter Videos
Plattformen zum Teilen von Kurzvideos sind zu einem integralen Bestandteil unseres täglichen Lebens geworden. Likee, eine globale Kurzvideoplattform im Besitz von BIGO, verzeichnet täglich Millionen von Kurzvideo-Uploads. Angesichts der schieren Menge neuer Videos pro Tag stellt das Problem doppelter Videos jedoch eine Bedrohung für die Qualität der Inhalte und die gesamte Benutzererfahrung dar. Um dieses Problem anzugehen, nutzte BIGO Milvus, eine Open-Source-Vektordatenbank, um sein System zur Video-Deduplizierung zu transformieren.
In diesem Beitrag besprechen wir die spezifischen Herausforderungen, mit denen BIGO konfrontiert war, warum das Unternehmen die Milvus-Vektordatenbank als Grundlage für sein System zur Video-Deduplizierung gewählt hat und wie Milvus zur Rettung kam.
Der Anstieg doppelter Videos führt zu einer schlechten Benutzererfahrung
Mit einer beeindruckenden Nutzerbasis von über 400 Millionen erlebt Likee täglich Millionen neuer Video-Uploads. Die Verbreitung neuer Inhalte bringt jedoch ihre eigenen Herausforderungen mit sich, insbesondere in Form doppelter Videos. Dieser Anstieg gefährdet die Aufrechterhaltung hochwertiger Inhaltsempfehlungen und benutzerfreundlicher Erfahrungen und wirft Bedenken hinsichtlich möglicher Verletzungen der geistigen Eigentumsrechte anderer Urheber auf.
In der Vergangenheit ging Likee dieses Problem an, indem es FAISS, eine Bibliothek für Ähnlichkeitssuche und Clustering, einsetzte. Obwohl FAISS zunächst effektiv war, zeigte es Einschränkungen, als es mit der monumentalen Aufgabe konfrontiert wurde, riesige Vektoren zu verwalten und zu speichern. Diese Einschränkung führte zu langsamen Abfrageantworten und begrenztem Durchsatz. Daher begab sich das Likee-Team auf die Suche nach einer effizienteren Technologie, die in der Lage ist, die wachsende Zahl doppelter Videos schnell zu identifizieren und zu entfernen.
Milvus: ein Katalysator für Veränderung
Likee wandte sich an Milvus, eine Open-Source-Vektordatenbank, die entwickelt wurde, um Embedding-Vektoren im Milliardenmaßstab zu speichern, zu indexieren und abzufragen, auf der Suche nach einer effizienteren Lösung. Die Wirkung war geradezu revolutionär. Milvus brachte blitzschnelle Funktionen zur Ähnlichkeitssuche in Likees Deduplizierungssystem ein und schloss Suchen nach doppelten Videos in unter 200 Millisekunden ab, während eine hohe Recall-Rate beibehalten wurde. Likee profitierte auch von der Skalierbarkeit von Milvus, was zu einem verbesserten Durchsatz von Vektorabfragen und einer gesteigerten Arbeitseffizienz führte.
Likees doppelte Videos mit Milvus angehen
Die Transformation von Likees Deduplizierungssystem ist faszinierend. Neu hochgeladene Videos durchlaufen eine sorgfältige Transformation: Sie werden in Frames zerlegt, in Feature-Vektoren umgewandelt und dann auf komplexe Weise mit einer umfangreichen Datenbank abgeglichen, die über 700 Millionen Vektoren enthält, die bereits vorhandenen Inhalten entsprechen. Dieser komplexe Prozess ist eine Choreografie modernster Technologien, bei der Videos in Kafka gespeichert, Videos durch Deep-Learning-Modelle in Vektor-Embeddings umgewandelt, Embeddings mit Milvus indexiert und zurückgerufene Ergebnisse in Ceph gespeichert werden. Für einen besseren Videoabgleich werden Video-IDs, die Vektor-Embeddings entsprechen, in TiDB oder Pika verwaltet, zwei relationalen Datenbanken.
Die Architektur von Likees Deduplizierungssystem
Likees Streben nach Ähnlichkeitssuche mit Milvus stärken
Milvus bringt ein neues Maß an Effizienz in Likees Prozess der Ähnlichkeitssuche. Milvus ruft die Top-100-Vektoren ab, die jedem Feature-Vektor aus einem neuen Video ähneln, indem es eine Batch-Suche durchführt. Das System identifiziert und entfernt dann doppelte Videos, indem es Video-IDs vergleicht, die Feature-Vektoren der verbleibenden Videos abruft und die Ähnlichkeit zwischen den abgerufenen Feature-Vektoren und den Feature-Vektoren des Abfragevideos bewertet.
Wie Milvus Likees Ähnlichkeitssuche unterstützt
Auf dem Weg zu einem kollaborativen Horizont
Der Erfolg von Milvus bei der Verfeinerung des Video-Deduplizierungssystems von Likee bereitet den Weg für umfassendere Kooperationen zwischen BIGO und Milvus. Xinyang Guo, Software Engineer bei BIGO, stellt sich vor, die Leistungsfähigkeit von Milvus auf Content-Moderation, Einschränkungen und maßgeschneiderte Videodienste auszuweiten. Die Synergie zwischen BIGO und Milvus verspricht eine für beide Seiten vorteilhafte Reise, bei der beide Parteien für anhaltendes Wachstum und Wohlstand gut aufgestellt sind.
Zusammenfassend erweist sich Milvus als treibende Kraft, die BIGOs Likee in eine neue Ära der Effizienz und Nutzerzufriedenheit führt. Mit der Weiterentwicklung der Partnerschaft veranschaulicht die Erfolgsgeschichte von Milvus bei der Lösung komplexer Herausforderungen das Potenzial von Open-Source-Technologien, die Komplexität der digitalen Landschaft zu bewältigen und zu überwinden.
Weiterlesen
A Few Notes from Databricks Data + AI Summit 2026: Why the Data Layer Matters Again
James Luan shares notes from Databricks Data + AI Summit 2026 on why production AI is pushing the data layer back to the center of infrastructure.
We spent 8 years making vector databases faster. Then we stopped.
Rarely queried embeddings still need to stay searchable. See how Vector Lakebase enables on-demand vector search without always-on compute costs.
Democratizing AI: Making Vector Search Powerful and Affordable
Zilliz democratizes AI vector search with Milvus 2.6 and Zilliz Cloud for powerful, affordable scalability, cutting costs in infrastructure, operations, and development.