Ottimizzare l'esperienza utente: BIGO sfrutta Milvus per la rimozione dei video duplicati
Le piattaforme di condivisione di video brevi sono diventate parte integrante della nostra vita quotidiana. Likee, una piattaforma globale di video brevi di proprietà di BIGO, registra ogni giorno milioni di caricamenti di video brevi. Tuttavia, con l’enorme numero di nuovi video quotidiani, il problema dei video duplicati rappresenta una minaccia per la qualità dei contenuti e per l’esperienza utente complessiva. Per affrontare questo problema, BIGO ha utilizzato Milvus, un database vettoriale open-source, per trasformare il suo sistema di deduplicazione video.
In questo post, discuteremo le sfide specifiche affrontate da BIGO, perché l’azienda ha scelto il database vettoriale Milvus per alimentare il suo sistema di deduplicazione video e in che modo Milvus è venuto in soccorso.
L’aumento dei video duplicati porta a una scarsa esperienza utente
Con un’impressionante base utenti che supera i 400 milioni, Likee registra ogni giorno milioni di nuovi caricamenti video. Tuttavia, la proliferazione di nuovi contenuti comporta una serie di sfide, in particolare sotto forma di video duplicati. Questo aumento minaccia la capacità di mantenere raccomandazioni di contenuti di alta qualità ed esperienze intuitive per gli utenti, e solleva preoccupazioni riguardo a potenziali violazioni dei diritti di proprietà intellettuale di altri creator.
In passato, Likee ha affrontato questo problema impiegando FAISS, una libreria di ricerca di similarità e clustering. Pur essendo inizialmente efficace, FAISS ha mostrato dei limiti quando si è trovata di fronte al compito monumentale di gestire e archiviare enormi quantità di vettori. Questa limitazione ha portato a risposte di query lente e a un throughput limitato. Pertanto, il team di Likee ha intrapreso la ricerca di una tecnologia più efficiente, capace di identificare ed eliminare rapidamente il crescente numero di video duplicati.
Milvus: un catalizzatore del cambiamento
Likee si è rivolta a Milvus, un database vettoriale open-source progettato per archiviare, indicizzare e interrogare vettori di embedding su scala di miliardi, nella ricerca di una soluzione più efficiente. L’impatto è stato a dir poco rivoluzionario. Milvus ha introdotto capacità di ricerca di similarità fulminee nel sistema di deduplicazione di Likee, completando le ricerche di video duplicati in meno di 200 millisecondi pur mantenendo un elevato tasso di richiamo. Likee ha beneficiato anche della scalabilità di Milvus, ottenendo un throughput migliorato delle query vettoriali e una maggiore efficienza operativa.
Affrontare i video duplicati di Likee con Milvus
La trasformazione del sistema di deduplicazione di Likee è affascinante. I video appena caricati subiscono una trasformazione meticolosa: vengono suddivisi in frame, convertiti in vettori di caratteristiche e poi confrontati in modo articolato con un vasto database che contiene oltre 700 milioni di vettori corrispondenti a contenuti preesistenti. Questo processo complesso è una coreografia di tecnologie all’avanguardia che comprende l’archiviazione dei video in Kafka, la conversione dei video in embedding vettoriali tramite modelli di deep learning, l’indicizzazione degli embedding con Milvus e l’archiviazione dei risultati richiamati in Ceph. Per un migliore matching dei video, gli ID video corrispondenti agli embedding vettoriali sono gestiti in TiDB o Pika, due database relazionali.
L’architettura del sistema di deduplicazione di Likee
Potenziare la ricerca di similarità di Likee con Milvus
Milvus porta un nuovo livello di efficienza al processo di ricerca di similarità di Likee. Milvus richiama i primi 100 vettori simili a ciascun vettore di caratteristiche di un nuovo video eseguendo una ricerca batch. Il sistema identifica e rimuove quindi i video duplicati confrontando gli ID video, recuperando i vettori di caratteristiche dei video rimanenti e assegnando un punteggio alla similarità tra i vettori di caratteristiche dei video recuperati e quelli della query.
Come Milvus aiuta la ricerca di similarità di Likee
Verso un orizzonte collaborativo
Il successo di Milvus nel perfezionare il sistema di deduplicazione video di Likee pone le basi per collaborazioni più ampie tra BIGO e Milvus. Xinyang Guo, Software Engineer presso BIGO, immagina di estendere la potenza di Milvus alla moderazione dei contenuti, alle restrizioni e ai servizi video personalizzati. La sinergia tra BIGO e Milvus promette un percorso reciprocamente vantaggioso, con entrambe le entità pronte a una crescita e prosperità durature.
In conclusione, Milvus emerge come la forza trainante che spinge Likee di BIGO in una nuova era di efficienza e soddisfazione degli utenti. Con l’evolversi della partnership, la storia di successo di Milvus nel risolvere sfide complesse esemplifica il potenziale delle tecnologie open-source nel navigare e conquistare le complessità del panorama digitale.
Continua a leggere
3 Easiest Ways to Use Claude Code on Your Mobile Phone
Run Claude Code from your phone with Remote Control, Happy Coder, or SSH + Tailscale. Comparison table, setup steps, and tools for typing, memory, and parallel tasks.
Creating Collections in Zilliz Cloud Just Got Way Easier
We've enhanced the entire collection creation experience to bring advanced capabilities directly into the interface, making it faster and easier to build production-ready schemas without switching tools.
What is the K-Nearest Neighbors (KNN) Algorithm in Machine Learning?
KNN is a supervised machine learning technique and algorithm for classification and regression. This post is the ultimate guide to KNN.