Shopee rivoluziona il suo business multimediale con Milvus
> 100M
memorizzazione e ricerca di vettori embedding
Integrazione perfetta
con vari sistemi interni e stack tecnologici
Miglioramento del recupero dei dati in tempo reale
con una latenza ridotta e una maggiore disponibilità del sistema
Milvus has dramatically facilitated the MMU team in building various business systems and effectively supports our rapid business growth. Thanks to the Milvus team for developing such a fantastic vector database with stable vector search capabilities and rich functionalities.
The MMU team
Informazioni su Shopee
Shopee è una piattaforma di e-commerce leader nel sud-est asiatico e in America Latina, in grado di colmare il divario tra acquirenti e venditori di diversi prodotti. Grazie alla sua interfaccia user-friendly, alle opzioni di pagamento sicure e all'ampia gamma di prodotti, Shopee offre a milioni di utenti regionali un'esperienza di shopping online senza soluzione di continuità, rendendola la loro scelta migliore.
Shopee ha lanciato la sua attività di Multimedia Understanding (MMU) per competere con i giganti dei video brevi come TikTok e impedire loro di intaccare la quota di mercato dell'e-commerce. Nell'ambito dell'attività MMU, Shopee ha lanciato i suoi servizi di video brevi, tra cui una funzione simile a TikTok chiamata Shopee video e un'applicazione per video brevi.
La sfida: Mancanza di un motore di ricerca vettoriale robusto per vasti volumi di dati non strutturati
Nella fiorente impresa multimediale di Shopee, l'afflusso di grandi quantità di dati non strutturati, tra cui video, immagini, audio e testo, ha rappresentato una sfida significativa e si è rivelato scoraggiante per i database tradizionali. Per ricavare efficacemente informazioni utili da questi dati, il team di Shopee ha utilizzato strumenti di embedding per trasformare i dati non strutturati in vettori di embedding, ma aveva ancora urgente bisogno di un robusto sistema di database vettoriale per archiviare questi vettori e ricercarli rapidamente.
I vari sistemi interni di Shopee, tra cui i sistemi di richiamo dei video, di deduplicazione dei video e di raccomandazione dei video, hanno complicato ulteriormente lo scenario. Questi sistemi sono stati realizzati meticolosamente per gestire e migliorare l'attività multimediale di Shopee. Questi sistemi interni sono stati realizzati con tecnologie diverse e si basano in larga misura su funzionalità di ricerca vettoriale. Pertanto, Shopee aveva bisogno di un motore di ricerca vettoriale robusto che si adattasse perfettamente a questi sistemi e ai vari stack tecnologici.
La soluzione: Creare un motore di ricerca vettoriale con Milvus
Il team MMU ha esplorato rigorosamente diversi motori di ricerca vettoriali open-source per trovare una soluzione robusta. Dopo un'approfondita ricerca, Milvus è emerso come la soluzione perfetta. Milvus è in grado di gestire miliardi di vettori e di scalare rapidamente quando il volume dei dati aumenta. L'architettura cloud-native di Milvus si è integrata perfettamente con l'ecosistema interno di Shopee, consentendo una rapida configurazione dei sistemi di ricerca vettoriale da zero. Le sue offerte ricche di funzionalità, tra cui l'elaborazione distribuita, il supporto delle GPU, gli aggiornamenti incrementali e il supporto scalare, hanno risposto in modo completo alle molteplici esigenze di Shopee. Dopo un'attenta valutazione, il team ha scelto Milvus come base per il proprio motore di ricerca vettoriale per costruire i propri sistemi di ricerca vettoriale da zero.
Un motore di ricerca costruito con Milvus 1.x: Efficiente ma con un'alta latenza al crescere dei dati
Il team MUU di Shopee ha inizialmente implementato Milvus 1.x, utilizzando una soluzione distribuita con Milvus 1.1 e Mishard. Questa soluzione efficiente poteva risolvere i problemi di Shopee legati all'archiviazione e alla ricerca di grandi quantità di vettori. Tuttavia, le sfide sono sorte quando l'attività di Shopee è cresciuta con un rapido aumento dei dati e delle richieste. La strategia di sharding predefinita di Mishards portava occasionalmente a una distribuzione non uniforme dei segmenti tra i nodi di sola lettura, causando latenza. La soluzione è stata l'implementazione di più gruppi di cluster Mishards, la condivisione dei database e dei bucket S3.
Milvus 2.x: Un cambiamento di gioco che porta una maggiore scalabilità e una riduzione della latenza
Sebbene il motore di ricerca costruito con Milvus 1.x fosse efficace, questo approccio comportava notevoli costi di implementazione e manutenzione, spingendo il team a esplorare metodi di implementazione più efficienti.
Con l'introduzione di Milvus 2.x, i sistemi di Shopee hanno subito una trasformazione. La maggiore stabilità, scalabilità e capacità multi-replica di Milvus 2.x si è rivelata rivoluzionaria. Questi miglioramenti hanno rafforzato i servizi di recupero in tempo reale, garantendo bassa latenza e alta disponibilità. L'architettura cloud-native di Milvus 2.x ha introdotto funzioni di logging e monitoraggio a basso costo, inaugurando un'era di soluzioni più semplici ed efficienti per Shopee.
Architettura Milvus 2.x
Milvus potenzia diversi sistemi aziendali
Le capacità di ricerca in tempo reale di Shopee hanno raggiunto nuovi livelli con l'integrazione di Milvus. Il sistema di richiamo dei video è un esempio lampante di questo miglioramento. Milvus ha incorporato senza problemi il richiamo istantaneo dei video nei sistemi di raccomandazione video di Shopee, migliorando l'esperienza dell'utente per milioni di persone in tutto il mondo. Milvus ha anche reso molto più efficiente il recupero dei dati offline, fondamentale per la corrispondenza dei video con il copyright e la deduplicazione dei video. Milvus è fondamentale per il riconoscimento dei contenuti originali e l'identificazione dei video duplicati, garantendo che i contenuti rimangano freschi e originali e migliorando la soddisfazione degli utenti.
Sistema di richiamo video: Migliorare la raccomandazione dei video
Il sistema di richiamo dei video di Shopee utilizza Milvus come pietra angolare nel processo di raccomandazione dei video. Quando un utente cerca un video, l'azienda chiede l'accesso a Milvus per recuperare i candidati Top-K più simili. Questi risultati vengono perfezionati attraverso algoritmi di post-ranking prima di essere restituiti all'utente.
Architettura del sistema di richiamo video con Milvus 1.x
Inizialmente, Shopee ha utilizzato la versione 1.x di Milvus per costruire il sistema di richiamo dei video. Tuttavia, man mano che il sistema si espandeva, ha dovuto affrontare problemi di latenza. Per risolvere questo problema, Shopee ha introdotto un meccanismo di caching per memorizzare gli aggiornamenti Top-K e backend. L'aggiornamento a Milvus 2.x ha semplificato l'architettura e le operazioni del sistema, consentendo di richiamare direttamente Top-K attraverso le robuste interfacce distribuite di Milvus e migliorando le prestazioni del sistema.
Architettura del sistema di richiamo video con Milvus 2.x
Copyright Match System: Migliore esperienza utente e integrità del sistema
I servizi di video brevi di Shopee sono diventati sempre più popolari e hanno portato alla creazione e al caricamento di un gran numero di video sulla sua piattaforma. Per mantenere un'esperienza utente eccellente e proteggere i diritti d'autore dei creatori di video, Shopee ha implementato un sistema di corrispondenza dei diritti d'autore utilizzando Milvus. Tutte le caratteristiche dei video rilasciati vengono trasformate in vettori e memorizzate in Milvus, e ogni nuovo video caricato viene abbinato a quelli presenti in Milvus utilizzando ricerche di somiglianza.
Architettura del sistema di corrispondenza dei copyright](https://assets.zilliz.com/Copyright_Detection_System_Architecture_a6bd490826.png)
Il metodo comprende quattro moduli essenziali: pre-elaborazione, estrazione delle caratteristiche, ordinamento dei risultati e rescan. Questi moduli lavorano insieme per identificare con precisione i contenuti duplicati o rubati, garantendo l'integrità e l'affidabilità del sistema.
Sistema di deduplicazione video: Migliorare il valore per l'utente
Il sistema di deduplicazione video è stato progettato per eliminare i contenuti ridondanti dalla piattaforma video di Shopee. Come il sistema di corrispondenza dei diritti d'autore di Shopee, il sistema di deduplicazione utilizza Milvus per memorizzare vettori di incorporamento trasformati dalle caratteristiche del video. Il sistema identifica ed elimina in modo efficiente i video duplicati cercando in Milvus i risultati Top-K più simili a una parte specifica. Oltre alla ricerca di somiglianza Top-K, il sistema prevede altre tecniche di elaborazione come la ricerca di dati in batch, il post-ranking, il clustering e l'assegnazione di impronte digitali. Alla fine, Milvus archivia tutti questi risultati, fornendo preziose informazioni alle varie unità aziendali.
Architettura del sistema di deduplicazione video](https://assets.zilliz.com/Video_Deduplication_System_Architecture_e72edcac2a.png)
La strada da percorrere
La collaborazione di Shopee con Milvus è una testimonianza del potere dell'innovazione nel plasmare il futuro dell'e-commerce. Milvus ha potenziato l'attività multimediale di Shopee, dotandola degli strumenti necessari per districarsi nelle complessità della comprensione multimediale. Guardando al futuro, Shopee prevede che Milvus si evolverà per soddisfare le richieste sempre più sofisticate dell'intelligenza artificiale. Con Milvus come partner fisso, Shopee prevede un futuro in cui la comprensione multimediale si integrerà perfettamente con l'esperienza dell'utente, aprendo nuove strade nell'e-commerce.
*Questo post è stato scritto dal team MMU di Shopee ed è stato modificato e pubblicato qui con l'autorizzazione.
- Informazioni su Shopee
- La sfida: Mancanza di un motore di ricerca vettoriale robusto per vasti volumi di dati non strutturati
- La soluzione: Creare un motore di ricerca vettoriale con Milvus
- Un motore di ricerca costruito con Milvus 1.x: Efficiente ma con un'alta latenza al crescere dei dati
- Milvus 2.x: Un cambiamento di gioco che porta una maggiore scalabilità e una riduzione della latenza
- Milvus potenzia diversi sistemi aziendali
- La strada da percorrere
Contenuto
Settore
Commercio elettronico