Estrazione dei momenti salienti degli eventi utilizzando l'app sportiva iYUNDONG
iYUNDONG è un'azienda Internet che mira a coinvolgere più appassionati di sport e partecipanti a eventi come le maratone. Sviluppa strumenti di intelligenza artificiale (AI) in grado di analizzare i contenuti multimediali acquisiti durante eventi sportivi per generare automaticamente highlight. Ad esempio, caricando un selfie, un utente dell'App sportiva iYUNDONG che ha preso parte a un evento sportivo può recuperare istantaneamente le proprie foto o clip video da un enorme dataset multimediale dell'evento.
Una delle funzionalità chiave dell'App iYUNDONG si chiama “Find me in motion“. I fotografi solitamente scattano enormi quantità di foto o video durante un evento sportivo come una maratona, e caricano foto e video in tempo reale nel database multimediale di iYUNDONG. I maratoneti che vogliono vedere i propri momenti salienti possono recuperare immagini che li includono semplicemente caricando uno dei loro selfie. Questo fa risparmiare loro molto tempo perché un sistema di recupero immagini nell'App iYUNDONG esegue tutta la corrispondenza delle immagini. Milvus è adottato da iYUNDONG per alimentare questo sistema, poiché Milvus può accelerare notevolmente il processo di recupero e restituire risultati altamente accurati.
Vai a:
- Difficoltà e soluzioni
- Cos'è Milvus
- Perché Milvus
- Sistema e workflow
- Interfaccia dell'App iYUNDONG
- Conclusione
Difficoltà e soluzioni
iYUNDONG ha affrontato i seguenti problemi e ha trovato con successo le relative soluzioni durante la creazione del suo sistema di recupero immagini.
- Le foto degli eventi devono essere immediatamente disponibili per la ricerca.
iYUNDONG ha sviluppato una funzione chiamata InstantUpload per garantire che le foto degli eventi siano disponibili per la ricerca immediatamente dopo essere state caricate.
- Archiviazione di dataset enormi
Dati enormi come foto e video vengono caricati nel backend di iYUNDONG ogni millisecondo. Perciò iYUNDONG ha deciso di migrare verso sistemi di archiviazione cloud tra cui AWS, S3 e Alibaba Cloud Object Storage Service (OSS) per gestire volumi giganteschi di dati non strutturati in modo sicuro, rapido e affidabile.
- Lettura istantanea
Per ottenere una lettura istantanea, iYUNDONG ha sviluppato il proprio middleware di sharding per ottenere facilmente la scalabilità orizzontale e mitigare l'impatto sul sistema dovuto alla lettura da disco. Inoltre, Redis viene utilizzato come livello di cache per garantire prestazioni costanti in situazioni di alta concorrenza.
- Estrazione istantanea delle caratteristiche facciali
Per estrarre in modo accurato ed efficiente le caratteristiche facciali dalle foto caricate dagli utenti, iYUNDONG ha sviluppato un algoritmo proprietario di conversione delle immagini che converte le immagini in vettori di caratteristiche a 128 dimensioni. Un altro problema riscontrato era che, spesso, molti utenti e fotografi caricavano immagini o video simultaneamente. Pertanto, gli ingegneri di sistema dovevano prendere in considerazione la scalabilità dinamica durante la distribuzione del sistema. Più specificamente, iYUNDONG ha sfruttato pienamente il suo elastic compute service (ECS) sul cloud per ottenere lo scaling dinamico.
- Ricerca vettoriale rapida e su larga scala
iYUNDONG aveva bisogno di un database vettoriale per archiviare il suo grande numero di vettori di caratteristiche estratti dai modelli AI. In base al proprio scenario applicativo aziendale unico, iYUNDONG si aspettava che il database vettoriale fosse in grado di:
- Eseguire un recupero vettoriale velocissimo su dataset ultra-grandi.
- Ottenere archiviazione di massa a costi inferiori.
Inizialmente, veniva elaborata in media 1 milione di immagini all’anno, quindi iYUNDONG archiviava tutti i suoi dati per la ricerca nella RAM. Tuttavia, negli ultimi due anni, la sua attività è cresciuta rapidamente e ha registrato una crescita esponenziale dei dati non strutturati – il numero di immagini nel database di iYUNDONG ha superato i 60 milioni nel 2019, il che significa che c’erano più di 1 miliardo di vettori di caratteristiche da archiviare. Un’enorme quantità di dati ha inevitabilmente reso il sistema iYUNDONG pesante e dispendioso in termini di risorse. Quindi ha dovuto investire continuamente in strutture hardware per garantire prestazioni elevate. Nello specifico, iYUNDONG ha distribuito più server di ricerca, una RAM più ampia e una CPU più performante per ottenere maggiore efficienza e scalabilità orizzontale. Tuttavia, uno dei difetti di questa soluzione era che faceva aumentare i costi operativi a livelli proibitivi. Pertanto, iYUNDONG ha iniziato a esplorare una soluzione migliore a questo problema e ha riflettuto sull’utilizzo di librerie di indici vettoriali come Faiss per risparmiare sui costi e guidare meglio la propria attività. Infine iYUNDONG ha scelto il database vettoriale open-source Milvus.
Che cos’è Milvus
Milvus è un database vettoriale open-source facile da usare, altamente flessibile, affidabile ed estremamente veloce. Combinato con vari modelli di deep learning come il riconoscimento di foto e voce, l’elaborazione video, l’elaborazione del linguaggio naturale, Milvus può elaborare e analizzare dati non strutturati che vengono convertiti in vettori utilizzando vari algoritmi di IA. Di seguito è riportato il flusso di lavoro di come Milvus elabora tutti i dati non strutturati:
● I dati non strutturati vengono convertiti in vettori di embedding da modelli di deep learning o altri algoritmi di IA.
● Quindi i vettori di embedding vengono inseriti in Milvus per l’archiviazione. Milvus crea anche indici per tali vettori.
● Milvus esegue la ricerca per similarità e restituisce risultati di ricerca accurati in base alle varie esigenze aziendali.
Una panoramica di Milvus.
Perché Milvus
Dalla fine del 2019, iYUNDONG ha condotto una serie di test sull’utilizzo di Milvus per alimentare il proprio sistema di recupero immagini. I risultati dei test hanno mostrato che Milvus supera altri database vettoriali mainstream poiché supporta più indici e può ridurre in modo efficiente l’utilizzo della RAM, comprimendo significativamente la tempistica per la ricerca di similarità vettoriale.
Inoltre, nuove versioni di Milvus vengono rilasciate regolarmente. Durante il periodo di test, Milvus ha attraversato molteplici aggiornamenti di versione dalla v0.6.0 alla v0.10.1.
Inoltre, con la sua community open-source attiva e le potenti funzionalità pronte all’uso, Milvus consente a iYUNDONG di operare con un budget di sviluppo ridotto.
Sistema e flusso di lavoro
Il sistema di iYUNDONG estrae le caratteristiche facciali rilevando prima i volti nelle foto degli eventi caricate dai fotografi. Quindi queste caratteristiche facciali vengono convertite in vettori a 128 dimensioni e archiviate nella libreria Milvus. Milvus crea indici per tali vettori e può restituire istantaneamente risultati altamente accurati.
Altre informazioni aggiuntive, come gli ID delle foto e le coordinate che indicano la posizione di un volto in una foto, sono archiviate in un database di terze parti.
Ogni vettore di caratteristiche ha il suo ID univoco nella libreria Milvus. iYUNDONG ha adottato l’algoritmo Leaf, un servizio distribuito di generazione di ID sviluppato dalla piattaforma di R&S di base di Meituan, per associare l’ID del vettore in Milvus alle sue informazioni aggiuntive corrispondenti archiviate in un altro database. Combinando il vettore di caratteristiche e le informazioni aggiuntive, il sistema iYUNDONG può restituire risultati simili alla ricerca dell’utente.
Interfaccia dell’app iYUNDONG
Una serie degli eventi sportivi più recenti è elencata nella homepage. Toccando uno degli eventi, gli utenti possono vedere tutti i dettagli.
Dopo aver toccato il pulsante nella parte superiore della pagina della galleria fotografica, gli utenti possono quindi caricare una propria foto per recuperare immagini dei loro momenti salienti.
Interfaccia dell’app iYUNDONG.
Conclusione
Questo articolo illustra come iYUNDONG App costruisce un sistema intelligente di recupero immagini in grado di restituire risultati di ricerca accurati basati su foto caricate dagli utenti che variano per risoluzione, dimensione, nitidezza, angolazione e altri aspetti che complicano la ricerca di similarità. Con l'aiuto di Milvus, iYUNDONG App può eseguire con successo query a livello di millisecondi su un database di oltre 60 milioni di immagini. E il tasso di accuratezza del recupero delle foto è costantemente superiore al 92%. Milvus rende più facile per iYUNDONG creare in poco tempo e con risorse limitate un potente sistema di recupero immagini di livello enterprise.
Leggi altre storie degli utenti per saperne di più su come creare cose con Milvus.
Continua a leggere
What Is a Vector Lakebase?
A Vector Lakebase is a unified, lake-native data architecture for AI that combines vector-database-grade serving with open lake storage, reusable lake-level indexes, and a shared semantic layer.
Zilliz Named "Highest Performer" and "Easiest to Use" in G2's Summer 2025 Grid® Report for Vector Databases
Zilliz shines in G2's Summer 2025 Grid® Report as both "Highest Performer" and "Easiest to Use," solving the performance-usability dilemma.
AI Agents Are Quietly Transforming E-Commerce — Here’s How
Discover how AI agents transform e-commerce with autonomous decision-making, enhanced product discovery, and vector search capabilities for today's retailers.