Come 123RF ha scalato la ricerca visiva a oltre 200 milioni di risorse con Zilliz Cloud
<50ms latenza
in calo rispetto a ~100 ms in produzione
50% di risparmio sui costi
dopo la migrazione da OpenSearch
Oltre 200 milioni di vettori
in tutta la libreria di immagini
Indicizzazione in blocco
milioni importati in poche ore
The biggest immediate impact for the company would be the cost side of things. We were able to bring the estimated cost of our search cluster from above five digits a month to a significantly lower figure. That would be the biggest improvement for our company.
Su-Meng Yong
Informazioni su 123RF
123RF, parte di Inmagine Group, è una delle più grandi piattaforme di contenuti stock al mondo — serve milioni di professionisti creativi con una libreria di oltre 200 milioni di immagini, video e file audio. La ricerca è il cuore dell’esperienza 123RF: ogni query deve far emergere i contenuti visivi più rilevanti da un catalogo enorme e in costante crescita. Quando l’aumento dei costi e le prestazioni inaffidabili su OpenSearch hanno minacciato quell’esperienza, 123RF si è rivolta a Zilliz Cloud — riducendo i costi infrastrutturali di oltre il 50%, dimezzando la latenza delle query ed eliminando gli errori di indicizzazione che avevano afflitto la configurazione precedente.
La sfida
In precedenza, 123RF si affidava a OpenSearch come infrastruttura di ricerca principale. La piattaforma era stata originariamente costruita attorno alla ricerca full-text basata su parole chiave, ma con l’arrivo dell’era dell’IA, il team ha iniziato a sperimentare la ricerca semantica basata su embedding per offrire risultati più rilevanti. Hanno integrato il plugin KNN nel cluster OpenSearch esistente invece di ricostruire tutto da zero.
Quella decisione ha comportato un costo crescente. Tre problemi interconnessi alla fine hanno reso insostenibile lo status quo:
Costi in escalation: Gestire un cluster OpenSearch abilitato per KNN su una scala di oltre 200M di vettori ha spinto le spese operative mensili in territorio a cinque cifre e ha continuato a crescere.
Prestazioni inaffidabili: Latenza e throughput delle query sono diventati imprevedibili sotto il traffico reale di produzione, peggiorando l’esperienza di ricerca per gli utenti finali.
Instabilità dell’indicizzazione: Poiché la libreria di 123RF cresce ogni giorno, i nuovi asset devono essere indicizzati continuamente. Il cluster OpenSearch ha riscontrato frequenti guasti dei nodi durante queste operazioni di indicizzazione, richiedendo un intervento DevOps continuo.
OpenSearch non è stato progettato specificamente per la ricerca di similarità vettoriale. Il suo plugin KNN forniva una soluzione temporanea, ma gestirlo su larga scala ha creato un sovraccarico operativo che il team non poteva assorbire in modo sostenibile.
Perché Zilliz Cloud
Quando Su-Meng Yong e il suo team si sono messi alla ricerca di un’alternativa, hanno valutato diverse opzioni di database vettoriali dedicati come Pinecone e Weaviate. Tre criteri hanno guidato la decisione:
Scalabilità: La soluzione doveva gestire centinaia di milioni di vettori in modo affidabile senza degrado delle prestazioni.
Efficienza dei costi: Alcune alternative sono state escluse perché avrebbero avuto costi operativi maggiori alla scala richiesta da 123RF.
Maturità e feedback della community: Zilliz Cloud è un servizio completamente gestito basato sul database vettoriale open-source Milvus, che ha una community dinamica.
La soluzione
123RF ha implementato Zilliz Cloud per alimentare due flussi di lavoro di ricerca complementari:
Ricerca text-to-image: Le query degli utenti vengono convertite in embedding vettoriali, che vengono poi confrontati con la libreria di immagini indicizzata usando la similarità vettoriale, restituendo risultati semanticamente rilevanti.
Ricerca inversa per immagini: Gli utenti caricano un’immagine; il sistema genera il relativo embedding e cerca asset visivamente simili nell’intera libreria.
Il livello di embedding utilizza CLIP, un modello di embedding multimodale open-source, sul quale il team ha iterato attraverso due versioni del modello con il supporto del team soluzioni di Zilliz. La flessibilità di usare qualsiasi modello di embedding — non un modello vendor prescritto — è stata indicata come un vantaggio significativo.
Una pipeline batch giornaliera converte tutti i nuovi invii dei contributor in embedding e li acquisisce nel cluster Zilliz Cloud, mantenendo l’indice aggiornato senza intervento manuale.
Tre funzionalità della piattaforma si sono rivelate particolarmente preziose durante l’implementazione:
Scalabilità dinamica: Il cluster può essere scalato verso l’alto o verso il basso in base al carico di query previsto, una capacità non disponibile nella precedente configurazione OpenSearch.
Processi di importazione bulk: La funzionalità di import job di Zilliz Cloud consente di indicizzare da milioni a decine di milioni di righe in poche ore, risolvendo il cronico collo di bottiglia dell’indicizzazione che aveva causato guasti ai nodi con OpenSearch.
Boost Ranker (funzionalità personalizzata): 123RF richiedeva una logica aziendale personalizzata nel ranking di ricerca. Il team di ingegneria di Zilliz ha sviluppato una funzionalità Boost Ranker specificamente per questo caso d’uso, che ora è in esecuzione in produzione.
Risultati e vantaggi
Riduzione dei costi >50%
L’impatto più immediato è stato finanziario. Con l’aiuto del team Zilliz, 123RF ha ridotto i costi mensili della propria infrastruttura di ricerca a una frazione della spesa originale — una riduzione di oltre il 50%.
"La ricerca è il cuore della nostra piattaforma — è il modo in cui milioni di utenti trovano il contenuto giusto. Passare a Zilliz Cloud non ha solo ridotto drasticamente i nostri costi infrastrutturali; ha dato al nostro team di ingegneria la fiducia che la ricerca scalerà con il nostro business invece di frenarne la crescita."
— Su-Meng Yong, Engineering Team Lead, 123RF
Latenza < 50ms raggiunta
Dopo diverse iterazioni di ottimizzazione con il team Zilliz, 123RF ha ridotto la latenza media delle query da 100ms a 30-50ms — un miglioramento di circa il 50% — mantenendo al contempo throughput di livello produzione e carichi di traffico giornalieri.
Indicizzazione senza downtime
I problemi di perdita dei nodi che affliggevano OpenSearch durante l’ingestione quotidiana dei contenuti sono scomparsi completamente. In precedenza, il team non riusciva a indicizzare nuove immagini nel cluster abbastanza rapidamente senza degradare le prestazioni di ricerca per gli utenti live. Utilizzando la funzionalità di importazione bulk di Zilliz Cloud, il team ora indicizza da milioni a decine di milioni di nuove righe in poche ore — senza alcun impatto sulle prestazioni delle query. Una pipeline automatizzata giornaliera converte i contenuti stock appena inviati in embedding e li ingerisce nel cluster, mantenendo aggiornato l’indice di ricerca senza intervento manuale.
Libertà operativa
Come servizio completamente gestito, Zilliz Cloud ha eliminato l’onere della gestione del cluster che consumava il tempo del team DevOps. Il team di ingegneria è passato dal risolvere emergenze infrastrutturali alla creazione di funzionalità di prodotto.
"Fa davvero risparmiare molto tempo sia al mio team sia agli sviluppatori, evitando di dover affrontare molti problemi e molta autogestione del cluster." — — Su-Meng Yong, Engineering Team Lead, 123RF
Cosa c’è dopo
Con la ricerca di immagini completamente migrata e stabile, 123RF prevede di portare i propri workflow di ricerca video e audio su Zilliz Cloud. Il team è inoltre aperto a esplorare in futuro integrazioni con LangChain o LlamaIndex per estendere le capacità di ricerca della propria piattaforma.
- Informazioni su 123RF
- La sfida
- Perché Zilliz Cloud
- La soluzione
- Risultati e vantaggi
- Cosa c’è dopo
Contenuto
Settore
Media
Tecnologie Utilizzate
The fully managed version really saves both my team and the developers a lot of time from having to deal with a lot of problems, a lot of self-managing of the cluster. And regarding latency — we went from an initial 100 milliseconds to now sub 30 to 50 milliseconds, a roughly 50% reduction while being able to maintain production throughput.
Su-Meng Yong