Comment 123RF a étendu la recherche visuelle à plus de 200 M de ressources avec Zilliz Cloud
Latence <50 ms
réduit par rapport à ~100 ms en production
50 % d’économies de coûts
après avoir migré depuis OpenSearch
200 M+ vecteurs
dans l’ensemble de la bibliothèque d’images
Indexation en masse
des millions importés en quelques heures
The biggest immediate impact for the company would be the cost side of things. We were able to bring the estimated cost of our search cluster from above five digits a month to a significantly lower figure. That would be the biggest improvement for our company.
Su-Meng Yong
À propos de 123RF
123RF, qui fait partie du Inmagine Group, est l’une des plus grandes plateformes de contenus stock au monde — au service de millions de professionnels de la création avec une bibliothèque de plus de 200 millions d’images, de vidéos et de fichiers audio. La recherche est au cœur de l’expérience 123RF : chaque requête doit faire remonter le contenu visuel le plus pertinent à partir d’un catalogue massif et en croissance constante. Lorsque la hausse des coûts et les performances peu fiables sur OpenSearch ont menacé cette expérience, 123RF s’est tournée vers Zilliz Cloud — réduisant les coûts d’infrastructure de plus de 50 %, divisant par deux la latence des requêtes et éliminant les échecs d’indexation qui avaient affecté leur configuration précédente.
Le défi
Auparavant, 123RF s’appuyait sur OpenSearch comme infrastructure de recherche principale. La plateforme avait été initialement conçue autour de la recherche plein texte par mots-clés, mais avec l’arrivée de l’ère de l’IA, l’équipe a commencé à expérimenter la recherche sémantique basée sur les embeddings afin de fournir des résultats plus pertinents. Elle a ajouté le plugin KNN à son cluster OpenSearch existant plutôt que de repartir de zéro.
Cette décision a entraîné un coût croissant. Trois problèmes interdépendants ont fini par rendre le statu quo intenable :
Coûts en hausse : L’exploitation d’un cluster OpenSearch avec KNN à une échelle de plus de 200 M de vecteurs a fait grimper les dépenses d’exploitation mensuelles dans les cinq chiffres, avec une progression continue.
Performances peu fiables : La latence et le débit des requêtes sont devenus imprévisibles sous un trafic de production réel, dégradant l’expérience de recherche pour les utilisateurs finaux.
Instabilité de l’indexation : Comme la bibliothèque de 123RF s’enrichit chaque jour, les nouveaux actifs doivent être indexés en continu. Le cluster OpenSearch a connu de fréquentes défaillances de nœuds lors de ces opérations d’indexation, nécessitant une intervention DevOps continue.
OpenSearch n’a pas été conçu spécifiquement pour la recherche de similarité vectorielle. Son plugin KNN offrait une solution de contournement, mais sa gestion à grande échelle générait une charge opérationnelle que l’équipe ne pouvait pas absorber durablement.
Pourquoi Zilliz Cloud
Lorsque Su-Meng Yong et son équipe ont entrepris de trouver une alternative, ils ont évalué plusieurs options de bases de données vectorielles dédiées telles que Pinecone et Weaviate. Trois critères ont guidé la décision :
Échelle : La solution devait gérer des centaines de millions de vecteurs de manière fiable sans dégradation des performances.
Efficacité des coûts : Certaines alternatives ont été écartées parce qu’elles coûteraient plus cher à exploiter à l’échelle requise par 123RF.
Maturité et retours de la communauté : Zilliz Cloud est un service entièrement géré construit sur la base de données vectorielle open-source Milvus, qui dispose d’une communauté dynamique.
La solution
123RF a déployé Zilliz Cloud pour alimenter deux flux de recherche complémentaires :
Recherche texte-image : Les requêtes des utilisateurs sont converties en embeddings vectoriels, qui sont ensuite comparés à la bibliothèque d’images indexée à l’aide de la similarité vectorielle, afin de renvoyer des résultats sémantiquement pertinents.
Recherche d’image inversée : Les utilisateurs téléversent une image ; le système génère son embedding et recherche des actifs visuellement similaires dans l’ensemble de la bibliothèque.
La couche d’embedding utilise CLIP, un modèle d’embedding multimodal open-source, que l’équipe a fait évoluer sur deux versions de modèle avec le soutien de l’équipe solutions de Zilliz. La flexibilité d’utiliser n’importe quel modèle d’embedding — et non un modèle fournisseur imposé — a été considérée comme un avantage significatif.
Un pipeline de traitement par lots quotidien convertit toutes les nouvelles soumissions des contributeurs en embeddings et les ingère dans le cluster Zilliz Cloud, maintenant l’index à jour sans intervention manuelle.
Trois fonctionnalités de la plateforme se sont révélées particulièrement précieuses lors du déploiement :
Mise à l’échelle dynamique : Le cluster peut être augmenté ou réduit en fonction de la charge de requêtes anticipée, une capacité qui n’était pas disponible dans la configuration OpenSearch précédente.
Tâches d’importation en masse : La fonctionnalité de tâche d’importation de Zilliz Cloud permet d’indexer des millions à des dizaines de millions de lignes en quelques heures, résolvant le goulot d’étranglement chronique de l’indexation qui avait provoqué des défaillances de nœuds sous OpenSearch.
Boost Ranker (fonctionnalité personnalisée) : 123RF avait besoin d’une logique métier personnalisée dans le classement de ses résultats de recherche. L’équipe d’ingénierie de Zilliz a développé une fonctionnalité Boost Ranker spécifiquement pour ce cas d’utilisation, qui fonctionne désormais en production.
Résultats et avantages
Réduction des coûts de >50 %
L’impact le plus immédiat a été financier. Avec l’aide de l’équipe Zilliz, 123RF a réduit ses coûts mensuels d’infrastructure de recherche à une fraction de la dépense initiale — une réduction de plus de 50 %.
"La recherche est le cœur de notre plateforme — c’est ainsi que des millions d’utilisateurs trouvent le bon contenu. Passer à Zilliz Cloud n’a pas seulement réduit considérablement nos coûts d’infrastructure ; cela a donné à notre équipe d’ingénierie la certitude que la recherche évoluera avec notre activité au lieu de la freiner."
— Su-Meng Yong, Engineering Team Lead, 123RF
Latence < 50 ms atteinte
Après plusieurs itérations d’optimisation avec l’équipe Zilliz, 123RF a réduit la latence moyenne des requêtes de 100 ms à 30-50 ms — soit une amélioration d’environ 50 % — tout en maintenant un débit de niveau production et les charges de trafic quotidiennes.
Indexation sans interruption
Les problèmes de nœuds qui disparaissaient, qui pénalisaient OpenSearch pendant l’ingestion quotidienne de contenu, ont entièrement disparu. Auparavant, l’équipe ne pouvait pas indexer de nouvelles images dans le cluster assez rapidement sans dégrader les performances de recherche pour les utilisateurs en direct. Grâce à la capacité d’importation en masse de Zilliz Cloud, l’équipe indexe désormais des millions à des dizaines de millions de nouvelles lignes en quelques heures — sans aucun impact sur les performances des requêtes. Un pipeline quotidien automatisé convertit les nouveaux contenus stock soumis en embeddings et les ingère dans le cluster, maintenant l’index de recherche à jour sans intervention manuelle.
Liberté opérationnelle
En tant que service entièrement géré, Zilliz Cloud a éliminé la charge de gestion du cluster qui occupait le temps de l’équipe DevOps. L’équipe d’ingénierie est passée de la gestion d’urgence des problèmes d’infrastructure à la création de fonctionnalités produit.
"Ça fait vraiment gagner beaucoup de temps à mon équipe, ainsi qu’aux développeurs, en leur évitant d’avoir à gérer de nombreux problèmes et une grande partie de l’auto-gestion du cluster." — — Su-Meng Yong, Engineering Team Lead, 123RF
Et après
La recherche d’images étant entièrement migrée et stable, 123RF prévoit de transférer ses workflows de recherche vidéo et audio vers Zilliz Cloud. L’équipe est également ouverte à l’exploration d’intégrations LangChain ou LlamaIndex à l’avenir afin d’étendre les capacités de recherche de sa plateforme.
Secteur d'activité
Les médias
Technologie utilisée
The fully managed version really saves both my team and the developers a lot of time from having to deal with a lot of problems, a lot of self-managing of the cluster. And regarding latency — we went from an initial 100 milliseconds to now sub 30 to 50 milliseconds, a roughly 50% reduction while being able to maintain production throughput.
Su-Meng Yong