Wie 123RF die visuelle Suche mit Zilliz Cloud auf über 200 Mio. Assets skalierte
<50 ms Latenz
gegenüber ~100 ms in der Produktion
50% Kosteneinsparungen
nach der Migration weg von OpenSearch
200 Mio.+ Vektoren
in der gesamten Bildbibliothek
Massenindizierung
Millionen innerhalb weniger Stunden importiert
The biggest immediate impact for the company would be the cost side of things. We were able to bring the estimated cost of our search cluster from above five digits a month to a significantly lower figure. That would be the biggest improvement for our company.
Su-Meng Yong
Über 123RF
123RF, Teil der Inmagine Group, ist eine der weltweit größten Plattformen für Stock-Content — und bedient Millionen von Kreativprofis mit einer Bibliothek von über 200 Millionen Bildern, Videos und Audiodateien. Die Suche ist der Kern der 123RF-Erfahrung: Jede Anfrage muss die relevantesten visuellen Inhalte aus einem riesigen, ständig wachsenden Katalog hervorbringen. Als steigende Kosten und unzuverlässige Leistung bei OpenSearch diese Erfahrung bedrohten, wandte sich 123RF an Zilliz Cloud — wodurch die Infrastrukturkosten um über 50% gesenkt, die Abfragelatenz halbiert und die Indexierungsfehler beseitigt wurden, die ihre vorherige Einrichtung belastet hatten.
Die Herausforderung
Zuvor verließ sich 123RF auf OpenSearch als primäre Suchinfrastruktur. Die Plattform wurde ursprünglich rund um die Volltext-Keyword-Suche aufgebaut, doch als das KI-Zeitalter begann, experimentierte das Team mit einbettungsbasierter semantischer Suche, um relevantere Ergebnisse zu liefern. Sie ergänzten ihren bestehenden OpenSearch-Cluster um das KNN-Plugin, anstatt von Grund auf neu aufzubauen.
Diese Entscheidung brachte steigende Kosten mit sich. Drei ineinandergreifende Probleme machten den Status quo schließlich unhaltbar:
Eskalierende Kosten: Der Betrieb eines KNN-fähigen OpenSearch-Clusters in einem Maßstab von über 200M Vektoren trieb die monatlichen Betriebskosten in den fünfstelligen Bereich und ließ sie weiter steigen.
Unzuverlässige Leistung: Latenz und Abfragedurchsatz wurden unter realem Produktionsverkehr unvorhersehbar und verschlechterten die Sucherfahrung für Endnutzer.
Indexierungsinstabilität: Da die Bibliothek von 123RF täglich wächst, müssen neue Assets kontinuierlich indexiert werden. Der OpenSearch-Cluster erlebte während dieser Indexierungsvorgänge häufige Knotenausfälle, die fortlaufende DevOps-Eingriffe erforderten.
OpenSearch war nicht speziell für Vektorähnlichkeitssuche entwickelt. Sein KNN-Plugin bot einen Workaround, doch dessen Verwaltung im großen Maßstab verursachte betrieblichen Aufwand, den das Team nicht nachhaltig tragen konnte.
Warum Zilliz Cloud
Als Su-Meng Yong und sein Team sich auf die Suche nach einer Alternative machten, bewerteten sie mehrere dedizierte Vektordatenbankoptionen wie Pinecone und Weaviate. Drei Kriterien bestimmten die Entscheidung:
Skalierung: Die Lösung musste Hunderte Millionen Vektoren zuverlässig ohne Leistungseinbußen verarbeiten können.
Kosteneffizienz: Einige Alternativen wurden ausgeschlossen, weil ihr Betrieb im von 123RF benötigten Maßstab teurer gewesen wäre.
Reifegrad und Community-Feedback: Zilliz Cloud ist ein vollständig verwalteter Service, der auf der Open-Source-Vektordatenbank Milvus basiert, die über eine dynamische Community verfügt.
Die Lösung
123RF setzte Zilliz Cloud ein, um zwei komplementäre Such-Workflows zu unterstützen:
Text-zu-Bild-Suche: Nutzeranfragen werden in Vektoreinbettungen umgewandelt, die anschließend mithilfe von Vektorähnlichkeit mit der indexierten Bildbibliothek abgeglichen werden und semantisch relevante Ergebnisse zurückgeben.
Reverse Image Search: Nutzer laden ein Bild hoch; das System generiert dessen Einbettung und sucht in der gesamten Bibliothek nach visuell ähnlichen Assets.
Die Einbettungsebene verwendet CLIP, ein Open-Source-Modell für multimodale Einbettungen, das das Team mit Unterstützung des Zilliz-Solution-Teams über zwei Modellversionen hinweg weiterentwickelte. Die Flexibilität, jedes beliebige Einbettungsmodell zu verwenden — und nicht ein vorgeschriebenes Anbietermodell — wurde als bedeutender Vorteil hervorgehoben.
Eine tägliche Batch-Pipeline wandelt alle neuen Einreichungen von Mitwirkenden in Einbettungen um und nimmt sie in den Zilliz Cloud-Cluster auf, sodass der Index ohne manuelle Eingriffe auf dem neuesten Stand bleibt.
Drei Plattformfunktionen erwiesen sich während der Bereitstellung als besonders wertvoll:
Dynamische Skalierung: Der Cluster kann basierend auf der erwarteten Abfragelast nach oben oder unten skaliert werden — eine Fähigkeit, die im vorherigen OpenSearch-Setup nicht verfügbar war.
Bulk-Import-Jobs: Die Import-Job-Funktion von Zilliz Cloud ermöglicht die Indexierung von Millionen bis hin zu Dutzenden Millionen Zeilen innerhalb weniger Stunden und löst damit den chronischen Indexierungsengpass, der unter OpenSearch zu Knotenausfällen geführt hatte.
Boost Ranker (benutzerdefinierte Funktion): 123RF benötigte benutzerdefinierte Geschäftslogik in seinem Suchranking. Das Zilliz-Engineering-Team entwickelte speziell für diesen Anwendungsfall eine Boost-Ranker-Funktion, die nun in Produktion läuft.
Ergebnisse und Vorteile
>50% Kostenreduzierung
Die unmittelbarste Auswirkung war finanzieller Natur. Mit Unterstützung des Zilliz-Teams senkte 123RF seine monatlichen Kosten für die Suchinfrastruktur auf einen Bruchteil der ursprünglichen Ausgaben — eine Reduzierung um über 50%.
"Die Suche ist das Herzstück unserer Plattform — sie ist der Weg, wie Millionen von Nutzern die richtigen Inhalte finden. Der Wechsel zu Zilliz Cloud hat nicht nur unsere Infrastrukturkosten drastisch gesenkt; er gab unserem Engineering-Team auch die Gewissheit, dass die Suche mit unserem Unternehmen skalieren wird, anstatt es auszubremsen."
— Su-Meng Yong, Engineering Team Lead, 123RF
< 50ms Latenz erreicht
Nach mehreren Optimierungsiterationen mit dem Zilliz-Team reduzierte 123RF die durchschnittliche Abfragelatenz von 100ms auf 30–50ms — eine Verbesserung um etwa 50% — und behielt dabei produktionsgerechten Durchsatz und tägliche Traffic-Lasten bei.
Indexierung ohne Ausfallzeiten
Die Knotenabsturzprobleme, die OpenSearch während der täglichen Inhaltsaufnahme belasteten, verschwanden vollständig. Zuvor konnte das Team neue Bilder nicht schnell genug in den Cluster indexieren, ohne die Suchleistung für Live-Nutzer zu beeinträchtigen. Mithilfe der Bulk-Import-Funktion von Zilliz Cloud indexiert das Team nun Millionen bis hin zu Dutzenden Millionen neuer Zeilen innerhalb weniger Stunden — ohne jegliche Auswirkungen auf die Abfrageleistung. Eine täglich automatisierte Pipeline wandelt neu eingereichte Stock-Inhalte in Embeddings um und nimmt sie in den Cluster auf, wodurch der Suchindex ohne manuelle Eingriffe aktuell gehalten wird.
Operative Freiheit
Als vollständig verwalteter Service beseitigte Zilliz Cloud die Belastung durch das Cluster-Management, die die Zeit des DevOps-Teams in Anspruch genommen hatte. Das Engineering-Team verlagerte seinen Fokus von der Bekämpfung von Infrastrukturproblemen auf die Entwicklung von Produktfunktionen.
"Es spart wirklich sowohl meinem Team als auch den Entwicklern viel Zeit, da sie sich nicht mit vielen Problemen und viel Selbstverwaltung des Clusters befassen müssen." — — Su-Meng Yong, Engineering Team Lead, 123RF
Wie es weitergeht
Nachdem die Bildsuche vollständig migriert und stabil ist, plant 123RF, seine Workflows für Video- und Audiosuche zu Zilliz Cloud zu bringen. Das Team ist außerdem offen dafür, künftig Integrationen mit LangChain oder LlamaIndex zu erkunden, um die Suchfunktionen seiner Plattform zu erweitern.
- Über 123RF
- Die Herausforderung
- Warum Zilliz Cloud
- Die Lösung
- Ergebnisse und Vorteile
- Wie es weitergeht
Inhalte
Anwendungsfall
Branche
Medien
Verwendete Technologie
The fully managed version really saves both my team and the developers a lot of time from having to deal with a lot of problems, a lot of self-managing of the cluster. And regarding latency — we went from an initial 100 milliseconds to now sub 30 to 50 milliseconds, a roughly 50% reduction while being able to maintain production throughput.
Su-Meng Yong