Como a 123RF escalou a busca visual para mais de 200 milhões de ativos com o Zilliz Cloud
latência <50ms
reduzido de ~100 ms em produção
50% de economia de custos
após migrar do OpenSearch
200M+ vetores
em toda a biblioteca de imagens
Indexação em massa
milhões importados em poucas horas
The biggest immediate impact for the company would be the cost side of things. We were able to bring the estimated cost of our search cluster from above five digits a month to a significantly lower figure. That would be the biggest improvement for our company.
Su-Meng Yong
Sobre a 123RF
A 123RF, parte do Inmagine Group, é uma das maiores plataformas de conteúdo stock do mundo — atendendo milhões de profissionais criativos com uma biblioteca de mais de 200 milhões de imagens, vídeos e arquivos de áudio. A busca é o núcleo da experiência da 123RF: cada consulta deve apresentar o conteúdo visual mais relevante de um catálogo enorme e em constante crescimento. Quando os custos crescentes e o desempenho pouco confiável no OpenSearch ameaçaram essa experiência, a 123RF recorreu ao Zilliz Cloud — reduzindo os custos de infraestrutura em mais de 50%, cortando pela metade a latência das consultas e eliminando as falhas de indexação que haviam prejudicado sua configuração anterior.
O Desafio
Anteriormente, a 123RF dependia do OpenSearch como sua principal infraestrutura de busca. A plataforma foi originalmente construída em torno da busca por palavras-chave em texto completo, mas, com a chegada da era da IA, a equipe começou a experimentar a busca semântica baseada em embeddings para entregar resultados mais relevantes. Eles adicionaram o plugin KNN ao cluster OpenSearch existente em vez de reconstruir tudo do zero.
Essa decisão trouxe um custo crescente. Três problemas interligados acabaram tornando o status quo insustentável:
Custos crescentes: Executar um cluster OpenSearch habilitado para KNN em uma escala de mais de 200 milhões de vetores elevou as despesas operacionais mensais para a casa dos cinco dígitos e continuou aumentando.
Desempenho pouco confiável: A latência e a taxa de transferência das consultas tornaram-se imprevisíveis sob tráfego real de produção, degradando a experiência de busca para os usuários finais.
Instabilidade na indexação: Como a biblioteca da 123RF cresce diariamente, novos ativos precisam ser indexados continuamente. O cluster OpenSearch apresentou falhas frequentes de nós durante essas operações de indexação, exigindo intervenção contínua de DevOps.
O OpenSearch não foi criado especificamente para busca por similaridade vetorial. Seu plugin KNN oferecia uma solução alternativa, mas gerenciá-lo em escala criou uma sobrecarga operacional que a equipe não conseguia absorver de forma sustentável.
Por que Zilliz Cloud
Quando Su-Meng Yong e sua equipe começaram a procurar uma alternativa, avaliaram várias opções dedicadas de bancos de dados vetoriais, como Pinecone e Weaviate. Três critérios orientaram a decisão:
Escala: A solução precisava lidar de forma confiável com centenas de milhões de vetores sem degradação de desempenho.
Eficiência de custo: Algumas alternativas foram descartadas porque custariam mais para operar na escala exigida pela 123RF.
Maturidade e feedback da comunidade: O Zilliz Cloud é um serviço totalmente gerenciado construído sobre o banco de dados vetorial open-source Milvus, que conta com uma comunidade dinâmica.
A Solução
A 123RF implantou o Zilliz Cloud para potencializar dois fluxos de trabalho de busca complementares:
Busca de texto para imagem: As consultas dos usuários são convertidas em embeddings vetoriais, que então são comparados com a biblioteca de imagens indexada usando similaridade vetorial, retornando resultados semanticamente relevantes.
Busca reversa de imagens: Os usuários fazem upload de uma imagem; o sistema gera seu embedding e busca ativos visualmente semelhantes em toda a biblioteca.
A camada de embeddings usa o CLIP, um modelo de embedding multimodal open-source, no qual a equipe iterou em duas versões de modelo com suporte da equipe de soluções da Zilliz. A flexibilidade de usar qualquer modelo de embedding — não um modelo prescrito por um fornecedor — foi observada como uma vantagem significativa.
Um pipeline diário em lote converte todos os novos envios de colaboradores em embeddings e os ingere no cluster Zilliz Cloud, mantendo o índice atualizado sem intervenção manual.
Três recursos da plataforma se mostraram particularmente valiosos durante a implantação:
Escalabilidade dinâmica: O cluster pode ser ampliado ou reduzido com base na carga de consultas prevista, uma capacidade que não estava disponível na configuração anterior do OpenSearch.
Tarefas de importação em massa: O recurso de tarefas de importação da Zilliz Cloud permite indexar milhões a dezenas de milhões de linhas em poucas horas, resolvendo o gargalo crônico de indexação que havia causado falhas de nós no OpenSearch.
Boost Ranker (recurso personalizado): A 123RF exigia lógica de negócios personalizada em seu ranqueamento de busca. A equipe de engenharia da Zilliz desenvolveu um recurso Boost Ranker especificamente para este caso de uso, que agora está em execução em produção.
Resultados e Benefícios
Redução de Custos >50%
O impacto mais imediato foi financeiro. Com a ajuda da equipe da Zilliz, a 123RF reduziu seus custos mensais de infraestrutura de busca para uma fração do gasto original — uma redução de mais de 50%.
"A busca é o coração da nossa plataforma — é assim que milhões de usuários encontram o conteúdo certo. Migrar para a Zilliz Cloud não apenas reduziu drasticamente nossos custos de infraestrutura; deu à nossa equipe de engenharia a confiança de que a busca escalará com o nosso negócio, em vez de limitá-lo."
— Su-Meng Yong, Líder da Equipe de Engenharia, 123RF
Latência < 50ms alcançada
Após várias iterações de otimização com a equipe da Zilliz, a 123RF reduziu a latência média das consultas de 100ms para 30-50ms — uma melhoria de aproximadamente 50% — mantendo o throughput de nível de produção e as cargas de tráfego diárias.
Indexação com Zero Downtime
Os problemas de queda de nós que prejudicavam o OpenSearch durante a ingestão diária de conteúdo desapareceram completamente. Anteriormente, a equipe não conseguia indexar novas imagens no cluster com rapidez suficiente sem degradar o desempenho da busca para usuários ativos. Usando a capacidade de importação em massa da Zilliz Cloud, a equipe agora indexa milhões a dezenas de milhões de novas linhas em poucas horas — sem impacto no desempenho das consultas. Um pipeline automatizado diário converte o conteúdo de stock recém-enviado em embeddings e os ingere no cluster, mantendo o índice de busca atualizado sem intervenção manual.
Liberdade Operacional
Como um serviço totalmente gerenciado, a Zilliz Cloud eliminou o fardo de gerenciamento do cluster que consumia o tempo da equipe de DevOps. A equipe de engenharia deixou de apagar incêndios de infraestrutura para criar recursos de produto.
"Isso realmente poupa muito tempo tanto da minha equipe quanto dos desenvolvedores, evitando que tenham que lidar com muitos problemas, muito autogerenciamento do cluster." — — Su-Meng Yong, Líder da Equipe de Engenharia, 123RF
O Que Vem a Seguir
Com a busca de imagens totalmente migrada e estável, a 123RF planeja levar seus fluxos de trabalho de busca de vídeo e áudio para a Zilliz Cloud. A equipe também está aberta a explorar integrações com LangChain ou LlamaIndex no futuro para ampliar as capacidades de busca de sua plataforma.
- Sobre a 123RF
- O Desafio
- Por que Zilliz Cloud
- A Solução
- Resultados e Benefícios
- O Que Vem a Seguir
Conteúdo
Indústria
Media
Tecnologia utilizada
The fully managed version really saves both my team and the developers a lot of time from having to deal with a lot of problems, a lot of self-managing of the cluster. And regarding latency — we went from an initial 100 milliseconds to now sub 30 to 50 milliseconds, a roughly 50% reduction while being able to maintain production throughput.
Su-Meng Yong