Otimizando a Experiência do Usuário: BIGO Utiliza Milvus para Remoção de Vídeos Duplicados
As plataformas de compartilhamento de vídeos curtos tornaram-se parte integrante de nossas vidas diárias. Likee, uma plataforma global de vídeos curtos pertencente à BIGO, recebe milhões de uploads de vídeos curtos diariamente. No entanto, com o enorme número de novos vídeos todos os dias, o problema de vídeos duplicados representa uma ameaça à qualidade do conteúdo e à experiência geral do usuário. Para enfrentar esse problema, a BIGO usou o Milvus, um banco de dados vetorial de código aberto, para transformar seu sistema de deduplicação de vídeos.
Neste post, discutiremos os desafios específicos enfrentados pela BIGO, por que a empresa escolheu o banco de dados vetorial Milvus para alimentar seu sistema de deduplicação de vídeos e como o Milvus veio em seu auxílio.
O aumento de vídeos duplicados leva a uma experiência ruim para o usuário
Com uma base de usuários impressionante que ultrapassa 400 milhões, o Likee testemunha milhões de novos uploads de vídeos diariamente. No entanto, a proliferação de novos conteúdos vem com seu próprio conjunto de desafios, particularmente na forma de vídeos duplicados. Esse aumento ameaça a manutenção de recomendações de conteúdo de alta qualidade e experiências amigáveis para o usuário, além de levantar preocupações sobre possíveis violações dos direitos de propriedade intelectual de outros criadores.
No passado, o Likee abordou esse problema empregando o FAISS, uma biblioteca de busca por similaridade e clustering. Embora eficaz inicialmente, o FAISS revelou limitações quando confrontado com a tarefa monumental de gerenciar e armazenar vetores massivos. Essa limitação levou a respostas de consulta lentas e throughput limitado. Portanto, a equipe do Likee embarcou em uma busca por uma tecnologia mais eficiente, capaz de identificar e eliminar rapidamente o número crescente de vídeos duplicados.
Milvus: um catalisador de mudança
O Likee recorreu ao Milvus, um banco de dados vetorial de código aberto projetado para armazenar, indexar e consultar vetores de embedding em escala de bilhões, na busca por uma solução mais eficiente. O impacto foi nada menos que revolucionário. O Milvus injetou capacidades de busca por similaridade ultrarrápidas no sistema de deduplicação do Likee, concluindo buscas de vídeos duplicados em menos de 200 milissegundos, mantendo uma alta taxa de recall. O Likee também se beneficiou da escalabilidade do Milvus, resultando em throughput aprimorado de consultas vetoriais e maior eficiência de trabalho.
Enfrentando os vídeos duplicados do Likee com o Milvus
A transformação do sistema de deduplicação do Likee é fascinante. Vídeos recém-enviados passam por uma transformação meticulosa: são fatiados em frames, convertidos em vetores de características e então combinados de forma intrincada com um extenso banco de dados que abriga mais de 700 milhões de vetores correspondentes a conteúdo preexistente. Esse processo intrincado é uma coreografia de tecnologias de ponta que envolve armazenar vídeos no Kafka, converter vídeos em embeddings vetoriais por meio de modelos de deep learning, indexar embeddings com o Milvus e armazenar resultados recuperados no Ceph. Para melhor correspondência de vídeos, os IDs de vídeos correspondentes aos embeddings vetoriais são gerenciados no TiDB ou Pika, dois bancos de dados relacionais.
A arquitetura do sistema de deduplicação do Likee
Potencializando a busca por similaridade do Likee com o Milvus
O Milvus traz um novo nível de eficiência ao processo de busca por similaridade do Likee. O Milvus recupera os 100 principais vetores semelhantes a cada vetor de características de um novo vídeo realizando uma busca em lote. Em seguida, o sistema identifica e remove vídeos duplicados comparando IDs de vídeos, recuperando os vetores de características dos vídeos restantes e pontuando a similaridade entre os vetores de características dos vídeos recuperados e da consulta.
Como o Milvus ajuda a busca por similaridade do Likee
Rumo a um horizonte colaborativo
O sucesso do Milvus em refinar o sistema de deduplicação de vídeos do Likee prepara o terreno para colaborações mais amplas entre a BIGO e o Milvus. Xinyang Guo, Engenheiro de Software na BIGO, vislumbra estender a capacidade do Milvus para moderação de conteúdo, restrição e serviços de vídeo personalizados. A sinergia entre a BIGO e o Milvus promete uma jornada mutuamente benéfica, com ambas as entidades preparadas para crescimento e prosperidade sustentados.
Em conclusão, o Milvus emerge como a força motriz que impulsiona o Likee da BIGO para uma nova era de eficiência e satisfação do usuário. À medida que a parceria evolui, a história de sucesso do Milvus na solução de desafios complexos exemplifica o potencial das tecnologias de código aberto para navegar e conquistar as complexidades do cenário digital.
Continue lendo
How to Choose the Best Embedding Model for RAG in 2026: 10 Models Benchmarked
We benchmarked 10 embedding models on cross-modal, cross-lingual, long-document, and dimension compression tasks. See which one fits your RAG pipeline.
Why Deepseek is Waking up AI Giants Like OpenAI And Why You Should Care
Discover how DeepSeek R1's open-source AI model with superior reasoning capabilities and lower costs is disrupting the AI landscape and challenging tech giants like OpenAI.
DeepRAG: Thinking to Retrieval Step by Step for Large Language Models
Discover DeepRAG, an advanced retrieval-augmented generation (RAG) model that improves LLM accuracy by retrieving only essential data through step-by-step reasoning.