Otimizando a Experiência do Usuário: BIGO Utiliza Milvus para Remoção de Vídeos Duplicados
As plataformas de compartilhamento de vídeos curtos tornaram-se parte integrante de nossas vidas diárias. Likee, uma plataforma global de vídeos curtos pertencente à BIGO, recebe milhões de uploads de vídeos curtos diariamente. No entanto, com o enorme número de novos vídeos todos os dias, o problema de vídeos duplicados representa uma ameaça à qualidade do conteúdo e à experiência geral do usuário. Para enfrentar esse problema, a BIGO usou o Milvus, um banco de dados vetorial de código aberto, para transformar seu sistema de deduplicação de vídeos.
Neste post, discutiremos os desafios específicos enfrentados pela BIGO, por que a empresa escolheu o banco de dados vetorial Milvus para alimentar seu sistema de deduplicação de vídeos e como o Milvus veio em seu auxílio.
O aumento de vídeos duplicados leva a uma experiência ruim para o usuário
Com uma base de usuários impressionante que ultrapassa 400 milhões, o Likee testemunha milhões de novos uploads de vídeos diariamente. No entanto, a proliferação de novos conteúdos vem com seu próprio conjunto de desafios, particularmente na forma de vídeos duplicados. Esse aumento ameaça a manutenção de recomendações de conteúdo de alta qualidade e experiências amigáveis para o usuário, além de levantar preocupações sobre possíveis violações dos direitos de propriedade intelectual de outros criadores.
No passado, o Likee abordou esse problema empregando o FAISS, uma biblioteca de busca por similaridade e clustering. Embora eficaz inicialmente, o FAISS revelou limitações quando confrontado com a tarefa monumental de gerenciar e armazenar vetores massivos. Essa limitação levou a respostas de consulta lentas e throughput limitado. Portanto, a equipe do Likee embarcou em uma busca por uma tecnologia mais eficiente, capaz de identificar e eliminar rapidamente o número crescente de vídeos duplicados.
Milvus: um catalisador de mudança
O Likee recorreu ao Milvus, um banco de dados vetorial de código aberto projetado para armazenar, indexar e consultar vetores de embedding em escala de bilhões, na busca por uma solução mais eficiente. O impacto foi nada menos que revolucionário. O Milvus injetou capacidades de busca por similaridade ultrarrápidas no sistema de deduplicação do Likee, concluindo buscas de vídeos duplicados em menos de 200 milissegundos, mantendo uma alta taxa de recall. O Likee também se beneficiou da escalabilidade do Milvus, resultando em throughput aprimorado de consultas vetoriais e maior eficiência de trabalho.
Enfrentando os vídeos duplicados do Likee com o Milvus
A transformação do sistema de deduplicação do Likee é fascinante. Vídeos recém-enviados passam por uma transformação meticulosa: são fatiados em frames, convertidos em vetores de características e então combinados de forma intrincada com um extenso banco de dados que abriga mais de 700 milhões de vetores correspondentes a conteúdo preexistente. Esse processo intrincado é uma coreografia de tecnologias de ponta que envolve armazenar vídeos no Kafka, converter vídeos em embeddings vetoriais por meio de modelos de deep learning, indexar embeddings com o Milvus e armazenar resultados recuperados no Ceph. Para melhor correspondência de vídeos, os IDs de vídeos correspondentes aos embeddings vetoriais são gerenciados no TiDB ou Pika, dois bancos de dados relacionais.
A arquitetura do sistema de deduplicação do Likee
Potencializando a busca por similaridade do Likee com o Milvus
O Milvus traz um novo nível de eficiência ao processo de busca por similaridade do Likee. O Milvus recupera os 100 principais vetores semelhantes a cada vetor de características de um novo vídeo realizando uma busca em lote. Em seguida, o sistema identifica e remove vídeos duplicados comparando IDs de vídeos, recuperando os vetores de características dos vídeos restantes e pontuando a similaridade entre os vetores de características dos vídeos recuperados e da consulta.
Como o Milvus ajuda a busca por similaridade do Likee
Rumo a um horizonte colaborativo
O sucesso do Milvus em refinar o sistema de deduplicação de vídeos do Likee prepara o terreno para colaborações mais amplas entre a BIGO e o Milvus. Xinyang Guo, Engenheiro de Software na BIGO, vislumbra estender a capacidade do Milvus para moderação de conteúdo, restrição e serviços de vídeo personalizados. A sinergia entre a BIGO e o Milvus promete uma jornada mutuamente benéfica, com ambas as entidades preparadas para crescimento e prosperidade sustentados.
Em conclusão, o Milvus emerge como a força motriz que impulsiona o Likee da BIGO para uma nova era de eficiência e satisfação do usuário. À medida que a parceria evolui, a história de sucesso do Milvus na solução de desafios complexos exemplifica o potencial das tecnologias de código aberto para navegar e conquistar as complexidades do cenário digital.
Continue lendo
Expanding Our Global Reach: Zilliz Cloud Launches in Azure Central India
Zilliz Cloud expands to Azure Central India. This new region helps customers meet compliance, reduce latency, and optimize cloud costs when building AI applications.
Zilliz Cloud Introduces Advanced BYOC-I Solution for Ultimate Enterprise Data Sovereignty
Explore Zilliz Cloud BYOC-I, the solution that balances AI innovation with data control, enabling secure deployments in finance, healthcare, and education sectors.
Vector Databases vs. Graph Databases
Use a vector database for AI-powered similarity search; use a graph database for complex relationship-based queries and network analysis.