A Shopee revoluciona o seu negócio multimédia com a Milvus
> 100M
armazenamento e pesquisa de vectores de incorporação
Integração perfeita
com vários sistemas internos e pilhas de tecnologia
Recuperação de dados em tempo real melhorada
com latência reduzida e maior disponibilidade do sistema
Milvus has dramatically facilitated the MMU team in building various business systems and effectively supports our rapid business growth. Thanks to the Milvus team for developing such a fantastic vector database with stable vector search capabilities and rich functionalities.
The MMU team
Sobre a Shopee
A Shopee é uma plataforma de comércio eletrónico líder no Sudeste Asiático e na América Latina, fazendo a ponte entre compradores e vendedores de diversos produtos. Com a sua interface de fácil utilização, opções de pagamento seguras e uma extensa gama de produtos, a Shopee proporciona a milhões de utilizadores regionais uma experiência de compras online sem problemas, tornando-a a sua principal escolha.
A Shopee lançou o seu negócio de Compreensão Multimédia (MMU) para competir com os gigantes dos vídeos curtos, como o TikTok, e impedir que estes lhe roubem quota de mercado no comércio eletrónico. Como parte da atividade MMU, a Shopee lançou os seus serviços de vídeos curtos, incluindo uma funcionalidade semelhante à do TikTok chamada Shopee video e uma aplicação de vídeos curtos.
O desafio: Falta de um motor de pesquisa vetorial robusto para grandes volumes de dados não estruturados
No empreendimento multimédia em expansão da Shopee, o afluxo de grandes quantidades de dados não estruturados, incluindo vídeos, imagens, áudio e texto, representou um desafio significativo e revelou-se assustador para as bases de dados tradicionais. Para obter eficazmente informações acionáveis a partir destes dados, a equipa da Shopee utilizou ferramentas de incorporação para transformar dados não estruturados em vectores de incorporação, mas ainda precisava urgentemente de um sistema de base de dados de vectores robusto para armazenar esses vectores e pesquisá-los rapidamente.
Os vários sistemas internos da Shopee, incluindo sistemas de recuperação de vídeo, sistemas de deduplicação de vídeo e recomendações de vídeo, complicaram ainda mais o cenário. Estes sistemas foram meticulosamente concebidos para gerir e melhorar a atividade multimédia da Shopee. Estes sistemas internos foram criados com diferentes tecnologias e dependiam fortemente das capacidades de pesquisa vetorial. Por conseguinte, a Shopee necessitava de um motor de pesquisa vetorial robusto que se integrasse perfeitamente nestes sistemas e em várias pilhas tecnológicas.
A solução: Criar um motor de pesquisa vetorial utilizando o Milvus
A equipa da MMU explorou rigorosamente vários motores de pesquisa vetorial de código aberto para encontrar uma solução robusta. Após uma extensa pesquisa, o Milvus surgiu como a solução perfeita. O Milvus consegue lidar com milhares de milhões de vectores e escalar rapidamente à medida que o volume de dados aumenta. A arquitetura nativa da nuvem da Milvus integrou-se perfeitamente no ecossistema interno da Shopee, permitindo a rápida configuração de sistemas de recuperação de vectores a partir do zero. As suas ofertas ricas em funcionalidades, incluindo o processamento distribuído, o suporte de GPU, as actualizações incrementais e o suporte escalar, responderam de forma abrangente aos requisitos multifacetados da Shopee. Após uma análise cuidadosa, a equipa selecionou o Milvus como a base do seu motor de pesquisa vetorial para construir os seus sistemas de pesquisa vetorial de raiz.
Um motor de pesquisa construído com o Milvus 1.x: Eficiente, mas com alta latência à medida que os dados aumentam
A equipa MUU da Shopee implementou inicialmente o Milvus 1.x, empregando uma solução distribuída utilizando o Milvus 1.1 e o Mishards. Esta solução eficiente podia resolver os problemas da Shopee no armazenamento e pesquisa de grandes quantidades de vectores. No entanto, surgiram desafios à medida que o negócio da Shopee crescia com o aumento rápido de dados e pedidos. A estratégia de fragmentação padrão do Mishards ocasionalmente levava a uma distribuição desigual de segmentos entre nós somente leitura, causando latência. A solução veio com a implantação de vários conjuntos de clusters Mishards, compartilhando bancos de dados e buckets S3.
Milvus 2.x: Uma mudança de jogo que traz escalabilidade aprimorada e latência reduzida
Embora o motor de busca criado com o Milvus 1.x fosse eficaz, esta abordagem implicava custos significativos de implementação e manutenção, o que levou a equipa a explorar métodos de implementação mais eficientes.
Com a introdução do Milvus 2.x, os sistemas da Shopee passaram por uma mudança transformadora. A estabilidade melhorada, a escalabilidade e a capacidade de multi-replicação do Milvus 2.x revelaram-se revolucionárias. Estas melhorias reforçaram os serviços de recuperação em tempo real, garantindo uma baixa latência e uma elevada disponibilidade. A arquitetura nativa da nuvem do Milvus 2.x introduziu funcionalidades de registo e monitorização de baixo custo, dando início a uma era de soluções mais fáceis de utilizar e mais eficientes para a Shopee.
Arquitetura do Milvus 2.x
Milvus capacitando vários sistemas de negócios
As capacidades de pesquisa em tempo real do Shopee atingiram novos patamares com a integração do Milvus. O sistema de recolha de vídeos é um excelente exemplo desta melhoria. A Milvus incorporou sem problemas a recolha instantânea de vídeos nos sistemas de recomendação de vídeos da Shopee, o que melhorou a experiência do utilizador para milhões de pessoas em todo o mundo. A Milvus também tornou muito mais eficiente a recuperação de dados offline, que é crucial para a correspondência de vídeos com direitos de autor e a deduplicação de vídeos. A Milvus é fundamental para o reconhecimento de conteúdos originais e para a identificação de vídeos duplicados, assegurando que os conteúdos permanecem frescos e originais e aumentando a satisfação do utilizador.
Sistema de recuperação de vídeo: Melhorar a recomendação de vídeos
O sistema de recolha de vídeos do Shopee utiliza o Milvus como pedra angular no processo de recomendação de vídeos. Quando um utilizador procura um vídeo, a empresa solicita acesso ao Milvus para obter os candidatos Top-K mais semelhantes. Estes resultados são refinados através de algoritmos de pós-classificação antes de serem devolvidos ao utilizador.
Arquitetura do sistema de recuperação de vídeos utilizando Milvus 1.x
Inicialmente, a Shopee utilizou as versões 1.x do Milvus para construir o sistema de recordação de vídeo. No entanto, à medida que o sistema se expandia, enfrentou desafios de latência. Para resolver este problema, a Shopee introduziu um mecanismo de cache para armazenar actualizações Top-K e backend. A atualização para o Milvus 2.x simplificou a arquitetura e as operações do sistema, permitindo capacidades de recolha direta de Top-K através das robustas interfaces distribuídas do Milvus e melhorando o desempenho do sistema.
Arquitetura do sistema de recolha de vídeo utilizando Milvus 2.x
Sistema de correspondência de direitos autorais: Melhor experiência do utilizador e integridade do sistema
Os serviços de vídeos curtos da Shopee tornaram-se cada vez mais populares, resultando num grande número de vídeos criados e carregados na sua plataforma. Para manter uma excelente experiência de utilizador e proteger os direitos de autor dos criadores de vídeos, a Shopee implementou um sistema de correspondência de direitos de autor utilizando o Milvus. Todas as caraterísticas dos vídeos lançados são transformadas em vectores e armazenadas no Milvus, e todos os vídeos recentemente carregados são comparados com os que se encontram no Milvus através de pesquisas de semelhança.
Arquitetura do sistema de correspondência de direitos de autor
O método inclui quatro módulos essenciais: pré-processamento, extração de caraterísticas, ordenação de resultados e nova análise. Estes módulos trabalham em conjunto para identificar com precisão conteúdos duplicados ou roubados, garantindo a integridade e fiabilidade do sistema.
Sistema de deduplicação de vídeo: Aumentar o valor para o utilizador
O sistema de deduplicação de vídeo foi concebido para eliminar conteúdo redundante da plataforma de vídeo da Shopee. Tal como o sistema de correspondência de direitos de autor do Shopee, o sistema de deduplicação utiliza o Milvus para armazenar vectores de incorporação transformados a partir de caraterísticas de vídeo. O sistema identifica e elimina eficazmente os vídeos duplicados, procurando no Milvus os resultados Top-K que são mais semelhantes a uma parte específica. Para além da pesquisa de semelhanças Top-K, o sistema envolve outras técnicas de processamento, como a pesquisa de dados em lote, a pós-classificação, o agrupamento e a atribuição de impressões digitais. No final, o Milvus armazena todos estes resultados, fornecendo informações valiosas a várias unidades de negócio.
Arquitetura do Sistema de Deduplicação de Vídeo](https://assets.zilliz.com/Video_Deduplication_System_Architecture_e72edcac2a.png)
O caminho a seguir
A colaboração da Shopee com a Milvus é um testemunho do poder da inovação na definição do futuro do comércio eletrónico. A Milvus capacitou o negócio multimédia da Shopee, equipando-o com as ferramentas necessárias para desvendar as complexidades da compreensão multimédia. Olhando para o futuro, a Shopee prevê a evolução do Milvus para responder a exigências de IA cada vez mais sofisticadas. Com a Milvus como parceiro constante, a Shopee antecipa um futuro em que a compreensão multimédia se integra perfeitamente na experiência do utilizador, abrindo novos caminhos no comércio eletrónico.
*Este post foi escrito pela equipa da Shopee MMU e foi editado e publicado aqui com permissão.
- Sobre a Shopee
- O desafio: Falta de um motor de pesquisa vetorial robusto para grandes volumes de dados não estruturados
- A solução: Criar um motor de pesquisa vetorial utilizando o Milvus
- Um motor de pesquisa construído com o Milvus 1.x: Eficiente, mas com alta latência à medida que os dados aumentam
- Milvus 2.x: Uma mudança de jogo que traz escalabilidade aprimorada e latência reduzida
- Milvus capacitando vários sistemas de negócios
- O caminho a seguir
Conteúdo
Indústria
Comércio eletrónico