Moldando o Amanhã: Como o Milvus Impulsiona a Ambição Multimídia da Shopee
No mundo do e-commerce, manter-se à frente exige mais do que apenas uma interface amigável e uma ampla variedade de produtos. Shopee, uma plataforma líder no Sudeste Asiático e na América Latina, compreendeu o cenário em evolução e embarcou em uma jornada inovadora para transformar seu negócio de Compreensão Multimídia (MMU). Para competir com gigantes de vídeos curtos como o TikTok e proteger sua participação no mercado de e-commerce, a Shopee se aventurou no mundo dos serviços de vídeos curtos. Neste blog, vamos nos aprofundar nos desafios enfrentados pela Shoppee durante esse processo e em como o Milvus ajudou o negócio multimídia da Shopee.
O dilema de dados da Shopee
À medida que a Shopee mergulhava no mundo multimídia, enfrentou um desafio significativo – lidar com enormes quantidades de dados não estruturados, incluindo vídeos, imagens, áudio e texto. Os bancos de dados relacionais que a Shopee usava anteriormente tinham dificuldade com a complexidade de todos os dados não estruturados, levando a equipe a explorar uma stack tecnológica robusta que pudesse armazenar, processar, pesquisar e aproveitar esses dados com eficiência. bancos de dados vetoriais são uma das partes mais importantes dessa exploração.
Somando-se à complexidade estavam os sistemas internos da Shopee – recall de vídeos, deduplicação de vídeos e recomendações de vídeos – cada um criado com tecnologias diferentes e dependendo fortemente de capacidades de busca vetorial. A Shopee precisava de uma solução perfeitamente integrada a esses sistemas e a várias stacks tecnológicas.
Milvus surge como a opção perfeita
Depois de explorar minuciosamente as opções disponíveis, o Milvus se destacou por sua capacidade de lidar com bilhões de vetores, escalabilidade e integração perfeita com o ecossistema interno da Shopee. O Milvus oferecia uma arquitetura cloud-native, facilitando a configuração de sistemas de recuperação vetorial do zero.
A equipe da Shopee também adorou a rica oferta de recursos do Milvus, incluindo processamento distribuído, suporte a GPU, atualizações incrementais e suporte escalar, tornando-o uma escolha ideal para construir um mecanismo de busca vetorial altamente escalável e performático.
A migração do Milvus 1.x para o Milvus 2.x
A jornada da Shopee com o Milvus passou por uma migração da versão 1.x para a 2.x. Inicialmente eficiente, a versão 1.x enfrentou desafios à medida que o negócio da Shopee escalava. Problemas de latência surgiram devido à distribuição desigual de segmentos entre nós somente leitura. A migração para o Milvus 2.x marcou um ponto de virada.
A estabilidade, a escalabilidade e os recursos multi-réplica aprimorados nas versões Milvus 2.x resultaram em serviços de recuperação de baixa latência e alta disponibilidade. A arquitetura cloud-native das versões Milvus 2.x introduziu recursos econômicos de logging e monitoramento, simplificando as operações da Shopee.
O uso do Milvus também elevou as capacidades de busca em tempo real da Shopee a níveis sem precedentes. Uma ilustração marcante desse aprimoramento é evidente no sistema de recall de vídeos. O Milvus integra perfeitamente o recall instantâneo de vídeos aos sistemas de recomendação de vídeos da Shopee, contribuindo para uma melhor experiência do usuário para milhões de pessoas em todo o mundo. Além disso, o Milvus simplificou significativamente a recuperação de dados offline, um aspecto crítico para processos de correspondência de vídeos por direitos autorais e deduplicação de vídeos. Seu papel no reconhecimento de conteúdo original e na identificação de vídeos duplicados garante que o conteúdo mantenha sua atualidade e autenticidade, aumentando, em última análise, a satisfação do usuário.
Agora, a Shopee está usando o Milvus 2.2 em produção e está considerando atualizar para as versões mais recentes para obter desempenho aprimorado e recursos mais ricos, como Mmap, indexação por GPU e busca por intervalo.
Moldando o futuro do e-commerce com Milvus
Com o Milvus, a Shopee vislumbra um futuro em que a compreensão multimídia se integra perfeitamente à experiência do usuário, abrindo novos caminhos no e-commerce. À medida que a Shopee continua a evoluir, o Milvus permanece um parceiro próximo, pronto para atender a demandas de IA cada vez mais sofisticadas.
Continue lendo
Announcing the General Availability of Zilliz Cloud BYOC on Google Cloud Platform
Zilliz Cloud BYOC on GCP offers enterprise vector search with full data sovereignty and seamless integration.
Why AI Databases Don't Need SQL
Whether you like it or not, here's the truth: SQL is destined for decline in the era of AI.
Selecting the Right ETL Tools for Unstructured Data to Prepare for AI
Learn the right ETL tools for unstructured data to power AI. Explore key challenges, tool comparisons, and integrations with Milvus for vector search.