Como a Sohu aprimora a recomendação personalizada de notícias com Milvus
No mundo acelerado dos serviços de Internet, manter-se à frente das expectativas dos usuários é crucial. A Sohu, uma empresa listada na NASDAQ, reconheceu essa necessidade e reformulou seu sistema de recomendação de notícias por meio de uma colaboração estratégica com o Milvus, um banco de dados vetorial de código aberto. Este blog explora os desafios enfrentados pela Sohu News (um braço principal da Sohu), as soluções inovadoras implementadas e o impacto transformador que o Milvus teve no sistema de recomendação da Sohu News.
As dores de cabeça da Sohu na entrega de notícias
Apesar de reconhecer a importância de se manter à frente, a Sohu News se viu limitada por uma pilha legada de busca vetorial desatualizada e ineficiente em seu sistema de recomendação. Essa pilha desatualizada impedia a recuperação rápida de vetores e tinha dificuldade para escalar de forma fluida com o volume crescente de dados de notícias, resultando em uma incapacidade de entregar notícias personalizadas em tempo real aos usuários. Para complicar ainda mais, havia a classificação de artigos de notícias de texto curto, conhecidos por suas informações limitadas. O sistema existente enfrentava dificuldades para categorizar com precisão esses trechos concisos, levando a classificações incorretas frequentes.
Reconhecendo a necessidade de uma solução robusta para lidar com grandes conjuntos de dados, fornecer recomendações precisas e aprimorar a classificação de notícias de texto curto, a equipe da Sohu News começou a buscar uma abordagem inovadora para posicioná-los como líderes na entrega de notícias.
O banco de dados vetorial Milvus vem ao resgate
O Milvus, conhecido por seu desempenho extremamente rápido e alta taxa de recall, mostrou-se a solução ideal para lidar com enormes quantidades de dados não estruturados. Com suporte para vários índices, incluindo FLAT, HNSW e ScaNN, o Milvus ofereceu a flexibilidade para equilibrar precisão, desempenho e custo. Após uma avaliação cuidadosa, a equipe da Sohu News escolheu o Milvus para criar o mecanismo de busca vetorial para seu sistema de recomendação.
Integração do Milvus com o sistema de recomendação de notícias da Sohu
A Sohu News incorpora o Milvus de forma fluida ao seu sistema de recomendação e emprega uma estrutura de duas torres dentro do mecanismo de busca vetorial alimentado pelo Milvus. Cada torre representa os vetores semânticos das preferências dos usuários e dos artigos de notícias.
Os artigos de notícias foram transformados em vetores usando o modelo BERT-as-service e armazenados no banco de dados vetorial Milvus. Simultaneamente, os perfis de usuários, compostos por tags rotuladas e palavras-chave do histórico de navegação, consultas de pesquisa e interesses, também foram convertidos em vetores. Em seguida, o Milvus calcula a similaridade de cosseno entre os vetores de usuários e artigos e gera resultados Top-K em um pool de recomendações, priorizando e entregando artigos com base nas taxas estimadas de cliques (CTR).
Resolvendo classificações incorretas de notícias curtas com o Milvus
Artigos de notícias de texto curto contêm informações limitadas, portanto o sistema os pré-classifica antes de realizar buscas semânticas vetoriais. O Milvus é crucial para identificar e corrigir notícias curtas classificadas incorretamente, aprimorando a precisão da classificação. O processo envolve converter artigos de notícias longos e breves em vetores usando o modelo de embedding BERT-as-service, armazená-los no Milvus e calcular a similaridade de cosseno entre os dois tipos de vetores. Em seguida, o Milvus retorna os 20 principais artigos de notícias longos com a maior similaridade de cosseno.
A análise subsequente examina as categorias desses 20 artigos de notícias longos mais semanticamente semelhantes à notícia curta consultada. Suponha que mais de 18 desses artigos compartilhem uma categoria consistente, mas desviem da categoria atribuída à notícia curta consultada. Nesse caso, isso sinaliza um possível erro na classificação da categoria da notícia breve. A equipe corrige prontamente esses erros, resultando em uma taxa de precisão de classificação superior a 95% e destacando a eficácia do Milvus nesse processo.
Impacto transformador no sistema de recomendação da Sohu News
A colaboração da Sohu com a Milvus gerou resultados impressionantes. O sistema de recomendação alcançou uma velocidade de recuperação vetorial 10 vezes mais rápida e melhorou significativamente a precisão das recomendações. O suporte da Milvus a índices convencionais e seu consumo eficiente de memória se alinharam perfeitamente às necessidades operacionais da Sohu, garantindo uma experiência do usuário mais personalizada e envolvente.
Conclusão
A colaboração entre a Sohu e a Milvus é um testemunho do poder transformador da tecnologia avançada de busca vetorial. Ao enfrentar os desafios da velocidade de recuperação vetorial, da precisão das recomendações e da classificação de notícias de texto curto, a Milvus impulsionou o Sohu News para uma nova era de inovação, oferecendo aos usuários uma experiência de notícias mais personalizada e envolvente.
Continue lendo
Vector Lakebase: End the AI Data Silo
Learn how Vector Lakebase unifies vector search, data lakes, and AI data operations so teams can serve RAG and agents without copy-and-sync pipelines.
Milvus 2.6.x Now Generally Available on Zilliz Cloud, Making Vector Search Faster, Smarter, and More Cost-Efficient for Production AI
Milvus 2.6.x is now GA on Zilliz Cloud, delivering faster vector search, smarter hybrid queries, and lower costs for production RAG and AI applications.
Democratizing AI: Making Vector Search Powerful and Affordable
Zilliz democratizes AI vector search with Milvus 2.6 and Zilliz Cloud for powerful, affordable scalability, cutting costs in infrastructure, operations, and development.