Como a Sohu aprimora a recomendação personalizada de notícias com Milvus
No mundo acelerado dos serviços de Internet, manter-se à frente das expectativas dos usuários é crucial. A Sohu, uma empresa listada na NASDAQ, reconheceu essa necessidade e reformulou seu sistema de recomendação de notícias por meio de uma colaboração estratégica com o Milvus, um banco de dados vetorial de código aberto. Este blog explora os desafios enfrentados pela Sohu News (um braço principal da Sohu), as soluções inovadoras implementadas e o impacto transformador que o Milvus teve no sistema de recomendação da Sohu News.
As dores de cabeça da Sohu na entrega de notícias
Apesar de reconhecer a importância de se manter à frente, a Sohu News se viu limitada por uma pilha legada de busca vetorial desatualizada e ineficiente em seu sistema de recomendação. Essa pilha desatualizada impedia a recuperação rápida de vetores e tinha dificuldade para escalar de forma fluida com o volume crescente de dados de notícias, resultando em uma incapacidade de entregar notícias personalizadas em tempo real aos usuários. Para complicar ainda mais, havia a classificação de artigos de notícias de texto curto, conhecidos por suas informações limitadas. O sistema existente enfrentava dificuldades para categorizar com precisão esses trechos concisos, levando a classificações incorretas frequentes.
Reconhecendo a necessidade de uma solução robusta para lidar com grandes conjuntos de dados, fornecer recomendações precisas e aprimorar a classificação de notícias de texto curto, a equipe da Sohu News começou a buscar uma abordagem inovadora para posicioná-los como líderes na entrega de notícias.
O banco de dados vetorial Milvus vem ao resgate
O Milvus, conhecido por seu desempenho extremamente rápido e alta taxa de recall, mostrou-se a solução ideal para lidar com enormes quantidades de dados não estruturados. Com suporte para vários índices, incluindo FLAT, HNSW e ScaNN, o Milvus ofereceu a flexibilidade para equilibrar precisão, desempenho e custo. Após uma avaliação cuidadosa, a equipe da Sohu News escolheu o Milvus para criar o mecanismo de busca vetorial para seu sistema de recomendação.
Integração do Milvus com o sistema de recomendação de notícias da Sohu
A Sohu News incorpora o Milvus de forma fluida ao seu sistema de recomendação e emprega uma estrutura de duas torres dentro do mecanismo de busca vetorial alimentado pelo Milvus. Cada torre representa os vetores semânticos das preferências dos usuários e dos artigos de notícias.
Os artigos de notícias foram transformados em vetores usando o modelo BERT-as-service e armazenados no banco de dados vetorial Milvus. Simultaneamente, os perfis de usuários, compostos por tags rotuladas e palavras-chave do histórico de navegação, consultas de pesquisa e interesses, também foram convertidos em vetores. Em seguida, o Milvus calcula a similaridade de cosseno entre os vetores de usuários e artigos e gera resultados Top-K em um pool de recomendações, priorizando e entregando artigos com base nas taxas estimadas de cliques (CTR).
Resolvendo classificações incorretas de notícias curtas com o Milvus
Artigos de notícias de texto curto contêm informações limitadas, portanto o sistema os pré-classifica antes de realizar buscas semânticas vetoriais. O Milvus é crucial para identificar e corrigir notícias curtas classificadas incorretamente, aprimorando a precisão da classificação. O processo envolve converter artigos de notícias longos e breves em vetores usando o modelo de embedding BERT-as-service, armazená-los no Milvus e calcular a similaridade de cosseno entre os dois tipos de vetores. Em seguida, o Milvus retorna os 20 principais artigos de notícias longos com a maior similaridade de cosseno.
A análise subsequente examina as categorias desses 20 artigos de notícias longos mais semanticamente semelhantes à notícia curta consultada. Suponha que mais de 18 desses artigos compartilhem uma categoria consistente, mas desviem da categoria atribuída à notícia curta consultada. Nesse caso, isso sinaliza um possível erro na classificação da categoria da notícia breve. A equipe corrige prontamente esses erros, resultando em uma taxa de precisão de classificação superior a 95% e destacando a eficácia do Milvus nesse processo.
Impacto transformador no sistema de recomendação da Sohu News
A colaboração da Sohu com a Milvus gerou resultados impressionantes. O sistema de recomendação alcançou uma velocidade de recuperação vetorial 10 vezes mais rápida e melhorou significativamente a precisão das recomendações. O suporte da Milvus a índices convencionais e seu consumo eficiente de memória se alinharam perfeitamente às necessidades operacionais da Sohu, garantindo uma experiência do usuário mais personalizada e envolvente.
Conclusão
A colaboração entre a Sohu e a Milvus é um testemunho do poder transformador da tecnologia avançada de busca vetorial. Ao enfrentar os desafios da velocidade de recuperação vetorial, da precisão das recomendações e da classificação de notícias de texto curto, a Milvus impulsionou o Sohu News para uma nova era de inovação, oferecendo aos usuários uma experiência de notícias mais personalizada e envolvente.
Continue lendo
We spent 8 years making vector databases faster. Then we stopped.
Rarely queried embeddings still need to stay searchable. See how Vector Lakebase enables on-demand vector search without always-on compute costs.
Legal Document Analysis: Harnessing Zilliz Cloud's Semantic Search and RAG for Legal Insights
Enhance legal document analysis with Zilliz Cloud’s Semantic Search and RAG. Improve accuracy, efficiency, and scalability for contracts, case law, and compliance.
AI Integration in Video Surveillance Tools: Transforming the Industry with Vector Databases
Discover how AI and vector databases are revolutionizing video surveillance with real-time analysis, faster threat detection, and intelligent search capabilities for enhanced security.