Creando con Milvus: recomendación de noticias impulsada por IA dentro del navegador móvil de Xiaomi
Desde los feeds de redes sociales hasta las recomendaciones de listas de reproducción en Spotify, la inteligencia artificial ya desempeña un papel importante en el contenido que vemos y con el que interactuamos cada día. En un esfuerzo por diferenciar su navegador web móvil, el fabricante multinacional de productos electrónicos Xiaomi creó un motor de recomendación de noticias impulsado por IA. Milvus, una base de datos vectorial de código abierto creada específicamente para la búsqueda por similitud y la inteligencia artificial, se utilizó como la plataforma principal de gestión de datos de la aplicación. Este artículo explica cómo Xiaomi creó su motor de recomendación de noticias impulsado por IA, y cómo se utilizaron Milvus y otros algoritmos de IA.
Uso de IA para sugerir contenido personalizado y atravesar el ruido informativo
Con solo el New York Times publicando más de 230 piezas de contenido cada día, el enorme volumen de artículos producidos hace imposible que las personas obtengan una visión completa de todas las noticias. Para ayudar a filtrar grandes volúmenes de contenido y recomendar las piezas más relevantes o interesantes, recurrimos cada vez más a la IA. Aunque las recomendaciones siguen estando lejos de ser perfectas, el aprendizaje automático es cada vez más necesario para atravesar el flujo constante de nueva información que sale de nuestro mundo cada vez más complejo e interconectado.
Xiaomi fabrica e invierte en smartphones, aplicaciones móviles, portátiles, electrodomésticos y muchos más productos. En un esfuerzo por diferenciar un navegador móvil que viene preinstalado en muchos de los más de 40 millones de smartphones que la empresa vende cada trimestre, Xiaomi incorporó un sistema de recomendación de noticias en él. Cuando los usuarios inician el navegador móvil de Xiaomi, se utiliza inteligencia artificial para recomendar contenido similar según el historial de búsqueda del usuario, sus intereses y más. Milvus es una base de datos de búsqueda por similitud vectorial de código abierto utilizada para acelerar la recuperación de artículos relacionados.
¿Cómo funciona la recomendación de contenido impulsada por IA?
En esencia, la recomendación de noticias (o cualquier otro tipo de sistema de recomendación de contenido) implica comparar datos de entrada con una base de datos masiva para encontrar información similar. Una recomendación de contenido exitosa implica equilibrar la relevancia con la actualidad, e incorporar de manera eficiente enormes volúmenes de nuevos datos, a menudo en tiempo real.
Para dar cabida a conjuntos de datos masivos, los sistemas de recomendación suelen dividirse en dos etapas:
- Recuperación: Durante la recuperación, el contenido se reduce desde la biblioteca más amplia en función de los intereses y el comportamiento del usuario. En el navegador móvil de Xiaomi, se seleccionan miles de piezas de contenido de un conjunto de datos masivo que contiene millones de artículos de noticias.
- Ordenación: A continuación, el contenido seleccionado durante la recuperación se ordena según ciertos indicadores antes de enviarse al usuario. A medida que los usuarios interactúan con el contenido recomendado, el sistema se adapta en tiempo real para ofrecer sugerencias más relevantes.
Las recomendaciones de contenido de noticias deben hacerse en tiempo real en función del comportamiento del usuario y del contenido publicado recientemente. Además, el contenido sugerido debe coincidir tanto como sea posible con los intereses del usuario y la intención de búsqueda.
Milvus + BERT = sugerencias de contenido inteligentes
Milvus es una base de datos de búsqueda por similitud vectorial de código abierto que puede integrarse con modelos de aprendizaje profundo para impulsar aplicaciones que abarcan el procesamiento del lenguaje natural, la verificación de identidad y mucho más. Milvus indexa grandes conjuntos de datos vectoriales para hacer que la búsqueda sea más eficiente y admite una variedad de frameworks populares de IA para simplificar el proceso de desarrollo de aplicaciones de aprendizaje automático. Estas características hacen que la plataforma sea ideal para almacenar y consultar datos vectoriales, un componente crítico de muchas aplicaciones de aprendizaje automático.
Xiaomi seleccionó Milvus para gestionar datos vectoriales para su sistema inteligente de recomendación de noticias porque es rápido, fiable y requiere una configuración y un mantenimiento mínimos. Sin embargo, Milvus debe combinarse con un algoritmo de IA para crear aplicaciones desplegables. Xiaomi seleccionó BERT, abreviatura de Bidirectional Encoder Representation Transformers, como modelo de representación del lenguaje en su motor de recomendación. BERT puede utilizarse como un modelo general de NLU (comprensión del lenguaje natural) que puede impulsar una serie de diferentes tareas de NLP (procesamiento del lenguaje natural). Sus características clave incluyen:
- El transformador de BERT se utiliza como el marco principal del algoritmo y es capaz de capturar relaciones explícitas e implícitas dentro de las oraciones y entre ellas.
- Objetivos de aprendizaje multitarea, modelado de lenguaje enmascarado (MLM) y predicción de la siguiente oración (NSP).
- BERT funciona mejor con mayores cantidades de datos y puede mejorar otras técnicas de procesamiento del lenguaje natural, como Word2Vec, actuando como una matriz de conversión.
Milvus trabajando con BERT.
La arquitectura de red de BERT utiliza una estructura de transformador multicapa que abandona las redes neuronales tradicionales RNN y CNN. Funciona convirtiendo la distancia entre dos palabras en cualquier posición en una mediante su mecanismo de atención, y resuelve el problema de dependencia que ha persistido en NLP durante algún tiempo.
La arquitectura de red de un transformador en BERT.
La estructura de red de BERT. ‘Trm’ representa la arquitectura de red del transformador representada arriba.
BERT proporciona un modelo simple y uno complejo. Los hiperparámetros correspondientes son los siguientes: BERT BASE: L = 12, H = 768, A = 12, parámetro total 110M; BERT LARGE: L = 24, H = 1024, A = 16, el número total de parámetros es 340M.
En los hiperparámetros anteriores, L representa el número de capas en la red (es decir, el número de bloques Transformer), A representa el número de self-Attention en Multi-Head Attention, y el tamaño del filtro es 4H.
Sistema de recomendación de contenido de Xiaomi
El sistema de recomendación de noticias basado en navegador de Xiaomi se basa en tres componentes clave: vectorización, mapeo de ID y servicio de vecinos más cercanos aproximados (ANN).
La vectorización es un proceso en el que los títulos de los artículos se convierten en vectores de oración generales. El modelo SimBert, basado en BERT, se utiliza en el sistema de recomendación de Xiaomi. SimBert es un modelo de 12 capas con un tamaño oculto de 768. Simbert utiliza el modelo de entrenamiento Chinese L-12_H-768_A-12 para entrenamiento continuo (la tarea de entrenamiento es “metric learning +UniLM”, y ha entrenado 1,17 millones de pasos en una sola TITAN RTX con el optimizador Adam (tasa de aprendizaje 2e-6, tamaño de lote 128). En pocas palabras, este es un modelo BERT optimizado.
Los algoritmos ANN comparan los títulos de artículos vectorizados con toda la biblioteca de noticias almacenada en Milvus, y luego devuelven contenido similar para los usuarios. El mapeo de ID se utiliza para obtener información relevante, como visitas a páginas y clics, para los artículos correspondientes.
Cómo funciona la recomendación de contenido.
Los datos almacenados en Milvus que impulsan el motor de recomendación de noticias de Xiaomi se actualizan constantemente, incluidos artículos adicionales e información de actividad. A medida que el sistema incorpora nuevos datos, los datos antiguos deben depurarse. En este sistema, las actualizaciones completas de datos se realizan durante los primeros T-1 días y las actualizaciones incrementales se realizan en los T días posteriores.
En intervalos definidos, los datos antiguos se eliminan y los datos procesados de los días T-1 se insertan en la colección. Aquí, los datos recién generados se incorporan en tiempo real. Una vez que se insertan los nuevos datos, se realiza una búsqueda de similitud en Milvus. Los artículos recuperados se ordenan nuevamente por tasa de clics y otros factores, y el contenido principal se muestra a los usuarios. En un escenario como este, donde los datos se actualizan con frecuencia y los resultados deben entregarse en tiempo real, la capacidad de Milvus para incorporar y buscar nuevos datos rápidamente permite acelerar drásticamente la recomendación de contenido de noticias en el navegador móvil de Xiaomi.
Milvus mejora la búsqueda de similitud vectorial
Vectorizar datos y luego calcular la similitud entre vectores es la tecnología de recuperación más utilizada. El auge de los motores de búsqueda de similitud vectorial basados en ANN ha mejorado enormemente la eficiencia de los cálculos de similitud vectorial. En comparación con soluciones similares, Milvus ofrece almacenamiento de datos optimizado, abundantes SDK y una versión distribuida que reduce considerablemente la carga de trabajo de crear una capa de recuperación. Además, la activa comunidad de código abierto de Milvus es un recurso poderoso que puede ayudar a responder preguntas y resolver problemas a medida que surgen.
Si deseas obtener más información sobre la búsqueda de similitud vectorial y Milvus, consulta los siguientes recursos:
- Consulta Milvus en Github.
- La búsqueda de similitud vectorial se oculta a plena vista
- Acelerar la búsqueda de similitud en datos realmente grandes con indexación vectorial
Lee otras historias de usuarios para obtener más información sobre cómo crear cosas con Milvus.
Sigue leyendo
3 Easiest Ways to Use Claude Code on Your Mobile Phone
Run Claude Code from your phone with Remote Control, Happy Coder, or SSH + Tailscale. Comparison table, setup steps, and tools for typing, memory, and parallel tasks.
Zilliz Cloud Launches in AWS Australia, Expanding Global Reach to Australia and Neighboring Markets
We're thrilled to announce that Zilliz Cloud is now available in the AWS Sydney, Australia region (ap-southeast-2).
The Real Bottlenecks in Autonomous Driving — And How AI Infrastructure Can Solve Them
Autonomous driving faces a data bottleneck. Learn how AI-native vector databases like Zilliz solve scale, cost, and insight challenges across AV pipelines.