Desbloqueando la seguridad de APK de siguiente nivel: el viaje de Trend Micro con Milvus
Trend Micro ha sido durante mucho tiempo pionera en ciberseguridad, ofreciendo constantemente soluciones de vanguardia para abordar amenazas en evolución. Con un enfoque dedicado en la seguridad móvil, Trend Micro ha emprendido un camino para mejorar la seguridad de los APK (paquetes de aplicaciones Android). En el corazón de esta búsqueda de eficiencia se encuentra la integración de Milvus, una sólida base de datos vectorial de código abierto, en su infraestructura de seguridad.
En este blog, descubriremos los desafíos que enfrentó Trend Micro y cómo exactamente Milvus llegó al rescate.
La misión de Trend Micro de proteger el ecosistema Android
A medida que nuestro mundo conectado digitalmente depende cada vez más de las aplicaciones móviles, proteger el ecosistema Android se ha vuelto primordial. Trend Micro, líder mundial en software de seguridad, reconoció este desafío y reunió a un equipo especializado encargado de desarrollar aplicaciones de seguridad móvil y la infraestructura subyacente. Su misión es detectar y neutralizar APKs que transportan virus mediante el empleo de los algoritmos propietarios de Trend Micro.
El auge y la caída de las soluciones de bases de datos: MySQL y Faiss
Trend Micro recurrió a MySQL para la búsqueda de similitud de APK en las etapas incipientes de este proyecto. Esta base de datos relacional les sirvió bien inicialmente, permitiendo consultas SQL y un manejo eficiente del conjunto de datos en crecimiento. Sin embargo, MySQL enfrentó problemas de escalabilidad a medida que el conjunto de datos aumentó hasta las decenas de millones, con incrementos diarios que alcanzaban cientos de miles. La latencia de las consultas se disparó, creando cuellos de botella que obstaculizaban la capacidad de respuesta del sistema.
Para superar estos desafíos, Trend Micro cambió su enfoque a Faiss, una biblioteca especializada para búsquedas de similitud lanzada por Facebook. Si bien Faiss sobresalía en velocidad, carecía de las características críticas requeridas para un entorno de producción. La ausencia de capacidades de gestión de datos y funciones de alta disponibilidad la hacía inadecuada para la tarea crítica de seguridad de APK. La naturaleza no distribuida de Faiss impedía aún más la escalabilidad horizontal, lo que obligó al equipo a buscar una solución más sólida.
Milvus: un motor integral de búsqueda vectorial
Trend Micro se encontró en una encrucijada cuando las limitaciones de MySQL y Faiss se hicieron evidentes. Su búsqueda de una solución sólida y escalable los llevó al revolucionario Milvus, un motor integral de búsqueda vectorial creado en C++, que abordaba las deficiencias de los enfoques anteriores de Trend Micro.
Resumen de comparación de soluciones evaluadas
Integración perfecta con bibliotecas de índices líderes
Milvus se distinguió con una característica destacada: integración perfecta con bibliotecas de índices vectoriales convencionales, incluidas Faiss, NMSLIB y Annoy. Esta integración se convirtió en una ventaja estratégica para Trend Micro, permitiéndoles aprovechar la velocidad de Faiss mientras capitalizaban las características adicionales ofrecidas por Milvus.
APIs simples e intuitivas y escalabilidad horizontal
Milvus ofrece APIs simples e intuitivas, brindando al equipo de desarrollo una flexibilidad sin precedentes para elegir tipos de indexación en función de casos de uso específicos.
A diferencia de Faiss, Milvus adoptó una arquitectura distribuida, permitiendo una escalabilidad horizontal perfecta sin un límite superior. A medida que el conjunto de datos de Trend Micro crecía exponencialmente, el diseño de Milvus aseguró que pudieran agregar sin esfuerzo más nodos para manejar mayores cargas, preparando su infraestructura de análisis de APK para el futuro.
Capacidades de monitoreo elevadas
El monitoreo, un aspecto crítico de cualquier aplicación de misión crítica, fue otra área en la que Milvus destacó. Equipado con soporte integrado para Prometheus – una herramienta líder de monitoreo de código abierto– Milvus permitió a Trend Micro seguir de cerca las métricas de rendimiento. Desde la latencia de consultas hasta las velocidades de importación de datos, esta capacidad de monitoreo permitió la resolución proactiva de problemas, asegurando un sistema de seguridad de APK resiliente.
A medida que el panorama digital continúa evolucionando, el recorrido de Trend Micro con Milvus subraya la importancia de adoptar soluciones innovadoras. Milvus abordó los desafíos existentes e impulsó a Trend Micro hacia un estado preparado para el futuro, equipado para combatir las amenazas emergentes en la seguridad móvil.
Lograr un impacto tangible: baja latencia y alta velocidad de importación de datos
La implementación de Milvus en el servicio ThashSearch de Trend Micro se ha traducido en resultados tangibles. El servicio ThashSearch, que lleva varios meses en funcionamiento, logra de manera constante una latencia media de consulta inferior a 95 milisegundos. Esta baja latencia garantiza que Trend Micro alerte rápidamente a usuarios corporativos e individuales sobre APK potencialmente dañinos, mejorando significativamente la postura de seguridad general.
El panel muestra que la latencia media de las consultas de extremo a extremo está dentro de los 95 ms
Pero no se trata solo de baja latencia; en el mundo intensivo en datos del análisis de APK, la velocidad de ingesta de nuevos datos es igualmente crítica. Milvus ha demostrado una velocidad de importación de datos impresionante, capaz de ingerir 3 millones de datos vectoriales de 192 dimensiones en aproximadamente 10 segundos. Esta capacidad de importación rápida de datos es fundamental para Trend Micro, ya que garantiza que la base de datos esté siempre actualizada y facilita las búsquedas de similitud más precisas y actuales.
Mirando hacia el futuro
A medida que Trend Micro mira hacia el futuro, está muy interesada en la hoja de ruta de Milvus y en cómo sus próximas funciones pueden optimizar aún más las operaciones de análisis de APK. La introducción de ID de tipo cadena en Milvus resulta prometedora, y Trend Micro planea simplificar su arquitectura eliminando la necesidad de almacenamiento en caché de Redis.
Además, Trend Micro está entusiasmada con los planes de Milvus de evolucionar hacia un sistema completamente distribuido. Actualmente, Milvus admite solo un nodo de escritura, pero las versiones futuras apuntan a eliminar esta limitación. TrendMicro ve esto como una oportunidad para escalar sus operaciones horizontalmente, mejorando su capacidad para manejar conjuntos de datos aún más grandes y volúmenes de consulta más altos. Impulsada por el éxito del servicio ThashSearch, Trend Micro está considerando ampliar la presencia de Milvus dentro de su organización, explorando la integración en otros proyectos y flujos de trabajo que podrían beneficiarse de una búsqueda eficiente de similitud vectorial.
Sigue leyendo
From Vector Database to Vector Lakebase
Zilliz offers a fully managed Vector Lakebase powered by Milvus, unifying real-time vector search, lake-scale discovery, and Al data operations.
A Developer's Guide to Exploring Milvus 2.6 Features on Zilliz Cloud
Milvus 2.6 marks a shift from “vector search + glue code” to a more advanced retrieval engine, and it is now Generally Available (GA) on Zilliz Cloud (a managed Milvus service).
Legal Document Analysis: Harnessing Zilliz Cloud's Semantic Search and RAG for Legal Insights
Enhance legal document analysis with Zilliz Cloud’s Semantic Search and RAG. Improve accuracy, efficiency, and scalability for contracts, case law, and compliance.