Sbloccare la sicurezza APK di nuova generazione: il percorso di Trend Micro con Milvus
Trend Micro è da tempo un pioniere nella cybersecurity, offrendo costantemente soluzioni all’avanguardia per affrontare minacce in continua evoluzione. Con un focus dedicato sulla sicurezza mobile, Trend Micro ha intrapreso un percorso per migliorare la sicurezza degli APK (Android application package). Al centro di questa ricerca di efficienza si trova l’integrazione di Milvus, un solido database vettoriale open-source, nella loro infrastruttura di sicurezza.
In questo blog, scopriremo le sfide affrontate da Trend Micro e in che modo esattamente Milvus è venuto in loro soccorso.
La missione di Trend Micro per proteggere l’ecosistema Android
Poiché il nostro mondo connesso digitalmente si affida sempre più alle applicazioni mobili, proteggere l’ecosistema Android è diventato fondamentale. Trend Micro, leader globale nel software di sicurezza, ha riconosciuto questa sfida e ha riunito un team specializzato incaricato di sviluppare app di sicurezza mobile e l’infrastruttura sottostante. La loro missione è rilevare e neutralizzare gli APK contenenti virus impiegando gli algoritmi proprietari di Trend Micro.
L’ascesa e il declino delle soluzioni di database: MySQL e Faiss
Trend Micro si è affidata a MySQL per la ricerca di similarità degli APK nelle fasi iniziali di questo progetto. Questo database relazionale li ha serviti bene inizialmente, consentendo query SQL e una gestione efficiente del dataset in crescita. Tuttavia, MySQL ha incontrato problemi di scalabilità man mano che il dataset è cresciuto fino a decine di milioni, con incrementi giornalieri che raggiungevano centinaia di migliaia. La latenza delle query è aumentata vertiginosamente, creando colli di bottiglia che ostacolavano la reattività del sistema.
Per superare queste sfide, Trend Micro ha spostato la propria attenzione su Faiss, una libreria specializzata per ricerche di similarità rilasciata da Facebook. Sebbene Faiss eccellesse in termini di velocità, mancava delle funzionalità critiche richieste per un ambiente di produzione. L’assenza di capacità di gestione dei dati e di funzionalità di alta disponibilità la rendeva inadatta al compito mission-critical della sicurezza degli APK. La natura non distribuita di Faiss ostacolava ulteriormente la scalabilità orizzontale, costringendo il team a cercare una soluzione più robusta.
Milvus: un motore di ricerca vettoriale completo
Trend Micro si è trovata a un bivio quando i limiti di MySQL e Faiss sono diventati evidenti. La loro ricerca di una soluzione robusta e scalabile li ha condotti al rivoluzionario Milvus – un motore di ricerca vettoriale completo realizzato in C++, che affronta le criticità degli approcci precedenti di Trend Micro.
Riepilogo del confronto delle soluzioni valutate
Integrazione fluida con le principali librerie di indicizzazione
Milvus si è distinto per una caratteristica eccezionale: l’integrazione fluida con le librerie di indici vettoriali più diffuse, tra cui Faiss, NMSLIB e Annoy. Questa integrazione è diventata un vantaggio strategico per Trend Micro, consentendo loro di sfruttare la velocità di Faiss capitalizzando al contempo sulle funzionalità aggiuntive offerte da Milvus.
API semplici e intuitive e scalabilità orizzontale
Milvus offre API semplici e intuitive, dando al team di sviluppo una flessibilità senza precedenti nella scelta dei tipi di indicizzazione in base a casi d’uso specifici.
A differenza di Faiss, Milvus ha adottato un’architettura distribuita, consentendo una scalabilità orizzontale fluida senza un limite superiore. Man mano che il dataset di Trend Micro cresceva esponenzialmente, il design di Milvus garantiva che potessero aggiungere senza sforzo più nodi per gestire carichi maggiori, rendendo la loro infrastruttura di analisi degli APK pronta per il futuro.
Capacità di monitoraggio elevate
Il monitoraggio, un aspetto critico di qualsiasi applicazione mission-critical, è stato un altro ambito in cui Milvus si è distinto. Dotato di supporto integrato per Prometheus – uno strumento di monitoraggio open-source leader– Milvus ha consentito a Trend Micro di seguire da vicino le metriche di prestazione. Dalla latenza delle query alle velocità di importazione dei dati, questa capacità di monitoraggio ha permesso una risoluzione proattiva dei problemi, garantendo un sistema di sicurezza degli APK resiliente.
Con la continua evoluzione del panorama digitale, il percorso di Trend Micro con Milvus sottolinea l'importanza di adottare soluzioni innovative. Milvus ha affrontato le sfide esistenti e ha proiettato Trend Micro verso uno stato pronto per il futuro, attrezzato per contrastare le minacce emergenti nella sicurezza mobile.
Realizzare un impatto tangibile: bassa latenza ed elevata velocità di importazione dei dati
L'implementazione di Milvus nel servizio ThashSearch di Trend Micro si è tradotta in risultati tangibili. Il servizio ThashSearch, attivo da diversi mesi, raggiunge costantemente una latenza media delle query inferiore a 95 millisecondi. Questa bassa latenza garantisce che Trend Micro avvisi tempestivamente gli utenti aziendali e individuali riguardo ad APK potenzialmente dannosi, migliorando significativamente la postura di sicurezza complessiva.
La dashboard mostra che la latenza media delle query end-to-end è entro 95 ms
Ma non si tratta solo di bassa latenza; nel mondo ad alta intensità di dati dell'analisi degli APK, la velocità di ingestione dei nuovi dati è altrettanto critica. Milvus ha dimostrato un'impressionante velocità di importazione dei dati, capace di ingerire 3 milioni di dati vettoriali a 192 dimensioni in circa 10 secondi. Questa rapida capacità di importazione dei dati è fondamentale per Trend Micro, garantendo che il database sia sempre aggiornato e facilitando le ricerche di similarità più accurate e attuali.
Guardare al futuro
Mentre Trend Micro guarda al futuro, è fortemente interessata alla roadmap di Milvus e a come le sue funzionalità future possano ottimizzare ulteriormente le operazioni di analisi degli APK. L'introduzione degli ID di tipo stringa in Milvus è promettente, con Trend Micro che prevede di semplificare la propria architettura eliminando la necessità della cache Redis.
Inoltre, Trend Micro è entusiasta dei piani di Milvus per evolvere in un sistema completamente distribuito. Attualmente, Milvus supporta un solo nodo di scrittura, ma le versioni future mirano a rimuovere questa limitazione. TrendMicro vede questa come un'opportunità per scalare orizzontalmente le proprie operazioni, migliorando la sua capacità di gestire dataset ancora più grandi e volumi di query più elevati. Forte del successo del servizio ThashSearch, Trend Micro sta valutando di espandere la presenza di Milvus all'interno della propria organizzazione, esplorando l'integrazione in altri progetti e flussi di lavoro che potrebbero beneficiare di un'efficiente ricerca di similarità vettoriale.
Continua a leggere
Introducing Loon: A New Storage Engine for Vector Data That Never Stops Changing
Loon is a new storage engine for Milvus 3.0 and Zilliz Vector Lakebase, built to manage evolving vector datasets with ColumnGroups, row ID alignment, and Manifests.
Vector Databases vs. Time Series Databases
Use a vector database for similarity search and semantic relationships; use a time series database for tracking value changes over time.
Selecting the Right ETL Tools for Unstructured Data to Prepare for AI
Learn the right ETL tools for unstructured data to power AI. Explore key challenges, tool comparisons, and integrations with Milvus for vector search.