Новый уровень безопасности APK: путь Trend Micro с Milvus
Trend Micro уже давно является первопроходцем в области кибербезопасности, последовательно предоставляя передовые решения для противодействия развивающимся угрозам. Уделяя особое внимание мобильной безопасности, Trend Micro начала путь по повышению безопасности APK (пакетов приложений Android). В основе этого стремления к эффективности лежит интеграция Milvus, надежной векторной базы данных с открытым исходным кодом, в их инфраструктуру безопасности.
В этом блоге мы раскроем, с какими вызовами столкнулась Trend Micro и как именно Milvus пришел на помощь.
Миссия Trend Micro по защите экосистемы Android
Поскольку наш цифровой взаимосвязанный мир все больше полагается на мобильные приложения, обеспечение безопасности экосистемы Android стало первостепенной задачей. Trend Micro, мировой лидер в области программного обеспечения для безопасности, осознала этот вызов и сформировала специализированную команду, которой было поручено разрабатывать мобильные приложения безопасности и базовую инфраструктуру. Их миссия — обнаруживать и нейтрализовывать APK, содержащие вирусы, с помощью собственных алгоритмов Trend Micro.
Взлет и падение решений баз данных: MySQL и Faiss
На ранних этапах этого проекта Trend Micro обратилась к MySQL для поиска сходства APK. Эта реляционная база данных поначалу хорошо им служила, позволяя выполнять SQL-запросы и эффективно обрабатывать растущий набор данных. Однако MySQL столкнулась с проблемами масштабируемости, когда набор данных вырос до десятков миллионов, а ежедневные приросты достигали сотен тысяч. Задержка запросов резко возросла, создавая узкие места, которые снижали отзывчивость системы.
Чтобы преодолеть эти трудности, Trend Micro переключила внимание на Faiss, специализированную библиотеку для поиска сходства, выпущенную Facebook. Хотя Faiss превосходно справлялась со скоростью, ей не хватало критически важных функций, необходимых для производственной среды. Отсутствие возможностей управления данными и функций высокой доступности делало ее непригодной для критически важной задачи обеспечения безопасности APK. Нераспределенная природа Faiss дополнительно препятствовала горизонтальной масштабируемости, вынуждая команду искать более надежное решение.
Milvus: комплексный движок векторного поиска
Trend Micro оказалась на перепутье, когда ограничения MySQL и Faiss стали очевидны. Поиск надежного и масштабируемого решения привел их к революционному Milvus — комплексному движку векторного поиска, созданному на C++, который устранял недостатки предыдущих подходов Trend Micro.
Сводное сравнение оцененных решений
Бесшовная интеграция с ведущими библиотеками индексов
Milvus выделялся выдающейся особенностью: бесшовной интеграцией с основными библиотеками векторных индексов, включая Faiss, NMSLIB и Annoy. Эта интеграция стала стратегическим преимуществом для Trend Micro, позволив им использовать скорость Faiss, одновременно извлекая выгоду из дополнительных возможностей, предлагаемых Milvus.
Простые и интуитивно понятные API и горизонтальная масштабируемость
Milvus предлагает простые и интуитивно понятные API, предоставляя команде разработки беспрецедентную гибкость в выборе типов индексации в зависимости от конкретных сценариев использования.
В отличие от Faiss, Milvus использует распределенную архитектуру, позволяя выполнять бесшовное горизонтальное масштабирование без верхнего предела. По мере экспоненциального роста набора данных Trend Micro архитектура Milvus гарантировала, что они смогут без усилий добавлять больше узлов для обработки возросших нагрузок, обеспечивая готовность их инфраструктуры анализа APK к будущим требованиям.
Расширенные возможности мониторинга
Мониторинг, критически важный аспект любого приложения, выполняющего критически важные задачи, был еще одной областью, где Milvus выделялся. Оснащенный встроенной поддержкой Prometheus — ведущего инструмента мониторинга с открытым исходным кодом — Milvus позволил Trend Micro внимательно отслеживать показатели производительности. От задержки запросов до скорости импорта данных — эта возможность мониторинга обеспечила проактивное устранение проблем, гарантируя устойчивую систему безопасности APK.
Поскольку цифровой ландшафт продолжает развиваться, путь Trend Micro с Milvus подчеркивает важность внедрения инновационных решений. Milvus устранил существующие проблемы и вывел Trend Micro на уровень готовности к будущему, обеспечив средствами для борьбы с возникающими угрозами в мобильной безопасности.
Ощутимые результаты: низкая задержка и высокая скорость импорта данных
Внедрение Milvus в сервис ThashSearch компании Trend Micro принесло ощутимые результаты. Сервис ThashSearch, работающий уже несколько месяцев, стабильно достигает средней задержки запросов менее 95 миллисекунд. Такая низкая задержка позволяет Trend Micro оперативно предупреждать корпоративных и индивидуальных пользователей о потенциально вредоносных APK, значительно повышая общий уровень безопасности.
Панель мониторинга показывает, что средняя задержка сквозных запросов находится в пределах 95 мс
Но дело не только в низкой задержке; в мире анализа APK, насыщенном данными, скорость приема новых данных не менее критична. Milvus продемонстрировал впечатляющую скорость импорта данных, позволяя загружать 3 миллиона 192-мерных векторных данных примерно за 10 секунд. Эта возможность быстрого импорта данных имеет ключевое значение для Trend Micro, обеспечивая постоянную актуальность базы данных и способствуя максимально точному и современному поиску сходства.
Взгляд в будущее
Когда Trend Micro смотрит в будущее, компания проявляет большой интерес к дорожной карте Milvus и к тому, как его будущие функции могут еще больше оптимизировать операции анализа APK. Введение идентификаторов строкового типа в Milvus представляется перспективным: Trend Micro планирует упростить свою архитектуру, устранив необходимость в кэшировании Redis.
Кроме того, Trend Micro с энтузиазмом относится к планам Milvus по развитию в полностью распределенную систему. В настоящее время Milvus поддерживает только один узел записи, но будущие версии нацелены на устранение этого ограничения. Trend Micro рассматривает это как возможность горизонтально масштабировать свои операции, повышая способность обрабатывать еще более крупные наборы данных и более высокие объемы запросов. Воодушевленная успехом сервиса ThashSearch, Trend Micro рассматривает возможность расширения использования Milvus внутри своей организации, изучая интеграцию в другие проекты и рабочие процессы, которые могли бы получить выгоду от эффективного поиска векторного сходства.
Читать далее
Zilliz Cloud Just Landed in Claude Code
The Zilliz Cloud Plugin brings the full power of Zilliz Cloud directly into your Claude Code terminal as natural-language conversations.
Data Deduplication at Trillion Scale: How to Solve the Biggest Bottleneck of LLM Training
Explore how MinHash LSH and Milvus handle data deduplication at the trillion-scale level, solving key bottlenecks in LLM training for improved AI model performance.
Our Journey to 35K+ GitHub Stars: The Real Story of Building Milvus from Scratch
Join us in celebrating Milvus, the vector database that hit 35.5K stars on GitHub. Discover our story and how we’re making AI solutions easier for developers.