Новый уровень безопасности APK: путь Trend Micro с Milvus
Trend Micro уже давно является первопроходцем в области кибербезопасности, последовательно предоставляя передовые решения для противодействия развивающимся угрозам. Уделяя особое внимание мобильной безопасности, Trend Micro начала путь по повышению безопасности APK (пакетов приложений Android). В основе этого стремления к эффективности лежит интеграция Milvus, надежной векторной базы данных с открытым исходным кодом, в их инфраструктуру безопасности.
В этом блоге мы раскроем, с какими вызовами столкнулась Trend Micro и как именно Milvus пришел на помощь.
Миссия Trend Micro по защите экосистемы Android
Поскольку наш цифровой взаимосвязанный мир все больше полагается на мобильные приложения, обеспечение безопасности экосистемы Android стало первостепенной задачей. Trend Micro, мировой лидер в области программного обеспечения для безопасности, осознала этот вызов и сформировала специализированную команду, которой было поручено разрабатывать мобильные приложения безопасности и базовую инфраструктуру. Их миссия — обнаруживать и нейтрализовывать APK, содержащие вирусы, с помощью собственных алгоритмов Trend Micro.
Взлет и падение решений баз данных: MySQL и Faiss
На ранних этапах этого проекта Trend Micro обратилась к MySQL для поиска сходства APK. Эта реляционная база данных поначалу хорошо им служила, позволяя выполнять SQL-запросы и эффективно обрабатывать растущий набор данных. Однако MySQL столкнулась с проблемами масштабируемости, когда набор данных вырос до десятков миллионов, а ежедневные приросты достигали сотен тысяч. Задержка запросов резко возросла, создавая узкие места, которые снижали отзывчивость системы.
Чтобы преодолеть эти трудности, Trend Micro переключила внимание на Faiss, специализированную библиотеку для поиска сходства, выпущенную Facebook. Хотя Faiss превосходно справлялась со скоростью, ей не хватало критически важных функций, необходимых для производственной среды. Отсутствие возможностей управления данными и функций высокой доступности делало ее непригодной для критически важной задачи обеспечения безопасности APK. Нераспределенная природа Faiss дополнительно препятствовала горизонтальной масштабируемости, вынуждая команду искать более надежное решение.
Milvus: комплексный движок векторного поиска
Trend Micro оказалась на перепутье, когда ограничения MySQL и Faiss стали очевидны. Поиск надежного и масштабируемого решения привел их к революционному Milvus — комплексному движку векторного поиска, созданному на C++, который устранял недостатки предыдущих подходов Trend Micro.
Сводное сравнение оцененных решений
Бесшовная интеграция с ведущими библиотеками индексов
Milvus выделялся выдающейся особенностью: бесшовной интеграцией с основными библиотеками векторных индексов, включая Faiss, NMSLIB и Annoy. Эта интеграция стала стратегическим преимуществом для Trend Micro, позволив им использовать скорость Faiss, одновременно извлекая выгоду из дополнительных возможностей, предлагаемых Milvus.
Простые и интуитивно понятные API и горизонтальная масштабируемость
Milvus предлагает простые и интуитивно понятные API, предоставляя команде разработки беспрецедентную гибкость в выборе типов индексации в зависимости от конкретных сценариев использования.
В отличие от Faiss, Milvus использует распределенную архитектуру, позволяя выполнять бесшовное горизонтальное масштабирование без верхнего предела. По мере экспоненциального роста набора данных Trend Micro архитектура Milvus гарантировала, что они смогут без усилий добавлять больше узлов для обработки возросших нагрузок, обеспечивая готовность их инфраструктуры анализа APK к будущим требованиям.
Расширенные возможности мониторинга
Мониторинг, критически важный аспект любого приложения, выполняющего критически важные задачи, был еще одной областью, где Milvus выделялся. Оснащенный встроенной поддержкой Prometheus — ведущего инструмента мониторинга с открытым исходным кодом — Milvus позволил Trend Micro внимательно отслеживать показатели производительности. От задержки запросов до скорости импорта данных — эта возможность мониторинга обеспечила проактивное устранение проблем, гарантируя устойчивую систему безопасности APK.
Поскольку цифровой ландшафт продолжает развиваться, путь Trend Micro с Milvus подчеркивает важность внедрения инновационных решений. Milvus устранил существующие проблемы и вывел Trend Micro на уровень готовности к будущему, обеспечив средствами для борьбы с возникающими угрозами в мобильной безопасности.
Ощутимые результаты: низкая задержка и высокая скорость импорта данных
Внедрение Milvus в сервис ThashSearch компании Trend Micro принесло ощутимые результаты. Сервис ThashSearch, работающий уже несколько месяцев, стабильно достигает средней задержки запросов менее 95 миллисекунд. Такая низкая задержка позволяет Trend Micro оперативно предупреждать корпоративных и индивидуальных пользователей о потенциально вредоносных APK, значительно повышая общий уровень безопасности.
Панель мониторинга показывает, что средняя задержка сквозных запросов находится в пределах 95 мс
Но дело не только в низкой задержке; в мире анализа APK, насыщенном данными, скорость приема новых данных не менее критична. Milvus продемонстрировал впечатляющую скорость импорта данных, позволяя загружать 3 миллиона 192-мерных векторных данных примерно за 10 секунд. Эта возможность быстрого импорта данных имеет ключевое значение для Trend Micro, обеспечивая постоянную актуальность базы данных и способствуя максимально точному и современному поиску сходства.
Взгляд в будущее
Когда Trend Micro смотрит в будущее, компания проявляет большой интерес к дорожной карте Milvus и к тому, как его будущие функции могут еще больше оптимизировать операции анализа APK. Введение идентификаторов строкового типа в Milvus представляется перспективным: Trend Micro планирует упростить свою архитектуру, устранив необходимость в кэшировании Redis.
Кроме того, Trend Micro с энтузиазмом относится к планам Milvus по развитию в полностью распределенную систему. В настоящее время Milvus поддерживает только один узел записи, но будущие версии нацелены на устранение этого ограничения. Trend Micro рассматривает это как возможность горизонтально масштабировать свои операции, повышая способность обрабатывать еще более крупные наборы данных и более высокие объемы запросов. Воодушевленная успехом сервиса ThashSearch, Trend Micro рассматривает возможность расширения использования Milvus внутри своей организации, изучая интеграцию в другие проекты и рабочие процессы, которые могли бы получить выгоду от эффективного поиска векторного сходства.
Читать далее
Zilliz Cloud On-Demand Compute: Pay Only for What You Use
The customer case behind Zilliz Cloud On-Demand: how a $10K vector search bill came down to under $500, and the engineering changes that made it possible.
Why and How to Migrate from Self-Hosted Milvus to Zilliz Cloud
A simple, step-by-step guide to migrating from Milvus to Zilliz Cloud. Learn both endpoint and backup methods for a smooth, scalable vector database migration.
Vector Databases vs. Document Databases
Use a vector database for similarity search and AI-powered applications; use a document database for flexible schema and JSON-like data storage.