トレンドマイクロのMilvusによるAPKセキュリティの強化
<95ミリ秒
エンド・ツー・エンド・クエリー・レイテンシー
<10秒
300万個のベクターを取り込む
有効にする
リアルタイム脅威検知
Milvus delivers unparalleled performance and flexibility, integrating seamlessly with leading vector index libraries like Faiss. Its intuitive API and robust solutions for high availability make it an indispensable tool in our APK security efforts.
Wei Huang
トレンドマイクロについて
トレンドマイクロは、セキュリティソフトウェア業界のグローバルリーダーであり、ソフトウェアベンダーや個人ユーザーに最先端のソリューションを提供することで長年高い評価を得ています。サイバーセキュリティの脅威が進化するにつれ、トレンドマイクロのイノベーションへの取り組みも進化しています。
同社の重要な注力分野の1つはモバイルセキュリティであり、デジタルに接続された世界においてますます重要になってきています。その中で、トレンドマイクロの専門チームは、モバイルセキュリティアプリの構築とインフラの開発を担当している。彼らのワークフローでは、Google Playなどのプラットフォームから外部のAPK（Androidアプリケーションパッケージ）をクロールし、トレンドマイクロ独自のアルゴリズムを適用してウイルスを含むAPKを検出する。
スケーラビリティの壁にぶつかる：MySQLとFaissの限界
プロジェクトの初期段階では、TrendMicroはAPKの類似検索にMySQLを利用していた。リレーショナルデータベースであるMySQLは、当初はAPKのサンプルサイズを処理するのに十分であり、チームは類似性検索にSQLクエリを使用することができました。しかし、データセットが数千万件に膨れ上がり、日次では数十万件に達するようになると、MySQLのパフォーマンスが低下し始めました。クエリのレイテンシが増加し、データベースは大量の同時検索を処理するために支援を必要とし、システムのボトルネックにつながりました。
そこでチームは、フェイスブックが2017年にリリースした類似検索に特化したライブラリ、Faissに注目した。Faissは類似ベクトルを素早く検索することで知られており、IndexFlatL2、IndexFlatIP、HNSW、IVFといった複数のインデックスオプションを提供している。Faissはスピードでは優れていたが、本質的には基本的なアルゴリズム・ライブラリであり、本番環境にとって重要な機能がいくつか欠けていた。例えば、Faissにはデータ管理機能がなく、チームはデータの保存と検索のために別のレイヤーを構築する必要があった。また、高可用性機能や監視ツールも欠けており、APKセキュリティのようなミッションクリティカルなアプリケーションには不向きだった。
さらに、Faissは分散システムとして設計されていなかったため、水平方向の拡張性に課題があった。業界のソリューションの中には、Elasticsearchプラグインの基礎ライブラリとしてFaissを使用しているものもありましたが、問題がないわけではありませんでした。それらはメモリを大量に消費し、パフォーマンスを最適化するために大幅な微調整が必要で、急速に成長するTrendMicroのデータセットにとってより実用的である必要がありました。
Milvusのブレークスルー：スケーラブルなAPK解析のための堅牢なベクトル検索エンジン
MySQLやFaissでは限界があったため、TrendMicroは堅牢でスケーラブルなソリューションを探し求め、Milvusにたどり着きました。C++で開発されたMilvusは、包括的なベクトル検索エンジンとして登場し、以前のソリューションの多くの欠点に対処しました。際立った特徴の1つは、Faiss、NMSLIB、Annoyといった主流のベクトルインデックスライブラリとの統合でした。これらの統合により、TrendMicroはMilvusが提供する追加機能の恩恵を受けながら、Faissのスピードを活用することができました。
| パフォーマンス (ms)** | データセットサイズ (million) |ディメンション | :---- | :---- | :---- | :---- | | ES | 600 | 1 | 128 | | ES｜900｜20｜128｜アリババクラウド | ミルバス｜27｜1000以上｜128 | SPTAG | 良くない | | | ES+nmslib、faiss｜90｜150｜128｜｜です。
Milvusはシンプルで直感的なAPIを提供し、開発チームにとって大きな利点となりました。このAPIにより、特定のユースケースに基づいて異なるインデックスタイプを選択することができ、他のソリューションには欠けていた柔軟性を提供することができました。この柔軟性は、様々なAPK機能ベクトルを扱う必要があり、多様な要件に適応できるシステムを必要としていたTrendMicro社にとって有益でした。
もう一つの長所は、Milvusが高可用性と分散システムに重点を置いていることだ。分散システムとして設計されていなかったFaissとは異なり、Milvusは水平方向に拡張するための成熟したソリューションです。TrendMicro社にとって、データセットが大規模かつ急速に増加しているため、スケーラビリティとパフォーマンスは極めて重要でした。Milvusの分散アーキテクチャは、負荷の増加に対応するためにシステムにノードを簡単に追加できることを意味し、APK分析インフラストラクチャの将来性を保証するものでした。
モニタリングもMilvusが得意とする分野でした。Milvusには、高度なデータ可視化のためにGrafanaと連携する主要なオープンソースの監視ソリューションであるPrometheusのサポートが組み込まれていました。この監視機能により、TrendMicroはクエリの待ち時間やデータのインポート速度など、さまざまなパフォーマンス指標を詳細に監視し、プロアクティブな問題解決を可能にしました。
Milvusは、TrendMicroの複雑で成長するニーズに適した、堅牢で柔軟かつ拡張性の高いソリューションを提供しました。Milvusの統合機能、直感的なAPI、高可用性とモニタリングへの注力は、TrendMicroのAPKセキュリティプロジェクトにとって画期的な選択となりました。
実世界へのインパクト低レイテンシと高速データインポート
MilvusをTrendMicroのThashSearchサービスに導入したことで、APK分析の効率と効果が大幅に向上するという具体的な成果が得られました。あらゆる検索サービスにとって最も重要な指標の1つはレイテンシです。この点で、Milvusはゲームチェンジャーとなりました。この点で、Milvusはゲームチェンジャーとなりました。ThashSearchサービスは数ヶ月間稼働しており、平均クエリレイテンシは常に95ミリ秒未満を達成しています。このレイテンシの低さにより、TrendMicroは潜在的に有害なAPKに関するアラートを企業および個人ユーザにタイムリーに提供し、全体的なセキュリティ体制を強化することができます。
<br
しかし、低レイテンシーは方程式の一部に過ぎません。APK分析のようなデータ集約型の環境では、開発者が新しいデータをシステムに取り込む速度も同様に重要です。Milvusはこの面でも優れている。このシステムは驚異的なデータインポート速度を示しており、300万個の192次元ベクトルデータを約10秒で取り込むことができる。毎日数十万もの新しいAPKサンプルが増加することを考えると、この迅速なデータインポート機能はTrendMicroにとって極めて重要です。これにより、データベースが常に最新の状態に保たれ、最も正確で最新の類似性検索が可能になります。
低レイテンシと高速データインポートの組み合わせは、TrendMicroの業務に相乗効果をもたらしています。より高速な検索結果を提供することでユーザーエクスペリエンスを向上させ、バックエンドプロセスを合理化することで、システムを最新データに更新し続けることが容易になりました。この卓越した運用により、TrendMicroはThashSearchサービスの当初の設計目標を達成し、それを上回ることができ、ベクター検索エンジンとしてMilvusを採用することを決定しました。
将来計画
TrendMicroは将来を見据え、Milvusのロードマップと、今後の機能によってAPK解析業務がさらに最適化されることに強い関心を寄せている。そのような機能の1つが、Milvusにおける文字列型IDの導入である。TrendMicroはこの機能を活用し、Redisキャッシュを不要にして現在のアーキテクチャを簡素化する計画だ。文字列型IDはデータ検索プロセスを効率化し、複雑さを軽減する。
さらにTrendMicroは、Milvusが完全な分散システムへと進化する計画に期待を寄せている。現在、Milvusは1つの書き込みノードしかサポートしていないが、将来のバージョンではこの制限を取り除くことを目指している。TrendMicroはこれを、運用を水平方向に拡張し、さらに大規模なデータセットと大量のクエリを処理する能力を強化する機会と捉えている。 TrendMicro社は、同社のThashSearchサービスにおけるMilvusの成功を踏まえ、組織内でのMilvusの利用範囲の拡大も検討している。同社は、効率的なベクトル類似検索から恩恵を受ける可能性のある他のプロジェクトやワークフローにMilvusを統合することで、このテクノロジーへの投資対効果を最大化する可能性を模索しています。