MiniMax は Zilliz Cloud でリアルタイム AI と兆規模の重複排除をどのようにスケールさせているのか
5,000+ QPSで30msのレイテンシ
リアルタイムのおすすめのために
3～5倍のコスト削減
トレーニングデータの重複排除ワークフローにおいて
LLMデータ前処理で2倍高速
従来のMapReduceシステムと比較して
ペタバイト規模のデータ重複排除
ネイティブのMinHash + LSHエンジンを使用する
MiniMaxについて
MiniMaxは、大規模言語モデルの主要プロバイダーの1つであり、マルチモーダルAIシステムとグローバル規模の実世界アプリケーションの構築で知られています。同社のコンシューマー向け製品であるTalkieは、ユーザーが仮想エージェントを作成し、対話できる会話型AIプラットフォームです。月間アクティブユーザー数が数千万に達するTalkieは、世界で最も広く採用されているAIコンパニオンプラットフォームの1つとなっています。
その舞台裏で、MiniMaxは大規模モデルのトレーニングとインフラストラクチャにも多大な投資を行っています。同社の規模拡大に伴い、高同時実行・低レイテンシのユーザー体験のサポートから、ペタバイト規模の非構造化トレーニングデータの管理に至るまで、データの複雑性も増大しました。MiniMaxは、パフォーマンスと柔軟性の両方を支えながら効率的にスケールできるデータインフラストラクチャによって、これらの課題に対処するためにZilliz Cloudを活用しています。
課題：成功が不可能なインフラ需要を生み出すとき
MiniMaxの成長は、AIインフラストラクチャにおける重大な問題を浮き彫りにしました。従来のデータベースやデータ処理システムは、現代のAIアプリケーション特有の要求に対応するようにはそもそも設計されていなかったのです。
RedisはAIスケールのベクトル検索に対応できなかった
Talkieの爆発的なユーザー増加により、従来のキャッシュソリューションの限界を超えるパフォーマンス要件が生じました。数千万の月間アクティブユーザーが即時かつパーソナライズされたレコメンデーションを期待する中、このプラットフォームは、ボイスパック、インタラクティブメッセージ、会話のきっかけなど、数百万件のコンテンツに対してリアルタイムのセマンティック類似度マッチングを実行する必要がありました。
システムは、1秒あたり5,000件を超えるクエリのピーク時であっても、30ミリ秒未満で応答する必要がありました。数千人のユーザーには十分に機能していたRedisベースのソリューションは、スケール時に十分な性能を発揮できませんでした。Redisのインメモリアーキテクチャでは、数百万のベクトルを保存するコストが非常に高くなる一方、ネイティブのベクトル操作がないため、チームは追加のレイテンシと運用上の複雑さをもたらす外部プラグインに依存せざるを得ませんでした。
兆単位トークンの重複排除は経済的に不可能だった
一方、MiniMaxのLLMデータトレーニングパイプラインは、まったく別のスケーリング危機に直面していました。数十兆トークンを含むトレーニングデータセットを処理するには、モデル品質を確保するための高度な重複排除が必要でした。冗長なコンテンツは過学習や汎化性能の低下を引き起こすためです。しかし、この規模では、従来の重複排除手法は経済的にも計算面でも現実的ではなくなりました。
MapReduceベースのアプローチでは、単一のデータセットを処理するのに数週間から数か月を要し、膨大なエンジニアリングリソースを消費し、モデルのトレーニングサイクルを遅延させました。完全一致では計算負荷に対応できず、一方でセマンティック重複排除は処理オーバーヘッドを生み、兆規模の処理を法外に高コストなものにしました。データセットがペタバイト規模へと拡大するにつれ、前処理のボトルネックは、高度なモデルのトレーニングを経済的に実現不可能にしかねない脅威となっていました。
ソリューション：両極端に対応するAI専用インフラストラクチャ
MiniMaxには、汎用システムにAI機能を後付けしたものではなく、AIワークロード向けにゼロから設計されたインフラストラクチャが必要です。Zilliz Cloudは、まさにその能力を提供しました。マイクロ秒レベルのベクトル検索性能と兆規模のバッチ処理効率の両方を提供できる統合プラットフォームにより、異なるAIワークロードの種類ごとに別々のシステムを管理する運用上の複雑さを排除しました。
5,000+ QPSに対応する設計：ネイティブのベクトル操作がRedisの回避策を置き換える
Talkieのレコメンデーションシステムを大規模に支えるため、MiniMaxはZilliz CloudのAIネイティブ機能を中心に、ベクトル検索インフラストラクチャを完全に再設計しました。新システムでは、7つのレプリカを備えた8つのコンピュートユニットをデプロイし、大規模な同時トラフィック時にも水平スケーラビリティと極めて高い信頼性の両方を提供しました。
Redisではベクトル操作に外部プラグインや回避策が必要だったのに対し、Zilliz CloudはAIアプリケーション向けに特化して設計されたネイティブのベクトルインデックスと近似最近傍（ANN）検索を提供しました。MiniMaxの既存の32次元埋め込みは、前処理や外部ツールなしでそのままシステムに組み込まれます。埋め込みの取り込みからインデックス構築、リアルタイム類似検索まで、レコメンデーションパイプライン全体が、AIワークロード向けに最適化された統一APIを通じて動作しました。
これは単なるデータベース移行ではなく、AIスケールの運用に特化して構築されたインフラストラクチャへの根本的な転換でした。クエリレイテンシは、もはやメモリ制限やプラグインのオーバーヘッドに制約されることはなく、すべてが現代のAIアプリケーションの速度とスケール要件に合わせて設計されたシステム内でネイティブに動作しました。
兆規模ワークロードに特化して構築された高度なMinHash + LSHエンジン
トレーニングデータパイプラインの規模と複雑さに対処するため、MiniMaxはZillizのエンジニアリングチームと緊密に協力し、Zilliz Cloud内にネイティブに組み込まれたカスタム重複排除エンジンを実装しました。このソリューションはMinHashとLocality-Sensitive Hashing（LSH）を組み合わせ、MiniMaxがテラバイトおよびペタバイト規模のデータセット全体で冗長なコンテンツを効率的に検出・排除できるようにしました。
MinHashは各ドキュメントをコンパクトなシグネチャに圧縮するために使用され、コンピューティングリソースを圧迫することなく数十億件のドキュメントを比較することを可能にしました。LSHは類似コンテンツをクラスタリングすることで検索空間を大幅に削減し、コストの高い全ペア比較を必要とせずに近重複を高速に特定できるようにしました。
別個の重複排除サービスを構築するのではなく、MinHash + LSHエンジンはZilliz Cloudのインデックスシステム内でネイティブに動作し、埋め込みの挿入、インデックス構築、近似クエリに同じAPIを使用しました。これにより、MiniMaxの拡大するデータセットに合わせて成長できる分散型の水平スケーリングを提供しながら、別々のワークフローを管理する複雑さを排除しました。
結果：より高速なパフォーマンス、低コスト、よりシンプルな運用
統一インフラストラクチャのアプローチにより、MiniMaxの2つのミッションクリティカルなワークロードの両方で測定可能な改善が実現しました。
Talkie向けリアルタイムレコメンデーション：ピーク規模で<30msのレイテンシ
Redisから移行した後、Talkieのレコメンデーションエンジンは、毎秒5,000クエリを超えるトラフィック急増時でも、レイテンシ目標である30ミリ秒未満を一貫して達成しました。ベクトルネイティブなアーキテクチャにより、標準でより正確なセマンティックマッチングが提供され、レコメンデーション品質が向上し、最終的にユーザーエンゲージメントの向上につながりました。
マルチレプリカ構成により、以前に苦労していた可用性と安定性の問題が解消されました。Talkieが数千万人のユーザー規模へ拡大しても、システムはパフォーマンス低下なしに安定した状態を維持しました。これはユーザー維持とプロダクト成長にとって極めて重要です。
Redisのコストの高いインメモリ要件を排除したことで、MiniMaxはインフラ支出の大幅な削減も実現しました。Zillizのコンピュートベースのモデルにより、チームはリソースを必要に応じて拡大または縮小できるようになり、より高い制御性を得ました。これはRedisの固定的なメモリオーバーヘッドでは不可能だったことです。
データ重複排除：2倍高速、3～5倍効率的
カスタムMinHash + LSH実装により、MiniMaxのトレーニングデータ管理アプローチは一変しました。以前のMapReduceシステムと比較して、処理速度は2倍に向上し、コストは3～5分の1に削減され、10億件規模のドキュメント重複排除が日常運用として経済的に実行可能になりました。
さらに重要なのは、このソリューションが、以前はモデルの過学習を引き起こしていた冗長なコンテンツを効率的に排除することで、トレーニングデータの品質を向上させたことです。データ品質の向上は、モデルの性能と汎化能力の向上に直結します。これはAI研究組織にとって究極の成功指標です。
統合APIアプローチにより、運用は大幅に効率化されました。埋め込みと類似性検索を処理する同じシステムに重複排除が完全に統合されたことで、MiniMaxは別個のツールを排除し、パイプラインの複雑性を低減し、増大するデータセットに合わせて拡張できる運用のシンプルさを獲得しました。
チームはその後、MinHash + LSH機能を、当初の重複排除のユースケースを超えた追加の前処理ワークフローに適用し、インフラ投資のリターンを最大化しながら、新たなAI研究イニシアチブを支援しています。
今後の展望：自信を持ってAIをスケール
Zilliz Cloudの導入により、MiniMaxは現在、Talkieを超える新たなAI製品を支えるためにベクトルインフラを拡張しています。チームはマルチモーダル機能を構築しており、同じベクトルネイティブな基盤を再利用して、ユースケース全体で画像、音声、テキストの埋め込みをサポートしています。
MinHash + LSHエンジンは追加のデータパイプラインへと拡張されており、モデル訓練とデータセット改良の反復をより迅速にしています。MiniMaxが成長を続ける中、Zilliz Cloudは再設計することなくスケールできる柔軟性を提供し、最小限のオーバーヘッドで将来のZilliz機能を採用できるよう位置付けています。