MiniMax가 Zilliz Cloud로 실시간 AI와 조 단위 중복 제거를 확장하는 방법
5,000+ QPS에서 30ms 지연 시간
실시간 추천을 위해
3–5배 비용 절감
학습 데이터 중복 제거 워크플로에서
LLM 데이터 전처리에서 2배 더 빠르게
레거시 MapReduce 시스템과 비교하여
페타바이트 규모 데이터 중복 제거
네이티브 MinHash + LSH 엔진 사용
MiniMax 소개
MiniMax는 대규모 언어 모델의 선도적인 제공업체 중 하나로, 글로벌 규모의 멀티모달 AI 시스템과 실제 애플리케이션을 구축하는 것으로 알려져 있습니다. 소비자 제품인 Talkie는 사용자가 가상 에이전트를 만들고 상호작용할 수 있는 대화형 AI 플랫폼입니다. 월간 활성 사용자 수가 수천만 명에 달하는 Talkie는 세계에서 가장 널리 채택된 AI 컴패니언 플랫폼 중 하나가 되었습니다.
그 이면에서 MiniMax는 대규모 모델 학습과 인프라에도 막대한 투자를 하고 있습니다. 회사가 확장됨에 따라, 높은 동시성과 낮은 지연 시간의 사용자 경험을 지원하는 것부터 페타바이트 규모의 비정형 학습 데이터를 관리하는 것까지 데이터의 복잡성도 함께 증가했습니다. MiniMax는 Zilliz Cloud를 활용하여 성능과 유연성을 모두 지원하면서도 효율적으로 확장할 수 있는 데이터 인프라로 이러한 과제를 해결합니다.
과제: 성공이 불가능한 인프라 요구를 만들어낼 때
MiniMax의 성장은 AI 인프라의 중대한 문제를 드러냈습니다. 기존 데이터베이스와 데이터 처리 시스템은 현대 AI 애플리케이션의 고유한 요구 사항을 위해 만들어진 것이 아니었습니다.
Redis는 AI 규모의 벡터 검색을 처리할 수 없었습니다
Talkie의 폭발적인 사용자 증가는 기존 캐싱 솔루션을 한계 이상으로 밀어붙이는 성능 요구 사항을 만들어냈습니다. 월간 활성 사용자 수가 수천만 명에 달하고 이들이 즉각적이고 개인화된 추천을 기대하는 상황에서, 플랫폼은 음성 팩, 인터랙티브 메시지, 대화 시작 문구와 같은 수백만 개의 콘텐츠에 대해 실시간 의미 유사도 매칭을 수행해야 했습니다.
시스템은 초당 5,000건 이상의 쿼리가 몰리는 피크 시간에도 30밀리초 미만으로 응답해야 했습니다. 수천 명의 사용자에게는 충분히 작동했던 Redis 기반 솔루션은 대규모 환경에서는 성능을 제공하지 못했습니다. Redis의 인메모리 아키텍처는 수백만 개의 벡터를 저장하는 비용을 매우 높게 만들었고, 네이티브 벡터 연산이 없어서 팀은 추가 지연 시간과 운영 복잡성을 유발하는 외부 플러그인에 의존할 수밖에 없었습니다.
1조 토큰 중복 제거는 경제적으로 불가능했습니다
한편, MiniMax의 LLM 데이터 학습 파이프라인은 완전히 다른 확장 위기에 직면했습니다. 수십조 개의 토큰이 포함된 학습 데이터셋을 처리하려면 모델 품질을 보장하기 위한 정교한 중복 제거가 필요했습니다. 중복 콘텐츠는 과적합과 낮은 일반화 성능을 초래하기 때문입니다. 하지만 이 규모에서는 기존 중복 제거 방식이 경제적으로나 계산적으로 실용적이지 않게 되었습니다.
MapReduce 기반 접근 방식은 단일 데이터셋을 처리하는 데 몇 주 또는 몇 달이 걸렸고, 막대한 엔지니어링 리소스를 소비하며 모델 학습 주기를 지연시켰습니다. 정확 일치는 계산 부하를 감당할 수 없었고, 의미 기반 중복 제거는 처리 오버헤드를 발생시켜 1조 규모의 작업을 감당하기 어려울 만큼 비싸게 만들었습니다. 데이터셋이 페타바이트 규모로 커지면서, 전처리 병목 현상은 고급 모델 학습을 경제적으로 실현 불가능하게 만들 위험이 있었습니다.
솔루션: 양극단을 모두 처리하는 AI 특화 인프라
MiniMax는 AI 기능을 덧붙인 범용 시스템이 아니라 처음부터 AI 워크로드를 위해 특별히 설계된 인프라를 필요로 합니다. Zilliz Cloud는 바로 이러한 기능을 제공했습니다. 마이크로초 수준의 벡터 검색 성능과 1조 규모의 배치 처리 효율성을 모두 제공할 수 있는 통합 플랫폼으로, 서로 다른 AI 워크로드 유형을 위해 별도의 시스템을 관리해야 하는 운영 복잡성을 제거했습니다.
5,000+ QPS를 위한 아키텍처: 네이티브 벡터 연산이 Redis 우회 방식을 대체
Talkie의 추천 시스템을 대규모로 지원하기 위해 MiniMax는 Zilliz Cloud의 AI 네이티브 기능을 중심으로 벡터 검색 인프라를 완전히 재설계했습니다. 새로운 시스템은 8개의 컴퓨트 유닛과 7개의 복제본을 배포하여, 대규모 동시 트래픽 상황에서도 수평적 확장성과 완벽한 안정성을 모두 제공했습니다.
벡터 작업을 위해 외부 플러그인과 우회 방법이 필요했던 Redis와 달리, Zilliz Cloud는 AI 애플리케이션을 위해 특별히 설계된 네이티브 벡터 인덱싱과 근사 최근접 이웃(ANN) 검색을 제공했습니다. MiniMax의 기존 32차원 임베딩은 전처리나 외부 도구 없이 시스템에 직접 연결됩니다. 임베딩 수집부터 인덱스 구축, 실시간 유사도 검색에 이르는 전체 추천 파이프라인은 AI 워크로드에 최적화된 통합 API를 통해 작동했습니다.
이는 단순한 데이터베이스 마이그레이션이 아니었습니다. AI 규모의 운영을 위해 목적에 맞게 구축된 인프라로의 근본적인 전환이었습니다. 쿼리 지연 시간은 더 이상 메모리 제한이나 플러그인 오버헤드에 제약받지 않았습니다. 모든 것이 최신 AI 애플리케이션의 속도와 규모 요구사항을 위해 설계된 시스템 내에서 네이티브로 작동했습니다.
조 단위 규모 워크로드를 위해 목적에 맞게 구축된 고급 MinHash + LSH 엔진
학습 데이터 파이프라인의 규모와 복잡성을 해결하기 위해 MiniMax는 Zilliz 엔지니어링 팀과 긴밀히 협력하여 Zilliz Cloud 내에 네이티브로 내장된 맞춤형 중복 제거 엔진을 구현했습니다. 이 솔루션은 MinHash와 지역 민감 해싱(LSH)을 결합하여 MiniMax가 테라바이트 및 페타바이트 규모의 데이터셋 전반에서 중복 콘텐츠를 효율적으로 감지하고 제거할 수 있게 했습니다.
MinHash는 각 문서를 압축된 시그니처로 줄이는 데 사용되어, 컴퓨팅 리소스를 압도하지 않고도 수십억 개의 문서를 비교할 수 있게 했습니다. LSH는 유사한 콘텐츠를 클러스터링하여 검색 공간을 크게 줄였고, 비용이 많이 드는 전체 쌍 비교를 요구하지 않고도 근접 중복 항목을 빠르게 식별할 수 있게 했습니다.
별도의 중복 제거 서비스를 구축하는 대신, MinHash + LSH 엔진은 Zilliz Cloud의 인덱싱 시스템 내에서 네이티브로 작동했으며, 임베딩 삽입, 인덱스 구축, 근사 쿼리에 동일한 API를 사용했습니다. 이를 통해 별도 워크플로를 관리하는 복잡성을 제거하는 동시에, MiniMax의 확장되는 데이터셋과 함께 성장할 수 있는 분산 수평 확장을 제공했습니다.
결과: 더 빠른 성능, 더 낮은 비용, 더 단순한 운영
통합 인프라 접근 방식은 MiniMax의 두 가지 미션 크리티컬 워크로드 전반에서 측정 가능한 개선을 제공했습니다.
Talkie를 위한 실시간 추천: 피크 규모에서 <30ms 지연 시간
Redis에서 전환한 후, Talkie의 추천 엔진은 5,000 QPS를 초과하는 트래픽 급증 중에도 30밀리초 미만이라는 지연 시간 목표를 꾸준히 달성했습니다. 벡터 네이티브 아키텍처는 기본적으로 더 정확한 의미 기반 매칭을 제공하여 추천 품질을 개선했고, 궁극적으로 사용자 참여도를 높였습니다.
멀티 레플리카 구성은 이전에 겪었던 가용성과 안정성 문제를 제거했습니다. Talkie가 수천만 명의 사용자 규모로 확장되는 동안에도 시스템은 성능 저하 없이 안정적으로 유지되었으며, 이는 사용자 유지와 제품 성장에 매우 중요했습니다.
Redis의 비용이 많이 드는 인메모리 요구사항을 제거함으로써 MiniMax는 인프라 지출의 상당한 감소도 확인했습니다. Zilliz의 컴퓨트 기반 모델은 팀에 더 많은 제어권을 제공하여 필요에 따라 리소스를 확장하거나 축소할 수 있게 했습니다. 이는 Redis의 고정된 메모리 오버헤드로는 불가능했던 일이었습니다.
데이터 중복 제거: 2배 더 빠르고, 3~5배 더 효율적
맞춤형 MinHash + LSH 구현은 MiniMax의 학습 데이터 관리 방식을 변화시켰습니다. 이전 MapReduce 시스템과 비교해 처리 속도는 2배 향상되었고 비용은 3~5배 감소하여, 수십억 문서 중복 제거를 일상적인 운영에서도 경제적으로 실행 가능하게 만들었습니다.
더 중요한 점은, 이 솔루션이 이전에 모델 과적합을 유발했던 중복 콘텐츠를 효율적으로 제거함으로써 학습 데이터 품질을 개선했다는 것입니다. 더 나은 데이터 품질은 곧바로 모델 성능과 일반화 능력의 향상으로 이어집니다. 이는 AI 연구 조직에게 궁극적인 성공 지표입니다.
통합 API 접근 방식은 운영을 크게 간소화했습니다. 임베딩과 유사도 검색을 처리하는 동일한 시스템에 중복 제거가 완전히 통합되면서, MiniMax는 별도의 도구를 없애고 파이프라인 복잡성을 줄였으며, 증가하는 데이터셋과 함께 확장되는 운영상의 단순성을 확보했습니다.
이후 팀은 MinHash + LSH 기능을 기존 중복 제거 사용 사례를 넘어 추가적인 전처리 워크플로에 적용하여, 새로운 AI 연구 이니셔티브를 지원하는 동시에 인프라 투자 대비 수익을 극대화했습니다.
앞으로의 방향: 자신 있게 AI 확장하기
Zilliz Cloud를 도입한 MiniMax는 이제 Talkie를 넘어 새로운 AI 제품을 지원하기 위해 벡터 인프라를 확장하고 있습니다. 팀은 이미지, 오디오, 텍스트 임베딩을 다양한 사용 사례 전반에서 지원하기 위해 동일한 벡터 네이티브 기반을 재사용하면서 멀티모달 기능을 구축하고 있습니다.
MinHash + LSH 엔진은 추가 데이터 파이프라인으로 확장되고 있으며, 모델 학습과 데이터셋 개선에 대한 더 빠른 반복 작업을 가능하게 합니다. MiniMax가 계속 성장함에 따라, Zilliz Cloud는 재설계 없이 확장할 수 있는 유연성을 제공하여, 향후 Zilliz 기능을 최소한의 오버헤드로 도입할 수 있도록 지원합니다.