Poizon이 Zilliz Cloud를 사용해 10억 규모의 벡터 검색으로 AI 기반 쇼핑을 가속화하는 방법
90ms 미만의 응답 시간
10억 규모의 벡터 검색용
총비용 절감
자체 관리형 설정보다
3-클러스터 복잡성 제거됨
프로덕션용
혁신 중심의
유지보수 대신
Poizon 소개
Poizon은 아시아에서 가장 빠르게 성장하는 소셜 이커머스 플랫폼 중 하나로, 스니커즈 중심의 마켓플레이스에서 종합 패션 및 라이프스타일 목적지로 발전해 왔습니다. 매일 수백만 명의 사용자에게 서비스를 제공하는 Poizon은 시각 검색, 자동화된 진품 검증, 개인화 추천, 사기 방지 등 AI 기반 역량을 활용하여 매끄럽고 신뢰할 수 있는 쇼핑 경험을 제공합니다.
내부적으로 Poizon은 마켓플레이스 운영, 제품 인증, 커뮤니티 기능을 지원하기 위해 방대한 양의 시각 및 텍스트 데이터를 처리합니다. 즉각적이고 정확한 제품 발견을 제공하는 것은 경쟁 우위의 핵심이며, 고성능 벡터 검색은 고객 만족과 비즈니스 성장을 위한 중요한 기반입니다..
과제: 10억 규모 AI 워크로드를 위한 인프라 구축
Poizon은 여러 미션 크리티컬 시나리오에서 GenAI 기술에 의존합니다:
이미지 검색 – 사용자가 이미지 업로드를 통해 유사한 제품을 즉시 찾을 수 있도록 지원
AI 기반 인증 – 명품의 진품 여부를 자동으로 검증
알고리즘 최적화 – 추천 엔진과 제품 발견 강화
보안 및 위험 관리 – 사기를 방지하고 플랫폼 보호
이러한 각 역량은 견고한 벡터 데이터베이스 인프라에 의존합니다. Poizon의 리더십은 장기적인 경쟁력이 빠르고 지능적이며 신뢰할 수 있는 AI 기반 경험을 제공하는 데 달려 있음을 인식했습니다. 이 목표를 달성하기 위해 팀은 90ms 미만의 응답 시간을 유지하면서 10억 규모의 벡터 작업을 처리할 수 있는 인프라가 필요했습니다—이는 사용자 참여에 필수적인 성능 수준입니다.
성능 및 비용 효율성을 위한 하이브리드 벡터 데이터베이스 전략
Poizon은 실제 데이터를 사용해 Milvus 및 Qdrant를 포함한 다양한 옵션을 테스트하면서 일반적인 쿼리를 재현하고 두 가지 지연 시간 목표를 측정했습니다: 미션 크리티컬 경로의 경우 90 ms 미만, 매우 큰 데이터셋의 경우 500 ms 미만. 또한 기본값인 HNSW, 대규모/저QPS 세트용 DiskANN 등 인덱스 선택과 Kubernetes 확장, 운영 2일 차 작업, 커뮤니티 지원도 비교했습니다.
Milvus가 더 적합했습니다. 팀의 Go 기반 스택과 잘 맞았고, Kubernetes에서 깔끔하게 확장되었으며, 문제 해결과 지식 공유를 가속화하는 활발한 국내 커뮤니티가 있었습니다. 장시간 안정성 테스트에서도 신뢰성 있게 작동했으며, 팀은 필요할 때 도구를 조정할 수 있었습니다—예를 들어 문제가 있는 세그먼트를 건너뛰도록 milvus-backup을 조정하는 식이었습니다. Milvus는 Poizon의 벡터 워크로드 전반에서 표준이 되었습니다.
규모가 커지면서 Poizon은 초저지연을 달성하는 방법을 다시 검토했습니다. 벤치마크, 트래픽 섀도잉, A/B 테스트 결과 명확한 구분이 나타났습니다: DiskANN을 사용한 자체 관리 Milvus는 중간 수준의 지연 시간 목표를 가진 대규모 데이터셋에 이상적인 반면, 관리형 Milvus(Zilliz Cloud라고도 함)는 더 적은 운영 노력으로 10억 규모에서 90 ms 미만 기준을 일관되게 충족합니다.
Poizon의 환경에서 자체 관리 클러스터를 더 밀어붙이는 것은 수익 체감으로 이어졌습니다—60개의 QueryNodes로 확장한 후에도 지연 시간이 약 ~200 ms 수준에서 정체되었는데, 이는 주로 QueryNode–Proxy 상호작용 때문이었습니다. 온프레미스에서 90 ms 미만을 달성하려면 최소 세 개의 병렬 클러스터와 복잡한 멀티 리드/멀티 라이트 로직이 필요했을 것입니다—가능하기는 하지만 비용이 많이 들고 운영 부담이 큽니다.
Milvus는 Poizon의 Go 기반 스택과 잘 맞고, Kubernetes에서 원활하게 확장되며, 활발한 커뮤니티의 지원을 받는 최고의 선택임을 입증했습니다. Poizon은 하이브리드 접근 방식을 채택했습니다: 지연 시간에 민감한 워크로드(예: 시각 검색 및 AI 인증)에는 Zilliz Cloud를, 안정적인 500 ms 미만 성능으로 비용 효율적인 시나리오에는 자체 관리 Milvus를 사용하여 클라우드 규모의 속도와 운영 효율성을 모두 제공했습니다.
결과: 더 빠른 검색, 더 간결한 아키텍처, 더 큰 혁신
Zilliz Cloud 도입은 Poizon의 AI 기반 커머스 플랫폼 전반에 즉각적이고 측정 가능한 개선을 가져왔습니다:
90ms 미만 성능 – Zilliz Cloud는 비주얼 검색과 AI 인증에 필요한 초저지연을 일관되게 달성했습니다. 이는 자체 관리형 Milvus로는 제공할 수 없었던 것으로, 60개의 QueryNode로 확장한 후에도 성능은 ~200ms에서 정체되었습니다.
더 단순하고 비용 효율적인 아키텍처 – 복잡한 3개 클러스터 구성과 다중 쓰기/다중 읽기 로직의 필요성을 제거함으로써, Zilliz Cloud는 운영을 단순화했을 뿐만 아니라 비용도 절감했습니다. 이 관리형 서비스는 비용이 많이 드는 자체 관리형 대안이 달성할 수 있었던 수준을 뛰어넘는 성능을 보였습니다.
엔지니어링 역량을 혁신에 집중 – 인프라 병목 현상이 해결되면서, Poizon의 엔지니어링 팀은 데이터베이스 튜닝과 유지보수에서 벗어나 이커머스에서의 경쟁 우위를 강화하는 AI 기반 기능 구축에 집중할 수 있게 되었습니다.
향후 전망: 탁월한 데이터 파이프라인 구축
고성능 벡터 데이터베이스 기반이 마련됨에 따라, Poizon은 이제 AI 혁신의 다음 단계를 촉진할 최고 수준의 데이터 파이프라인 구축에 집중하고 있습니다.
엔지니어링 팀은 비즈니스 팀이 데이터 기반 애플리케이션에 집중하는 동안 DBA가 백그라운드에서 양자화와 수집을 관리할 수 있도록 자동화된 마이그레이션 및 수집 도구를 만들고 있습니다. 이를 통해 수동 준비의 부담 없이 비즈니스 유닛 전반에 새로운 AI 기능을 더 빠르게 출시할 수 있습니다.
동시에, Poizon은 MySQL과 같은 업스트림 시스템과 벡터 데이터베이스 간의 정합성을 보장하기 위해 내부 팀 및 Milvus 커뮤니티와 함께 데이터 일관성 검증 도구를 개발하고 있습니다. 이러한 노력은 AI 파이프라인 전반의 데이터 무결성을 보호하고, 확장 가능하고 신뢰할 수 있는 AI 혁신의 기반을 마련할 것입니다.
결론
Poizon의 여정은 올바른 벡터 데이터베이스 전략이 어떻게 대규모 AI 혁신을 가능하게 하는지를 보여줍니다. 성능이 중요한 워크로드에는 Zilliz Cloud를, 비용 최적화 시나리오에는 자체 관리형 Milvus를 결합함으로써, 이 회사는 인프라 병목 현상을 제거하고 엔지니어들이 차별화된 AI 기능 제공에 집중할 수 있도록 했습니다.
AI 기반 경험을 추구하는 이커머스 기업에게, Poizon의 하이브리드 접근 방식은 인프라가 단순한 기술적 선택이 아니라 경쟁 우위임을 보여줍니다. 성능과 안정성이 보장되면, 획기적인 사용자 경험으로 나아가는 길은 필연적이 됩니다.