글로벌 핀테크 리더, Milvus로 AI 확장
5~10배 더 빠름
경쟁사보다 배치 수집
최소한의 개발
여러 사용 사례를 지원하는 데 필요함
즉각적인 확장성
수백만 개에서 수백억 개의 벡터로
When it comes to vector databases, Milvus has impressed us with its performance and scalability, meeting our stringent criteria for handling our AI use case backlog.
Team Lead
회사 소개
이 글로벌 핀테크 기업은 디지털 결제를 전문으로 하며, 200개 이상의 국가와 25개 이상의 통화에서 거래를 가능하게 합니다. 소비자 및 가맹점 결제 제품 전반을 아우르는 포트폴리오를 통해, 개인 간 P2P 결제부터 대규모 엔터프라이즈 솔루션까지 매년 수백억 건의 거래를 처리합니다. 이 회사는 개발자 우선 API, 현대적인 사용자 경험, 그리고 멀티 브랜드 생태계로 잘 알려져 있습니다.
이 조직 내에서 AI, ML, and Platform Solutions 팀은 혁신을 이끄는 데 중심적인 역할을 합니다. 그들의 미션은 최첨단 머신러닝과 AI를 적용하여 고객 경험을 개선하고, 운영을 자동화하며, 새로운 수익원을 창출하는 것입니다. 여기에는 수평적 AI/ML 인프라 제공, 실시간 이벤트 스트리밍 지원, 그리고 회사의 결제 제품군 전반에서 GenAI와 같은 새로운 역량을 구현하는 것이 포함됩니다.
과제: 복잡한 글로벌 인프라 전반에서 AI 확장하기
2023년에 이 회사는 GenAI 기반의 소비자 대상 추천 시스템 출시를 우선순위로 삼았습니다. 이 시스템은 해당 핀테크 기업의 소비자 브랜드 중 하나를 통해 출시되었으며, 가맹점 재고와 구매 맥락을 기반으로 결제 시 맞춤형 제품 추천을 제공합니다.
하지만 이 목표를 실행하는 것은 간단하지 않았습니다. 두 가지 주요 과제가 가로막고 있었습니다:
막대한 데이터 볼륨 이 조직은 매년 수십억 건의 거래를 처리합니다. 상용 시스템과 자체 개발 시스템 모두 관련 데이터 볼륨에 맞게 확장하는 데 어려움을 겪었습니다. 실제로 팀은 어떤 벤더 솔루션도 성능 및 확장성 요구사항을 충족하지 못했기 때문에 이전에 맞춤형 그래프 데이터베이스를 구축한 바 있습니다.
미성숙한 벡터 데이터베이스 환경 벡터 검색은 개인화된 추천을 구동하는 데 핵심이었지만, 사용 가능한 도구들은 아직 비교적 새로운 단계였습니다. 팀은 프로덕션 워크로드에 맞게 확장할 수 있고 엄격한 지연 시간 및 수집 요구사항을 충족할 수 있는 신뢰성 높고 고성능인 시스템이 필요했습니다.
Weaviate와 AlloyDB를 포함한 여러 솔루션을 평가한 후, 팀은 Milvus를 선택했습니다.
Milvus를 선택한 이유: 성능, 확장성, 사용 편의성
"Milvus는 성능과 확장성으로 우리에게 깊은 인상을 주었습니다,"라고 AI, ML, and Platform Solutions 팀 리드는 말했습니다. 초기 시험 단계부터 Milvus는 데이터 수집, 쿼리 성능, 운영 유연성에서 뛰어난 역량을 보여주었습니다. 문서는 명확하고 개발자 친화적이었으며, 시스템은 광범위한 튜닝 없이도 수십억 개의 벡터를 처리했습니다.
배치 수집 성능은 특히 중요했습니다. 재고 데이터는 자주, 때로는 매시간 업데이트되어야 했습니다. 테스트에서 Milvus는 전체 컬렉션 덤프를 대안들보다 5–10배 더 빠르게 수집했습니다. 경쟁 제품이 8시간 이상 걸린 작업을 Milvus는 1시간 이내에 완료했습니다.
또한 돋보였던 것은 Milvus의 유연성이었습니다. 팀은 추천 시스템부터 챗봇까지 AI 사용 사례의 긴 백로그를 보유하고 있었습니다. Milvus는 최소한의 개발 노력으로 그중 많은 요구를 충족하여 귀중한 엔지니어링 시간을 절약해 주었습니다.
스타트업(Zilliz)이 유지 관리하는 오픈소스 도구를 도입하는 데 대한 초기의 망설임에도 불구하고, 팀은 Milvus가 엔터프라이즈급 요구사항을 충족할 수 있는 성숙도, 생태계 지원, 그리고 실제 배포 사례를 갖추고 있음을 확인했습니다.
추천 시스템에서 챗봇까지—다음 단계
추천 시스템의 성공적인 출시 이후, 팀의 다음 이니셔티브는 AI 기반 고객 서비스 챗봇입니다. 이 다국어 봇은 벡터 검색 및 검색 증강 기법을 사용하여 일상적인 질문에 답함으로써 전 세계 수천 명의 서비스 상담원을 지원할 것입니다.
팀이 AI 적용 범위를 계속 확장함에 따라, 완전 관리형 Milvus 서비스인 Zilliz Cloud로의 이전을 평가하고 있습니다. Milvus를 내부적으로 운영하고 확장하는 것은 효과적이었지만, 인프라 관리를 외부에 맡기면 팀이 더 높은 가치의 이니셔티브에 집중할 수 있을 것입니다.
During batch ingestion tests, Milvus demonstrated that it could complete an entire collection dump into the database at speeds 5–10 times faster than competitors.
Team Lead