Ivy.ai, Zilliz Cloud로 GenAI 기반 커뮤니케이션을 확장하다
향상된 신뢰성
Zilliz Cloud를 도입한 이후 Ivy.ai는 중단이나 중대한 문제를 겪지 않아 고객에게 일관된 서비스를 보장하고 있습니다.
향상된 확장성
리소스를 손쉽게 확장할 수 있는 능력은 Ivy.ai의 성장과 고객 확보를 위한 무료 체험 접근 방식을 뒷받침해 왔습니다.
최적화된 성능
Zilliz Cloud의 고성능 벡터 데이터베이스는 Ivy.ai가 Zilliz Cloud를 사용하기 시작한 이후 데이터가 200% 이상 증가했음에도 빠른 응답 시간을 유지할 수 있도록 지원했습니다.
I was benchmarking different vector databases, and Milvus was at the top among all the popular options on the market.
Saumil Patel
Ivy.ai 소개
Ivy.ai는 고등교육, 의료 및 기타 공공 부문에서 커뮤니케이션을 향상하는 데 전념하는 팀이 만들어낸 결과물입니다. 2023년에 출시된 이들의 대표 제품 IvyQuantum™은 단순한 Q&A를 넘어서는 고급 AI 챗봇입니다. 다음을 제공합니다:
옴니채널 기능(웹, SMS, 음성, WhatsApp, 소셜 미디어)
라이브 상담원 지원
AI 생성 이메일 응답
계정별 정보 접근 및 리드 수집을 위한 원활한 통합
풍부한 기능 외에도 Ivy.ai를 차별화하는 것은 데이터 보안과 개인정보 보호에 대한 헌신이며, 이는 민감한 정보를 다루는 기관에 중요한 요소입니다. 기관별 데이터 소스를 활용함으로써 Ivy.ai는 각 구현이 고객의 고유한 요구에 맞춰 조정되도록 보장합니다.
과제: 교육을 위한 GenAI 확장
Ivy.ai 팀은 검색 기반의 Ivy 1.0에서 더 발전된 생성형 AI 기반 IvyQuantum™으로 전환하면서 여러 장애물에 직면했습니다. 팀에는 다음을 수행할 수 있는 솔루션이 필요했습니다:
새로운 제품을 위해 수십억 개의 벡터 처리
실시간 AI 생성 응답을 위한 고속 쿼리 제공
데이터 양과 요구사항이 증가함에 따라 안정적인 성능 제공
팀이 인프라 관리가 아니라 혁신에 집중할 수 있도록 지원
적합한 기술을 찾는 과정에서 Ivy.ai의 헌신은 흔들림이 없었습니다. 이들은 처음에 벡터 데이터베이스로 Milvus를 선택했습니다. Ivy.ai의 Senior Data Scientist인 Saumil Patel은 "저는 다양한 벡터 데이터베이스를 벤치마킹하고 있었고, Milvus는 시장의 모든 인기 옵션 중 최상위에 있었습니다."라고 설명합니다. 팀은 초당 쿼리 수, 삽입, 리콜에서 Milvus의 성능에 깊은 인상을 받았으며, 이는 GenAI 기반 커뮤니케이션 플랫폼에 중요한 지표였습니다. 이들에게는 사용자가 질문했을 때 벡터 데이터베이스에서 최상위 결과를 1초 미만으로 찾아낼 수 있는 솔루션이 필요했습니다.
Milvus를 선택한 후 Ivy.ai는 Google Cloud Platform에서 Kubernetes를 사용해 이를 자체 호스팅하려고 시도했습니다. 그러나 이 접근 방식은 어려운 것으로 드러났습니다. Ivy.ai의 CTO인 Michal Oglodek은 "데이터 부하가 증가하고 요구사항이 늘어나면서 프로덕션에서 시스템 장애가 발생하는 중대한 문제를 겪었습니다. 더 지속 가능한 솔루션의 필요성을 인식하고, 시스템을 직접 관리하는 데 막대한 시간과 리소스를 투입하지 않기로 전략적 비즈니스 결정을 내렸습니다. 대신 더 안정적이고 확장 가능한 접근 방식을 선택했습니다."라고 회상합니다.이러한 안정성 문제와 성장하는 비즈니스의 증가하는 요구가 맞물리면서 Ivy.ai는 운영상의 골칫거리 없이 Milvus의 성능을 제공할 수 있는 더 확장 가능한 관리형 솔루션을 찾게 되었습니다.
Zilliz Cloud 도입: 대규모 완전 관리형 벡터 데이터베이스 솔루션
철저한 평가 끝에 Ivy.ai는 처음에 선택했던 Milvus 벡터 데이터베이스의 완전 관리형 버전인 Zilliz Cloud를 선택했습니다. 이 결정은 Ivy.ai의 요구사항과 완벽하게 부합하는 몇 가지 핵심 요인을 기반으로 했습니다. Zilliz Cloud는 수십억 개의 벡터를 처리할 수 있는 고성능의 확장 가능한 솔루션을 제공했으며, 이는 IvyQuantum™의 Retrieval Augmented Generation (RAG) 애플리케이션에 필수적이었습니다. Zilliz Cloud의 완전 관리형 서비스를 선택함으로써 Ivy.ai는 복잡한 데이터베이스 관리 필요성을 제거하고 핵심 비즈니스에 집중할 수 있게 되었습니다.
lvy.ai가 챗봇을 구동하기 위해 Zilliz Cloud를 사용하는 방식
Zilliz Cloud 솔루션의 확장성은 특히 매력적이었습니다. Oglodek은 이렇게 설명합니다. "우리가 하고 싶었던 것은 쉽게 확장하는 것이었고, 귀사의 소프트웨어와 서비스를 통해 우리의 요구에 맞춰 역량을 계속 늘릴 수 있었습니다." 이러한 유연성은 Ivy.ai의 증가하는 비즈니스 수요에 매우 중요했습니다. 또한 Zilliz Cloud가 제공하는 관리형 서비스는 Ivy.ai가 자체 호스팅 솔루션에서 경험했던 안정성 문제를 해결하여 신뢰할 수 있는 성능을 보장했습니다.
Patel은 특히 모니터링 및 분석 기능을 높이 평가하며 이렇게 말했습니다. "초당 쿼리 수와 우리가 보유한 데이터베이스의 총 용량을 정확히 확인할 수 있습니다." 데이터베이스 성능에 대한 이러한 수준의 인사이트는 운영을 최적화하고 향후 성장을 계획하는 데 매우 귀중한 것으로 입증되었습니다.
결과: 혁신을 위한 기반
Zilliz Cloud를 벡터 데이터베이스 솔루션으로 구현함으로써 Ivy.ai는 상당한 이점을 얻었습니다:
향상된 신뢰성: Zilliz Cloud를 도입한 이후 Ivy.ai는 중단이나 중대한 문제를 겪지 않았으며, 고객에게 일관된 서비스를 보장하고 있습니다.
강화된 확장성: 리소스를 쉽게 확장할 수 있는 능력은 Ivy.ai의 성장과 고객 확보를 위한 무료 체험 접근 방식을 지원했습니다.
최적화된 성능: Zilliz Cloud의 고성능 벡터 데이터베이스는 Ivy.ai가 Zilliz Cloud를 사용하기 시작한 이후 데이터가 200% 이상 증가했음에도 빠른 응답 시간을 유지해야 한다는 걱정에서 벗어나게 해주었습니다.
Oglodek은 그들의 경험을 간결하게 요약했습니다. "신뢰성, 확장성, 성능이 뛰어납니다. 그리고 이 모든 관리 업무를 아웃소싱할 수 있고 서버 고장에 대해 걱정할 필요가 없다는 점은 우리가 제품 개발과 혁신에 리소스를 투입할 수 있게 해주며, 이는 진정으로 우리 비즈니스를 차별화합니다".
미래를 향해
Zilliz Cloud가 제공하는 안정적이고 확장 가능하며 고성능인 기반을 바탕으로 Ivy.ai는 GenAI가 가능하게 하는 미래 성장을 위한 유리한 위치에 있습니다. Ivy.ai의 마케팅 SVP인 Sharon Harrison은 "혁신은 우리 회사의 핵심입니다"라고 강조하며, Zilliz Cloud의 지속적인 지원이 필요한 여러 프로젝트가 곧 진행될 것임을 암시합니다.
GenAI가 교육 환경을 계속 변화시키는 가운데, Zilliz Cloud의 벡터 데이터베이스 솔루션을 기반으로 하는 Ivy.ai는 최전선에서 기관과 학생 모두의 변화하는 요구를 충족할 준비가 되어 있습니다.
Reliability, scalability, and performance are great. The fact that we can outsource all this kind of administration management and don't have to worry about servers breaking helps us put resources into product development and innovation, which truly differentiates our business.
Michal Oglodek