크레달 AI, 밀버스와 함께 안전하고 관리 가능한 GenAI를 실현하다
유연한 확장
컴퓨팅과 스토리지가 분리된
향상된
하이브리드 검색을 통한 쿼리 정밀도
신속한 기능 배포
선도적인 오픈소스 커뮤니티와 함께
When you're engineering a solution as complex as ours, you're not just ticking boxes—you're looking for that sweet spot where all your must-haves intersect. Think of it as an eight-circle Venn diagram; while many databases met one or two of our criteria, Milvus was the only one sitting right at the intersection of all eight. It checked every single box for us—something no other solution managed to do.
Jack Fischer
크레달 AI 소개
Credal AI는 기업이 안전하고 접근하기 쉬운 GenAI를 만드는 것을 목표로 합니다. 강력한 데이터 통합 및 거버넌스 기능을 제공하여 Microsoft Office, Google Workspace, Slack과 같은 다양한 플랫폼에서 데이터를 가져옵니다. 또한 액세스 및 권한이 엄격하게 제어되는 'Okta for AI'를 제공하여 개발자와 최종 사용자에게 간소화되고 안전한 인터페이스를 제공하는 것을 목표로 합니다. 따라서 Credal AI는 안전한 엔터프라이즈급 GenAI 배포를 위한 엔드투엔드 솔루션으로 사용됩니다.
규모와 복잡성 탐색: 도전 과제
Credal AI는 제품 개발을 시작하면서 몇 가지 도전 과제에 직면했습니다. 그 중 중요한 기능은 시맨틱 검색이었는데, 필수적인 벡터 검색 플러그인을 사용해 대규모로 구현하기가 어려웠습니다. 이러한 문제는 시맨틱 검색이 높은 데이터베이스 성능이 필요한 맞춤형 워크플로우에 내장되었을 때 더욱 악화되었습니다. 복잡한 사용자 정의 기준에 따라 대규모 데이터 세트를 실시간으로 처리해야 하는 이러한 GenAI 기반 워크플로우를 구축하기 위해서는 기존의 검색 메커니즘을 개선해야 했습니다.
또한 클라우드 기반 및 온프레미스 설정을 포함한 다양한 호스팅 환경으로 인해 자체 호스팅이 가능하고 활발한 오픈 소스 커뮤니티의 지원을 받을 수 있는 벡터 데이터베이스가 필요했습니다. 복잡한 데이터 파이프라인과 다양한 호스팅 조건을 처리할 수 있는 빠르고 확장 가능하며 다재다능한 데이터베이스가 필요했습니다.
Milvus 선택: 모든 조건을 충족하는 개발자 중심의 벡터 데이터베이스
종합적인 평가 끝에 Credal AI는 Amazon EKS에서 실행되는 Milvus가 벡터 데이터베이스 요구 사항에 가장 적합하다는 결론을 내렸습니다. 가장 눈에 띄는 것은 프로젝트와 관련된 활발한 오픈소스 커뮤니티였습니다. 이는 '있으면 좋은 것'이 아니라 빠른 문제 해결과 지속적인 기능 개발을 위한 중요한 요소였습니다. 또한 높은 GitHub 별 개수는 허영심에 불과한 지표가 아니라 참여도가 높고 활기찬 개발자 커뮤니티의 가시적인 신호로, 솔루션의 수명에 대한 신뢰를 더했습니다.
또 다른 중요한 고려 사항은 Milvus의 공식 Kubernetes용 헬름 차트였습니다. 사용자 정의 헬름 차트를 만드는 것이 큰 어려움은 아니었지만, 공식적으로 지원되는 차트는 개발자의 성공을 위한 Milvus의 노력을 보여주는 증거였습니다. 이는 Milvus 팀이 단기적인 수익만을 쫓는 것이 아니라 실제 사용자 문제를 해결하는 데 진정으로 투자하고 있음을 시사했습니다. 이러한 지원은 특히 배포 프로세스를 간소화하여 시간과 엔지니어링 리소스를 절약할 수 있었기 때문에 Credal AI와 같은 스타트업에게는 매우 귀중한 일이었습니다.
Milvus의 기능, 특히 하이브리드 검색의 가용성 또한 그들의 관심을 끌었습니다. 다른 메타데이터를 필터링하면서 벡터 검색을 수행할 수 있는 기능은 매우 중요한 요구사항이었습니다. 많은 솔루션이 빠른 벡터 검색을 제공했지만 이를 구조화된 데이터로 확장하는 데는 한계가 있었습니다. 밀버스의 하이브리드 검색 기능은 기술적 요구 사항을 충족하고 실제 비즈니스 문제를 해결하는 잃어버린 퍼즐 조각이었습니다.
마지막으로, 스토리지와 컴퓨팅을 분리하는 Milvus의 아키텍처는 Credal AI가 추구하던 확장성과 유연성을 제공했습니다. 이러한 설계 선택은 단순한 아키텍처 개념이 아니라 향후 제품 확장에 대한 자신감의 근간이 되었습니다. 이를 통해 애플리케이션을 미세 조정하면서 액세스 패턴을 발전시킬 수 있었습니다. 성능, 기능, 커뮤니티, 아키텍처 등 벡터 데이터베이스의 '필수 요소'에 관해서는 Milvus가 모든 항목을 충족했습니다.
결과: Milvus를 통한 실제 확장성 및 유연성 확보
Amazon EKS에 Milvus를 구현한 것은 복잡한 벡터 검색 요구 사항을 위한 강력한 백본을 제공함으로써 Credal AI의 판도를 바꾸어 놓았습니다. Milvus의 기술력은 데이터베이스의 성능에 대한 초기 불확실성을 빠르게 해소해 주었습니다. 스타트업이 종종 진화하는 요구 사항을 처리하는 환경에서 Milvus는 즉각적인 솔루션이자 장기적인 자산임을 입증했습니다.
Milvus를 선택하기로 한 결정은 Credal AI의 기존 시스템에 원활하게 통합되어 기술적 전제 조건과 광범위한 비즈니스 목표를 충족시킴으로써 검증되었습니다. 분리된 스토리지 및 컴퓨팅 아키텍처를 통해 높은 확장성을 제공하는 플랫폼의 역량 덕분에 Credal AI는 새로운 고객 요구 사항을 예측하고 이에 적응할 수 있는 자신감을 갖게 되었습니다. 이제 이 회사는 핵심 제품을 반복하고 사용자 참여를 유도하는 등 가장 잘하는 일에 집중할 수 있게 되었습니다. 백엔드는 어떤 작업도 처리할 수 있으므로 안심하세요.
앞서 나가기: Milvus의 향후 계획
크레달 AI는 향후 클라우드 기반 클라이언트를 위해 Milvus의 유지보수 업체인 Zilliz와 협력하여 Zilliz Cloud를 활용하는 방안을 고려하고 있습니다. 이는 강력한 보안 조치와 포괄적인 데이터 거버넌스가 필요한 복잡한 작업인 실제 엔터프라이즈 애플리케이션에 GenAI 기능을 도입하려는 팀의 지속적인 미션과 잘 맞닿아 있습니다. 밀버스의 완전 관리형 버전인 AWS의 질리즈 클라우드를 활용하는 것은 이러한 광범위한 전략에 잘 부합하며, 클라우드 고객을 위한 운영을 간소화하고 서비스 제공을 향상시킬 수 있을 것으로 기대됩니다.
한편, Milvus는 여전히 크레달 AI의 전략에서 핵심적인 역할을 담당하고 있습니다. 기업에서 GenAI를 운영하기 위해 모든 면에서 전력을 다하고 있는 상황에서 Milvus가 제공하는 확장성과 유연성은 그 어느 때보다 귀중합니다. Milvus와의 관계는 일회성 솔루션이 아니라 진화하는 과제를 해결하고 새로운 차원으로 확장하기 위한 장기적인 파트너십으로 간주됩니다.