Milvus가 Credal의 “안전하게 만들어진 유용한 AI” 사명을 지원하는 방법
오늘날 데이터 중심의 세계에서 인공지능(AI)을 엔터프라이즈 프로세스에 통합하는 것은 경쟁력을 유지하는 데 필수적이 되었습니다. 하지만 AI의 강력한 능력에는 데이터를 안전하게 관리하고, 접근을 제어하며, 개인정보 보호를 보장해야 하는 과제도 함께 따릅니다. 바로 이 지점에서 Credal이 등장하여, 조직이 위험을 완화하면서 Generative AI의 잠재력을 활용할 수 있도록 지원하는 솔루션을 제공합니다. 그 솔루션의 핵심에는 Milvus가 있습니다. Milvus는 오픈소스 벡터 데이터베이스로, "안전하게 구현된 유용한 AI"라는 Credal의 비전을 실현하는 데 중추적인 역할을 합니다.
Credal: GenAI와 엔터프라이즈 데이터 보안 사이의 간극을 메우다
Credal은 기업이 GenAI를 더 안전하고 쉽게 통합할 수 있도록 하는 것을 목표로 합니다. 핵심 초점은 Microsoft Office, Google Drive, Google Workspace, Slack, Confluence 등 다양한 소스의 데이터를 원활하게 통합하고, 이 데이터를 완전한 권한 및 반영과 함께 사용자에게 제공하는 것입니다. 그 결과 AI 기반 인사이트와 의사결정을 위한 사용자 친화적이고 IT 친화적인 안전한 환경이 만들어집니다.
Credal: 안전한 엔터프라이즈급 GenAI 배포를 위한 엔드투엔드 솔루션
사용자 관점에서 이는 코딩이나 복잡한 알고리즘에 능숙해지지 않고도 방대한 데이터를 활용하고 GenAI의 힘을 이용할 수 있음을 의미합니다. 또한 Credal은 사용자가 자신의 데이터를 사용해 에이전트와 전문가를 만들 수 있도록 지원하여 GenAI 기술을 최대한 활용할 수 있게 합니다.
관리자와 IT 팀을 위해 Credal은 관측 가능성과 거버넌스 도구를 제공합니다. 이러한 도구에는 허용 가능한 사용 정책 적용, 감사 추적, 로깅, 데이터 카탈로그화, 데이터 거버넌스를 위한 기능이 포함되어 있으며, 이는 모두 대기업에서 GenAI를 효과적으로 배포하는 데 중요한 요소입니다. Credal의 Chat UI와 API는 PII 비식별화, 감사 로깅, 데이터 접근 제어와 같은 핵심 기능을 구현하여 LLM을 기업 데이터와 통합하기 위한 실용적인 솔루션을 제공합니다.
프로덕션 준비가 완료된 벡터 데이터베이스의 필요성
Credal이 Milvus를 플랫폼에 통합하기 전, 회사는 상당한 기술적 과제에 직면했습니다. 벡터 데이터베이스의 필요성은 Credal이 처음에 서드파티 호스팅 의미 검색 솔루션을 구현하려고 했을 때 생겨났습니다. 이는 벡터 데이터베이스가 사용자가 자신의 데이터를 검색하고 Credal 플랫폼 내에서 맞춤형 워크플로를 만들 수 있도록 하는 것을 포함해 더 폭넓게 적용될 수 있다는 깨달음으로 이어졌습니다.
벡터 검색을 실험하는 과정에서, 시장에 나와 있는 많은 솔루션이 프로토타이핑과 개념 증명에는 적합하지만 엔터프라이즈 규모의 구현에는 더 높은 견고성이 필요하다는 사실을 발견했습니다. 확장 가능하고 프로덕션 준비가 완료된 벡터 데이터베이스의 필요성이 분명해졌습니다.
Milvus 선택: 충분한 정보를 바탕으로 한 결정
벡터 데이터베이스 요구 사항을 해결하기 위해 Credal은 평가 프로세스에 착수했습니다. 기준에는 셀프 호스팅, 활발한 개발, 확장성, 커뮤니티 지원이 포함되었습니다. 이 평가에서 Milvus는 명확한 승자로 떠올랐습니다. Credal은 Milvus의 활발한 개발과 커뮤니티 참여 수준에 깊은 인상을 받았습니다. Milvus의 GitHub stars는 활발한 오픈소스 커뮤니티를 나타냈으며, 이는 장기적인 안정성과 지원에 긍정적인 신호였습니다. 또한 Milvus는 Kubernetes 배포를 위한 공식 Helm chart를 제공하여 사용자 친화적인 설치 및 배포 경로에 대한 의지를 보여주었습니다.
벡터 검색과 메타데이터 필터링을 결합한 하이브리드 검색의 제공 여부도 Credal의 결정에 영향을 미친 또 다른 핵심 요인이었습니다. 이 기능은 그들이 검토한 다른 옵션들에서는 눈에 띄게 빠져 있었습니다.
확장성과 스토리지 및 컴퓨팅의 분리
Credal은 확장성의 중요성과 스토리지 및 컴퓨팅 리소스의 분리를 인식했습니다. 스토리지와 컴퓨팅을 의도적으로 분리한 Milvus의 설계는 그들이 필요로 하는 유연성과 확장성을 제공했습니다. 단일 노드 솔루션과 달리, Milvus의 아키텍처는 변화하는 요구에 더 민첩하게 대응할 수 있게 해주었습니다.
Credal의 공동 창립자 겸 CTO인 Jack Fischer는 이 설계 결정의 중요성을 강조합니다. “특히 막 시작했을 때는 우리의 액세스 패턴이 정확히 어떻게 될지 알 수 없었습니다. 제품이 발전함에 따라 우리의 액세스 패턴도 분명히 발전합니다...그래서 스토리지와 컴퓨팅의 분리를 보게 되어 기뻤습니다. 제품을 어떤 방향으로 가져가든, 그것을 우리에게 맞게 작동시킬 수 있다고 확신했습니다.”
Milvus: Credal의 벡터 데이터베이스 요구 사항을 위한 명확한 선택
Milvus는 고려된 모든 오픈 소스 대안보다 뛰어났습니다. Credal의 평가는 모든 벡터 데이터베이스 요구 사항을 충족하는 플랫폼이 단 하나뿐임을 보여주었습니다. 다양한 사용 사례를 지원하는 Milvus의 능력과 기술적 역량은 Credal의 미션에 이상적인 선택이 되게 했습니다.
"운 좋게도 우리는 덜 나쁜 것을 선택해야 했던 것이 아니라, 우리가 원했던 모든 것에서 실제로 정말 뛰어난 것을 선택할 수 있었습니다."라고 Fischer는 말합니다. "벤 다이어그램의 가운데를 생각해 보면, 여덟 개의 원이 모두 겹쳐져 있을 때, 가운데에는 단 하나만 보이는데 그것이 Milvus입니다. 그래서 Milvus는 모든 것을 충족했고, 다른 어떤 것도 모든 것을 충족하지 못했습니다. 따라서 이 중 일부만 중요하게 생각한다면 다른 옵션을 선택할 수 있겠지만, 모든 것이 작동하길 원한다면 Milvus여야 합니다."
Milvus를 Credal의 애플리케이션 생태계에 통합한 것은 판도를 바꾸는 일이었습니다. Milvus의 텍스트 임베딩을 통해 Credal은 대량의 콘텐츠를 효율적으로 처리하고 정제하여 고급 LLM 애플리케이션에서 접근 가능하게 만들 수 있습니다. 텍스트 임베딩의 다재다능함은 Credal의 검색, 필터링 및 데이터 큐레이션 기능을 크게 향상시킵니다.
Credal의 아키텍처는 첨단 기술뿐만 아니라 고품질 데이터 통합에도 중점을 둡니다. 그들은 소스 시스템의 데이터를 독자적인 형식으로 해석하고, 이 데이터가 GenAI 모델에 효과적으로 전달되도록 하는 것을 우선시합니다. 이러한 세심한 접근 방식은 Credal을 일반적인 데모웨어 개발과 차별화하며, 정확하고 직관적인 결과를 제공할 수 있게 합니다.
이점 및 향후 계획
Milvus는 Credal이 고객에게 확장 가능하고 사용하기 쉬운 솔루션을 제공할 수 있게 합니다. 이를 통해 처음부터 광범위한 엔지니어링 노력을 들일 필요가 없어지고 운영 오버헤드가 줄어듭니다. Milvus의 확장성과 견고성은 제품이 발전함에 따라 플랫폼이 Credal과 함께 성장할 수 있도록 보장합니다.
향후 계획과 관련하여, Credal은 클라우드 기반 고객을 위해 Zilliz Cloud 사용을 고려하고 있습니다. 보안, 거버넌스, 효과적인 GenAI 기능은 그들의 로드맵의 핵심입니다. Credal은 주로 직원 수 1,000명에서 5,000명 규모의 기업을 대상으로 하며, 실제 기업 환경에서 GenAI가 원활하게 작동하도록 하는 데 전념하고 있습니다. Milvus를 핵심으로 삼아, Credal은 전 세계 기업에 "안전하게 만들어진 유용한 AI"를 제공하는 데 앞장설 준비가 되어 있습니다.
계속 읽기
We spent 8 years making vector databases faster. Then we stopped.
Rarely queried embeddings still need to stay searchable. See how Vector Lakebase enables on-demand vector search without always-on compute costs.
Context Engineering Strategies for AI Agents: A Developer’s Guide
Learn practical context engineering strategies for AI agents. Explore frameworks, tools, and techniques to improve reliability, efficiency, and cost.
Balancing Precision and Performance: How Zilliz Cloud's New Parameters Help You Optimize Vector Search
Optimize vector search with Zilliz Cloud’s level and recall features to tune accuracy, balance performance, and power AI applications.