Zilliz Cloud의 새로운 기능: Migration Service, Fivetran Connector, Multi-replica 등
Zilliz Cloud의 새로운 기능을 발표하게 되어 기쁩니다. 이 기능들은 프로덕션 환경에서 AI 워크로드를 실행하기 위한 지원을 강화하도록 설계되었습니다. 이번 업데이트는 개발자와 기술 리더가 AI 기반 애플리케이션을 효율적으로 배포하고 확장할 수 있는 고급 도구를 제공합니다.
새로운 기능을 통해 기술 팀은 다음을 수행할 수 있습니다:
최고의 기술을 활용하면서 비정형 데이터에 대한 완전한 소유권을 유지
대규모 프로덕션 GenAI 애플리케이션의 속도 및 확장 요구 사항 지원
프로덕션 환경에서 GenAI 워크로드의 견고하고 안전한 운영 보장
조직들이 AI 기반 애플리케이션을 점점 더 많이 배포함에 따라, 대량의 비정형 데이터를 관리하고, 대규모에서 높은 성능을 보장하며, 운영의 견고성을 유지하는 것이 중요한 과제가 되고 있습니다. 당사의 새로운 기능은 이러한 문제를 해결하여 개발 팀이 인프라 관리보다 혁신에 집중할 수 있도록 합니다.
다음은 새로운 기능에 대한 개요입니다. 자세한 내용은 계속 읽어보세요:
- Migration Service
- Fivetran 소스 커넥터
- 다중 복제본
- 자동 확장
- 기타 프로덕션 준비 상태 업데이트
이러한 혁신이 실제로 작동하는 모습을 보려면 출시 웨비나에 참여하세요.
Zilliz 2024년 9월 출시 개요
그림 1: Zilliz 2024년 9월 출시 개요
Migration Service: 안전하고 효율적인 벡터 데이터 마이그레이션
Zilliz Cloud는 AI 애플리케이션에서 벡터 데이터베이스를 사용할 때 개발자가 직면하는 핵심 과제를 해결하는 새롭게 출시된 기능인 벡터 데이터용 Migration Services를 도입합니다. 프로젝트가 발전함에 따라 데이터베이스와 기타 데이터 시스템 간에 벡터 데이터를 전송해야 하는 필요성이 다음과 같은 여러 이유로 중요해집니다:
벤더 종속 방지
강력한 데이터 백업 및 복구 전략 구현
서로 다른 시스템 간의 상호 운용성 보장
하지만 이 과정은 예상보다 복잡한 경우가 많아, 전송 중 정보나 기능 손실의 위험이 있습니다.
Migration Services는 다음을 제공하여 이러한 과제를 단순화합니다:
벡터 데이터베이스(예: Milvus, pgvector, Elastic) 간 무손실 마이그레이션
대량 가져오기와 증분 데이터 마이그레이션 모두 지원
일관성을 보장하고 기능을 보존하기 위한 내장 데이터 검증
대규모 벡터 데이터셋을 처리하도록 설계된 고성능 작업
Migration Services를 통해 개발자는 다양한 플랫폼과 시나리오 전반에서 데이터에 대한 완전한 제어권을 유지할 수 있습니다. Migration Services는 마이그레이션 프로세스를 간소화함으로써 데이터 이동성, 보안, 무결성을 보장하는 동시에 AI 모델과 애플리케이션을 구축하고 개선하는 데 집중할 수 있게 해줍니다.
Fivetran Connector: 500개 이상의 소스에서 간소화된 비정형 데이터 통합
Zilliz Cloud는 이제 Fivetran과 통합되어 데이터 수집 기능을 크게 확장합니다. 이 새로운 커넥터는 500개 이상의 다양한 시스템에서 비정형 데이터를 효율적으로 검색할 수 있게 하여, AI 애플리케이션에서 접근 가능한 데이터의 범위를 넓혀줍니다.
작동 방식은 다음과 같습니다:
500개 이상의 소스(Snowflake, MongoDB, Salesforce 등)에서 비정형 데이터가 Fivetran으로 유입됩니다.
Fivetran의 커넥터와 변환 로직이 데이터를 처리합니다.
Milvus 소스 커넥터(Fivetran SDK로 구축됨)가 처리된 데이터를 Zilliz/Milvus로 전달합니다.
비정형 데이터는 OpenAI의 Fivetran 커넥터를 통해 OpenAI Embedding Services를 사용하여 벡터화할 수 있습니다.
마지막으로, 벡터 데이터는 Zilliz Cloud/ Milvus로 수집되어 벡터 검색 및 AI 애플리케이션에 사용할 준비가 됩니다.
Fivetran 소스 커넥터 작동 방식
그림 2: Fivetran 소스 커넥터 작동 방식
이 통합은 다양한 소스에서 비정형 데이터를 수집, 변환, 벡터화하는 전체 프로세스를 간소화합니다. 맞춤형 ETL 파이프라인의 필요성을 없애 개발자의 시간과 노력을 절약하는 동시에 Milvus/ Zilliz로의 원활한 데이터 흐름을 보장합니다.
이 Fivetran 커넥터를 활용하면 방대한 비정형 데이터를 사용해 AI 애플리케이션을 쉽게 구축할 수 있으며, 시맨틱 검색과 AI 기반 인사이트를 위한 새로운 가능성을 열 수 있습니다.
멀티 레플리카: 성능 및 가용성 향상
새롭게 공개 프리뷰로 제공되는 멀티 레플리카 기능은 프로덕션 환경을 위한 Zilliz Cloud의 역량을 강화합니다. 이 기능은 클러스터 수준 복제를 지원하여 쿼리 성능과 시스템 가용성을 크게 향상시킵니다.
많은 소비자용 AI 애플리케이션은 높은 사용자 수로 인해 프로덕션에서 초당 쿼리 수(QPS) 병목 현상에 직면합니다. 멀티 레플리카는 쿼리 워크로드를 레플리카 전반에 분산하여 이를 해결하며, 레플리카가 추가됨에 따라 전체 QPS를 선형적으로 개선할 수 있는 병렬 처리를 가능하게 합니다. 그 결과 지연 시간이 줄어들고 효율성이 향상되며, 이는 트래픽이 많은 프로덕션 환경에서 응답성을 유지하는 데 필수적입니다.
또한, 멀티 레플리카는 여러 가용 영역(AZ)에 레플리카를 분산하여 시스템 안정성을 향상시킵니다. 이 아키텍처는 AZ 장애 중에도 지속적인 데이터 액세스를 보장하여 미션 크리티컬 애플리케이션에 필요한 고가용성을 제공합니다. 멀티 레플리카가 전체 클러스터 용량을 늘리지는 않지만, 쿼리 성능을 최적화하고 프로덕션 환경에서 요구되는 시스템 복원력을 보장하는 강력한 도구를 제공하여 팀이 자신 있게 AI 애플리케이션을 확장할 수 있도록 합니다.
자동 확장: 동적 용량 관리
Zilliz Cloud는 프로덕션 환경의 일반적인 과제인 변동하는 수요에 대응한 클러스터 용량 관리를 해결하는 자동 확장(비공개 프리뷰) 기능을 출시하고 있습니다. 이 기능은 실시간 사용량을 기반으로 클러스터의 용량이 축소될 때 동적으로 조정하여, 리소스 부족으로 인한 쓰기 액세스 제한을 방지하고 운영 부담을 줄이는 데 도움이 됩니다.
자동 확장은 클러스터의 컴퓨트 유닛(CU) 용량이 지정된 임계값(기본 70%, 조정 가능)을 2분 연속 초과할 때 트리거됩니다. 개발자는 확장을 위한 최대 CU 크기를 설정하여 리소스 할당과 비용을 제어할 수 있습니다.
참고: 자동 확장은 현재 비공개 프리뷰 단계이며 Dedicated (Enterprise) 클러스터에서만 사용할 수 있습니다. 이 기능을 사용해 보려는 조직은 Zilliz 지원팀에 문의하여 액세스를 활성화해야 합니다.
기타 프로덕션 준비성 업데이트
Zilliz Cloud는 프로덕션 준비성을 강화하기 위해 몇 가지 중요한 업데이트를 추가로 도입합니다:
안정성: 미션 크리티컬 AI 애플리케이션을 위한 99.95% 가동 시간 SLA.
모니터링 및 알림:
비용 및 성능 관리를 위한 39개의 조직 및 프로젝트 알림.
리소스 사용량, QPS, 요청 결과, 데이터 작업에 대한 18개의 핵심 지표.
심층적인 시스템 상태 분석을 위한 사용자 지정 가능한 차트.
- 보안: Google, Github, SSO, Email 로그인 옵션을 지원하는 Auth0 기반 SSO(비공개 프리뷰).
- 새로운 Zilliz Cloud 리전 온라인: Zilliz Cloud가 새로운 리전인 AWS Tokyo (ap-northeast-1)로 확장되었습니다! 이는 아시아 태평양 및 인접 지역의 사용자에게 더 낮은 지연 시간, 더 나은 성능, 더 높은 데이터 주권을 의미합니다.
이러한 기능은 개발자에게 프로덕션에서 고성능, 보안성, 비용 효율성을 갖춘 AI 애플리케이션을 유지 관리할 수 있는 도구를 제공합니다.
Zilliz Cloud로 프로덕션 준비가 된 AI 애플리케이션 지원
Zilliz Cloud의 최신 기능은 프로덕션 환경에서 견고한 AI 애플리케이션을 구축하고 유지 관리하는 역량을 향상하도록 설계되었습니다. 안전한 데이터 마이그레이션부터 동적 확장 및 포괄적인 모니터링에 이르기까지, 이러한 업데이트는 개발자와 기술 리더가 직면한 중요한 과제를 해결합니다.
더 자세히 알고 싶으신가요? 다가오는 웨비나에 참여하여 이러한 새로운 기능이 비정형 데이터 관리와 AI 애플리케이션을 어떻게 혁신할 수 있는지 알아보세요. 저희 제품 팀이 최신 개발 사항과 프로덕션 환경에서 Zilliz Cloud를 활용하기 위한 모범 사례를 논의할 예정입니다.
get started할 준비가 되셨나요? 설치도 신용카드도 필요 없이 무료로 Zilliz Cloud 여정을 시작하세요. 등록 시 $100 상당의 크레딧이 포함된 전용 서비스의 30일 무료 체험도 시작할 수 있습니다. 클라우드 마켓플레이스를 통해 Zilliz Cloud를 구독하시면 추가로 $100 크레딧을 받으실 수 있습니다!
Zilliz Cloud를 살펴보는 동안 질문이 있거나 도움이 필요하시면, 저희 지원팀이 도와드릴 준비가 되어 있습니다. 지원 포털을 통해 문의해 주시면, 이러한 새로운 기능을 AI 애플리케이션에 활용하실 수 있도록 기꺼이 도와드리겠습니다.
지금 Zilliz Cloud로 프로덕션에 바로 사용할 수 있는 AI 애플리케이션 구축을 시작하세요!
계속 읽기
Notion's Vector Search Is Excellent. Their Next Problem Is Harder.
Notion solved vector search scaling in two years. The next bottleneck — offline context engineering, unified data, and the real-time/offline gap — is harder.
Milvus 2.6.x Now Generally Available on Zilliz Cloud, Making Vector Search Faster, Smarter, and More Cost-Efficient for Production AI
Milvus 2.6.x is now GA on Zilliz Cloud, delivering faster vector search, smarter hybrid queries, and lower costs for production RAG and AI applications.
Why AI Databases Don't Need SQL
Whether you like it or not, here's the truth: SQL is destined for decline in the era of AI.