Zilliz Cloud의 새로운 소식: Cardinal Search Engine, GCP Marketplace, Databricks Connector 등
최신 Zilliz Cloud 제품 출시가 시작되었으며, 벡터 데이터베이스와 데이터 서비스를 통한 AI 혁신으로 실질적인 비즈니스 임팩트를 창출하는 새로운 기능을 제공합니다. 무엇이 새로워졌을까요? Zilliz Cloud는 엔터프라이즈급 보안과 원활한 데이터 통합을 보장하면서 벡터 검색 성능을 크게 향상합니다.
주요 소개 내용에는 놀라운 10배 성능 향상 제공, 예산 수립, 결제 및 조달 프로세스 간소화, 커스텀 코드의 필요성 제거, 비정형 데이터의 원활한 데이터 처리 및 인덱싱 지원이 포함됩니다.
새로운 기능에 대한 개요는 다음과 같습니다. 자세한 내용은 계속 읽어보세요:
새로운 Zilliz Cloud 기능:
이러한 혁신이 실제로 작동하는 모습을 보려면 출시 웨비나에 참여하세요
Cardinal Search Engine: 10배 더 빠른 검색, 50% 더 많은 용량
최신 C++와 실용적인 Approximate Nearest Neighbor Search (ANNS) 방법을 기반으로 처음부터 설계된 Cardinal은 멀티스레드 고효율 벡터 검색 엔진입니다. 브루트포스 검색부터 ANNS 인덱스 수정, FP32, FP16, BF16을 포함한 다양한 데이터 형식 작업에 이르기까지 다양한 작업을 처리합니다. Cardinal의 주된 초점은 속도와 효율성으로, 리소스 제약 내에서 더 많은 사용자 요청을 처리할 수 있게 해줍니다.
Cardinal의 혁신은 이기종 컴퓨팅을 전심으로 받아들였던 우리의 겸손한 시작을 보여주는 증거입니다. 우리 팀은 알고리즘을 정교하게 조정하고, 컴퓨팅 집약적 작업을 위해 저수준 특수 최적화 커널을 적용했으며, x86 및 ARM을 포함한 여러 하드웨어 플랫폼 지원을 보장했습니다. Cardinal은 x86용 AVX-512 확장과 ARM용 NEON 및 SVE 명령어 세트와 같은 최첨단 기술을 활용하여 효율적인 계산을 위한 최적화된 코드를 제공합니다. 이러한 세심한 최적화는 Cardinal이 최고 성능으로 작동하도록 보장하여 업계에서 가장 빠른 벡터 검색 엔진으로 만들어줍니다.
Cardinal을 통해 고객은 오픈 소스 Milvus 대비 놀라운 10배 성능 향상을 달성하고 높은 재현율을 유지하면서 번개처럼 빠른 속도로 쿼리를 처리할 수 있습니다. 대규모 데이터셋을 다루고 있든 빠른 응답이 필요하든, Cardinal은 벡터 검색이 신속하고 효율적으로 실행되도록 보장합니다. 빠른 쿼리 결과는 사용자 경험을 향상하고 AI 애플리케이션에 경쟁 우위를 제공합니다. Cardinal을 구축하도록 우리에게 영감을 준 실제 사용 사례에 대해 더 읽어볼 수 있습니다.
"Zilliz Cloud의 성능, 특히 대량의 데이터 부하에서의 성능에 깊은 인상을 받았습니다."라고 Picdmo의 CEO 겸 창립자인 Alex Alexander가 말했습니다. "Milvus의 성능을 높이고 이전 Zilliz Cloud 대비 두 배의 성능을 제공할 것을 약속하는 Cardinal 검색 엔진의 도입은 우리에게 게임 체인저가 될 것입니다. 이러한 효율성의 도약은 최신 보안 발전과 결합되어, 고객에게 고급 이미지 유사도 검색을 제공하는 우리의 역량을 크게 향상시킬 것입니다."
자세히 알아보려면 Cardinal Search Engine blog를 확인해 보세요.
Milvus 2.3, Zilliz Cloud에서 정식 제공: 프로덕션 워크로드를 위한 고급 벡터 검색 기능 준비 완료
4개월간의 베타 단계를 거쳐, 많은 기대를 모았던 Milvus 2.3이 Zilliz Cloud에서 정식 제공됩니다. 이제 Zilliz Cloud 사용자는 이러한 고급 벡터 검색 및 데이터 관리 기능을 프로덕션 환경에서 자신 있게 활용할 수 있습니다.
이 버전의 주요 기능 몇 가지는 다음과 같습니다.
Cosine Similarity: 유사도 계산의 고급 기능으로, 사전 벡터 정규화의 필요성을 없애고 쿼리 프로세스를 간소화합니다.
Upsert Function: 데이터셋 업데이트 및 삭제의 효율성을 높여 데이터 관리를 단순화합니다. 특히 데이터 일관성과 원자성이 중요한 동적 환경에서 유용합니다.
Range Search: 이 기능은 벡터 쿼리의 범위를 top-K 검색 이상으로 확장하여 일부 사용 사례에서 보다 정밀한 데이터 검색 방법을 제공합니다. 특히 추천 엔진에 유용하여 사용자에게 더 관련성 높은 제안을 보장합니다.
Apache Parquet File Support: Parquet의 효율적인 컬럼형 저장 형식을 통해 데이터 처리 기능을 개선하여, 특히 복잡한 데이터셋에서 더 나은 압축률과 쿼리 성능을 제공합니다.
Array Data Type Support: 여러 속성을 기반으로 한 고급 검색을 위해 정밀한 메타데이터 필터링을 가능하게 합니다. 예를 들어, 전자상거래에서는 이 기능을 통해 다양한 제품 태그를 기반으로 고급 검색을 수행하여 사용자에게 매우 관련성 높은 검색 결과를 보장할 수 있습니다.
GCP Marketplace 통합: 예산 계획, 결제 및 조달 간소화
Zilliz Cloud와 Google Cloud Marketplace의 통합이 활성화되어, 개발자가 그 기능을 활용할 수 있는 원활한 경험을 제공합니다. 별도의 결제 및 조달 절차의 복잡성 없이 Google Cloud의 리소스와 인프라를 활용할 수 있습니다. 또한 이 통합은 새로운 AI 이니셔티브를 위한 선행 예산 계획과 약정의 필요성을 없애 경험을 단순화합니다. 프로젝트가 발전함에 따라 클러스터를 확장하고 필요한 만큼 결제하여 리소스를 프로젝트 성장에 맞출 수 있습니다.
Google Cloud Marketplace를 통해 Zilliz Cloud에 액세스하는 방법을 유연하게 선택할 수 있습니다. Zilliz Cloud의 UI에서 GCP Marketplace를 결제 방법으로 설정하거나 Google Marketplace listing을 통해 직접 구독할 수 있습니다. GCP Marketplace를 통해 가입하는 개발자에게는 추가 보너스가 있습니다. 신규 사용자에게 제공되는 표준 $100 크레딧과 추가 $100 크레딧을 받게 됩니다.
Zilliz Cloud UI에서 GCP Marketplace 추가
현재까지 Zilliz Cloud는 AWS, Azure, GCP라는 세 가지 주요 클라우드 제공업체에서 전 세계 8개 리전에 걸쳐 제공되어 왔습니다. 이러한 광범위한 가용성은 프로젝트가 어디에 호스팅되어 있든 Zilliz Cloud의 강력한 기능에 액세스할 수 있도록 보장합니다. 유연성과 접근성을 제공하여 AI 애플리케이션을 쉽게 배포할 수 있게 해줍니다.
역할 기반 액세스 제어: 대규모 핵심 리소스에 대한 세분화된 액세스 제어 지원
Zilliz Cloud의 역할 기반 액세스 제어(RBAC)는 데이터 액세스 보안을 위한 권한 관리를 구조적이고 확장 가능한 방식으로 제공합니다. 지난 몇 달 동안 우리는 여러 기능을 도입하여 Zilliz Cloud의 RBAC 시스템을 시장의 어떤 벡터 데이터베이스 벤더보다 더 세분화되고 포괄적으로 만들었습니다. RBAC는 제어 계층과 데이터 계층이라는 두 계층으로 나뉩니다. 제어 계층에서 역할은 클러스터, 프로젝트, 사용자, 청구와 같은 리소스에 대한 운영 권한을 관리합니다. Zilliz Cloud는 제어 계층에서 네 가지 역할을 지원하며, 조직 관리자, 프로젝트 소유자, 프로젝트 구성원이 일반적으로 사용되는 세 가지 역할입니다:
조직 관리자: 이 역할은 조직 설정, 결제 수단, 청구, API 키, 조직 내 모든 프로젝트 및 관련 리소스를 포함하여 조직에 대한 전체 관리 권한을 가집니다.
프로젝트 소유자: 프로젝트 소유자는 프로젝트 설정, 프로젝트 내 모든 클러스터, API 키 및 기타 관련 리소스를 포함하여 프로젝트에 대한 전체 관리 권한을 가집니다.
프로젝트 구성원: 프로젝트 구성원은 프로젝트 내 모든 클러스터에 대한 읽기-쓰기 권한, 클러스터 세부 정보를 볼 수 있는 기능, 컬렉션 및 인덱스를 관리할 수 있는 권한을 가집니다.
반대로, 데이터 계층에서 역할은 클러스터 내 데이터를 추가, 삭제, 수정 및 액세스하는 기능을 제어하는 데 중점을 둡니다. Zilliz Cloud는 데이터 계층에서 Admin, Read-Only, Read-Write라는 세 가지 기본 제공 역할을 제공하며, 이는 클러스터 데이터에 대한 읽기 및 쓰기 권한과 관리 권한을 제어합니다. 또한 민감한 데이터에 대한 권한 있는 인력의 액세스를 허용하거나, 안전한 데이터 액세스를 보장하기 위해 컬렉션을 멀티테넌트 격리 단위로 사용하는 것과 같은 특정 비즈니스 요구 사항을 위해 Zilliz Cloud는 사용자가 사용자 지정 역할을 생성할 수 있도록 합니다. 이러한 사용자 지정 역할은 특정 컬렉션, 파티션 또는 작업에 대해 유지되어야 하는 권한을 정의할 수 있어, Zilliz Cloud 사용 시 데이터 권한 최소화 원칙을 보장합니다.
제어 계층과 데이터 계층 모두에 걸친 세분화된 RBAC를 통해 기업은 데이터 액세스에 대한 정밀한 제어를 달성하여 보안과 규정 준수를 강화하는 동시에 팀 간 협업을 촉진하고 사용자가 자신의 역할과 책임에 맞는 적절한 수준의 액세스 권한을 갖도록 보장할 수 있습니다.
Databricks Connector: 사용자 지정 코드 없이 Databricks의 강력한 데이터 처리와 Zilliz Cloud의 벡터 인덱스 및 검색 활용
우리는 최근 Confluent 및 Airbyte Connectors를 도입하여 데이터 연결성과 변환 기능을 확장했습니다. 사용자의 데이터 통합 요구 사항을 위한 즉시 사용 가능한 솔루션을 제공하겠다는 우리의 약속이 이러한 출시를 이끌었습니다. 이제 비정형 데이터 플랫폼을 만드는 다음 이정표인 Databricks Connector로 나아가겠습니다.
Databricks Connector는 쉬운 데이터 마이그레이션 및 변환 솔루션을 제공하여 많은 AI 사용 사례의 개발 프로세스를 단순화합니다. 임베딩 모델을 업데이트하려는 ML 연구 역량을 갖춘 팀이든, Spark에서 Milvus로 데이터 프레임 레코드를 직접 업로드하려는 개인 사용자이든, 이 커넥터는 필요한 유연성을 제공합니다.
Databricks Connector를 사용하면 실시간 업데이트를 위한 스트리밍과 대규모 데이터셋을 위한 배치, 두 가지 방식으로 데이터를 Zilliz Cloud로 가져올 수 있습니다. 효과적인 사용 방법에 대한 단계별 가이드는 예제 노트북을 확인해 보세요.
기타 보안 업데이트
Zilliz Cloud는 지난 몇 달 동안 SOC2 Type 2 및 ISO27001 규정 준수 인증을 획득했습니다. 이러한 인증은 최고 수준의 보안 및 데이터 보호 표준을 유지하려는 당사의 노력을 보여주며, 이를 통해 귀하는 Zilliz Cloud가 귀중한 데이터를 안전하게 관리하여 기밀성, 무결성 및 가용성을 보장한다고 신뢰할 수 있습니다.
Zilliz Cloud 기능으로 더 강력한 AI 애플리케이션 구축하기
더 자세히 알고 싶으신가요? 2월 1일에 열리는 Zilliz Cloud Q1 ‘24 Launch webinar에 등록해 주세요. 당사 엔지니어링 VP가 Zilliz Cloud가 탁월한 성능과 확장성을 통해 비정형 데이터와 AI 애플리케이션의 전환을 어떻게 지원하는지 설명합니다.
시작할 준비가 되셨나요? 아직 하지 않으셨다면 설치 번거로움 없이, 신용카드 없이 Zilliz Cloud를 무료로 시작해 보세요. 또한 등록 시 $100 상당의 크레딧과 함께 Standard 플랜의 30일 무료 체험을 시작할 수도 있습니다. Zilliz Cloud 사용 중 문제나 질문이 발생하면 지원 포털을 통해 문의하실 수 있습니다.
계속 읽기
Vector Lakebase: End the AI Data Silo
Learn how Vector Lakebase unifies vector search, data lakes, and AI data operations so teams can serve RAG and agents without copy-and-sync pipelines.
Announcing the General Availability of Single Sign-On (SSO) on Zilliz Cloud
SSO is GA on Zilliz Cloud, delivering the enterprise-grade identity management capabilities your teams need to deploy vectorDB with confidence.
DeepSeek-VL2: Mixture-of-Experts Vision-Language Models for Advanced Multimodal Understanding
Explore DeepSeek-VL2, the open-source MoE vision-language model. Discover its architecture, efficient training pipeline, and top-tier performance.