Confluent의 Milvus 및 Zilliz Cloud용 Kafka Connector 발표: 실시간 AI의 힘을 활용하기
오픈 소스 Milvus 및 Zilliz Cloud(Milvus의 완전 관리형 버전)와 함께 Confluent Kafka Sink Connector를 사용할 수 있게 되었음을 기쁘게 발표합니다. 이번 협업을 통해 Confluent에서 Milvus 또는 Zilliz 벡터 데이터베이스로 원활한 실시간 벡터 데이터 스트리밍이 가능해져, 비정형 데이터의 잠재력을 완전히 발휘하고 OpenAI의 GPT-4와 같은 대규모 언어 모델(LLM)로 구동되는 실시간 생성형 AI를 크게 향상시킬 수 있습니다.
Zilliz와 Confluent의 시너지: 실시간 벡터 스트림 구현
디지털 시대에는 비정형 데이터가 전례 없는 속도로 생성되고 있으며, 새로 생성되는 정보의 80% 이상을 차지합니다. 그 방대한 양과 지속적인 업데이트는 실시간으로 신속하게 소화하고 의미 있는 인사이트를 추출하는 데 큰 과제를 제시합니다. 벡터 임베딩은 이러한 비정형 데이터의 혼돈 속에서 인사이트를 추출하기 위한 검증된 접근 방식입니다. 이제 문제의 핵심은 방대한 실시간 벡터 데이터 스트림을 저장하고, 소화하며, 쉽게 검색 가능하게 만드는 효율적인 솔루션을 찾는 데 있습니다.
Confluent와 Milvus/Zilliz 벡터 데이터베이스 간의 시너지는 완벽한 솔루션을 제공합니다. 이번 협업을 통해 비정형 데이터에서 변환된 실시간 Confluent 벡터 스트림의 지속적인 흐름을 Milvus/Zilliz로 포팅할 수 있으며, 개발자는 실시간 시맨틱 검색, 이미지/비디오/오디오 유사도 검색 및 검색 증강 생성과 같은 다양한 사용 사례를 위한 애플리케이션을 구축할 수 있습니다.
Zilliz와 Confluent 통합을 통해 얻을 수 있는 이점
Confluent와 Zilliz 통합은 다양한 분야와 애플리케이션에 가능성을 열어 줍니다. 다음은 이 통합을 활용할 수 있는 몇 가지 방법입니다.
실시간 지식 베이스로 생성형 AI 강화
증분 벡터 데이터를 즉시 검색 가능하게 함으로써, Zilliz와 Confluent 통합은 GenAI 애플리케이션에 최신 메모리를 제공하여 더 신선하고 정확한 결과를 제공합니다. 예를 들어, 금융 업계에서 투자 회사는 Confluent를 사용해 SEC 공시 자료와 여러 출처의 최신 금융 뉴스에서 파생된 벡터 임베딩을 스트리밍하기 위한 실시간 데이터 파이프라인을 구축할 수 있습니다. 그런 다음 이 데이터는 벡터 유사도 검색을 위해 Kafka sink connector를 통해 실시간으로 Milvus/Zilliz에 수집됩니다. Milvus/Zilliz는 Top-K 가장 관련성 높은 결과를 신속하게 검색하여, Large Language Models (LLMs)에 최신 컨텍스트를 제공함으로써 트레이더, 경제학자 및 기타 의사결정권자를 위한 시의적절하고 실행 가능한 인사이트를 생성할 수 있게 합니다.
전자상거래 플랫폼을 위한 개인화 추천 최적화
이 Kafka sink connector를 사용하면 전자상거래 기업은 실시간 재고 업데이트와 고객 행동에 빠르게 적응하는 추천 시스템을 구축할 수 있습니다. 이미지, 이름, 설명과 같은 제품 속성에서 생성된 벡터는 Kafka sink connector를 통해 실시간으로 Milvus/Zilliz로 스트리밍됩니다. 그런 다음 Milvus/Zilliz는 이러한 벡터 임베딩을 즉각적인 유사도 검색에 사용하여, 시스템이 최신 데이터에 기반해 추천을 조정할 수 있도록 합니다.
시작하기: 실시간 혁신을 위한 간단한 단계
Confluent와 Zilliz로 실시간 AI의 잠재력을 활용할 생각에 기대되시나요? 시작하는 방법은 다음과 같습니다.
Step 1: Kafka Sink Connector 다운로드
GitHub repository 또는 Confluent Hub에서 최신 connector zip 파일에 액세스하세요.
Step 2: 계정 구성
무료 Confluent 및 Zilliz 계정에 가입하세요. Confluent Cloud에서 토픽을 만들고 Zilliz Cloud에서 벡터 필드가 있는 컬렉션을 만드세요. 동일한 필드 이름을 사용해야 합니다.
3단계: 커넥터 로드
Confluent Cloud 클러스터의 Connectors 섹션에 zip 파일을 업로드하세요. 토큰과 같은 민감한 속성을 구성하세요. 자세한 내용은 custom-connector 페이지를 확인하세요.
4단계: 커넥터 구성
Confluent Cloud API Key와 Secret을 입력하세요. public endpoint, token, vector collection name, Kafka topic을 포함한 Milvus 커넥터 구성을 제공하세요.
5단계: 커넥터 실행
커넥터를 시작하여 Kafka에서 Milvus로 데이터를 원활하게 스트리밍하세요. Zilliz Cloud에 데이터가 삽입되었는지 확인하며 실시간 데이터 수집의 마법을 경험하세요.
자세한 정보와 예시는 당사의 GitHub repository를 확인하세요.
Zilliz와 Confluent로 실시간 AI 수용하기
자세한 리소스는 당사의 Confluent integration page를 탐색하여 AI 혁신의 미래로 도약하세요.
Zilliz가 처음이신가요? 설치 번거로움과 신용카드 필요 없이 새로운 Starter Plan으로 무료로 시작하세요. 또한 등록 시 200 크레딧을 획득할 수 있는 기회가 제공되는 Standard plan의 30일 무료 체험을 시작할 수도 있습니다. Zilliz Cloud 사용 중 문제나 질문이 있으면 당사의 support portal을 통해 문의하실 수 있습니다.
아직 Confluent 고객이 아니신가요? Confluent Cloud 무료 체험을 시작하고 첫 30일 동안 $400 크레딧을 받으세요. 신용카드는 필요하지 않습니다.
실시간 Generative AI의 시대가 밝았습니다. AI 혁신의 미래를 만들어 가는 데 함께하세요. AI의 진정한 잠재력을 함께 열어봅시다.
Zilliz는 벡터 데이터베이스 기술의 선도 기업으로, 10배 더 빠른 벡터 검색을 가능하게 하는 초고속 플랫폼을 제공합니다. 클라우드 네이티브 원칙을 기반으로 구축된 Zilliz는 복잡한 유사도 검색이 필요하고 retrieval-augmented generation과 같은 GenAI 기능을 활용하는 애플리케이션의 중추 역할을 하도록 설계되었습니다. Zilliz를 통해 개발자는 고급 검색 및 검색 기능을 애플리케이션에 원활하게 통합하여 사용자 경험과 백엔드 성능을 크게 향상할 수 있습니다. 더 자세히 알아보려면 www.zilliz.com을 방문하세요.
Confluent는 데이터를 움직이게 하는 근본적으로 새로운 데이터 인프라 범주를 개척하는 데이터 스트리밍 플랫폼입니다. Confluent의 클라우드 네이티브 제품은 데이터 이동을 위한 기반 플랫폼으로, 여러 소스의 실시간 데이터가 조직 전체로 지속적으로 스트리밍되도록 지원하는 지능형 연결 조직으로 설계되었습니다. Confluent를 통해 조직은 풍부한 디지털 프런트엔드 고객 경험을 제공하고 정교한 실시간 소프트웨어 기반 백엔드 운영으로 전환해야 하는 새로운 비즈니스 필수 과제를 충족할 수 있습니다. 자세히 알아보려면 www.confluent.io를 방문하세요.
계속 읽기
A Few Notes from Databricks Data + AI Summit 2026: Why the Data Layer Matters Again
James Luan shares notes from Databricks Data + AI Summit 2026 on why production AI is pushing the data layer back to the center of infrastructure.
Democratizing AI: Making Vector Search Powerful and Affordable
Zilliz democratizes AI vector search with Milvus 2.6 and Zilliz Cloud for powerful, affordable scalability, cutting costs in infrastructure, operations, and development.
How to Use Anthropic MCP Server with Milvus
MCP + Milvus: Streamline AI agent development with standardized data access, eliminating integration hassles while enhancing context and flexibility.