Apache Flink®용 Zilliz Cloud와 Confluent Cloud로 실시간 GenAI 애플리케이션 구축하기
오늘, 저희는 Confluent와 협력하여 Apache Kafka®, Apache Flink®, 그리고 Milvus 벡터 데이터베이스로 구동되는 실시간 업데이트를 위한 시맨틱 검색을 구현하게 되어 매우 기쁩니다. AI의 발전과 함께 임베딩 모델과 벡터 검색은 엔터프라이즈 검색, 전자상거래, 그리고 점점 더 인기를 얻고 있는 Retrieval Augmented Generation(RAG)을 포함한 많은 애플리케이션에서 검색과 추천을 구현하는 데 널리 채택되고 있습니다. 모든 검색 및 추천 시스템에서 정보의 최신성은 최종 사용자 경험에 매우 중요합니다.
Confluent는 업계 유일의 클라우드 네이티브 서버리스 Apache Flink® 서비스의 정식 출시를 방금 발표했습니다. 이제 Confluent의 완전 관리형 데이터 스트리밍 플랫폼에서 클라우드 네이티브 Apache Kafka® 와 함께 직접 사용할 수 있습니다. 새로운 Flink 제품은 이제 AWS, Google Cloud 및 Azure에서 사용할 준비가 되었습니다. Milvus 및 Zilliz Cloud(완전 관리형 Milvus)와 직접 통합된 Confluent는 비즈니스 전반의 데이터 스트림에 접근하고 이를 처리하여 AI 애플리케이션을 구동할 실시간의 맥락적이고 신뢰할 수 있는 지식 베이스를 구축할 수 있는 간단한 솔루션을 제공합니다.
Zilliz Cloud가 Confluent Cloud와 함께 작동하는 방식
실시간 GenAI 애플리케이션에는 실시간 데이터 처리가 필요합니다
Retrieval Augmented Generation(RAG)과 같은 GenAI 애플리케이션을 성공적으로 배포하려면 비즈니스의 모든 영역에서 제공되는 관련성 높은 실시간 데이터 스트림을 제공하는 데이터 파이프라인을 구축해야 합니다. 그러나 이러한 종류의 파이프라인을 준비하는 것은 결코 쉬운 일이 아닙니다. 특히 레거시 및 현대적 데이터 환경 전반에 걸쳐 계속 증가하는 다양한 데이터 소스의 양을 고려할 때 더욱 그렇습니다.
애플리케이션이 처리되고 준비된 데이터가 포함된 실시간 파이프라인에 접근할 수 있도록 보장하려면, 비즈니스에 영향을 미치는 혁신에 집중하기보다 오픈 소스 도구를 사내에서 관리하기 위해 귀중한 엔지니어링 리소스를 할당해야 하는 경우가 많습니다. 또는 여러 다운스트림 시스템(또는 여러 분산 시스템 전반)에서 데이터 스트림을 안전하게 처리하는 것은 복잡하며 데이터 (재)사용성을 저해하고, 중복적이고 비용이 많이 드는 처리를 요구합니다.
다운스트림 도구에 필요한 실시간 데이터 스트림을 처리하고 준비할 수 있는 신뢰할 수 있고 비용 효율적인 수단이 없다면, GenAI의 이점은 대부분에게 여전히 손이 닿지 않는 곳에 머물 것입니다.
업계 유일의 클라우드 네이티브 서버리스 Flink 서비스로 고품질의 재사용 가능한 데이터 스트림을 손쉽게 구축하세요
Apache Flink는 통합 스트림 및 배치 처리 프레임워크로, 수년 동안 상위 5대 Apache 프로젝트 중 하나였습니다. Flink는 Alibaba와 Apple 같은 회사들의 지원을 받는 강력하고 다양한 기여자 커뮤니티를 보유하고 있습니다. Uber, Netflix, LinkedIn과 같은 디지털 네이티브 기업뿐만 아니라 ING, Goldman Sachs, Comcast와 같은 성공적인 기업을 포함해 많은 회사에서 스트림 처리 플랫폼을 구동합니다.
Confluent Cloud의 Apache Kafka와 완전히 통합된 Confluent의 새로운 Flink 서비스는 기업이 다음을 수행할 수 있도록 합니다.
● 스트림 처리의 사실상 표준인 Flink로 Confluent 데이터 스트림을 손쉽게 필터링, 조인 및 보강
● 인프라 관리의 복잡성 없이 어떤 규모에서도 고성능의 효율적인 스트림 처리 지원
● 완전히 통합된 모니터링, 보안 및 거버넌스를 통해 Kafka와 Flink를 통합 플랫폼으로 경험
Kafka와 Flink를 통합 플랫폼으로 활용하면, 팀은 어떤 환경에서든 데이터 소스에 연결하고, 즉석에서 데이터 스트림을 정제 및 보강하며, 효율적인 시맨틱 검색 또는 추천을 위해 Milvus 벡터 데이터베이스로 실시간 전달할 수 있습니다. Milvus의 확장 가능한 아키텍처 덕분에 진행 중인 검색 쿼리의 지연 시간을 희생하지 않고도 데이터를 즉시 검색 가능하게 만들 수 있습니다. 이를 통해 GenAI 앱은 비즈니스 데이터의 최신 뷰를 확보할 수 있습니다.
Confluent의 완전 관리형 Flink 서비스는 이제 세 가지 주요 클라우드 서비스 제공업체 전반에서 정식 출시되어, 고객에게 진정한 멀티 클라우드 솔루션과 데이터 및 애플리케이션이 위치한 모든 곳에 스트림 처리 워크로드를 원활하게 배포할 수 있는 유연성을 제공합니다. 99.99% 가동 시간 SLA가 뒷받침되는 Confluent는 선도적인 Kafka 및 Flink 전문가의 지원과 서비스를 통해 안정적인 스트림 처리를 보장합니다.
Zilliz와 Confluent는 함께 GenAI 애플리케이션의 더 간단한 개발을 지원합니다
Confluent 통합을 통해 팀은 비즈니스 데이터 업데이트가 실시간으로 스트리밍되고 인덱싱되는 지속적으로 보강되는 벡터 데이터베이스를 활용할 수 있으므로, 최고의 사용자 경험을 제공하는 AI 애플리케이션을 빠르게 구축하고 확장할 수 있습니다.
시작하기
오픈 소스 Kafka-Milvus Connector를 확인하고, Confluent Cloud의 Flink 및 Kafka 인스턴스와 Zilliz Cloud의 완전 관리형 Milvus와 함께 사용하여 실시간 데이터 업데이트를 벡터 검색에 즉시 사용할 수 있게 하세요.
아직 Confluent 고객이 아니신가요? 지금 Confluent Cloud 무료 체험을 시작하세요. 신규 가입자는 첫 30일 동안 사용할 수 있는 $400를 받습니다—신용카드는 필요하지 않습니다.
계속 읽기
Introducing Customer-Managed Encryption Keys (CMEK) on Zilliz Cloud
We're announcing the general availability of Customer-Managed Encryption Keys (CMEK) on Zilliz Cloud.
Introducing Business Critical Plan: Enterprise-Grade Security and Compliance for Mission-Critical AI Applications
Discover Zilliz Cloud’s Business Critical Plan—offering advanced security, compliance, and uptime for mission-critical AI and vector database workloads.
Proactive Monitoring for Vector Database: Zilliz Cloud Integrates with Datadog
we're excited to announce Zilliz Cloud's integration with Datadog, enabling comprehensive monitoring and observability for your vectorDB deployments.