Fivetran과 Milvus로 AI 기반 검색 활용하기
이 블로그는 원래 Fivetran에 게시되었습니다.
Fivetran은 이제 Milvus 벡터 데이터베이스를 대상으로 지원하여, RAG 및 AI 기반 검색을 위한 모든 데이터 소스를 더 쉽게 온보딩할 수 있게 합니다.
데이터는 AI의 중추이며, 원활한 연결성은 그 잠재력을 최대한 끌어내는 핵심입니다. 비정형 데이터는 이제 전체 데이터의 약 80%를 차지하며, 검색 증강 생성(RAG)으로 구동되는 엔터프라이즈 검색 및 챗봇과 같은 AI 애플리케이션에 막대한 가치를 지닙니다. 데이터 양이 증가함에 따라, 조직의 정보를 효율적으로 저장하고 검색하기 위해 Milvus와 같은 확장 가능한 벡터 데이터베이스가 필수적이 됩니다.
검색을 위한 데이터는 클라우드 스토리지, 비즈니스 애플리케이션 및 관계형 데이터베이스와 같은 다양한 위치에 저장됩니다. 일반적인 접근 방식은 이러한 소스를 단일 저장소로 결합하고, 텍스트와 같은 비정형 데이터를 벡터 임베딩으로 변환한 뒤 메타데이터와 함께 벡터 데이터베이스에 저장하는 것입니다. 이 접근 방식은 AI 애플리케이션이 다양한 데이터셋에 접근하고 데이터 소스의 변화에 적응할 수 있게 합니다.
Fivetran의 Milvus 대상은 이 프로세스를 단순화하고 복잡한 데이터 파이프라인을 구축, 유지 관리 및 모니터링할 필요를 없애줍니다. 단 몇 번의 클릭만으로 데이터 엔지니어는 빠르고 효율적이며 확장 가능한 AI 검색 솔루션을 만들 수 있어, 인프라의 복잡성을 관리하는 대신 비즈니스 가치 창출에 집중할 수 있습니다.
Fivetran Milvus 대상 설정 방법
Milvus와 Fivetran이 AI의 기반을 구축하는 방법
Milvus는 대규모 확장을 위해 구축된 고성능 오픈소스 벡터 데이터베이스입니다. Kubernetes에 배포된 Milvus의 단일 클러스터는 수십억 개의 벡터를 처리할 수 있습니다. Zilliz Cloud는 Milvus의 완전 관리형 버전으로, RBAC 및 SOC2와 같은 엔터프라이즈 준비 기능을 추가하고 독자적인 Cardinal vector search engine 덕분에 더욱 뛰어난 성능을 제공합니다. Milvus와 Zilliz Cloud는 semantic search, RAG, multi-modal search와 같은 최신 AI 애플리케이션에서 널리 사용됩니다.
AI 기반 검색 솔루션을 구축할 때의 과제 중 하나는 다양한 소스의 데이터를 Milvus로 수집하여 실시간으로 의미 기반 검색이 가능하게 만드는 것입니다. Fivetran의 Milvus Destination은 어떤 소스에서든 Milvus로 데이터를 수집하는 과정을 단순화하여, 기업이 데이터 이동을 관리하는 번거로움 없이 인사이트를 얻을 수 있도록 합니다. Milvus의 고급 vector search 기능과 이 간소화된 데이터 흐름을 활용하면, 개발자는 조직의 다양한 데이터 소스를 최대한 활용하는 AI 애플리케이션을 빠르게 구축할 수 있습니다.
Fivetran Milvus destination을 사용하면 다음을 할 수 있습니다:
Fivetran connectors를 통해 600개 이상의 소스에서 Milvus/Zilliz로 데이터를 수집합니다.
OpenAI embedding models로 비정형 데이터의 extraction, loading 및 벡터화를 간소화합니다.
구조화된 데이터 컬럼을 전파하여 벡터 검색에서 메타데이터 필터링을 활성화합니다.
증분 동기화로 준실시간 검색을 구축합니다.
Fivetran의 Partner SDK: 사용자 지정 커넥터 및 대상 구축
Fivetran의 Partner SDK는 기술 벤더가 자사 서비스용 소스 또는 대상 커넥터를 만들고 Fivetran의 자동화된 데이터 이동 플랫폼과 원활하게 통합할 수 있도록 지원합니다. SDK의 주요 이점은 다음과 같습니다:
언어 불문: gRPC 기반 SDK를 사용하면 소스 및 대상 커넥터를 지원되는 모든 프로그래밍 언어로 작성할 수 있어, 개발자가 원하는 언어로 기존 코드를 재사용하거나 새 코드를 작성할 수 있는 유연성을 제공합니다.
복잡성 감소: 템플릿과 로컬 테스트 환경을 통해 타사 벤더는 커넥터를 쉽게 테스트하고 배포할 수 있습니다.
데이터 플랫폼을 위한 새로운 기회: SDK는 제품 활성화를 위한 새로운 채널을 열어, 데이터 웨어하우스, 데이터 레이크 및 스토리지 플랫폼이 Fivetran의 600개 이상의 커넥터에 쉽게 접근할 수 있도록 합니다.
Milvus를 만든 회사인 Zilliz는 벡터 데이터베이스 작업을 Fivetran의 관계형 업데이트 모델에 긴밀하게 매핑하여 Fivetran과의 통합을 구축했습니다. 또한 OpenAI embedding service와 같은 서드파티 솔루션을 간소화하여 수집 중에 벡터를 생성하도록 했습니다.
AI 기반 검색의 실제 활용
비정형 데이터는 흔히 가장 가치 있는 데이터이지만, 관리하기 가장 어려운 데이터이기도 합니다. Fivetran과 Milvus를 사용하면 기업은 가장 풍부한 데이터셋에서 인사이트를 추출하는 AI 기반 검색 도구를 빠르고 쉽게 구축할 수 있습니다.
Fivetran의 완전 관리형 커넥터는 내장된 스키마 마이그레이션 지원과 함께 주요 비즈니스 앱에서 데이터를 자동으로, 안정적으로, 안전하게 이동합니다. 예를 들어, 어떤 회사가 Slack 메시지를 위한 내부 검색 도구를 구축하려 한다고 가정해 보겠습니다. Fivetran의 Slack 커넥터를 사용하면 데이터가 먼저 복제되어 Snowflake와 같은 데이터 웨어하우스 또는 데이터 레이크하우스에 정규화된 형식으로 저장됩니다. 그런 다음 이 데이터는 비정규화, 연결, 청킹 및 변환될 수 있으며, 이후 Fivetran의 Snowflake 소스 커넥터를 사용해 Milvus에 연결할 수 있습니다. 텍스트 청크를 original_text라는 이름의 열에 저장하기만 하면, Milvus 대상은 자동으로 OpenAI embedding service를 호출하여 텍스트에서 벡터를 생성합니다. 벡터는 다른 모든 레이블과 함께 스칼라 필드로 Milvus에 저장되며, 메타데이터 필터링과 함께 벡터 유사도를 기반으로 효율적인 의미 검색에 사용됩니다.
그림- Fivetran 및 Milvus 통합으로 데이터 소스용 검색 파이프라인을 구축하는 방법
결론
새롭게 도입된 Fivetran의 Milvus 대상은 AI의 데이터 환경을 더욱 확장하여 모든 데이터 소스를 의미적으로 검색 가능하게 만듭니다. 다양한 데이터베이스/웨어하우스 및 비즈니스 앱에서 소스 데이터를 Milvus 벡터 데이터베이스로 수집함으로써, 이 통합은 AI 워크플로 개발을 더 쉽게 만듭니다. 설정 지침을 따라 Fivetran의 Milvus 대상을 사용하기 시작할 수 있습니다.
이 통합에 대해 더 자세히 알아보고 실시간 검색을 실제로 구축하는 방법을 보려면 2024년 9월 26일 제품 출시 webinar에 참여해 주세요. 이 통합의 기능을 살펴보고 이 커넥터를 사용해 GitHub issues용 RAG chatbot을 구축하는 방법을 시연할 예정입니다!
Jiang ChenJiang is currently Director of Technical GTM at Zilliz. He has years of experience in data infrastructures and cloud security. Before joining Zilliz, he had previously served as a tech lead and product manager at Google, where he led the development of web-scale semantic understanding and search indexing that powers innovative search products such as short video search. He has extensive industry experience handling massive unstructured data and multimedia content retrieval. He has also worked on cloud authorization systems and research on data privacy technologies. Jiang holds a Master's degree in Computer Science from the University of Michigan.
Charles WangLead Product Evangelist, Fivetran
계속 읽기
Zilliz Cloud Now Available in AWS Asia Pacific (Seoul)
Zilliz Cloud is now available in AWS Seoul — low-latency vector search, in-country data residency, and one-step migration for Korean AI teams. 31 regions across 5 clouds.
Introducing Customer-Managed Encryption Keys (CMEK) on Zilliz Cloud
We're announcing the general availability of Customer-Managed Encryption Keys (CMEK) on Zilliz Cloud.
The Great AI Agent Protocol Race: Function Calling vs. MCP vs. A2A
Compare Function Calling, MCP, and A2A protocols for AI agents. Learn which standard best fits your development needs and future-proof your applications.