Zilliz Cloud의 Functions 및 Model Inference 소개: 호스팅된 모델을 통한 자동 임베딩 및 리랭킹
벡터 데이터베이스 위에 구축된 AI 검색 파이프라인은 일반적으로 임베딩을 직접 생성하고, 유사도 검색을 위해 이를 벡터 데이터베이스에 삽입하며, 모든 쿼리를 같은 방식으로 임베딩하고, 더 나은 결과 품질을 원한다면 별도의 reranking 서비스를 덧붙여야 합니다. 작동은 하지만, 이는 더 많은 글루 코드와 상황이 어긋날 수 있는 더 많은 지점을 의미합니다.
오늘, 저희는 Zilliz Cloud의 Functions and Inference Services를 발표합니다 — 현재 서드파티 모델은 Public Preview로, Zilliz Hosted Models는 Private Preview로 제공됩니다. 원시 텍스트를 삽입하고 자연어로 검색할 수 있습니다. 그러면 Zilliz Cloud가 임베딩 생성, 벡터 저장, 결과 reranking을 자동으로 처리합니다.
Zilliz Cloud의 Functions and Inference Services란 무엇인가요?
A Function은 Zilliz Cloud가 데이터를 어떻게 처리할지 알려주는, 컬렉션에 연결된 선언적 작업입니다. 벡터를 보내는 대신 이제 원시 텍스트만 보내면 됩니다. 클라이언트 측에서 쿼리를 임베딩하는 대신, 텍스트 쿼리를 직접 보냅니다. 그러면 Zilliz Cloud가 나머지를 처리합니다.
Functions는 두 가지 범주로 나뉩니다:
- Pre-search Functions는 수집 및 쿼리 시점에 실행되어 텍스트를 검색 가능한 표현으로 변환합니다. 여기에는 전문 키워드 검색을 위한 BM25(모델 불필요)와 시맨틱 검색을 위한 dense embeddings를 생성하는 모델 기반 접근 방식이 포함됩니다.
- Post-search Functions는 검색 이후에 실행되어 결과를 정제하고 재정렬합니다. 여기에는 여러 결과 세트를 병합하는 하이브리드 ranker, 비즈니스 로직을 위한 규칙 기반 ranker, 쿼리와 문서 간의 관련성을 점수화하는 모델 기반 ranker가 포함됩니다.
다음 다이어그램은 검색 워크플로에서 Functions가 작동하는 방식에 대한 추상화를 제공합니다.
Inference Services는 모델 기반 Functions를 구동합니다. Function이 임베딩을 생성하거나 쿼리-문서 쌍에 점수를 매겨야 할 때, 다음 두 소스 중 하나의 모델을 호출합니다:
| 소스 | 작동 방식 |
|---|---|
| 서드파티 제공업체 (OpenAI, Voyage AI, Cohere) | API 키를 직접 가져옵니다. Zilliz Cloud가 통합을 관리합니다. |
| Zilliz Hosted Models | Zilliz의 GPU 인프라에서 완전 관리형 모델 인스턴스. 데이터는 플랫폼을 벗어나지 않습니다. |
가장 단순한 차이는 다음과 같습니다: Functions는 데이터에 무엇이 일어나는지를 정의합니다. Inference Services는 어떤 모델이 작업을 수행하는지를 정의합니다.
왜 임베딩과 reranking을 Zilliz Cloud로 옮겨야 할까요?
오늘날 임베딩 API를 호출하고 벡터를 Zilliz Cloud에 삽입하고 있다면, 이미 잘 작동합니다. 하지만 애플리케이션이 확장됨에 따라 몇 가지 마찰 지점이 나타납니다.
모델 일관성이 당신의 문제가 됩니다
수집 경로와 쿼리 경로는 정확히 동일한 모델을 사용해야 합니다. 둘이 어긋나면 — 예를 들어, 배포가 한쪽만 업데이트하고 다른 쪽은 업데이트하지 않는 경우 — 검색 품질은 조용히 저하됩니다. Functions를 사용하면 컬렉션이 모델 구성을 소유합니다. 수집과 쿼리가 일치하도록 보장됩니다.
너무 많은 마찰 때문에 Reranking이 생략됩니다
모델 기반 reranking은 특히 하이브리드 검색에서 결과 품질을 의미 있게 개선합니다. 하지만 모든 쿼리 후에 또 다른 서비스 호출을 추가하는 것은 — 자체 API 키, 지연 시간 예산, 장애 처리까지 포함해 — 많은 팀이 이를 제외하고 출시할 만큼 충분한 마찰을 만듭니다. reranking이 내장 Function이 되면 그 마찰은 사라집니다.
자격 증명이 서비스 전반에 난립합니다
데이터를 쓰거나 검색하는 모든 서비스에는 임베딩 제공업체의 API 키가 필요합니다. Functions를 사용하면 자격 증명이 Zilliz Cloud의 Model Provider Integration에 저장됩니다 — 관리할 곳은 한 곳, 키를 교체할 곳도 한 곳이며, 애플리케이션 코드에는 비밀 정보가 없습니다.
모든 추론 호출마다 데이터가 네트워크를 벗어납니다
개인정보 보호 또는 규정 준수 요구사항이 있는 팀에게는 삽입 및 쿼리마다 원시 텍스트를 외부 API로 보내는 것이 실제 우려 사항입니다. Hosted Models는 데이터, 추론, 스토리지, 검색 등 모든 것을 Zilliz의 프라이빗 네트워크 내에 유지합니다.
Public Preview에서 사용 가능한 기능
모델 기반 임베딩 Functions
컬렉션에 embedding model을 연결하세요. 그 시점부터:
- Insert, Upsert 또는 Import를 통해 원시 텍스트 삽입 — Zilliz Cloud가 dense vector embeddings를 자동으로 생성하고 저장합니다.
- 텍스트로 검색 — 시스템이 동일한 모델로 쿼리를 임베딩하고 ANN search를 실행합니다.
클라이언트 측 임베딩 코드가 필요 없습니다. 모델 일관성 걱정도 없습니다. 애플리케이션은 텍스트만 다루면 됩니다.
모델 기반 재랭킹 Functions
재랭킹 모델을 선택하고 내장된 검색 후 단계로 적용하세요. 이는 semantic and keyword retrieval을 하나의 결과 세트로 결합하는 하이브리드 검색에서 특히 강력합니다.
모델 기반 재랭커는 vector similarity를 넘어섭니다 — 각 후보의 콘텐츠를 읽고 그것이 실제로 쿼리에 얼마나 잘 답하는지 평가합니다. 이는 "이 벡터들은 가까이 있다"와 "이 문서는 질문에 답한다"의 차이입니다.
지원되는 제공업체
| 제공업체 | 임베딩 | 재랭킹 |
|---|---|---|
| OpenAI | 예 | -- |
| Voyage AI | 예 | 예 |
| Cohere | 예 | 예 |
Model Provider Integration
Model Provider Integration을 통해 Zilliz Cloud 콘솔에서 타사 API 자격 증명을 한 번 등록하세요. 컬렉션은 ID로 통합을 참조합니다 — 코드에 키가 없습니다. 한 곳에서 자격 증명을 교체하면, 해당 통합을 사용하는 모든 컬렉션에 변경 사항이 자동으로 반영됩니다.
Private Preview에 포함된 기능: Hosted Models
지연 시간, 비용 또는 데이터 레지던시가 우선인 팀을 위해 Hosted Models는 Zilliz의 GPU 인프라에서 완전 관리형 모델 인스턴스를 실행합니다. 아키텍처상의 차이점은 데이터를 외부 API로 보내는 대신, 모델이 데이터 바로 옆에서 실행된다는 것입니다.
다음 다이어그램은 hosted models를 사용하는 절차를 보여줍니다.
| 이점 | 의미 |
|---|---|
| 데이터 전송 수수료 없음 | 추론이 Zilliz 네트워크 내에서 발생합니다 |
| 더 낮은 지연 시간 | 임베딩 또는 재랭킹을 위한 외부 왕복이 없습니다 |
| 강화된 개인정보 보호 | 원시 텍스트가 Zilliz 환경을 벗어나지 않습니다 |
| 전용 리소스 | 노이즈 네이버로 인한 성능 문제가 없습니다 |
사용 가능한 모델
| 카테고리 | 모델 |
|---|---|
| 임베딩 | Qwen3-Embedding (0.6B, 4B, 8B), BAAI BGE series (small, base, large — EN & ZH) |
| 재랭킹 | Qwen3-Reranker (0.6B, 4B, 8B), BAAI BGE Reranker (base, large) |
| 시맨틱 하이라이터 | zilliz/semantic-highlight-bilingual-v1 — 결과에서 관련 텍스트 세그먼트를 강조 표시합니다 |
Hosted Models는 요청 시 사용할 수 있습니다. 액세스를 받으려면 Zilliz team에 문의하세요.
Function 및 추론 기능 한눈에 보기
검색 전 Functions
| 기능 | 설명 | 상태 |
|---|---|---|
| BM25 | 전체 텍스트 키워드 검색을 위한 Sparse embeddings — 모델 불필요 | GA |
| Model-Based Embedding (3rd-party) | OpenAI, Voyage AI, Cohere를 통한 Dense embeddings | Public Preview |
| Model-Based Embedding (Hosted) | Zilliz 호스팅 Qwen3, BGE를 통한 Dense embeddings | Private Preview |
검색 후 기능
| 기능 | 설명 | 상태 |
|---|---|---|
| Hybrid Rankers | 여러 검색 전략(예: 시맨틱 + 키워드)의 결과 병합 | GA |
| Rule-Based Rankers | 비즈니스 로직 적용 — 최신성, 인기도, 사용자 지정 점수 | GA |
| Model-Based Rankers (3rd-party) | Voyage AI, Cohere를 통한 Semantic reranking | Public Preview |
| Model-Based Rankers (Hosted) | Zilliz 호스팅 Qwen3, BGE를 통한 Semantic reranking | Private Preview |
BM25, hybrid rankers, rule-based rankers는 이미 일반 제공되었습니다. 오늘 릴리스에서는 임베딩과 랭킹 모두에 모델 기반 인텔리전스를 추가합니다 — 또한 타사 API를 통해 또는 Zilliz Cloud에서 직접 해당 모델을 실행할 수 있는 인프라를 제공합니다.
Zilliz Cloud Functions 시작하는 방법
Public Preview(현재 이용 가능):
- Zilliz Cloud에 Sign up하거나 sign in하세요 — 회사 이메일로 등록한 신규 계정은 무료 크레딧 $100를 받습니다
- 콘솔에서 Model Provider Integration을 설정합니다
- 임베딩 함수가 있는 컬렉션을 생성합니다
- 원시 텍스트를 삽입하고 텍스트로 검색하세요 — 이것으로 끝입니다
Private Preview(요청 시):
전용 추론으로 Hosted Models를 사용해 보려면 Contact us하세요.
전체 문서: Function and Model Inference Guide
자주 묻는 질문
벡터 검색을 위한 임베딩, 리랭킹, 관리형 추론과 관련해 자주 나오는 몇 가지 질문:
벡터 데이터베이스가 임베딩을 자동으로 생성할 수 있나요?
예. Zilliz Cloud Functions를 사용하면 임베딩 모델을 컬렉션에 연결하고 원시 텍스트를 삽입할 수 있습니다 — 데이터베이스가 사용자를 대신해 dense vector embeddings를 생성하고 저장합니다. 쿼리도 같은 방식으로 작동합니다. 텍스트 쿼리를 보내면 시스템이 ANN 검색을 실행하기 전에 동일한 모델로 이를 임베딩합니다. 이를 통해 클라이언트 측 임베딩 코드를 제거하고 수집과 검색 간 모델 일관성을 보장할 수 있습니다.
모델 기반 리랭킹이란 무엇이며, 벡터 검색을 어떻게 개선하나요?
모델 기반 리랭킹은 벡터 유사도 점수에만 의존하는 대신, 언어 모델이 각 후보 문서가 실제로 쿼리에 얼마나 잘 답하는지 평가하는 검색 후 단계입니다. 키워드와 시맨틱 검색을 결합하는 하이브리드 검색 파이프라인에 특히 효과적입니다. Zilliz Cloud에서는 Voyage AI 또는 Cohere 같은 제공업체를 사용해 기본 제공 Function으로 모델 기반 리랭킹을 적용하거나, Zilliz Hosted Models를 통해 적용할 수 있습니다.
호스팅 모델과 타사 임베딩 모델의 차이는 무엇인가요?
타사 모델(OpenAI, Voyage AI, Cohere)은 제공업체의 인프라에서 실행됩니다 — API 키를 제공하고 호출당 비용을 지불합니다. Hosted Models는 Zilliz가 관리하는 GPU 인프라에서 실행되므로 데이터가 플랫폼을 벗어나지 않습니다. Hosted Models는 더 낮은 지연 시간, 데이터 전송 수수료 없음, noisy-neighbor 문제 없는 전용 컴퓨팅을 제공합니다. 절충점은 다음과 같습니다. 타사 호출당 과금은 낮은 사용량에서는 더 저렴할 수 있지만, 호스팅 인스턴스는 대규모에서 더 비용 효율적입니다.
하나의 쿼리에서 키워드 검색과 시맨틱 검색을 어떻게 결합하나요?
Zilliz Cloud에서는 BM25 Function(희소 임베딩을 통한 키워드 검색용)과 모델 기반 임베딩 Function(밀집 임베딩을 통한 의미 검색용)을 동일한 컬렉션에 모두 연결할 수 있습니다. 쿼리 시 하이브리드 랭커 또는 모델 기반 리랭커가 결과를 병합하여 단일 순위 목록으로 만듭니다. 컬렉션은 희소 임베딩, 밀집 임베딩, 리랭킹을 함께 처리하므로 외부 오케스트레이션이 필요하지 않습니다.
계속 읽기
How to Choose the Best Embedding Model for RAG in 2026: 10 Models Benchmarked
We benchmarked 10 embedding models on cross-modal, cross-lingual, long-document, and dimension compression tasks. See which one fits your RAG pipeline.
How to Improve Retrieval Quality for Japanese Text with Sudachi, Milvus/Zilliz, and AWS Bedrock
Learn how Sudachi normalization and Milvus/Zilliz hybrid search improve Japanese RAG accuracy with BM25 + vector fusion, AWS Bedrock embeddings, and practical code examples.
Democratizing AI: Making Vector Search Powerful and Affordable
Zilliz democratizes AI vector search with Milvus 2.6 and Zilliz Cloud for powerful, affordable scalability, cutting costs in infrastructure, operations, and development.