ZeroEntropy and Zilliz Cloud Integration
Integrate Zilliz Cloud with ZeroEntropy to build high-accuracy semantic search using two-stage vector retrieval and reranking.
무료로 이 통합 기능 사용하기ZeroEntropy란 무엇인가요
ZeroEntropy는 개발자 친화적인 API를 통해 임베딩 및 리랭킹 모델을 제공하는 AI 검색 인프라 회사입니다.
두 가지 핵심 모델을 제공합니다:
zembed-1(임베딩 모델): 텍스트를 의미적 의미를 포착하는 벡터 임베딩으로 변환합니다. 구성 가능한 출력 차원 — 40, 80, 160, 320, 640, 1,280 또는 2,560 — 을 지원하므로 정확도와 저장 비용 간의 균형을 맞출 수 있습니다. zembed-1은 전체 차원 대안과 비교해 벡터 데이터베이스 저장 비용을 최대 10배까지 줄일 수 있습니다.zerank-2(리랭킹 모델): 관련성을 평가하기 위해 쿼리-문서 쌍에 점수를 매기는 크로스 인코더입니다. 벡터 거리만에 의존하는 대신, 쿼리와 문서를 함께 읽어 얼마나 잘 일치하는지 판단합니다.zerank-2는 지시 따르기도 지원합니다: 모델을 재훈련하지 않고도 랭킹 동작을 안내하기 위해 자연어 지시를 전달할 수 있습니다.
두 모델 모두 오픈 웨이트이며 ZeroEntropy API와 Python SDK를 통해 사용할 수 있습니다.
ZeroEntropy 임베딩과 리랭킹이 Zilliz Cloud와 함께 작동하는 방식
ZeroEntropy와 Zilliz Cloud는 2단계 검색 파이프라인에서 함께 작동합니다:
1단계 — 임베딩 및 검색.
zembed-1을 사용해 문서의 벡터 임베딩을 생성한 다음, 이를 Zilliz Cloud 컬렉션에 저장합니다. 쿼리가 들어오면 동일한 모델로 쿼리를 임베딩하고 Zilliz Cloud에서 벡터 유사도 검색을 실행해 상위 후보를 가져옵니다. 이 단계는 수백만 개의 문서에서도 빠르게 수행됩니다.2단계 — 정확도를 위한 재순위화. 1단계의 후보를
zerank-2에 전달합니다. 재순위화 모델은 각 후보를 쿼리와 상세히 대조해 평가하고 관련도에 따라 다시 정렬합니다. 이 두 번째 단계는 의미적으로는 가깝지만 실제로는 관련이 없는 결과를 걸러내고, 관련 있는 결과를 더 잘 드러냅니다.
결과: Zilliz Cloud는 확장성과 속도를 처리하고, ZeroEntropy는 정밀도를 처리합니다.
Zilliz Cloud와 함께 ZeroEntropy를 사용하여 AI 앱을 구축해야 하는 이유
2단계 검색으로 더 높은 검색 정확도. 벡터 유사도 검색은 임베딩 공간에서 가까운 문서를 찾지만, 가깝다고 해서 항상 관련성이 높은 것은 아닙니다. ZeroEntropy의 리랭커를 두 번째 단계로 추가하면 벡터 거리만에 의존하는 대신 실제 관련성을 점수화하여 결과 품질을 향상시킵니다.
유연한 임베딩 차원으로 더 낮은 저장 비용.
zembed-1은 40부터 2,560까지의 출력 차원을 지원합니다. 더 작은 임베딩은 Zilliz Cloud 컬렉션에서 더 적은 공간을 차지하여 저장 및 메모리 비용을 줄입니다. 리랭킹과 함께 사용하면 검색 품질을 잃지 않고도 컴팩트한 임베딩을 사용할 수 있습니다.모델 재학습 없이 도메인별 랭킹.
zerank-2는 쿼리와 함께 자연어 지시문을 받습니다. 예를 들어, "이론보다 실용적인 기법을 우선시"하거나 "최신순으로 순위 지정"할 수 있습니다. 이를 통해 파인튜닝이나 재학습 없이 동일한 파이프라인을 다양한 사용 사례(법률 연구, 고객 지원, 의료 검색)에 맞게 조정할 수 있습니다.간단한 통합. 전체 파이프라인 — 임베딩, 저장, 검색, 리랭킹 — 은
zeroentropy및pymilvusSDK를 사용해 몇 줄의 Python으로 구현할 수 있습니다. 임베딩을 삽입하면 Zilliz Cloud가 자동으로 인덱싱을 처리합니다.확장 가능한 벡터 저장 및 검색. Milvus는 수십억 개의 벡터를 인덱싱하고 검색하도록 구축되었습니다. 문서 컬렉션이 증가함에 따라 Zilliz Cloud는 늘어난 데이터 볼륨과 쿼리 부하를 처리하도록 자동으로 확장되므로, ZeroEntropy의 리랭커는 항상 빠른 1단계 검색 결과를 활용할 수 있습니다.
자동 인덱싱이 포함된 관리형 인프라. Zilliz Cloud는 인덱스 구축, 리소스 프로비저닝, 성능 튜닝을 기본적으로 처리합니다. ZeroEntropy 임베딩을 삽입하면 나머지는 Zilliz Cloud가 처리합니다 — 수동 인덱스 구성이나 인프라 관리가 필요 없습니다.
ZeroEntropy를 Zilliz Cloud와 통합하는 방법
오픈 소스 Milvus를 사용하는 경우, ZeroEntropy Python SDK(
zeroentropy)와 Milvus 클라이언트 라이브러리(pymilvus)만 설치하면 됩니다. Zilliz Cloud(관리형 Milvus)를 사용하는 경우 훨씬 더 쉽습니다. 임베딩 및 리랭킹 모델이 내부적으로 통합되어 있어 외부 종속성이 필요하지 않습니다.선호하는 차원 크기를 지정하여
zembed-1을 사용해 문서의 벡터 임베딩을 생성합니다.임베딩을 Zilliz Cloud 또는 Milvus 컬렉션에 삽입합니다. Zilliz Cloud는 인덱싱을 자동으로 처리합니다.
각 쿼리에 대해
zembed-1로 임베딩하고 Zilliz Cloud에서 컬렉션을 검색하여 상위 후보를 가져옵니다.후보를
zerank-2에 전달하여 관련성 기준으로 리랭킹합니다. 선택적으로 자연어 지시문을 포함해 랭킹 동작을 사용자 지정할 수 있습니다.
Zilliz Cloud와 함께 ZeroEntropy를 사용하는 방법 알아보기
시작하는 가장 좋은 방법은 실습 튜토리얼을 따라 하는 것입니다. 이 튜토리얼은 Milvus와 함께 ZeroEntropy의 임베딩 및 리랭킹 모델을 사용하여 2단계 시맨틱 검색 파이프라인을 구축하는 방법을 안내합니다.
튜토리얼: ZeroEntropy와 Milvus를 사용한 시맨틱 검색
그리고 다음은 몇 가지 추가 리소스입니다: