ZeroEntropy and Zilliz Cloud Integration
Integrate Zilliz Cloud with ZeroEntropy to build high-accuracy semantic search using two-stage vector retrieval and reranking.
Используйте эту интеграцию бесплатноЧто такое ZeroEntropy
ZeroEntropy — компания в сфере инфраструктуры AI-поиска, предоставляющая модели эмбеддингов и реранжирования через удобный для разработчиков API.
Она предлагает две основные модели:
zembed-1(Модель эмбеддингов): Преобразует текст в векторные эмбеддинги, которые отражают семантическое значение. Поддерживает настраиваемые размерности вывода — 40, 80, 160, 320, 640, 1,280 или 2,560 — чтобы вы могли балансировать точность и стоимость хранения. zembed-1 может снизить затраты на хранение в векторной базе данных до 10 раз по сравнению с альтернативами полной размерности.zerank-2(Модель реранжирования): Кросс-энкодер, который оценивает пары запрос-документ по релевантности. Вместо того чтобы полагаться только на векторное расстояние, он считывает запрос и документ вместе, чтобы определить, насколько хорошо они соответствуют друг другу.zerank-2также поддерживает следование инструкциям: вы можете передавать инструкции на естественном языке, чтобы направлять поведение ранжирования без переобучения модели.
Обе модели имеют открытые веса и доступны через ZeroEntropy API и Python SDK.
Как эмбеддинги ZeroEntropy и реранжирование работают с Zilliz Cloud
ZeroEntropy и Zilliz Cloud работают вместе в двухэтапном конвейере извлечения:
Этап 1 — Создание эмбеддингов и извлечение. Вы используете
zembed-1для создания векторных эмбеддингов для ваших документов, затем сохраняете их в коллекции Zilliz Cloud. Когда поступает запрос, вы создаете для него эмбеддинг с помощью той же модели и выполняете поиск по векторному сходству в Zilliz Cloud, чтобы получить лучших кандидатов. Этот этап выполняется быстро, даже среди миллионов документов.Этап 2 — Переранжирование для точности. Вы передаете кандидатов из этапа 1 в
zerank-2. Реранкер детально оценивает каждого кандидата относительно запроса и переупорядочивает их по релевантности. Этот второй проход отсекает результаты, которые семантически близки, но на самом деле нерелевантны, и выводит наверх те, которые релевантны.
Результат: Zilliz Cloud обеспечивает масштаб и скорость, ZeroEntropy — точность.
Зачем использовать ZeroEntropy с Zilliz Cloud для создания AI-приложений
Более высокая точность поиска благодаря двухэтапному извлечению. Поиск по векторному сходству находит документы, близкие в пространстве эмбеддингов, но близость не всегда означает релевантность. Добавление реранкера ZeroEntropy в качестве второго этапа повышает качество результатов, оценивая истинную релевантность, а не полагаясь только на векторное расстояние.
Более низкие затраты на хранение благодаря гибким размерностям эмбеддингов.
zembed-1поддерживает выходные размерности от 40 до 2 560. Меньшие эмбеддинги занимают меньше места в вашей коллекции Zilliz Cloud, снижая затраты на хранение и память. В сочетании с реранкингом вы можете использовать компактные эмбеддинги без потери качества поиска.Предметно-ориентированное ранжирование без переобучения модели.
zerank-2принимает инструкции на естественном языке вместе с запросом — например, "prioritize practical techniques over theory" или "rank by recency." Это позволяет адаптировать один и тот же конвейер к разным сценариям использования (юридические исследования, поддержка клиентов, медицинское извлечение) без дообучения или переобучения.Простая интеграция. Полный конвейер — эмбеддинг, хранение, поиск, реранкинг — занимает несколько строк Python с использованием SDK
zeroentropyиpymilvus. Zilliz Cloud автоматически выполняет индексирование после вставки ваших эмбеддингов.Масштабируемое векторное хранение и извлечение. Milvus создан для индексирования и поиска по миллиардам векторов. По мере роста вашей коллекции документов Zilliz Cloud автоматически масштабируется, чтобы обрабатывать увеличившийся объем данных и нагрузку запросов, поэтому реранкер ZeroEntropy всегда имеет быстрое извлечение первого этапа для работы.
Управляемая инфраструктура с автоматическим индексированием. Zilliz Cloud выполняет построение индексов, выделение ресурсов и настройку производительности из коробки. Вы вставляете свои эмбеддинги ZeroEntropy; Zilliz Cloud берет на себя остальное — ручная настройка индексов или управление инфраструктурой не требуются.
Как интегрировать ZeroEntropy с Zilliz Cloud
Если вы используете open-source Milvus, просто установите Python SDK ZeroEntropy (
zeroentropy) и клиентскую библиотеку Milvus (pymilvus). Если вы используете Zilliz Cloud (управляемый Milvus), это намного проще. Модели эмбеддингов и реранжирования интегрированы внутри; внешние зависимости не требуются.Сгенерируйте векторные эмбеддинги для ваших документов с помощью
zembed-1, указав предпочитаемый размерность.Вставьте эмбеддинги в коллекцию Zilliz Cloud или Milvus. Zilliz Cloud выполняет индексацию автоматически.
Для каждого запроса создайте эмбеддинг с помощью
zembed-1и выполните поиск по коллекции в Zilliz Cloud, чтобы получить лучших кандидатов.Передайте кандидатов в
zerank-2, чтобы выполнить реранжирование по релевантности. При желании включите инструкцию на естественном языке, чтобы настроить поведение ранжирования.
Узнайте, как использовать ZeroEntropy с Zilliz Cloud
Лучший способ начать — это практическое руководство. В этом руководстве пошагово показано, как создать двухэтапный конвейер семантического поиска с использованием моделей embedding и reranking от ZeroEntropy вместе с Milvus.
Руководство: семантический поиск с ZeroEntropy и Milvus
А вот еще несколько ресурсов: