Zilliz Cloud: ускорение векторного поиска с ракетной скоростью
Недавно мы запустили новейшую версию Zilliz Cloud, представив множество впечатляющих функций, включая новый бесплатный тариф, динамическую схему и ключи партиционирования, а также более доступные тарифные планы для удовлетворения разнообразных бизнес-потребностей. Мы также значительно повысили производительность, сделав Zilliz Cloud в два раза быстрее предыдущей версии и в три–десять раз быстрее Milvus и других векторных баз данных.
Как инженер-программист, я особенно впечатлен молниеносной скоростью обработки запросов в Zilliz Cloud. В этом посте я покажу, насколько быстр Zilliz Cloud и что делает Zilliz молниеносно быстрым.
Насколько быстр Zilliz Cloud?
Прежде чем продемонстрировать скорость Zilliz Cloud, нам нужно определить контекст нашего сравнения и конкретные условия, которые мы оцениваем.
VectorDBBench — это инструмент бенчмаркинга с открытым исходным кодом, который оценивает производительность различных векторных баз данных по нескольким метрикам, таким как QPS, емкость, пропускная способность и задержка, через интуитивно понятный и удобный интерфейс.
Я буду использовать VectorDBBench, чтобы сравнить Zilliz Cloud с Milvus, базой данных с открытым исходным кодом, созданной Zilliz, и другими векторными базами данных на рынке, включая Quadrant Cloud, Pinecone, WeaviateCloud и ElasticCloud.
Zilliz Cloud легко превосходит Milvus в 6 раз
На рисунке ниже сравнивается производительность Zilliz Cloud и Milvus с точки зрения QPS при обработке одного миллиона 768-мерных данных с различными конфигурациями вычислительных ресурсов и хранилища. Согласно результатам, Zilliz Cloud как минимум в три раза быстрее Milvus.
Zilliz Cloud против Milvus (набор данных 1M, 768 измерений)
При извлечении 10 миллионов 768-мерных данных Zilliz Cloud превосходит Milvus в шесть раз.
Zilliz Cloud против Milvus (набор данных 10M, 768 измерений)
Zilliz Cloud как минимум в 4 раза быстрее других векторных баз данных
Zilliz Cloud также быстрее других векторных баз данных. Согласно результатам бенчмаркинга, Zilliz Cloud достигает в 4–191 раз более высокого QPS, чем конкуренты, при извлечении одного миллиона 768-мерных данных и предлагает гораздо более доступные тарифные планы.
Zilliz Cloud против других векторных баз данных (набор данных 1M, 768 измерений)
При выполнении поиска по сходству на более крупных наборах данных Zilliz Cloud превосходит такие сервисы векторных баз данных, как Pinecone и Quadrant Cloud, в 3 раза по QPS.
Zilliz Cloud против других векторных баз данных (набор данных 10M, 768 измерений)
Чтобы увидеть больше результатов, посетите нашу страницу бенчмаркинга.
Почему Zilliz Cloud такой быстрый
Теперь вы узнали о скорости Zilliz Cloud; пришло время раскрыть, что делает его таким быстрым.
Zilliz Cloud имеет надежный движок векторного индексирования
Векторные базы данных сильно зависят от вычислительной мощности, при этом их алгоритмы векторного индексирования потребляют большую часть ресурсов и в основном определяют производительность.
Zilliz Cloud имеет надежный движок индексирования с мощными возможностями векторных вычислений. Glass — это версия с открытым исходным кодом, которая заняла верхние позиции в рейтингах в недавних результатах тестов, опубликованных ANN-Benchmark. Этот известный инструмент бенчмаркинга сравнивает производительность различных алгоритмов на разнообразных реальных наборах данных.
Давайте рассмотрим два примера. Следующие диаграммы демонстрируют самые свежие результаты бенчмаркинга ANN-Benchmark на основе двух разных наборов данных:
gist-960-euclidean: один миллион 960-мерных векторов с использованием евклидовой функции расстояния.fashion-mnist-784-euclidean: 60 000 784-мерных векторов с использованием евклидовой функции расстояния.
Чем выше поднимается кривая, тем больше запросов алгоритмы могут обрабатывать в секунду. Аналогично, чем дальше кривая простирается вправо, тем более высокого recall могут достичь алгоритмы.
Результаты ANN Benchmark (набор данных: gist-960-euclidean, k=10)
Результаты ANN Benchmark (набор данных: gist-960-euclidean, k=10)
Судя по результатам, показанным на диаграммах, Glass (розовая кривая) занял первое место по обоим показателям: количеству запросов в секунду и recall. Исключительная производительность Glass внесла значительный вклад в способность Zilliz Cloud достигать молниеносной скорости.
Оптимизированная структура кода
Помимо надежных возможностей индексирования Glass, мы оптимизировали структуру кода Zilliz Cloud. Эта оптимизация включает очистку избыточных путей запросов, улучшение планирования объединения запросов и правил параллельных запросов, оптимизацию структуры балансировки нагрузки, а также замену/обновление многих неэффективных и устаревших сторонних библиотек. Все эти усилия помогают Zilliz Cloud максимально использовать возможности своих алгоритмов индексирования и снижать накладные расходы.
Мы также устранили несколько проблем, которые ранее снижали производительность запросов в Zilliz Cloud. В результате поиски с скалярной фильтрацией и векторной фильтрацией по крупномасштабным наборам данных теперь выполняются значительно быстрее.
AutoIndex в Zilliz Cloud для стабильных показателей recall
Показатель recall является критически важным фактором производительности системы. Недостаточный показатель recall приведет к результатам поиска, которые не соответствуют требованиям наших клиентов. Однако чрезмерно высокий показатель recall может существенно снизить производительность. Поэтому нам необходим стабильный показатель recall, который балансирует производительность и точность, обеспечивая предсказуемые результаты и лучшую поддержку различных производственных сценариев.
Контроль показателя recall важен, но также сложен, поскольку на него могут влиять различные факторы, включая размер данных, параметры индексирования и запросов, распределение данных и даже размер результатов topk. Большинство систем баз данных используют одно из следующих двух решений для решения этой проблемы:
- Позволить пользователям задавать параметры: гибко, но сложно во внедрении.
- Предоставлять эмпирические параметры: просто в использовании, но менее гибко и не позволяет точно контролировать ситуации с разными наборами данных и требованиями topk.
Zilliz Cloud предлагает более простое и гибкое решение под названием AutoIndex. Оно анализирует практические сценарии применения на основе моделей и настраивает параметры для каждого запроса индексирования. Такой подход обеспечивает стабильный показатель recall, одновременно предоставляя отличную производительность для удовлетворения требований пользователей в практических приложениях.
Итоги
Последнее обновление Zilliz Cloud принесло значимые улучшения в функциональности и производительности. Теперь он демонстрирует скорость, сравнимую с ракетной, при обработке массовых векторных поисков, значительно превосходя другие векторные базы данных.
Начало работы с Zilliz Cloud
- Начните бесплатно с новым планом Starter! Отличный план для начала работы без хлопот с установкой и без необходимости указывать банковскую карту!
- Или начните 30-дневный бесплатный пробный период плана Standard с кредитами на сумму $100 при регистрации и возможностью заработать в общей сложности до $200 в виде кредитов.
- Подробно изучите документацию Zilliz Cloud.
- Ознакомьтесь с руководством по миграции с Milvus на Zilliz Cloud.
Читать далее
Zilliz Cloud Now Available in AWS Asia Pacific (Seoul)
Zilliz Cloud is now available in AWS Seoul — low-latency vector search, in-country data residency, and one-step migration for Korean AI teams. 31 regions across 5 clouds.
How to Choose the Best Embedding Model for RAG in 2026: 10 Models Benchmarked
We benchmarked 10 embedding models on cross-modal, cross-lingual, long-document, and dimension compression tasks. See which one fits your RAG pipeline.
Vector Databases vs. Key-Value Databases
Use a vector database for AI-powered similarity search; use a key-value database for high-throughput, low-latency simple data lookups.