Zilliz Cloud: ускорение векторного поиска с ракетной скоростью
Недавно мы запустили новейшую версию Zilliz Cloud, представив множество впечатляющих функций, включая новый бесплатный тариф, динамическую схему и ключи партиционирования, а также более доступные тарифные планы для удовлетворения разнообразных бизнес-потребностей. Мы также значительно повысили производительность, сделав Zilliz Cloud в два раза быстрее предыдущей версии и в три–десять раз быстрее Milvus и других векторных баз данных.
Как инженер-программист, я особенно впечатлен молниеносной скоростью обработки запросов в Zilliz Cloud. В этом посте я покажу, насколько быстр Zilliz Cloud и что делает Zilliz молниеносно быстрым.
Насколько быстр Zilliz Cloud?
Прежде чем продемонстрировать скорость Zilliz Cloud, нам нужно определить контекст нашего сравнения и конкретные условия, которые мы оцениваем.
VectorDBBench — это инструмент бенчмаркинга с открытым исходным кодом, который оценивает производительность различных векторных баз данных по нескольким метрикам, таким как QPS, емкость, пропускная способность и задержка, через интуитивно понятный и удобный интерфейс.
Я буду использовать VectorDBBench, чтобы сравнить Zilliz Cloud с Milvus, базой данных с открытым исходным кодом, созданной Zilliz, и другими векторными базами данных на рынке, включая Quadrant Cloud, Pinecone, WeaviateCloud и ElasticCloud.
Zilliz Cloud легко превосходит Milvus в 6 раз
На рисунке ниже сравнивается производительность Zilliz Cloud и Milvus с точки зрения QPS при обработке одного миллиона 768-мерных данных с различными конфигурациями вычислительных ресурсов и хранилища. Согласно результатам, Zilliz Cloud как минимум в три раза быстрее Milvus.
Zilliz Cloud против Milvus (набор данных 1M, 768 измерений)
При извлечении 10 миллионов 768-мерных данных Zilliz Cloud превосходит Milvus в шесть раз.
Zilliz Cloud против Milvus (набор данных 10M, 768 измерений)
Zilliz Cloud как минимум в 4 раза быстрее других векторных баз данных
Zilliz Cloud также быстрее других векторных баз данных. Согласно результатам бенчмаркинга, Zilliz Cloud достигает в 4–191 раз более высокого QPS, чем конкуренты, при извлечении одного миллиона 768-мерных данных и предлагает гораздо более доступные тарифные планы.
Zilliz Cloud против других векторных баз данных (набор данных 1M, 768 измерений)
При выполнении поиска по сходству на более крупных наборах данных Zilliz Cloud превосходит такие сервисы векторных баз данных, как Pinecone и Quadrant Cloud, в 3 раза по QPS.
Zilliz Cloud против других векторных баз данных (набор данных 10M, 768 измерений)
Чтобы увидеть больше результатов, посетите нашу страницу бенчмаркинга.
Почему Zilliz Cloud такой быстрый
Теперь вы узнали о скорости Zilliz Cloud; пришло время раскрыть, что делает его таким быстрым.
Zilliz Cloud имеет надежный движок векторного индексирования
Векторные базы данных сильно зависят от вычислительной мощности, при этом их алгоритмы векторного индексирования потребляют большую часть ресурсов и в основном определяют производительность.
Zilliz Cloud имеет надежный движок индексирования с мощными возможностями векторных вычислений. Glass — это версия с открытым исходным кодом, которая заняла верхние позиции в рейтингах в недавних результатах тестов, опубликованных ANN-Benchmark. Этот известный инструмент бенчмаркинга сравнивает производительность различных алгоритмов на разнообразных реальных наборах данных.
Давайте рассмотрим два примера. Следующие диаграммы демонстрируют самые свежие результаты бенчмаркинга ANN-Benchmark на основе двух разных наборов данных:
gist-960-euclidean: один миллион 960-мерных векторов с использованием евклидовой функции расстояния.fashion-mnist-784-euclidean: 60 000 784-мерных векторов с использованием евклидовой функции расстояния.
Чем выше поднимается кривая, тем больше запросов алгоритмы могут обрабатывать в секунду. Аналогично, чем дальше кривая простирается вправо, тем более высокого recall могут достичь алгоритмы.
Результаты ANN Benchmark (набор данных: gist-960-euclidean, k=10)
Результаты ANN Benchmark (набор данных: gist-960-euclidean, k=10)
Судя по результатам, показанным на диаграммах, Glass (розовая кривая) занял первое место по обоим показателям: количеству запросов в секунду и recall. Исключительная производительность Glass внесла значительный вклад в способность Zilliz Cloud достигать молниеносной скорости.
Оптимизированная структура кода
Помимо надежных возможностей индексирования Glass, мы оптимизировали структуру кода Zilliz Cloud. Эта оптимизация включает очистку избыточных путей запросов, улучшение планирования объединения запросов и правил параллельных запросов, оптимизацию структуры балансировки нагрузки, а также замену/обновление многих неэффективных и устаревших сторонних библиотек. Все эти усилия помогают Zilliz Cloud максимально использовать возможности своих алгоритмов индексирования и снижать накладные расходы.
Мы также устранили несколько проблем, которые ранее снижали производительность запросов в Zilliz Cloud. В результате поиски с скалярной фильтрацией и векторной фильтрацией по крупномасштабным наборам данных теперь выполняются значительно быстрее.
AutoIndex в Zilliz Cloud для стабильных показателей recall
Показатель recall является критически важным фактором производительности системы. Недостаточный показатель recall приведет к результатам поиска, которые не соответствуют требованиям наших клиентов. Однако чрезмерно высокий показатель recall может существенно снизить производительность. Поэтому нам необходим стабильный показатель recall, который балансирует производительность и точность, обеспечивая предсказуемые результаты и лучшую поддержку различных производственных сценариев.
Контроль показателя recall важен, но также сложен, поскольку на него могут влиять различные факторы, включая размер данных, параметры индексирования и запросов, распределение данных и даже размер результатов topk. Большинство систем баз данных используют одно из следующих двух решений для решения этой проблемы:
- Позволить пользователям задавать параметры: гибко, но сложно во внедрении.
- Предоставлять эмпирические параметры: просто в использовании, но менее гибко и не позволяет точно контролировать ситуации с разными наборами данных и требованиями topk.
Zilliz Cloud предлагает более простое и гибкое решение под названием AutoIndex. Оно анализирует практические сценарии применения на основе моделей и настраивает параметры для каждого запроса индексирования. Такой подход обеспечивает стабильный показатель recall, одновременно предоставляя отличную производительность для удовлетворения требований пользователей в практических приложениях.
Итоги
Последнее обновление Zilliz Cloud принесло значимые улучшения в функциональности и производительности. Теперь он демонстрирует скорость, сравнимую с ракетной, при обработке массовых векторных поисков, значительно превосходя другие векторные базы данных.
Начало работы с Zilliz Cloud
- Начните бесплатно с новым планом Starter! Отличный план для начала работы без хлопот с установкой и без необходимости указывать банковскую карту!
- Или начните 30-дневный бесплатный пробный период плана Standard с кредитами на сумму $100 при регистрации и возможностью заработать в общей сложности до $200 в виде кредитов.
- Подробно изучите документацию Zilliz Cloud.
- Ознакомьтесь с руководством по миграции с Milvus на Zilliz Cloud.
Читать далее
Announcing the General Availability of Single Sign-On (SSO) on Zilliz Cloud
SSO is GA on Zilliz Cloud, delivering the enterprise-grade identity management capabilities your teams need to deploy vectorDB with confidence.
The Real Bottlenecks in Autonomous Driving — And How AI Infrastructure Can Solve Them
Autonomous driving faces a data bottleneck. Learn how AI-native vector databases like Zilliz solve scale, cost, and insight challenges across AV pipelines.
Creating Collections in Zilliz Cloud Just Got Way Easier
We've enhanced the entire collection creation experience to bring advanced capabilities directly into the interface, making it faster and easier to build production-ready schemas without switching tools.