SingleStore против Rockset: выбираем правильную векторную базу данных для ваших AI-приложений
Что такое векторная база данных?
Прежде чем сравнить SingleStore и Rockset, давайте сначала рассмотрим концепцию векторных баз данных.
Векторная база данных специально разработана для хранения и выполнения запросов к высокоразмерным векторам, которые являются числовыми представлениями неструктурированных данных. Эти векторы кодируют сложную информацию, такую как семантическое значение текста, визуальные признаки изображений или атрибуты продуктов. Обеспечивая эффективный поиск по сходству, векторные базы данных играют ключевую роль в приложениях ИИ, позволяя выполнять более продвинутый анализ и извлечение данных.
Распространенные сценарии использования векторных баз данных включают рекомендации товаров в электронной коммерции, платформы обнаружения контента, обнаружение аномалий в кибербезопасности, анализ медицинских изображений и задачи обработки естественного языка (NLP). Они также играют важнейшую роль в Retrieval Augmented Generation (RAG) — методе, который повышает производительность больших языковых моделей (LLMs), предоставляя внешние знания для снижения таких проблем, как галлюцинации ИИ.
На рынке доступно множество типов векторных баз данных, включая:
- Специализированные векторные базы данных, такие как Milvus, Zilliz Cloud (полностью управляемый Milvus)
- Библиотеки векторного поиска, такие как Faiss и Annoy.
- Легковесные векторные базы данных, такие как Chroma и Milvus Lite.
- Традиционные базы данных с надстройками для векторного поиска, способные выполнять векторный поиск небольшого масштаба.
SingleStore — это распределенная реляционная система управления базами данных SQL, а Rockset — база данных для поиска и аналитики с возможностями векторного поиска в виде надстройки. Обе имеют возможности векторного поиска в виде надстройки. В этой публикации сравниваются их возможности векторного поиска.
SingleStore: обзор и базовая технология
SingleStore сделала векторный поиск возможным, встроив его непосредственно в базу данных, поэтому вам не нужны отдельные векторные базы данных в вашем технологическом стеке. Векторы можно хранить в обычных таблицах базы данных и искать с помощью стандартных SQL-запросов. Например, вы можете искать похожие изображения товаров, одновременно фильтруя по диапазону цен, или исследовать эмбеддинги документов, ограничивая результаты конкретными отделами. Система поддерживает семантический поиск с использованием FLAT, IVF_FLAT, IVF_PQ, IVF_PQFS, HNSW_FLAT и HNSW_PQ для векторного индекса, а также скалярное произведение и евклидово расстояние для сопоставления по сходству. Это особенно полезно для таких приложений, как рекомендательные системы, распознавание изображений и чат-боты ИИ, где сопоставление по сходству выполняется быстро.
В своей основе SingleStore создана для производительности и масштабирования. База данных распределяет данные по нескольким узлам, чтобы вы могли обрабатывать крупномасштабные операции с векторными данными. По мере роста ваших данных вы можете просто добавлять новые узлы, и все будет готово. Процессор запросов может сочетать векторный поиск с SQL-операциями, поэтому вам не нужно выполнять несколько отдельных запросов. В отличие от баз данных, предназначенных только для векторов, SingleStore предоставляет эти возможности как часть полноценной базы данных, поэтому вы можете создавать функции ИИ без управления несколькими системами или работы со сложными передачами данных.
Для векторного индексирования у SingleStore есть два варианта. Первый — точный поиск k ближайших соседей (kNN), который находит точный набор из k ближайших соседей для вектора запроса. Но для очень больших наборов данных или высокой параллельной нагрузки SingleStore также поддерживает поиск Approximate Nearest Neighbor (ANN) с использованием векторного индексирования. ANN-поиск может находить k близких соседей намного быстрее, чем точный kNN-поиск, иногда на порядки. Существует компромисс между скоростью и точностью — ANN быстрее, но может не вернуть точный набор из k ближайших соседей. Для приложений с миллиардами векторов, которым нужны интерактивные времена отклика и не требуется абсолютная точность, ANN-поиск — правильный выбор.
Техническая реализация векторных индексов в SingleStore имеет конкретные требования. Эти индексы можно создавать только для columnstore-таблиц, и они должны создаваться для одного столбца, в котором хранятся векторные данные. В настоящее время система поддерживает формат Vector Type(dimensions[, F32]), F32 — единственный поддерживаемый тип элемента. Такой структурированный подход делает SingleStore отличным решением для приложений вроде семантического поиска с использованием векторов из больших языковых моделей, retrieval-augmented generation (RAG) для сфокусированной генерации текста и сопоставления изображений на основе векторных embeddings. Объединяя это с традиционными функциями базы данных, SingleStore позволяет разработчикам создавать сложные AI-приложения с использованием синтаксиса SQL, сохраняя производительность и масштабируемость.
Rockset: обзор и базовая технология
Rockset — это база данных для поиска и аналитики в реальном времени для структурированных и неструктурированных данных, включая vector embeddings. Ее сильная сторона — прием, индексирование и запросы к данным в реальном времени, поэтому она отлично подходит для приложений, которым нужны инсайты с актуальностью до текущей секунды. Rockset поддерживает как потоковый, так и пакетный прием данных, может обрабатывать высокоскоростные потоки событий и фиды change data capture (CDC) за 1–2 секунды.
Одна из ключевых функций Rockset — Converged Indexing, построенная на изменяемой RocksDB. Это позволяет выполнять обновления векторов и метаданных на месте, поэтому решение очень эффективно для сценариев, где данные часто меняются. Rockset может обрабатывать документы размером до 40MB и поддерживает размерность векторов до 200 000, поэтому он подходит для широкого спектра сценариев использования vector embedding.
Векторный поиск встроен в ядро Rockset. Он поддерживает методы поиска K-Nearest Neighbors (KNN) и Approximate Nearest Neighbors (ANN) и использует распределенный индекс FAISS для масштабируемости. Rockset не привязан к конкретному алгоритму, поэтому вы можете выбрать собственную реализацию поиска. Оптимизатор на основе стоимости может динамически выбирать между методами поиска KNN и ANN для оптимальной производительности.
Уникальность Rockset для векторного поиска заключается в Converged Index, который объединяет поисковые, ANN, колоночные и построчные индексы в один. Это означает, что вы можете обрабатывать широкий диапазон шаблонов запросов из коробки. Rockset также поддерживает фильтрацию по метаданным и гибридный поиск. Оптимизатор выберет наиболее эффективный путь выполнения запроса. Может выполнять поиск по нескольким ANN-полям, поддерживает multi-modal models и имеет как SQL, так и REST API для интерфейса запросов.
Ключевые различия
Методология поиска
SingleStore предлагает ряд вариантов векторного поиска. В основе у него есть точный поиск k ближайших соседей (kNN) для ситуаций, где важна точность. Для более крупных наборов данных, где важна скорость, SingleStore предлагает поиск Approximate Nearest Neighbor (ANN) с различными типами индексов, включая FLAT, IVF_FLAT, IVF_PQ, IVF_PQFS, HNSW_FLAT и HNSW_PQ. Он поддерживает сопоставление сходства как по скалярному произведению, так и по евклидову расстоянию, поэтому у разработчиков есть гибкость в том, как измерять сходство векторов.
Rockset использует другой подход благодаря своей технологии Converged Index, которая объединяет поисковые, ANN, колоночные и строковые индексы в единую систему. Это позволяет эффективно обрабатывать запросы для разных типов данных и поисковых паттернов. Rockset поддерживает методы поиска как KNN, так и ANN через распределенный индекс FAISS для масштабируемости. Одна из ключевых особенностей — его алгоритмически независимый дизайн, который позволяет командам при необходимости реализовывать собственные методы поиска.
Обработка данных
SingleStore имеет векторный поиск, интегрированный в свою базу данных, поэтому векторные индексы нужно создавать на таблицах columnstore. Система использует специальный формат Vector Type(dimensions[, F32]), где F32 является единственным поддерживаемым типом элементов. Такой структурированный подход делает SingleStore отличным выбором для приложений, которым нужно сочетать традиционные операции с базами данных с возможностями векторного поиска, например систем рекомендаций товаров или приложений семантического поиска.
Rockset отлично справляется с обработкой разных типов и форматов данных. Он может обрабатывать как структурированные, так и неструктурированные данные, документы размером до 40 МБ и векторы размерностью до 200 000. Построенный на изменяемой RocksDB, Rockset хорошо подходит для обработки данных в реальном времени, может принимать и обрабатывать потоковые данные за 1–2 секунды. Поэтому он отлично подходит для приложений, которым требуются аналитика в реальном времени и частые обновления данных.
Масштабируемость и производительность
SingleStore масштабируется, распределяя данные по нескольким узлам. По мере роста данных пользователи могут добавлять больше узлов, чтобы поддерживать производительность. Обработчик запросов объединяет векторный поиск с SQL-операциями, поэтому отдельные запросы не нужны. Это особенно полезно для крупномасштабных приложений, которым нужно выполнять сложные операции, включающие как традиционные данные, так и векторный поиск.
Rockset ориентирован на производительность поиска и аналитики в реальном времени. Его архитектура разработана для обработки высокоскоростных потоков событий. Он имеет оптимизатор на основе стоимости, который выбирает между методами поиска KNN и ANN в зависимости от требований запроса. Эта оптимизация вместе с распределенной архитектурой обеспечивает стабильную производительность по мере роста данных и увеличения сложности запросов.
Гибкость и интеграция
SingleStore имеет SQL-интерфейс для векторных операций, поэтому он доступен командам, уже знакомым с SQL. Он отлично подходит для приложений, которые объединяют традиционные функции баз данных с возможностями векторного поиска, такими как семантический поиск и retrieval-augmented generation (RAG). Хотя он ограничен векторным типом F32, такая стандартизация упрощает разработку и оптимизацию.
Rockset предлагает больше гибкости в вариантах интеграции: у него есть как SQL, так и REST API. Он поддерживает мультимодальные модели и может выполнять поиск по нескольким ANN-полям. Его гибкая фильтрация метаданных и возможности гибридного поиска позволяют выполнять сложные запросы, которые объединяют векторное сходство с традиционными критериями поиска. Поэтому он отлично подходит для приложений, которым требуются разные возможности поиска и аналитики.
Когда выбирать SingleStore
SingleStore — лучший выбор для крупномасштабных приложений, которым нужны традиционные возможности баз данных и векторный поиск в одной системе. Он отлично подходит для компаний, запускающих рекомендательные движки, приложения семантического поиска или приложения на базе AI, где важна совместимость с SQL и нужно объединять векторные операции с обычными запросами к базе данных. Технология особенно сильна в точном поиске kNN, поэтому она идеально подходит для приложений, где нельзя жертвовать точностью поиска, например в финансовых сервисах, рекомендациях товаров в электронной коммерции или анализе медицинских данных, где важна точность.
Когда выбирать Rockset
Rockset — лучший выбор для приложений, которым нужны поиск и аналитика в реальном времени, особенно при работе с изменяющимися данными или потоковыми сценариями. Он отлично подходит компаниям, работающим с несколькими типами и форматами данных или нуждающимся в гибком поиске по многомерным векторам. Эта технология идеально подходит для таких сценариев, как аналитические панели в реальном времени, анализ логов с векторным поиском или приложения, которым нужно быстро обновлять поисковые индексы, поэтому она отлично подходит для ситуаций, где важна свежесть данных и нужно сочетать полнотекстовый поиск с векторными операциями.
Заключение
Выбор между SingleStore и Rockset в конечном счете зависит от ваших конкретных технических потребностей и сценариев использования. SingleStore отлично подходит как единая база данных с векторным поиском, поэтому хорош для приложений, которым нужно сочетать традиционные операции с данными и векторный поиск в масштабе. Rockset отлично подходит для поиска и аналитики в реальном времени, поэтому хорош для приложений, которым нужно работать с несколькими типами данных и быстрыми обновлениями. При принятии решения учитывайте частоту обновления данных, точность поиска, требования к размерности векторов и требования к обработке в реальном времени. Оба решения надежны, но их сильные стороны различаются, поэтому они подходят для разных сценариев использования.
Прочитайте это, чтобы получить обзор SingleStore и Rockset, но для их оценки вам нужно оценивать их исходя из вашего сценария использования. Один из инструментов, который может в этом помочь, — VectorDBBench, open-source инструмент для бенчмаркинга и сравнения векторных баз данных. В конечном итоге тщательный бенчмаркинг на ваших собственных наборах данных и шаблонах запросов будет ключом к принятию решения между этими двумя мощными, но разными подходами к векторному поиску в распределенных системах баз данных.
Использование open-source VectorDBBench для оценки и сравнения векторных баз данных самостоятельно
VectorDBBench — это open-source инструмент для бенчмаркинга для пользователей, которым нужны высокопроизводительные системы хранения и извлечения данных, особенно векторные базы данных. Этот инструмент позволяет пользователям тестировать и сравнивать различные системы векторных баз данных, такие как Milvus и Zilliz Cloud (управляемый Milvus), используя собственные наборы данных, и находить ту, которая подходит для их сценариев использования. С VectorDBBench пользователи могут принимать решения на основе фактической производительности векторной базы данных, а не маркетинговых заявлений или слухов.
VectorDBBench написан на Python и распространяется по open-source лицензии MIT, что означает, что любой может свободно использовать, изменять и распространять его. Инструмент активно поддерживается сообществом разработчиков, стремящихся улучшать его функции и производительность.
Скачайте VectorDBBench из его репозитория GitHub, чтобы воспроизвести наши результаты бенчмарка или получить результаты производительности на ваших собственных наборах данных.
Быстро ознакомьтесь с производительностью популярных векторных баз данных в рейтинге VectorDBBench.
Прочитайте следующие блоги, чтобы узнать больше об оценке векторных баз данных.
Дополнительные ресурсы о VectorDB, GenAI и ML
Читать далее
A Developer's Guide to Exploring Milvus 2.6 Features on Zilliz Cloud
Milvus 2.6 marks a shift from “vector search + glue code” to a more advanced retrieval engine, and it is now Generally Available (GA) on Zilliz Cloud (a managed Milvus service).
Zilliz Cloud Update: Tiered Storage, Business Critical Plan, Cross-Region Backup, and Pricing Changes
This release offers a rebuilt tiered storage with lower costs, a new Business Critical plan for enhanced security, and pricing updates, among other features.
Introducing Zilliz MCP Server: Natural Language Access to Your Vector Database
Developers can easily manage and query vector databases with natural language via Zilliz MCP Server in AI-native environments.
The Definitive Guide to Choosing a Vector Database
Overwhelmed by all the options? Learn key features to look for & how to evaluate with your own data. Choose with confidence.