SingleStore против MyScale: выбор правильной векторной базы данных для ваших AI-приложений
Что такое векторная база данных?
Прежде чем сравнить SingleStore и MyScale, давайте сначала рассмотрим концепцию векторных баз данных.
Векторная база данных специально разработана для хранения и запроса многомерных векторов, которые представляют собой числовые представления неструктурированных данных. Эти векторы кодируют сложную информацию, такую как семантическое значение текста, визуальные характеристики изображений или атрибуты продуктов. Обеспечивая эффективный поиск по сходству, векторные базы данных играют ключевую роль в приложениях ИИ, позволяя выполнять более продвинутый анализ и извлечение данных.
Распространенные варианты использования векторных баз данных включают рекомендации товаров в электронной коммерции, платформы обнаружения контента, обнаружение аномалий в кибербезопасности, анализ медицинских изображений и задачи обработки естественного языка (NLP). Они также играют важную роль в Retrieval Augmented Generation (RAG), методе, который повышает производительность больших языковых моделей (LLMs), предоставляя внешние знания для уменьшения таких проблем, как галлюцинации ИИ.
На рынке доступно множество типов векторных баз данных, включая:
- Специализированные векторные базы данных, такие как Milvus, Zilliz Cloud (полностью управляемый Milvus)
- Библиотеки векторного поиска, такие как Faiss и Annoy.
- Легковесные векторные базы данных, такие как Chroma и Milvus Lite.
- Традиционные базы данных с надстройками векторного поиска, способные выполнять векторный поиск небольшого масштаба.
SingleStore — это распределенная реляционная система управления базами данных SQL, а MyScale — база данных, построенная на ClickHouse, которая объединяет векторный поиск и SQL-аналитику. Обе имеют возможности векторного поиска в качестве надстройки. В этой публикации сравниваются их возможности векторного поиска.
SingleStore: обзор и базовая технология
SingleStore сделал векторный поиск возможным, встроив его в саму базу данных, поэтому вам не нужны отдельные векторные базы данных в вашем технологическом стеке. Векторы можно хранить в обычных таблицах базы данных и искать с помощью стандартных SQL-запросов. Например, вы можете искать похожие изображения товаров, фильтруя по диапазону цен, или исследовать эмбеддинги документов, ограничивая результаты конкретными отделами. Система поддерживает как семантический поиск с использованием FLAT, IVF_FLAT, IVF_PQ, IVF_PQFS, HNSW_FLAT и HNSW_PQ для векторного индекса, так и скалярное произведение и евклидово расстояние для сопоставления по сходству. Это чрезвычайно полезно для приложений, таких как рекомендательные системы, распознавание изображений и ИИ-чатботы, где сопоставление по сходству выполняется быстро.
В своей основе SingleStore создан для производительности и масштабирования. База данных распределяет данные по нескольким узлам, поэтому вы можете обрабатывать крупномасштабные операции с векторными данными. По мере роста данных вы можете просто добавлять больше узлов, и всё будет готово. Процессор запросов может объединять векторный поиск с операциями SQL, поэтому вам не нужно выполнять несколько отдельных запросов. В отличие от баз данных только для векторов, SingleStore предоставляет эти возможности как часть полноценной базы данных, поэтому вы можете создавать функции ИИ без управления несколькими системами или сложных передач данных.
Для векторной индексации у SingleStore есть два варианта. Первый — точный поиск k ближайших соседей (k-nearest neighbors, kNN), который находит точный набор из k ближайших соседей для вектора запроса. Но для очень больших наборов данных или высокой конкурентности SingleStore также поддерживает поиск приближенных ближайших соседей (Approximate Nearest Neighbor, ANN) с использованием векторной индексации. Поиск ANN может находить k близких соседей гораздо быстрее, чем точный поиск kNN, иногда на порядки. Существует компромисс между скоростью и точностью — ANN быстрее, но может не вернуть точный набор из k ближайших соседей. Для приложений с миллиардами векторов, которым нужны интерактивные времена отклика и не требуется абсолютная точность, поиск ANN — оптимальный вариант.
Техническая реализация векторных индексов в SingleStore имеет конкретные требования. Эти индексы можно создавать только для таблиц columnstore, и они должны создаваться на одном столбце, в котором хранятся векторные данные. В настоящее время система поддерживает формат Vector Type(dimensions[, F32]), F32 — единственный поддерживаемый тип элементов. Такой структурированный подход делает SingleStore отличным выбором для приложений вроде семантического поиска с использованием векторов из больших языковых моделей, retrieval-augmented generation (RAG) для целевой генерации текста и сопоставления изображений на основе векторных эмбеддингов. Объединяя это с традиционными возможностями баз данных, SingleStore позволяет разработчикам создавать сложные AI-приложения с использованием синтаксиса SQL, сохраняя производительность и масштабируемость.
Что такое MyScale? Обзор и ключевая технология
MyScale — это облачная база данных, построенная на основе open source базы данных ClickHouse и предназначенная для рабочих нагрузок AI и машинного обучения. Она может обрабатывать структурированные и векторные данные, а также аналитику в реальном времени и машинное обучение. MyScale ориентирована на временные ряды, векторный поиск и полнотекстовый поиск, поэтому она хорошо подходит для обработки в реальном времени и аналитических выводов на основе AI. Благодаря использованию архитектуры ClickHouse, MyScale обеспечивает высокую производительность и масштабируемость для AI.
Одна из ключевых возможностей MyScale — нативная поддержка SQL, которая упрощает запросы на основе AI, объединяя векторный поиск, полнотекстовый поиск и традиционные SQL-запросы в одной системе. Это снижает потребность в нескольких инструментах и делает решение масштабируемым для AI. MyScale поддерживает и управляет аналитической обработкой как структурированных, так и векторизованных данных на одной платформе, используя архитектуру OLAP-базы данных для работы с векторизованными данными. Разработчики могут взаимодействовать с MyScale с помощью SQL, поэтому она доступна всем программистам, знакомым с реляционными базами данных.
MyScale имеет несколько типов векторных индексов и метрик сходства для поддержки разных сценариев использования. Она поддерживает распространенные метрики расстояния, такие как евклидово расстояние (L2), внутреннее произведение (IP) и косинусное сходство. В базе данных есть несколько алгоритмов индексации: MSTG (Multi-Scale Tree Graph), ScaNN, IVFFLAT, IVFPQ, IVFSQ и HNSW, каждый со своим набором параметров для настройки. Проприетарный векторный движок MSTG от MyScale использует NVMe SSD для повышения плотности данных, поэтому он превосходит специализированные векторные базы данных как по производительности, так и по стоимости.
Объединяя функциональность SQL-базы данных, векторной базы данных и движка полнотекстового поиска в одной системе, MyScale снижает затраты на инфраструктуру и обслуживание. Такая унификация позволяет выполнять совместные запросы и аналитику данных, а также обеспечивает единую основу данных для AI-приложений. MyScale также имеет MyScale Telemetry для полной наблюдаемости LLM-систем, чтобы вы могли эффективно мониторить и отлаживать их. По мере усложнения данных MyScale является перспективным решением, которое может поддерживать новые модальности данных и размеры баз данных, сохраняя вычислительную производительность и интеграцию между различными типами данных.
Ключевые различия
Методология поиска
SingleStore: поиск k ближайших соседей (kNN) и приближенных ближайших соседей (ANN). ANN оптимизирован для больших наборов данных с компромиссами между скоростью и точностью, хорошо подходит для рекомендательных систем и семантического поиска.
MyScale: Больше алгоритмов индексирования (MSTG, ScaNN, IVFFLAT, HNSW). Векторный движок MSTG использует NVMe SSD для высокой производительности и эффективности хранения. Поддерживаются несколько метрик расстояния (евклидово расстояние, скалярное произведение, косинусное сходство).
Вердикт: Если вам нужны разнообразие алгоритмов и кастомизация, выигрывает MyScale. Для оптимизированных ANN и kNN с SQL SingleStore — хороший выбор.
Обработка данных
SingleStore: Структурированные и полуструктурированные данные, векторы хранятся в таблицах columnstore. Векторные запросы интегрируются с SQL, поэтому вы можете выполнять гибридные операции, например фильтровать эмбеддинги с использованием реляционных данных.
MyScale: Структурированные, полуструктурированные и неструктурированные данные. Архитектура OLAP (Online Analytical Processing) позволяет выполнять аналитическую обработку как векторных, так и традиционных типов данных, что хорошо подходит для смешанных нагрузок.
Вердикт: Способность MyScale работать с неструктурированными данными делает его более универсальным для разных AI-нагрузок. SingleStore хорошо справляется с векторными и SQL-запросами для структурированных и полуструктурированных данных.
Масштабируемость и производительность
SingleStore: Распределенное хранение данных и обработка запросов. Масштабирование простое — добавляете узлы и получаете больше емкости и производительности.
MyScale: Наследует происхождение ClickHouse, масштабируемость для аналитики в реальном времени и AI-нагрузок. Движок MSTG использует NVMe для крупномасштабных наборов данных с эффективностью затрат.
Вердикт: Оба хорошо масштабируются, но подход MyScale с NVMe может быть лучше по соотношению цены и производительности для крупномасштабных AI-сценариев.
Гибкость и кастомизация
SingleStore: Структурированный и SQL-ориентированный, хорош для приложений, которым нужна тесная интеграция с традиционными базами данных.
MyScale: Больше алгоритмов индексирования и метрик расстояния, больше возможностей для настройки производительности.
Вердикт: MyScale выигрывает по кастомизации, SingleStore — по простоте и SQL-ориентированному рабочему процессу.
Интеграция и экосистема
SingleStore: Векторный поиск интегрирован с реляционной базой данных, разработчики могут создавать полноценные приложения без дополнительных инструментов.
MyScale: Векторный, полнотекстовый и SQL-поиск, меньше систем для управления. MyScale Telemetry для мониторинга и отладки LLM-систем.
Вердикт: MyScale более перспективен, SingleStore упрощает интеграцию с традиционной экосистемой баз данных.
Простота использования
SingleStore: SQL-синтаксис и исчерпывающая документация, более низкий порог входа для разработчиков, знакомых с реляционными базами данных.
MyScale: SQL для взаимодействий, но более широкий набор функций может потребовать немного более крутого обучения.
Вердикт: SingleStore немного проще для начала, SQL-first и более простая настройка.
Стоимость
SingleStore: Векторный поиск является частью базы данных, поэтому если вы уже используете ее как основную базу данных, вы можете сэкономить на инфраструктурных затратах.
MyScale: Использует эффективное хранилище (например, NVMe SSD) и объединяет функции, поэтому вам не нужны отдельные инструменты.
Вердикт: MyScale может быть лучше в долгосрочной перспективе для AI-нагрузок, SingleStore — если вам нужна простота и интеграция с существующими системами.
Безопасность
SingleStore: Шифрование корпоративного уровня, аутентификация и контроль доступа.
MyScale: Наследует функции безопасности ClickHouse и добавляет инструменты наблюдаемости, но уровни шифрования нужно проверить.
Вердикт: Оба безопасны, у SingleStore есть небольшое преимущество в функциях корпоративного уровня.
Когда выбирать SingleStore
SingleStore отлично подходит, когда вы хотите объединить векторный поиск с реляционными данными в едином SQL-ориентированном рабочем процессе. Он хорош для приложений, где нужно анализировать структурированные или полуструктурированные данные с векторными эмбеддингами, например рекомендательных систем, бизнес-аналитики на базе AI или RAG (retrieval-augmented generation). Его распределенная архитектура обеспечивает масштабируемость, а ANN-поиск дает быстрые результаты на больших наборах данных. Если вам нужна простота, SQL-ориентированный дизайн SingleStore означает, что вам не нужны несколько инструментов или систем.
Когда выбирать MyScale
MyScale лучше подходит для рабочих нагрузок с несколькими типами данных и AI-приложений, которым нужна гибкость. Его векторный поиск, полнотекстовый поиск и аналитика в реальном времени делают его отличным выбором для мониторинга крупных AI-систем, обработки неструктурированных данных или анализа временных рядов. Более широкий набор алгоритмов индексации и метрик в MyScale означает, что разработчики могут настраивать производительность, а его архитектура на базе NVMe означает экономичный способ работы с большими наборами данных. Если вам нужна перспективная платформа, которая обладает масштабируемостью, наблюдаемостью и продвинутой индексацией, MyScale — хороший выбор.
Заключение
SingleStore и MyScale хороши в разных вещах. SingleStore отлично подходит для упрощения векторного поиска по структурированным данным с использованием SQL, а также для удобства использования и масштабируемости в традиционных сценариях, ориентированных на базы данных. MyScale хорош универсальностью, продвинутой индексацией и работой с несколькими типами данных для сценариев, сильно ориентированных на AI, и аналитики в реальном времени. В конечном счете выбор зависит от ваших сценариев использования, данных, с которыми вы работаете, и ваших требований к производительности. Выбирайте технологию, которая соответствует вашей рабочей нагрузке и целям разработки.
Прочитайте это, чтобы получить обзор SingleStore и MyScale, но для их оценки вам нужно проводить оценку на основе вашего сценария использования. Один инструмент, который может в этом помочь, — VectorDBBench, инструмент с открытым исходным кодом для бенчмаркинга и сравнения векторных баз данных. В итоге тщательный бенчмаркинг на ваших собственных наборах данных и шаблонах запросов будет ключом к принятию решения между этими двумя мощными, но разными подходами к векторному поиску в распределенных системах баз данных.
Использование Open-source VectorDBBench для оценки и сравнения векторных баз данных самостоятельно
VectorDBBench — это инструмент бенчмаркинга с открытым исходным кодом для пользователей, которым нужны высокопроизводительные системы хранения и извлечения данных, особенно векторные базы данных. Этот инструмент позволяет пользователям тестировать и сравнивать различные системы векторных баз данных, такие как Milvus и Zilliz Cloud (управляемый Milvus), используя собственные наборы данных, и находить ту, которая подходит для их сценариев использования. С VectorDBBench пользователи могут принимать решения на основе фактической производительности векторных баз данных, а не маркетинговых заявлений или слухов.
VectorDBBench написан на Python и распространяется по лицензии MIT с открытым исходным кодом, что означает, что любой может свободно использовать, изменять и распространять его. Инструмент активно поддерживается сообществом разработчиков, стремящихся улучшать его функции и производительность.
Скачайте VectorDBBench из его GitHub-репозитория, чтобы воспроизвести наши результаты бенчмарка или получить результаты производительности на собственных наборах данных.
Быстро ознакомьтесь с производительностью популярных векторных баз данных на VectorDBBench Leaderboard.
Прочитайте следующие блоги, чтобы узнать больше об оценке векторных баз данных.
Дополнительные ресурсы о VectorDB, GenAI и ML
Читать далее
From Vector Database to Vector Lakebase
Zilliz offers a fully managed Vector Lakebase powered by Milvus, unifying real-time vector search, lake-scale discovery, and Al data operations.
How to Install and Run OpenClaw (Previously Clawdbot/Moltbot) on Mac
Turn your Mac into an AI gateway for WhatsApp, Telegram, Discord, iMessage, and more — in under 5 minutes.
Vector Databases vs. Time Series Databases
Use a vector database for similarity search and semantic relationships; use a time series database for tracking value changes over time.
The Definitive Guide to Choosing a Vector Database
Overwhelmed by all the options? Learn key features to look for & how to evaluate with your own data. Choose with confidence.