Следующая остановка для векторных баз данных: 8 прогнозов на 2023 год
2022 год стал значимым для векторных баз данных. В частности, сообщество Milvus выпустило облачно-нативную векторную базу данных Milvus 2.0. На GitHub появилось более десяти open-source продуктов векторных баз данных, таких как Vald, Weaviate, Qdrant, Vespa, Vearch, AquilaDB и Marqo. Производители баз данных, такие как Elastic и Redis, вступили в борьбу, представив возможности векторного поиска. На облачном направлении Zilliz, команда, стоящая за сообществом Milvus, запустила полностью управляемый DBaaS-сервис Zilliz Cloud, конкурируя с такими компаниями, как Pinecone и Google Vertex AI.
Рынок капитала был столь же оживленным: несколько компаний в сфере векторных баз данных привлекли значительное финансирование, подготовив почву для дальнейшего роста. Этот приток капитала и интереса к векторным базам данных в 2022 году открывает путь для моих прогнозов на 2023 год — год, в котором, как я ожидаю, продолжится развитие и созревание этой зарождающейся технологии.
| Company | Raised | Date |
|---|---|---|
| Zilliz | $60M (B+ Round) | Aug 2022 |
| Pinecone | $28M (A Round) | Mar 2022 |
| Weaviate | $16M (A Round) | Feb 2022 |
| Qdrant | €2M (Pre-Seed Round) | Jan 2022 |
Ситуации с финансированием компаний в сфере векторных баз данных в 2022 году
Прогнозы на 2023 год для векторных баз данных
Прогноз #1: Дифференциация и специализация векторных баз данных
В 2023 году векторные базы данных будут развиваться по-разному из-за притока капитала и быстрого развития сценариев использования, что приведет к дифференциации и специализации:
Онлайн-обслуживание по сравнению с офлайн-обработкой: Традиционные векторные базы данных, разработанные для высоких требований к онлайн-обработке в реальном времени при меньших масштабах данных, теперь будут адаптироваться для работы с огромными наборами данных из таких областей, как обработка изображений и NLP, что потребует расширенных возможностей пакетной обработки и офлайн-режима.
Логические экземпляры по сравнению с физическими экземплярами: В секторе произойдет разделение между логическими экземплярами, ориентированными на простоту использования и простые развертывания, и физическими экземплярами, такими как Milvus, которые предлагают гибкое хранение и эффективные решения для поиска. Это расхождение отвечает различным потребностям — от простой обработки векторов до сложной генерации векторов.
Автономные системы по сравнению с распределенными облачно-нативными системами: Выбор между автономными и распределенными облачно-нативными системами будет иметь решающее значение. В то время как автономные системы обеспечивают стабильность, распределенные облачно-нативные архитектуры, такие как Milvus 2.0, готовы к масштабируемости и эффективности в облаке.
Различные реализации индексирования: Методологии индексирования становятся более разнообразными. Благодаря новым разработкам, таким как технология Google ScaNN, векторные базы данных развиваются с точки зрения производительности и функциональности, адаптируясь к конкретным сценариям использования и требованиям эффективности.
Эти тенденции указывают на движение к более адаптированным и специализированным векторным базам данных, соответствующим конкретным потребностям различных приложений и масштабов данных.
Прогноз #2: Движение к унифицированному интерфейсу запросов
В настоящее время векторным базам данных не хватает унифицированного интерфейса запросов; преимущественно используются пользовательские Python SDK или Restful API. Однако такие разработки, как BigLake от Big Query на Google Next 2022, где SQL продвигается как основной язык для неструктурированных данных и обработки векторов, намекают на значительный сдвиг. Несмотря на то что традиционная пользовательская база SQL отличается от разработчиков глубокого обучения, а его успех в машинном обучении неоднозначен, его потенциал как языка запросов для векторных баз данных заслуживает внимания.
Помимо SQL, проводятся эксперименты с языками запросов на основе GraphQL и пользовательскими DSL. Независимо от того, какой интерфейс получит более широкое признание, прогноз на 2023 год — появление де-факто стандартного интерфейса в области векторных баз данных, при котором несколько продуктов примут схожий подход к реализации.
Прогноз #3: Дальнейшая интеграция векторных баз данных с традиционными базами данных
Векторные базы данных значительно эволюционировали за последние два года, выйдя за рамки своей начальной фазы простых оберток вокруг FAISS. Теперь они регулярно включают возможности фильтрации и индексирования скалярных полей и управления CRUD-операциями с потоковыми данными, интегрируя такие элементы традиционных баз данных, как парсеры, оптимизаторы, память и управление конкурентностью. Многие OLAP- и NoSQL-базы данных включают возможности векторного поиска, становясь значимыми игроками в этой области.
Несмотря на убеждение, что «универсального решения не существует», а традиционные базы данных испытывают трудности с векторным поиском из-за человеческих и архитектурных ограничений, в 2023 году, вероятно, больше производителей традиционных баз данных выйдут в сферу векторного поиска, привлеченные его потенциалом. Векторные базы данных, с другой стороны, все чаще учатся у традиционных баз данных, переводя свое ядро из AI-инфраструктуры к более ориентированным на базы данных функциональным возможностям. Этот сдвиг обусловлен необходимостью в более универсальных и стабильных решениях для векторного поиска. Следовательно, мы ожидаем увидеть в 2023 году приток специалистов с опытом работы в традиционных базах данных (включая обработку транзакций, обработку приложений, поиск и кэширование) в сектор векторных баз данных.
Прогноз #4: Значительное снижение стоимости векторных баз данных
В 2023 году прогнозируется снижение стоимости векторных баз данных в 3-5 раз. Это изменение критически важно, поскольку стоимость и производительность были значительными барьерами, мешавшими векторному поиску превзойти традиционный поиск по ключевым словам. В настоящее время большинство векторных баз данных полагаются исключительно на память. Чтобы хранить векторные данные в объеме десятков миллиардов, им требуется объем памяти порядка десятков терабайт.
Несколько факторов способствуют этому снижению стоимости:
Широкое использование архитектуры ARM в облаке: Простая вычислительная производительность ARM обеспечивает в 2-3 раза лучшую экономическую эффективность, чем X86.
Рост гетерогенного аппаратного обеспечения: Эти системы превосходят возможности памяти/хранилища и пропускной способности GPU.
Достижения в методах квантования: Особенно применение 4-битного квантования в векторном поиске.
Фокус на исследовании индексов Disk Anns: Формируется как основное направление исследований.
Производительность NVMe-дисков: Использование таких технологий, как AIO и IO_URING, достигая IOPs на уровне миллионов.
Более глубокое понимание векторных баз данных: Использование метаданных и методов отсечения, подобных традиционным базам данных, снижает необходимость каждый раз запрашивать все шарды.
Выбор индекса и параметров модели на основе машинного обучения: Этот подход будет впервые внедрен в production.
Температурные характеристики векторных данных: Как и традиционные скалярные данные, векторные данные обладают горячими и холодными характеристиками.
Эти разработки указывают на перспективный год для векторных баз данных, делая их более экономически эффективными и производительными.
Прогноз #5: Появление первой бессерверной векторной базы данных
В 2023 году мы ожидаем появления первой бессерверной векторной базы данных. Бессерверная архитектура предлагает гибкость и оплату по требованию, что особенно привлекательно для облачных сервисов векторных баз данных. Эта технология подходит для сложной природы векторного поиска, который включает офлайн- и онлайн-процессы и часто сталкивается с колеблющимися нагрузками в мультитенантных средах. Бессерверный подход упрощает оценку емкости и бизнес-изоляцию для пользователей.
Хотя бессерверные векторные базы данных всё ещё развиваются и им предстоит пройти определённый путь до достижения зрелости, существует потенциал для начальных разработок, похожих на контейнерные, динамически масштабируемые автономные системы AWS Aurora. Однако до полной реализации по-настоящему распределённой бессерверной векторной базы данных, возможно, ещё довольно далеко.
Прогноз #6: Рост популярности open-source-инструментов для векторных баз данных
В 2023 году мы можем ожидать роста популярности open-source-инструментов, адаптированных для векторных баз данных. Уникальные характеристики векторных данных требуют создания инновационных инструментов, выходящих за рамки традиционных методов представления данных. Эти инструменты будут предоставлять более интуитивные и визуальные способы отображения векторных данных, включая их распределение и пути выполнения запросов.
Разработка инструментов передачи данных также станет ключевым направлением. Эти инструменты улучшат возможности резервного копирования, миграции и импорта данных, отвечая на растущее разнообразие векторных баз данных. Они будут играть важную роль в связывании различных типов данных и управлении потоком крупномасштабных векторных данных, генерируемых с платформ вроде Spark, PyTorch и TensorFlow, обеспечивая бесшовную интеграцию между различными облаками и дата-центрами.
Прогноз #7: Раннее внедрение AI for Database (AI4DB) в векторных базах данных
В 2023 году векторные базы данных станут лидерами на пути к практической реализации технологий AI for Database (AI4DB). Хотя AI4DB уже много лет является концепцией в области баз данных, его широкое внедрение было непростым. Главным препятствием были высокие требования реляционных баз данных к точности и объяснимости, где даже крошечный процент неточностей может препятствовать применению ИИ в реальных сценариях.
Однако векторные базы данных по своей природе работают на основе вероятностной оптимизации, уделяя больше внимания показателям полноты, чем абсолютной точности. Эта характеристика позволяет более агрессивно применять AI4DB, например автоматическую настройку параметров, переписывание операторов запросов и использование обучаемых индексов. Тесты показали, что использование предсказаний модели для параметров запросов может более чем удвоить производительность на больших наборах данных. Оптимизация индексов и параметров запросов на основе наборов данных и небольшого набора запросов, вероятно, приведёт к ещё более значительным улучшениям.
Прогноз #8: Появление второй коммерческой компании на базе open-source Milvus
В 2023 году мы можем ожидать запуска новых коммерческих проектов, использующих open-source-векторную базу данных Milvus. Milvus — одна из ведущих и самых продвинутых облачно-нативных векторных баз данных в мире. Подобно успешным open-source-проектам, таким как Hadoop, Presto и Clickhouse, Milvus вдохновит коммерческие организации вносить вклад в его развитие и строить решения на его основе. Хотя запуск проекта векторной базы данных с нуля становится всё более сложной задачей, потенциал для разработки SaaS (Software as a Service) на основе векторных баз данных вроде Milvus остаётся значительным. Эта тенденция, вероятно, продолжится: всё больше участников будет присоединяться к open-source-сообществу, сотрудничать в рамках проекта Milvus и изучать коммерческие возможности.
Заключительные мысли
В последние годы возможности и сценарии использования векторных баз данных значительно расширились, чему в большой степени способствовал прогресс в вычислительных мощностях, включая GPU и специализированное аппаратное обеспечение. Заглядывая в 2023 год, можно сказать, что он обещает стать крайне ожидаемым годом для отрасли и open-source-сообщества. Он обещает стать временем продолжающихся инноваций, роста и сотрудничества.
Эта серия прогнозов, пусть и краткая, призвана дать представление о будущем векторных баз данных, подчеркнув захватывающие разработки и возможности на горизонте. По мере нашего продвижения в 2023 год перспективы этой области выглядят многообещающими и отражают динамичную и постоянно развивающуюся природу технологий. Давайте с нетерпением ждать того, что следующий год принесёт нам в сфере векторных баз данных. Увидимся в 2023 году!
Читать далее
Why and How to Migrate from Self-Hosted Milvus to Zilliz Cloud
A simple, step-by-step guide to migrating from Milvus to Zilliz Cloud. Learn both endpoint and backup methods for a smooth, scalable vector database migration.
Zilliz Cloud Now Available in Azure North Europe: Bringing AI-Powered Vector Search Closer to European Customers
The addition of the Azure North Europe (Ireland) region further expands our global footprint to better serve our European customers.
How to Build an Enterprise-Ready RAG Pipeline on AWS with Bedrock, Zilliz Cloud, and LangChain
Build production-ready enterprise RAG with AWS Bedrock, Nova models, Zilliz Cloud, and LangChain. Complete tutorial with deployable code.