Ману: Облачная нативная система управления векторными данными

June 28, 2022

Достижение горизонтальной масштабируемости для коллекций векторов объемом более 1 миллиарда: Техническое погружение

Введение в создание нативной облачной векторной базы данных

В эпоху моделей встраивания, основанных на обучении, встраивание векторов приобрело первостепенное значение для анализа и поиска неструктурированных данных. Поскольку разработчики используют популярные индексы векторного поиска в своих существующих хранилищах данных, возникают проблемы при работе с коллекциями векторов, превышающими миллиардные масштабы. Коллекции миллиардного масштаба требуют разработки полностью управляемых и горизонтально масштабируемых векторных баз данных.

Обзор технического документа:

Этот технический документ посвящен тонкостям нашей философии проектирования при разработке Manu, также известной как Milvus - векторной базы данных с открытым исходным кодом, предназначенной для облачной нативной среды. Manu решает проблемы масштабируемости, присущие управлению коллекциями, которые исчисляются десятками миллиардов векторов. Это достижение стало результатом обширного диалога с более чем 1700 отраслевыми пользователями, что позволило получить ценные сведения о реальных случаях использования и проблемах.

Ключевые области внимания:

Масштабируемость: Manu тщательно спроектирован для удовлетворения требований крупных векторных коллекций, обеспечивая эффективную обработку данных порядка десятков миллиардов векторов.
Видение векторных баз данных следующего поколения: В статье описывается перспективная дорожная карта будущего векторных баз данных, в которой подчеркиваются такие важные характеристики, как возможность долгосрочной эволюции, настраиваемая согласованность, хорошая эластичность и высокопроизводительная масштабируемость.

Заключение:

По мере того как мы преодолеваем сложности управления колоссальными коллекциями векторов, разработки и идеи, изложенные в этой статье, вносят вклад в продолжающийся диалог об эволюции векторных баз данных. Решая проблемы и представляя возможности баз данных следующего поколения, мы стремимся продвинуть эту область вперед и расширить возможности разработчиков в постоянно расширяющемся ландшафте анализа и поиска данных.

Получить Белую книгу