Демократизация векторных баз данных: расширение доступа и обеспечение равенства
Этот пост был первоначально опубликован в TheSequence и перепечатан здесь с разрешения.
XXI век — это эпоха демократизации технологий. Интернет-бум сделал возможным масштабное сотрудничество, в результате чего open source стал типичной моделью внедрения программного обеспечения. По мере роста темпов и масштаба технологических инноваций мы должны работать над тем, чтобы сделать их более доступными.
Для инженера-программиста демократизация технологий означает сделать их как можно более широко доступными. Это означает использовать мои знания, чтобы упростить для других создание, внедрение и понимание технологических достижений. Здесь, в Zilliz, мы всегда стремились ускорить внедрение векторных баз данных, а не просто увеличить распространение open source-проекта Milvus.
В этой статье я расскажу о следующем:
Что означает демократизация векторных баз данных для разработчиков
Основы демократизации технологий
Обучение векторным базам данных и связанным инструментам
Повышение доступности векторных баз данных
Евангелизация технологий
Краткое изложение демократизации векторных баз данных
Что означает демократизация векторных баз данных для разработчиков?
Всякий раз, когда я слышу «демократизировать» в контексте «демократизации технологии XYZ», я думаю о расширении доступа к этой технологии. Поэтому, когда речь заходит о векторных базах данных, я думаю о расширении доступа к векторным базам данных. Традиционно векторные базы данных были доступны только разработчикам программного обеспечения на предприятиях.
Milvus начал процесс демократизации векторных баз данных, когда стал open-source проектом Linux Foundation. Это была одна из первых векторных баз данных, доступных разработчикам благодаря тому, что она стала open-source-проектом. По мере роста проекта всё больше разработчиков смогли использовать векторные базы данных, узнавать о них и вносить в них вклад.
Основы демократизации технологий
Демократизация технологий сопряжена с определёнными трудностями — особенно демократизация сложных инструментов, таких как векторные базы данных. Когда речь идёт о демократизации технологий, следует рассматривать три основы. Это образование, повышение доступности и евангелизация.
Обучение векторным базам данных и связанным инструментам
Образование — самая важная тема, в которой многие компании часто ошибаются. Образование — это обучение вашему конкретному продукту, технологии в целом и связанным инструментам. Именно поэтому здесь, в Zilliz, мы создаём контент о многих вещах, а не только о Milvus.
Контент, который мы пишем, отражает наше стремление ускорить внедрение векторных баз данных через образование. Поэтому у нас есть материалы о ключевых концепциях, таких как Hierarchical Navigable Small Worlds (HNSW), scalar and product quantization и inverted file indices.
Помимо предоставления ресурсов для понимания концепций, лежащих в основе векторных баз данных, мы должны предоставлять ресурсы по связанным инструментам. Например, популярность больших языковых моделей (LLM) привела к появлению целого ряда новых инструментов.
Среди новых инструментов, вышедших на передний план, — LlamaIndex, Auto-GPT и LangChain. Кроме того, в соответствии с нашей целью предоставлять образовательные ресурсы для сообщества, многие наши материалы публикуются на сторонних площадках, таких как The Sequence, The New Stack и некоторые публикации на Medium.
Повышение доступности векторных баз данных
Хотя предоставление знаний о технологии — это отлично, оно не принесет пользы, если вы не предлагаете способы получить к ней доступ. В нашем случае открытие исходного кода Milvus стало первым шагом к расширению доступа к векторным базам данных. Выйдя за рамки простого open source, проект Milvus также пошел по другим путям повышения доступности.
Milvus также доступен через Docker-образы с шаблонами для Docker Compose и Helm. Кроме того, недавно мы сделали его доступным через pip install как Milvus Lite. Milvus набрал более 3,5 млн загрузок Docker, 18,8 тыс. звезд на GitHub и 212 контрибьюторов.
Помимо Milvus, Zilliz также работала над повышением доступности. Изначально Zilliz предоставляла $400 бесплатных кредитов, а теперь предлагает бесплатный тариф, который позволяет использовать до полумиллиона векторов! Этого достаточно практически для любого разработчика. С бесплатным тарифом Zilliz Cloud почти любой разработчик может начать работу с векторными базами данных — бесплатно.
Технологическое евангелизирование
Последний столп, который нужно рассмотреть в демократизации технологии, — это ее евангелизирование. Какой смысл делать технологию доступной и предоставлять знания о ней, если вы не объясняете людям, почему она полезна? С точки зрения ускорения внедрения, обучение объясняет «как», а повышение доступности отвечает за «что» — евангелизирование дает ответ на «почему».
Мы занимаемся евангелизацией главным образом через контент, который показывает мощь векторных баз данных. Вы можете увидеть это на примере некоторых учебных материалов, которые я привел выше. Мы также выступаем с докладами о векторных базах данных. Часть докладов проходит виртуально, часть — очно. Недавно я выступал в Сиэтле с докладом об использовании векторных баз данных как решения для задач работы с данными с помощью LLM.
Подводя итоги: демократизация векторных баз данных
Демократизация векторных баз данных критически важна, потому что векторные базы данных решают множество проблем, связанных с неструктурированными данными. Раньше они были доступны только разработчикам в крупных компаниях из-за огромной сложности и масштаба подобных проектов. Однако популярность LLM вывела идею векторных баз данных в мейнстрим и породила бесчисленное множество сценариев использования, которых раньше у них не было. Это делает демократизацию еще более критически важной.
В Zilliz мы подошли к демократизации через три столпа — образование, доступность и евангелизирование. Образование для нас — самая важная часть этих столпов. Для разработчиков учебные материалы дают понимание того, «как» использовать векторные базы данных и сопутствующие инструменты.
Кроме того, мы всегда работали над повышением доступности и продолжаем это делать. Открытие исходного кода программного обеспечения стало первым шагом. Среди других шагов по повышению доступности — предоставление шаблонов и образов для контейнеризации. Недавно мы выпустили Milvus Lite, векторную базу данных, которую можно запускать прямо в вашем Jupyter Notebook.
Наконец, мы занимаемся техническим евангелизированием, чтобы распространять информацию об использовании и мощи векторных баз данных. Мы делаем это через проведение вебинаров, выступления на мероприятиях сообщества и присутствие в социальных сетях.
Zilliz продолжает прилагать усилия для демократизации векторных баз данных, и это вдохновляет, учитывая, насколько они важны. Векторные базы данных критически важны для решения задач с данными в LLM и являются лучшим существующим решением для таких вещей, как обратный поиск изображений, семантический поиск по тексту и рекомендации товаров. Лично я рад быть частью команды, которая помогает развивать сферу векторных баз данных, и с нетерпением жду всех удивительных вещей, которые будут созданы для сообщества и самим сообществом!
Читать далее
Zilliz Cloud Now Available in AWS Europe (Ireland)
Zilliz Cloud launches in AWS eu-west-1 (Ireland) — bringing low-latency vector search, EU data residency, and full GDPR-ready infrastructure to European AI teams. Now live across 30 regions on five cloud providers.
Vector Databases vs. Document Databases
Use a vector database for similarity search and AI-powered applications; use a document database for flexible schema and JSON-like data storage.
DeepSeek-VL2: Mixture-of-Experts Vision-Language Models for Advanced Multimodal Understanding
Explore DeepSeek-VL2, the open-source MoE vision-language model. Discover its architecture, efficient training pipeline, and top-tier performance.