Демократизация векторных баз данных: расширение доступа и обеспечение равенства
Этот пост был первоначально опубликован в TheSequence и перепечатан здесь с разрешения.
XXI век — это эпоха демократизации технологий. Интернет-бум сделал возможным масштабное сотрудничество, в результате чего open source стал типичной моделью внедрения программного обеспечения. По мере роста темпов и масштаба технологических инноваций мы должны работать над тем, чтобы сделать их более доступными.
Для инженера-программиста демократизация технологий означает сделать их как можно более широко доступными. Это означает использовать мои знания, чтобы упростить для других создание, внедрение и понимание технологических достижений. Здесь, в Zilliz, мы всегда стремились ускорить внедрение векторных баз данных, а не просто увеличить распространение open source-проекта Milvus.
В этой статье я расскажу о следующем:
Что означает демократизация векторных баз данных для разработчиков
Основы демократизации технологий
Обучение векторным базам данных и связанным инструментам
Повышение доступности векторных баз данных
Евангелизация технологий
Краткое изложение демократизации векторных баз данных
Что означает демократизация векторных баз данных для разработчиков?
Всякий раз, когда я слышу «демократизировать» в контексте «демократизации технологии XYZ», я думаю о расширении доступа к этой технологии. Поэтому, когда речь заходит о векторных базах данных, я думаю о расширении доступа к векторным базам данных. Традиционно векторные базы данных были доступны только разработчикам программного обеспечения на предприятиях.
Milvus начал процесс демократизации векторных баз данных, когда стал open-source проектом Linux Foundation. Это была одна из первых векторных баз данных, доступных разработчикам благодаря тому, что она стала open-source-проектом. По мере роста проекта всё больше разработчиков смогли использовать векторные базы данных, узнавать о них и вносить в них вклад.
Основы демократизации технологий
Демократизация технологий сопряжена с определёнными трудностями — особенно демократизация сложных инструментов, таких как векторные базы данных. Когда речь идёт о демократизации технологий, следует рассматривать три основы. Это образование, повышение доступности и евангелизация.
Обучение векторным базам данных и связанным инструментам
Образование — самая важная тема, в которой многие компании часто ошибаются. Образование — это обучение вашему конкретному продукту, технологии в целом и связанным инструментам. Именно поэтому здесь, в Zilliz, мы создаём контент о многих вещах, а не только о Milvus.
Контент, который мы пишем, отражает наше стремление ускорить внедрение векторных баз данных через образование. Поэтому у нас есть материалы о ключевых концепциях, таких как Hierarchical Navigable Small Worlds (HNSW), scalar and product quantization и inverted file indices.
Помимо предоставления ресурсов для понимания концепций, лежащих в основе векторных баз данных, мы должны предоставлять ресурсы по связанным инструментам. Например, популярность больших языковых моделей (LLM) привела к появлению целого ряда новых инструментов.
Среди новых инструментов, вышедших на передний план, — LlamaIndex, Auto-GPT и LangChain. Кроме того, в соответствии с нашей целью предоставлять образовательные ресурсы для сообщества, многие наши материалы публикуются на сторонних площадках, таких как The Sequence, The New Stack и некоторые публикации на Medium.
Повышение доступности векторных баз данных
Хотя предоставление знаний о технологии — это отлично, оно не принесет пользы, если вы не предлагаете способы получить к ней доступ. В нашем случае открытие исходного кода Milvus стало первым шагом к расширению доступа к векторным базам данных. Выйдя за рамки простого open source, проект Milvus также пошел по другим путям повышения доступности.
Milvus также доступен через Docker-образы с шаблонами для Docker Compose и Helm. Кроме того, недавно мы сделали его доступным через pip install как Milvus Lite. Milvus набрал более 3,5 млн загрузок Docker, 18,8 тыс. звезд на GitHub и 212 контрибьюторов.
Помимо Milvus, Zilliz также работала над повышением доступности. Изначально Zilliz предоставляла $400 бесплатных кредитов, а теперь предлагает бесплатный тариф, который позволяет использовать до полумиллиона векторов! Этого достаточно практически для любого разработчика. С бесплатным тарифом Zilliz Cloud почти любой разработчик может начать работу с векторными базами данных — бесплатно.
Технологическое евангелизирование
Последний столп, который нужно рассмотреть в демократизации технологии, — это ее евангелизирование. Какой смысл делать технологию доступной и предоставлять знания о ней, если вы не объясняете людям, почему она полезна? С точки зрения ускорения внедрения, обучение объясняет «как», а повышение доступности отвечает за «что» — евангелизирование дает ответ на «почему».
Мы занимаемся евангелизацией главным образом через контент, который показывает мощь векторных баз данных. Вы можете увидеть это на примере некоторых учебных материалов, которые я привел выше. Мы также выступаем с докладами о векторных базах данных. Часть докладов проходит виртуально, часть — очно. Недавно я выступал в Сиэтле с докладом об использовании векторных баз данных как решения для задач работы с данными с помощью LLM.
Подводя итоги: демократизация векторных баз данных
Демократизация векторных баз данных критически важна, потому что векторные базы данных решают множество проблем, связанных с неструктурированными данными. Раньше они были доступны только разработчикам в крупных компаниях из-за огромной сложности и масштаба подобных проектов. Однако популярность LLM вывела идею векторных баз данных в мейнстрим и породила бесчисленное множество сценариев использования, которых раньше у них не было. Это делает демократизацию еще более критически важной.
В Zilliz мы подошли к демократизации через три столпа — образование, доступность и евангелизирование. Образование для нас — самая важная часть этих столпов. Для разработчиков учебные материалы дают понимание того, «как» использовать векторные базы данных и сопутствующие инструменты.
Кроме того, мы всегда работали над повышением доступности и продолжаем это делать. Открытие исходного кода программного обеспечения стало первым шагом. Среди других шагов по повышению доступности — предоставление шаблонов и образов для контейнеризации. Недавно мы выпустили Milvus Lite, векторную базу данных, которую можно запускать прямо в вашем Jupyter Notebook.
Наконец, мы занимаемся техническим евангелизированием, чтобы распространять информацию об использовании и мощи векторных баз данных. Мы делаем это через проведение вебинаров, выступления на мероприятиях сообщества и присутствие в социальных сетях.
Zilliz продолжает прилагать усилия для демократизации векторных баз данных, и это вдохновляет, учитывая, насколько они важны. Векторные базы данных критически важны для решения задач с данными в LLM и являются лучшим существующим решением для таких вещей, как обратный поиск изображений, семантический поиск по тексту и рекомендации товаров. Лично я рад быть частью команды, которая помогает развивать сферу векторных баз данных, и с нетерпением жду всех удивительных вещей, которые будут созданы для сообщества и самим сообществом!
Читать далее
Introducing Business Critical Plan: Enterprise-Grade Security and Compliance for Mission-Critical AI Applications
Discover Zilliz Cloud’s Business Critical Plan—offering advanced security, compliance, and uptime for mission-critical AI and vector database workloads.
Announcing VDBBench 1.0: Open-Source VectorDB Benchmarking with Your Real-World Production Workloads
Discover VDBBench 1.0, an open-source tool for benchmarking vector databases with real-world production data, streaming ingestion, and concurrent workloads.
Cosmos World Foundation Model Platform for Physical AI
NVIDIA's Cosmos platform enables safe, digital twin training of GenAI models for physical applications, overcoming data scarcity and safety challenges.