Эволюция и будущее ИИ и его влияние на векторные базы данных: инсайты от Чарльза, CEO Zilliz
Это вторая часть нашей серии из двух публикаций в блоге.
С возвращением ко второй публикации нашей серии из двух частей, где мы продолжаем исследовать динамичное взаимодействие между искусственным интеллектом (AI), в частности большими языковыми моделями (LLMs), и векторными базами данных, руководствуясь идеями Charles Xie, CEO Zilliz.
В первой части мы заложили основу, рассмотрев природу и текущее состояние векторных баз данных, подробно описав разработку Milvus и поразмышляв о будущем направлении развития технологии векторных баз данных. Эта часть развивает эти основы, погружаясь в эволюцию технологий AI, обсуждая критически важную роль, которую векторные базы данных играют в эпоху Foundation Models, и прогнозируя, как эти взаимосвязанные технологии будут формировать прогресс друг друга в будущем.
Первопроходцы векторных баз данных: путь Zilliz в AI-инновациях до LLM
Шесть лет назад мы в Zilliz приступили к разработке векторной базы данных Milvus, войдя в во многом неизведанную область задолго до появления больших языковых моделей. Уже тогда мы считали, что векторные базы данных необходимы для широкого спектра AI-приложений, открывая обширные сценарии использования и рыночные возможности.
В то время, пока технологические гиганты вроде Google, DeepMind и OpenAI продвигались в разработке алгоритмов, а NVIDIA и Intel усиливали вычислительные мощности, критически важный аспект управления данными, особенно неструктурированными данными, которые уже составляли 80% мировых данных, был в некоторой степени упущен из виду. Так векторные базы данных появились как решение для удовлетворения насущного спроса в AI-ландшафте до LLM. Они предоставили мощный инструмент для эффективного управления неструктурированными данными в различных областях, включая обработку языка, компьютерное зрение и рекомендательные системы. Эта технология позволяет разработчикам эффективнее использовать неструктурированные данные при создании AI-приложений, демонстрируя наш новаторский дух в области векторных баз данных.
Переход от векторных баз данных, ориентированных на предприятия, к демократизированному AI для всех
Когда мы начали наше предприятие шесть лет назад, нашей главной целью было удовлетворение сложных потребностей корпоративных пользователей и взаимодействие с ранними последователями в таких областях, как рекомендательные системы, электронная коммерция и распознавание изображений. Этим секторам требовалась надежная, масштабируемая и высокопроизводительная система векторных баз данных для их производственных сред.
На нашем пути мы также сформировали стратегические альянсы с признанными AI-компаниями, особенно с теми, кто работает с огромными наборами данных для обработки естественного языка. В то время AI-ландшафт в основном находился под доминированием гипермасштабируемых провайдеров и крупных корпораций, где разработка алгоритмов и приложений AI требовала значительных затрат. Эти партнерства оказались бесценными, предоставив нам уникальные инсайты.
Однако за последние два года ландшафт ИИ претерпел значительную трансформацию, обусловленную достижениями в современных технологиях ИИ и распространением больших языковых моделей. Мы наблюдаем заметный рост числа независимых разработчиков ИИ, которые в основном представляют собой небольшие команды или отдельных участников. Этот сдвиг означает переход от корпоративно-центричной эпохи ИИ к более демократизированной среде ИИ, где ИИ теперь доступен более широкому кругу участников. В ответ на этот меняющийся ландшафт наши цели эволюционировали: теперь мы стремимся не только предоставлять высококлассные корпоративные решения, но и делать сервисы векторного поиска более доступными для индивидуальных разработчиков и небольших команд.
С другой стороны, хотя традиционные крупные предприятия осознали потенциал современных технологий ИИ и LLM, они сталкиваются с такими проблемами, как строгие требования к безопасности и нехватка современных специалистов по ИИ. Мы помогаем этим предприятиям преодолевать такие препятствия, используя наши возможности в области ИИ и опыт в соблюдении отраслевых стандартов и требований.
Ярким примером этого сдвига является создание Zilliz Cloud, полностью управляемой облачной версии Milvus, которая предлагает доступные решения и упрощенные операции, адаптированные как для разработчиков, заинтересованных в прототипировании и экспериментах с разработкой ИИ-приложений, так и для предприятий, стремящихся получить современные возможности ИИ с масштабируемостью, производительностью и отказоустойчивостью. Этот стратегический разворот отражает нашу приверженность демократизации ИИ, гарантируя, что передовые технологии векторных баз данных доступны новаторам на любом уровне.
Значение векторных баз данных в стремительно развивающуюся эпоху ИИ и LLM
Векторные базы данных предназначены для семантического поиска по сходству в широком спектре неструктурированных данных, включая текст, изображения, аудио, видео, геопространственные данные, поведенческие паттерны и сложные биологические последовательности, такие как генетические данные и белковые структуры. Эти базы данных позволяют компьютерам и машинам анализировать, понимать и использовать эти данные с помощью сложных моделей и алгоритмов глубокого обучения для получения знаний и принятия решений.
За последний год рынок векторных баз данных резко вырос, чему способствовало стремительное развитие LLM, таких как ChatGPT. Векторные базы данных служат долгосрочной памятью и внешним хранилищем знаний для LLM, смягчая их проблему «галлюцинаций».
Помимо больших языковых моделей, в ближайшие несколько лет мы также станем свидетелями подъема более широкого спектра Foundation Models, что уже наблюдается в компьютерном зрении и вскоре распространится на такие области, как автономное вождение, рекомендательные системы и биофармацевтические исследования. Каждая Foundation Model требует семантической системы хранения, способной обрабатывать различные типы данных, включая текст, изображения и взаимодействия пользователей. Векторные базы данных будут выделяться, предлагая практичное, доступное и экономичное решение для управления данными, улучшая семантический поиск данных в различных Foundation Models и тем самым принося значительную пользу разработчикам.
Ожидаемое повышение точности извлечения RAG на 80% с Milvus 3.0
Генерация с дополненным извлечением (RAG) — это передовая технология ИИ, объединяющая LLM и векторные базы данных. Ее основная цель — решить проблемы галлюцинаций в LLM путем интеграции контекстной информации. Типичная система RAG состоит из векторной базы данных, LLM и промптов в виде кода. Векторная база данных играет ключевую роль в этой системе, храня предметно-ориентированную или приватную информацию и извлекая наиболее релевантные фрагменты в качестве контекстов для LLM. Этот процесс позволяет LLM генерировать более точные и более качественные ответы.
Несмотря на значительные достижения в технологии RAG за последний год, достижение высокой точности извлечения остается сложной задачей. Чтобы решить эту проблему, мы представляем расширенные возможности гибридного поиска в нашем предстоящем выпуске Milvus 3.0. Ожидается, что это сочетание точного поиска на основе ключевых слов и поиска по сходству на основе векторов повысит показатели полноты RAG с прежних 30%-40% до 80%-90%, охватывая более широкий спектр сценариев использования.
Что означает достижение точности 80%? Рассмотрим RAG-приложение корпоративного уровня: при точности 60% оно уже превосходит аналитические навыки половины сотрудников компании. Однако повышение этого показателя до 80% означает, что качество результатов ИИ превысит качество работы 80%–90% сотрудников, включая руководителей высшего звена. Таким образом, достижение контрольного показателя точности 80% указывает на то, что ИИ может обеспечивать более точные и качественные результаты, революционизируя пользовательский опыт и усиливая влияние продуктов, наполненных ИИ.
ChatGPT и векторные базы данных: дополнение или конкурент в семантическом поиске?
Крупные языковые модели, такие как ChatGPT, и векторные базы данных используют векторные вложения для представления и понимания семантического значения неструктурированных данных. Эти вложения сравниваются с использованием метрик расстояния, таких как евклидово или косинусное, что обеспечивает эффективный анализ данных и выполнение запросов на основе семантического сходства данных. Эта синергия вызывает вопросы о потенциале ChatGPT затмить векторные базы данных в семантическом поиске.
Несмотря на пересекающиеся функциональные возможности, ChatGPT не является заменой векторным базам данных. Сильная сторона ChatGPT заключается в понимании и генерации связного и контекстуально релевантного текста на основе получаемого ввода, а не в функционировании как базы данных для выполнения точных операций семантического поиска. С другой стороны, векторные базы данных специально созданы для хранения и извлечения векторных вложений, обеспечивая эффективный поиск по семантическому сходству.
Более того, стоимостные последствия проведения семантического поиска существенно различаются между векторными базами данных и LLM. Выполнение семантического поиска в системе векторной базы данных оказывается примерно в 100 раз более экономичным, чем проведение этих операций внутри крупной языковой модели. Эта существенная разница в стоимости побуждает многие ведущие компании в области ИИ, включая OpenAI, рекомендовать использование векторных баз данных в ИИ-приложениях для семантического поиска и поиска k-ближайших соседей.
Различие между LLM и векторными базами данных станет более очевидным в ближайшие пять лет. LLM готовы стать сложными семантическими процессорами поверх традиционной вычислительной инфраструктуры. В то же время векторные базы данных эволюционировали в сложные решения для семантического хранения, обеспечивающие интеллектуальное извлечение данных на стандартных носителях хранения, таких как диски, ленты, облачные хранилища и файловые системы.
Будущее ИИ: рост доступного общего интеллекта в течение пяти лет
В предстоящие полдесятилетия, по мере развития алгоритмов машинного обучения, прогнозируется, что ИИ станет экспоненциально умнее, потенциально в 100 раз умнее, чем сегодня. Однако ключевая задача заключается в том, чтобы сделать этот продвинутый ИИ доступным и недорогим. Хотя расходы, связанные с внедрением ИИ, имеют тенденцию к снижению, совокупные затраты, включая приобретение hardware, использование больших языковых моделей и постоянное операционное обслуживание, остаются значительно высокими. Например, снижение абонентской платы за ИИ-ассистента с $20-30 до $3-5 в месяц могло бы существенно расширить его пользовательскую базу. Таким образом, видение на следующие пять лет — это появление доступного общего интеллекта (AGI), цель которого — сделать ИИ-решения экономически целесообразными для всех частных лиц и компаний, тем самым обеспечив демократизацию технологии ИИ.
Как поставщик векторных баз данных, мы стремимся внести вклад в это будущее, повышая эффективность управления данными и снижая затраты, тем самым обеспечивая более широкий доступ к технологиям ИИ.
Читать далее
A Few Notes from Databricks Data + AI Summit 2026: Why the Data Layer Matters Again
James Luan shares notes from Databricks Data + AI Summit 2026 on why production AI is pushing the data layer back to the center of infrastructure.
Optimizing Embedding Model Selection with TDA Clustering: A Strategic Guide for Vector Databases
Discover how Topological Data Analysis (TDA) reveals hidden embedding model weaknesses and helps optimize vector database performance.
Vector Databases vs. Hierarchical Databases
Use a vector database for AI-powered similarity search; use a hierarchical database for organizing data in parent-child relationships with efficient top-down access patterns.