Эволюция и будущее ИИ и его влияние на векторные базы данных: инсайты от Чарльза, CEO Zilliz
Это вторая часть нашей серии из двух публикаций в блоге.
С возвращением ко второй публикации нашей серии из двух частей, где мы продолжаем исследовать динамичное взаимодействие между искусственным интеллектом (AI), в частности большими языковыми моделями (LLMs), и векторными базами данных, руководствуясь идеями Charles Xie, CEO Zilliz.
В первой части мы заложили основу, рассмотрев природу и текущее состояние векторных баз данных, подробно описав разработку Milvus и поразмышляв о будущем направлении развития технологии векторных баз данных. Эта часть развивает эти основы, погружаясь в эволюцию технологий AI, обсуждая критически важную роль, которую векторные базы данных играют в эпоху Foundation Models, и прогнозируя, как эти взаимосвязанные технологии будут формировать прогресс друг друга в будущем.
Первопроходцы векторных баз данных: путь Zilliz в AI-инновациях до LLM
Шесть лет назад мы в Zilliz приступили к разработке векторной базы данных Milvus, войдя в во многом неизведанную область задолго до появления больших языковых моделей. Уже тогда мы считали, что векторные базы данных необходимы для широкого спектра AI-приложений, открывая обширные сценарии использования и рыночные возможности.
В то время, пока технологические гиганты вроде Google, DeepMind и OpenAI продвигались в разработке алгоритмов, а NVIDIA и Intel усиливали вычислительные мощности, критически важный аспект управления данными, особенно неструктурированными данными, которые уже составляли 80% мировых данных, был в некоторой степени упущен из виду. Так векторные базы данных появились как решение для удовлетворения насущного спроса в AI-ландшафте до LLM. Они предоставили мощный инструмент для эффективного управления неструктурированными данными в различных областях, включая обработку языка, компьютерное зрение и рекомендательные системы. Эта технология позволяет разработчикам эффективнее использовать неструктурированные данные при создании AI-приложений, демонстрируя наш новаторский дух в области векторных баз данных.
Переход от векторных баз данных, ориентированных на предприятия, к демократизированному AI для всех
Когда мы начали наше предприятие шесть лет назад, нашей главной целью было удовлетворение сложных потребностей корпоративных пользователей и взаимодействие с ранними последователями в таких областях, как рекомендательные системы, электронная коммерция и распознавание изображений. Этим секторам требовалась надежная, масштабируемая и высокопроизводительная система векторных баз данных для их производственных сред.
На нашем пути мы также сформировали стратегические альянсы с признанными AI-компаниями, особенно с теми, кто работает с огромными наборами данных для обработки естественного языка. В то время AI-ландшафт в основном находился под доминированием гипермасштабируемых провайдеров и крупных корпораций, где разработка алгоритмов и приложений AI требовала значительных затрат. Эти партнерства оказались бесценными, предоставив нам уникальные инсайты.
Однако за последние два года ландшафт ИИ претерпел значительную трансформацию, обусловленную достижениями в современных технологиях ИИ и распространением больших языковых моделей. Мы наблюдаем заметный рост числа независимых разработчиков ИИ, которые в основном представляют собой небольшие команды или отдельных участников. Этот сдвиг означает переход от корпоративно-центричной эпохи ИИ к более демократизированной среде ИИ, где ИИ теперь доступен более широкому кругу участников. В ответ на этот меняющийся ландшафт наши цели эволюционировали: теперь мы стремимся не только предоставлять высококлассные корпоративные решения, но и делать сервисы векторного поиска более доступными для индивидуальных разработчиков и небольших команд.
С другой стороны, хотя традиционные крупные предприятия осознали потенциал современных технологий ИИ и LLM, они сталкиваются с такими проблемами, как строгие требования к безопасности и нехватка современных специалистов по ИИ. Мы помогаем этим предприятиям преодолевать такие препятствия, используя наши возможности в области ИИ и опыт в соблюдении отраслевых стандартов и требований.
Ярким примером этого сдвига является создание Zilliz Cloud, полностью управляемой облачной версии Milvus, которая предлагает доступные решения и упрощенные операции, адаптированные как для разработчиков, заинтересованных в прототипировании и экспериментах с разработкой ИИ-приложений, так и для предприятий, стремящихся получить современные возможности ИИ с масштабируемостью, производительностью и отказоустойчивостью. Этот стратегический разворот отражает нашу приверженность демократизации ИИ, гарантируя, что передовые технологии векторных баз данных доступны новаторам на любом уровне.
Значение векторных баз данных в стремительно развивающуюся эпоху ИИ и LLM
Векторные базы данных предназначены для семантического поиска по сходству в широком спектре неструктурированных данных, включая текст, изображения, аудио, видео, геопространственные данные, поведенческие паттерны и сложные биологические последовательности, такие как генетические данные и белковые структуры. Эти базы данных позволяют компьютерам и машинам анализировать, понимать и использовать эти данные с помощью сложных моделей и алгоритмов глубокого обучения для получения знаний и принятия решений.
За последний год рынок векторных баз данных резко вырос, чему способствовало стремительное развитие LLM, таких как ChatGPT. Векторные базы данных служат долгосрочной памятью и внешним хранилищем знаний для LLM, смягчая их проблему «галлюцинаций».
Помимо больших языковых моделей, в ближайшие несколько лет мы также станем свидетелями подъема более широкого спектра Foundation Models, что уже наблюдается в компьютерном зрении и вскоре распространится на такие области, как автономное вождение, рекомендательные системы и биофармацевтические исследования. Каждая Foundation Model требует семантической системы хранения, способной обрабатывать различные типы данных, включая текст, изображения и взаимодействия пользователей. Векторные базы данных будут выделяться, предлагая практичное, доступное и экономичное решение для управления данными, улучшая семантический поиск данных в различных Foundation Models и тем самым принося значительную пользу разработчикам.
Ожидаемое повышение точности извлечения RAG на 80% с Milvus 3.0
Генерация с дополненным извлечением (RAG) — это передовая технология ИИ, объединяющая LLM и векторные базы данных. Ее основная цель — решить проблемы галлюцинаций в LLM путем интеграции контекстной информации. Типичная система RAG состоит из векторной базы данных, LLM и промптов в виде кода. Векторная база данных играет ключевую роль в этой системе, храня предметно-ориентированную или приватную информацию и извлекая наиболее релевантные фрагменты в качестве контекстов для LLM. Этот процесс позволяет LLM генерировать более точные и более качественные ответы.
Несмотря на значительные достижения в технологии RAG за последний год, достижение высокой точности извлечения остается сложной задачей. Чтобы решить эту проблему, мы представляем расширенные возможности гибридного поиска в нашем предстоящем выпуске Milvus 3.0. Ожидается, что это сочетание точного поиска на основе ключевых слов и поиска по сходству на основе векторов повысит показатели полноты RAG с прежних 30%-40% до 80%-90%, охватывая более широкий спектр сценариев использования.
Что означает достижение точности 80%? Рассмотрим RAG-приложение корпоративного уровня: при точности 60% оно уже превосходит аналитические навыки половины сотрудников компании. Однако повышение этого показателя до 80% означает, что качество результатов ИИ превысит качество работы 80%–90% сотрудников, включая руководителей высшего звена. Таким образом, достижение контрольного показателя точности 80% указывает на то, что ИИ может обеспечивать более точные и качественные результаты, революционизируя пользовательский опыт и усиливая влияние продуктов, наполненных ИИ.
ChatGPT и векторные базы данных: дополнение или конкурент в семантическом поиске?
Крупные языковые модели, такие как ChatGPT, и векторные базы данных используют векторные вложения для представления и понимания семантического значения неструктурированных данных. Эти вложения сравниваются с использованием метрик расстояния, таких как евклидово или косинусное, что обеспечивает эффективный анализ данных и выполнение запросов на основе семантического сходства данных. Эта синергия вызывает вопросы о потенциале ChatGPT затмить векторные базы данных в семантическом поиске.
Несмотря на пересекающиеся функциональные возможности, ChatGPT не является заменой векторным базам данных. Сильная сторона ChatGPT заключается в понимании и генерации связного и контекстуально релевантного текста на основе получаемого ввода, а не в функционировании как базы данных для выполнения точных операций семантического поиска. С другой стороны, векторные базы данных специально созданы для хранения и извлечения векторных вложений, обеспечивая эффективный поиск по семантическому сходству.
Более того, стоимостные последствия проведения семантического поиска существенно различаются между векторными базами данных и LLM. Выполнение семантического поиска в системе векторной базы данных оказывается примерно в 100 раз более экономичным, чем проведение этих операций внутри крупной языковой модели. Эта существенная разница в стоимости побуждает многие ведущие компании в области ИИ, включая OpenAI, рекомендовать использование векторных баз данных в ИИ-приложениях для семантического поиска и поиска k-ближайших соседей.
Различие между LLM и векторными базами данных станет более очевидным в ближайшие пять лет. LLM готовы стать сложными семантическими процессорами поверх традиционной вычислительной инфраструктуры. В то же время векторные базы данных эволюционировали в сложные решения для семантического хранения, обеспечивающие интеллектуальное извлечение данных на стандартных носителях хранения, таких как диски, ленты, облачные хранилища и файловые системы.
Будущее ИИ: рост доступного общего интеллекта в течение пяти лет
В предстоящие полдесятилетия, по мере развития алгоритмов машинного обучения, прогнозируется, что ИИ станет экспоненциально умнее, потенциально в 100 раз умнее, чем сегодня. Однако ключевая задача заключается в том, чтобы сделать этот продвинутый ИИ доступным и недорогим. Хотя расходы, связанные с внедрением ИИ, имеют тенденцию к снижению, совокупные затраты, включая приобретение hardware, использование больших языковых моделей и постоянное операционное обслуживание, остаются значительно высокими. Например, снижение абонентской платы за ИИ-ассистента с $20-30 до $3-5 в месяц могло бы существенно расширить его пользовательскую базу. Таким образом, видение на следующие пять лет — это появление доступного общего интеллекта (AGI), цель которого — сделать ИИ-решения экономически целесообразными для всех частных лиц и компаний, тем самым обеспечив демократизацию технологии ИИ.
Как поставщик векторных баз данных, мы стремимся внести вклад в это будущее, повышая эффективность управления данными и снижая затраты, тем самым обеспечивая более широкий доступ к технологиям ИИ.
Читать далее
VDBBench Adds Cost-Aware Benchmarking for Vector Databases
Compare Zilliz Cloud, Pinecone, and turbopuffer with VDBBench cost-aware vector database benchmarks across latency, freshness, multitenancy, and cold starts.
Why Context Engineering Is Becoming the Full Stack of AI Agents
Discover how context engineering unifies prompts, RAG, and tools to build smarter, production-ready AI agents powered by Milvus.
Vector Databases vs. Hierarchical Databases
Use a vector database for AI-powered similarity search; use a hierarchical database for organizing data in parent-child relationships with efficient top-down access patterns.