Мультимодальный RAG: выход за рамки текста для более умного ИИ
За последние полтора года Retrieval Augmented Generation (RAG) стала мощной техникой для улучшения ответов больших языковых моделей (LLM) с помощью релевантной контекстной информации, значительно снижая риск галлюцинаций — когда LLM генерируют ответы, которые звучат правдоподобно, но фактически неверны.
Однако реальные данные часто выходят далеко за рамки текста — мы также сталкиваемся с изображениями, видео, таблицами и различными форматами документов. Именно здесь Multimodal RAG становится критически важным, позволяя интегрировать различные типы данных, чтобы предоставлять AI-моделям еще более надежные знания.
В этом посте мы поговорим о:
- Эволюции RAG, от традиционного текстового RAG до Multimodal RAG
- Как векторная база данных Milvus обеспечивает хранение и поиск различных типов данных
- Роли NVIDIA GPUs в ускорении этих сложных операций
- Потенциальных применениях и преимуществах этой технологии
Будь вы энтузиастом AI или разработчиком, который хочет добавить RAG в свои проекты, этот пост даст ценные сведения о технологии, которая должна переопределить возможности RAG-систем.
Эволюция RAG: от текстоцентричного к мультимодальному
Традиционный RAG
Текстовый RAG улучшает ответы LLM, извлекая релевантный текстовый контекст из базы знаний. Ниже приведен обзор типичного рабочего процесса RAG:
- Пользователь отправляет текстовый запрос в систему.
- Запрос преобразуется в векторное вложение, которое затем используется для поиска в векторной базе данных , такой как Milvus, где текстовые фрагменты хранятся в виде вложений. Векторная база данных извлекает фрагменты, которые наиболее близко соответствуют запросу на основе векторного сходства.
- Релевантные текстовые фрагменты передаются LLM в качестве дополнительного контекста, обогащая ее понимание запроса.
- LLM обрабатывает запрос вместе с предоставленным контекстом, генерируя более информированный и точный ответ.
Figure 1- How RAG works.png
Рисунок: Как работает RAG
Традиционный RAG оказался весьма эффективным для улучшения вывода LLM, но он остается ограниченным текстовыми данными. Во многих реальных приложениях знания выходят далеко за рамки текста — включая изображения, диаграммы и другие модальности, которые предоставляют критически важный контекст.
Multimodal RAG: выход за пределы текста
Multimodal RAG устраняет указанное выше ограничение, позволяя использовать разные типы данных и предоставляя LLM более качественный контекст.
Ключевым участником этой эволюции является LLaVA (Large Language and Vision Assistant), мультимодальная модель, разработанная для интеграции как языка (текста), так и зрения (изображений), чтобы расширять возможности больших языковых моделей (LLM). LLaVA извлекает значимую информацию из визуального контента и преобразует ее в текстовые описания, которые могут обрабатываться моделями вложений и храниться в векторных базах данных, таких как Milvus.
Ниже приведен пример того, как LlaVA работает с моделями вложений и векторными базами данных.
Figure: An example of what LlaVa can produce when asked about an image
Рисунок: Пример того, что LlaVa может выдать, когда ее спрашивают об изображении
Ключевые компоненты конвейера Multimodal RAG
Для обработки различных типов данных мультимодальный конвейер RAG преобразует все модальности в унифицированный формат, обычно текст. Это преобразование обычно выполняется с помощью специализированных Vision Language Models (VLMs), которые обрабатывают обычные изображения и графические данные, такие как диаграммы. VLM извлекают значимую информацию из этих нетекстовых источников и преобразуют ее в текстовые эмбеддинги, которые могут использоваться большими языковыми моделями (LLMs) для генерации контекста.
Помимо VLMs, несколько других критически важных компонентов также обеспечивают эффективную и масштабируемую работу систем мультимодального RAG. Ниже приведены ключевые компоненты такого конвейера, а также несколько ярких примеров, иллюстрирующих, как эти компоненты реализуются.
Vision Language Models (VLMs): Эти модели обрабатывают и преобразуют визуальный контент — такой как изображения, диаграммы и графики — в текстовые или встроенные форматы, которые LLMs могут использовать.
- Пример: Neva 22B (NVIDIA): Тонко настроенный вариант LLaVA, оптимизированный для общего понимания изображений, способный интерпретировать и генерировать текстовые описания на основе визуальных входных данных.
- Пример: DePlot (Google): Специализируется на обработке и анализе графических данных, таких как диаграммы и графики, что делает его идеальным для более технического визуального контента.
Векторные базы данных: Векторные базы данных являются важнейшим компонентом мультимодальной системы RAG, который хранит и извлекает векторные эмбеддинги для различных типов данных, включая текст, изображения и другие модальности. Они выполняют поиск по сходству, обеспечивая быстрый доступ LLM к наиболее релевантной информации.
Пример: Milvus — яркий пример векторных баз данных, поддерживающий ускоренный NVIDIA GPU векторный поиск и обеспечивающий исключительную производительность для крупномасштабных мультимодальных данных.
- Ускорение GPU: Milvus использует GPU NVIDIA для ускорения индексации и запросов к векторам.
- Масштабируемость: Он обрабатывает поиск по сходству в масштабе миллиардов, что делает его подходящим для приложений с большим объемом данных.
- Эффективность: Сочетание индексации и запросов с использованием GPU обеспечивает максимальную пропускную способность и ответы в реальном времени с минимальной задержкой.
Модели текстовых эмбеддингов: Эти модели преобразуют текстовые входные данные в векторные эмбеддинги, которые необходимы для поиска по сходству в системе RAG.
- Пример: NV Embed: Модель эмбеддингов с GPU-ускорением, которая эффективно преобразует текст в эмбеддинги для быстрого извлечения в векторных базах данных, обеспечивая значительные преимущества в скорости по сравнению с решениями на базе CPU.
Большие языковые модели (LLMs): LLMs образуют ядро системы RAG, генерируя ответы на основе запроса и извлеченных контекстных данных. Эти модели часто тонко настраиваются для конкретных задач, чтобы повысить точность ответов.
- Пример: Llama 3.1 (70B Instruct Variant): Разработанная Meta, эта версия тонко настроена для задач следования инструкциям, что повышает ее способность генерировать точные, ориентированные на задачу ответы.
Фреймворки оркестрации: Эти фреймворки управляют потоком данных по всему конвейеру — от обработки первоначального запроса и извлечения релевантного мультимодального контента до генерации итогового ответа.
- Пример: LlamaIndex: Фреймворк, который оркестрирует обработку запроса, извлечение контекста и генерацию ответа, обеспечивая согласованное взаимодействие между всеми компонентами мультимодальной системы RAG
Рисунок: Архитектура мультимодального RAG (Источник: NVIDIA)
Рисунок: Архитектура мультимодального RAG (Источник: NVIDIA)
Диаграмма выше иллюстрирует архитектуру примера конвейера Multimodal RAG, представленного NVIDIA и построенного на нескольких ключевых компонентах: Llama 3 служит базовой большой языковой моделью (LLM), а LlamaIndex оркестрирует весь рабочий процесс. NV Embed отвечает за встраивание текста, тогда как Milvus выступает в роли векторной базы данных для быстрого поиска. NeVA 22B обрабатывает изображения, а DePlot управляет диаграммами и графиками, позволяя системе работать с широким разнообразием форматов данных.
Для получения дополнительной информации о том, как создать мультимодальный RAG, ознакомьтесь с ресурсами ниже:
- Видео: Building Multimodal AI RAG with LlamaIndex, NVIDIA NIM, and Milvus | LLM App Development
- Руководство: Build a Multimodal RAG with Gemini, BGE-M3, Milvus and LangChain
- Руководство: Build Better Multimodal RAG Pipelines with FiftyOne, LlamaIndex, and Milvus
- Руководство: Multimodal RAG locally with CLIP and Llama3
Ключевые особенности мультимодальных RAG-систем
Эта мультимодальная RAG-система использует множество передовых функций, которые позволяют обрабатывать и понимать разнообразные типы данных:
- Обработка разных форматов: Эта мультимодальная RAG-система работает с широким спектром типов документов, включая текстовые файлы, PDF, презентации PowerPoint и изображения. Это делает её полезной для различных целей, таких как исследования, бизнес-аналитика и т. д.
- Анализ изображений с помощью визуально-языковых моделей: Благодаря интеграции моделей вроде NeVA 22B система может анализировать и описывать визуальный контент, такой как изображения и диаграммы.
- Эффективная индексация и поиск: Используя Milvus в сочетании с GPU NVIDIA, система обеспечивает молниеносную векторную индексацию и поиск по сходству. Эта возможность позволяет ей эффективно обрабатывать огромные объёмы данных, что делает её идеальной для приложений, которым требуется извлечение мультимодальной информации в реальном времени.
Объединяя эти мощные возможности, эта мультимодальная RAG-система предоставляет комплексные решения для извлечения инсайтов из различных типов данных. Независимо от того, работаете ли вы с текстом, изображениями или их сочетанием, система позволяет использовать различные форматы для улучшения понимания и принятия решений.
Заключение: развитие понимания контента на основе ИИ
В этой публикации блога мы рассмотрели, как создать мультимодальное RAG-приложение с использованием GPU NVIDIA и Milvus. Milvus, благодаря своим возможностям векторного поиска с GPU-ускорением, играет здесь ключевую роль, обеспечивая высокую производительность и масштабируемость. Мы призываем вас поэкспериментировать, ознакомившись с Notebook on Github, и исследовать тему глубже.
Нам бы хотелось узнать ваше мнение!
Если вам понравилась эта публикация в блоге, мы будем очень признательны, если вы поставите нам звезду на GitHub! Вы также можете присоединиться к нашему сообществу Milvus в Discord, чтобы поделиться своим опытом. Если вам интересно узнать больше, загляните в наш репозиторий Bootcamp на GitHub, где есть примеры того, как создавать мультимодальные RAG-приложения с Milvus.
Дополнительные ресурсы
- 10 лучших мультимодальных AI-моделей 2024 года
- Оцените свой мультимодальный RAG с помощью Trulens
- Исследование мультимодальных эмбеддингов с FiftyOne и Milvus
- Изучение OpenAI CLIP: будущее мультимодального обучения AI
- Центр ресурсов по генеративному AI | Zilliz
- Лучшие AI-модели для ваших GenAI-приложений | Zilliz
- Сравнение векторных баз данных
Читать далее
Data Deduplication at Trillion Scale: How to Solve the Biggest Bottleneck of LLM Training
Explore how MinHash LSH and Milvus handle data deduplication at the trillion-scale level, solving key bottlenecks in LLM training for improved AI model performance.
Zilliz Named "Highest Performer" and "Easiest to Use" in G2's Summer 2025 Grid® Report for Vector Databases
Zilliz shines in G2's Summer 2025 Grid® Report as both "Highest Performer" and "Easiest to Use," solving the performance-usability dilemma.
Cosmos World Foundation Model Platform for Physical AI
NVIDIA's Cosmos platform enables safe, digital twin training of GenAI models for physical applications, overcoming data scarcity and safety challenges.