Платформа базовой модели мира Cosmos для физического ИИ
Говоря о GenAI, мы в основном обсуждаем его применения в нефизических областях, таких как суммаризация текста, Retrieval-Augmented Generation (RAG), внутренние чатботы и т. д. Такой фокус понятен, поскольку данные, необходимые для обучения моделей GenAI для этих задач, относительно легко получить. В интернете есть множество источников, где мы можем получить доступ к тексту, изображениям или другим модальностям данных для обучения приложений GenAI.
С другой стороны, развитие приложений GenAI в физических областях не настолько продвинуто. Дело в том, что мы знаем: применение GenAI в физическом мире могло бы быть крайне полезным для выполнения опасных, утомительных и повторяющихся задач в различных отраслях. Например, продвинутая система GenAI могла бы использоваться для автономного вождения или роботизированной манипуляции.
В этой статье мы обсудим платформу, разработанную командой NVIDIA, под названием Cosmos. Эта платформа служит основой для дообучения моделей GenAI для сценариев использования в физическом мире. Итак, без лишних слов, приступим!
Что такое Cosmos и почему она необходима
Есть несколько причин, по которым развитие приложений GenAI в физической области идет не так быстро, как в нефизической области.
Первая причина связана с масштабированием обучающих данных. Чтобы быть полезной в физическом мире, модель AI должна быть обучена предсказывать возможные следующие действия на основе заданных инструкций и своей текущей ситуации. Это означает, что обучающие данные должны включать не только изображения, но и видео. Более того, эти видео не могут быть случайными. Входные видео должны демонстрировать релевантные наблюдения и действия, которые помогают обучить модель правильно реагировать в конкретных ситуациях. Такой тип данных не только трудно найти, но и сложно обрабатывать.
Вторая причина связана с безопасностью. Как мы знаем, обучение модели AI в физическом мире может представлять серьезные риски для людей и окружающей среды. Например, одна неверная прогнозируемая реакция системы AI, обученной для автономного вождения, может привести к крупной дорожной аварии. Поэтому предпочтительно обучать модель в цифровом двойнике физического мира, где она может безопасно взаимодействовать со своим окружением.
Cosmos — это платформа, разработанная NVIDIA для решения этих проблем. Она позволяет нам обучать и дообучать физический AI (т. е. модели AI, предназначенные для приложений в физическом мире) в среде цифрового двойника. Это позволяет нам наблюдать реальное поведение физических моделей AI в цифровой среде без необходимости обучать или развертывать их в реальном физическом мире.
Рисунок 1. Компоненты платформы Cosmos (Источник)
Платформа Cosmos состоит из нескольких компонентов, каждый из которых отвечает за определенный этап процесса обучения физической модели AI. Эти компоненты включают курирование видео, токенизацию, предварительное обучение, последующее обучение и защитные ограничения.
Результатом выполнения этих компонентов является обученная физическая модель AI. Эта модель принимает на вход последовательность визуальных наблюдений (т. е. видео) и возмущение в заданный момент времени, выдавая в качестве выходных данных предсказанное будущее наблюдение. Входное возмущение может принимать различные формы, такие как действие, выполненное моделью, или текстовая инструкция.
Предсказывая будущие наблюдения полностью в цифровой среде, модель может быть полезна для различных приложений, включая имитацию поведения реального мира, наблюдение и обучение политик, а также генерацию синтетического видео.
Рисунок 2. Входы-выходы физических моделей AI, обученных с помощью платформы Cosmos (Источник)
Компоненты платформы Cosmos и как они работают
Как упоминалось ранее, Cosmos содержит несколько компонентов: курирование видео, токенизатор, предварительное обучение, последующее обучение и защитные механизмы. В этом разделе мы обсудим каждый из этих компонентов, начиная с компонента курирования видео.
Курирование видео
Основная цель этого компонента — курировать и фильтровать сырые видеоданные, полученные как из проприетарных, так и из открытых наборов данных. Как мы все знаем, видеоданные часто содержат много шума, поэтому их необходимо фильтровать, чтобы обеспечить качество итогового набора данных, используемого для обучения физического ИИ.
Рисунок 3. Рабочий процесс курирования видео на платформе Cosmos (Источник)
Для фильтрации данных платформа Cosmos выполняет несколько шагов. Первый шаг — процесс разбиения.
Cosmos использует алгоритм обнаружения склеек для разбиения видео. Сырой источник видео разбивается на короткие клипы произвольной длины без смены кадра. Это гарантирует, что каждый видеофрагмент состоит из согласованных сцен, полезных для обучения модели.
Основываясь на производительности различных методов на нескольких бенчмарках, Cosmos использует TransNetV2 для процесса разбиения.
После разбиения Cosmos применяет несколько техник фильтрации видео для дальнейшей доработки клипов, включая:
Фильтрация движения: удаляет клипы, которые являются статичными или содержат резкое движение камеры.
Фильтрация визуального качества: исключает клипы с низким разрешением или плохим качеством.
Фильтрация текстовых наложений: удаляет текст, добавленный в клип во время постобработки.
Фильтрация типа видео: отфильтровывает нежелательные типы видео.
Затем доработанная коллекция клипов аннотируется с помощью визуально-языковой модели (VLM). Результат аннотирования — текстовое описание содержимого каждого клипа. Основываясь на результатах бенчмарков, команда NVIDIA выбрала VILA в качестве VLM для генерации аннотаций.
После завершения аннотирования следующий шаг — дедупликация. Каждое видео преобразуется во вложение с помощью модели видеоэмбеддингов под названием InternVideo. Затем коллекция вложений кластеризуется, и попарное расстояние внутри каждого кластера вычисляется для выявления очень похожих видео. Если обнаружены дубликаты, для обучающего набора данных выбирается видео с более высоким разрешением.
Токенизатор
Токенизатор — ключевой компонент для преобразования каждого видео в его числовое представление, поскольку модели ИИ не могут напрямую обрабатывать сырое видео. Токенизатор, используемый на платформе Cosmos, — это специализированный токенизатор, разработанный NVIDIA, под названием Cosmos-Tokenizer, который может выполнять как непрерывную, так и дискретную токенизацию для каждого видео.
Способность генерировать как непрерывные, так и дискретные токены важна, потому что на следующем этапе Cosmos предлагает два разных подхода к предварительному обучению модели: диффузионную и авторегрессионную стратегии. Диффузионная стратегия требует непрерывных токенов для обучения, тогда как авторегрессионная стратегия опирается на дискретные токены.
Один из ключевых аспектов эффективного токенизатора — его способность сжимать высокоразмерные данные, такие как видео, в представление меньшей размерности, минимизируя потерю качества. В этом отношении Cosmos-Tokenizer превосходит другие токенизаторы, такие как CogVideoX-Tokenizer, FLUX-Tokenizer и VideoGPT-Tokenizer.
Рисунок 4. Пространственно-временная степень сжатия — качество реконструкции: сравнение производительности Cosmos-Tokenizer и других видеотокенизаторов (Источник)
Секрет превосходной производительности Cosmos-Tokenizer заключается в его дизайне. Он использует каузальную временную архитектуру, что означает, что каждый кадр в видео токенизируется с использованием только самого себя и предшествующих ему кадров. Другими словами, на токенизацию кадра не влияют какие-либо будущие кадры.
Для любого входного видео длиной t секунд видео сначала группируется и понижается по частоте дискретизации в четыре раза с помощью двухуровневого вейвлет-преобразования. Например, первая группа состоит из кадров 1–4, вторая группа — из кадров 5–8 и так далее. Затем серия энкодерных блоков в архитектуре Cosmos-Tokenizer обрабатывает пониженный выходной результат каузальным образом, чтобы дополнительно уменьшить размерность видео.
Рисунок 5. Дизайн временной каузальности Cosmos-Tokenizer (Источник)
Каждый энкодерный блок в Cosmos-Tokenizer состоит из комбинации остаточных слоев, слоев понижения дискретизации и пространственно-временных слоев внимания, как показано на визуализации выше. Выход слоя понижения дискретизации передается в пространственно-временной слой внимания, который захватывает как пространственные, так и временные признаки видео. Сначала вход проходит через слой 2D-свертки для захвата пространственной информации, а затем через слой временной свертки для извлечения временной информации.
Чтобы реконструировать видео из сжатых токенов, токены повышаются по частоте дискретизации с помощью серии декодерных блоков из Cosmos-Tokenizer. Каждый декодерный блок имеет структуру, похожую на энкодерный блок, как показано на изображении выше. Единственное отличие заключается в том, что вместо понижения дискретизации входа декодер масштабирует его вверх, чтобы реконструировать видео.
Предварительное обучение модели I: модель на основе диффузии
Основная цель предварительного обучения модели — разработать базовую модель, которая понимает, как генерировать будущее видео, имеющее смысл, используя в качестве входных данных текущее наблюдение и предыдущее видео. В Cosmos есть две разные предварительно обученные модели: модель на основе диффузии и модель на основе авторегрессии. В этом разделе мы подробно рассмотрим модель на основе диффузии.
Всего существует две модели на основе диффузии — одна с 7B параметров и другая с 14B параметров. Обе модели обучаются в двухэтапном процессе.
На первом этапе модели получают текстовый промпт в качестве входных данных и генерируют соответствующее видео на основе этого промпта. Модель, обученная после этого этапа, называется Text2World. На втором этапе модель Text2World дополнительно дообучается с использованием дополнительного входного видео, представляющего текущее наблюдение. Другими словами, при наличии как текстового промпта, так и входного видео модель обучается предсказывать наиболее вероятное следующее видео. Модель, обученная после этого второго этапа, называется Video2World.
Рисунок 6. Архитектура предварительного обучения модели Video2World на основе диффузии (Источник)
На визуализации выше мы можем увидеть общую схему обучения Video2World. Сначала входное видео, представляющее текущее наблюдение, токенизируется с использованием энкодера Cosmos-1.0-Tokenizer-CV8x8x8, что создает непрерывные токены входного видео. Затем эти токены искажаются путем добавления гауссовского шума. Поскольку искаженные токены все еще имеют высокую размерность, их необходимо разбить на патчи и выровнять, чтобы они могли быть обработаны моделью.
Рисунок 7. Пример процесса разбиения изображения на патчи
Полученные тензоры после процесса выравнивания проходят через серию блоков Transformer. В каждом блоке Transformer во входные данные вводится выровненное позиционное вложение, чтобы добавить абсолютную позиционную информацию к каждому элементу вектора и снизить потери при обучении. Затем выход обрабатывается серией слоев внимания, включая слои self-attention и cross-attention.
В слоях внимания пространственно-временная информация интегрируется во входные данные с использованием 3D RoPE и временного шага (t). Чтобы модель могла генерировать видео, обусловленные текстовой подсказкой, текстовое вложение, созданное текстовым энкодером T5, включается во входные данные внутри слоя cross-attention. Наконец, выход слоя cross-attention передается через линейный слой, и этот процесс повторяется через несколько блоков Transformer.
Последний блок Transformer создает финальные очищенные от шума токены. Затем эти очищенные от шума токены необходимо увеличить в разрешении и декодировать, что выполняется декодером Cosmos-1.0-Tokenizer-CV8x8x8. В качестве конечного результата мы получаем предсказанное будущее видео.
Предварительное обучение модели II: авторегрессионная модель
Вторая предварительно обученная модель — это авторегрессионная модель. Существует два варианта этой модели: один с 5B параметров и другой с 13B параметров. Процесс предварительного обучения также состоит из двух этапов. На первом этапе модель обучается исключительно предсказывать будущие кадры видео на основе текущего наблюдения видео. На втором этапе модель дополнительно предварительно обучается путем включения текста в качестве дополнительного входа. Это означает, что финальная модель принимает на вход как входное видео, так и текстовую подсказку и создает будущее видео на выходе.
Рисунок 8. Архитектура предварительного обучения авторегрессионной модели Video2World (Источник)
Процесс предварительного обучения довольно похож на процесс для модели на основе диффузии, рассмотренной в предыдущем разделе. Сначала входное видео преобразуется в токены. Однако, в отличие от диффузионного подхода, авторегрессионной модели требуются дискретные токены вместо непрерывных. Поэтому в процессе предварительного обучения используется Cosmos-1.0-Tokenizer-DV8x16x16 для преобразования входного видео в дискретные токены. Затем эти дискретные токены подаются в слой вложения, который преобразует их во вложения, готовые к обработке следующим компонентом.
Далее входные данные проходят через серию блоков Transformer, где каждый блок состоит из слоя self-attention, слоя cross-attention и линейного слоя. В каждом блоке Transformer к входным данным сначала добавляется абсолютное позиционное вложение, чтобы предоставить абсолютную позиционную информацию для каждого токена.
Внутри слоя self-attention используется 3D RoPE для внедрения информации об относительном положении токенов. Тем временем текстовая информация интегрируется во входные данные внутри слоя cross-attention. Наконец, в конце входные данные проходят через линейный слой. Этот процесс повторяется через несколько блоков Transformer, пока не будет достигнут финальный блок.
Последний блок Transformer создает финальное представление токенов. Чтобы преобразовать эти токены в предсказанное видео, их необходимо увеличить в разрешении и декодировать с использованием декодера Cosmos-1.0-Tokenizer-DV8x16x16.
Постобучение модели
Как упоминалось в предыдущем разделе, основная цель предварительного обучения модели — разработать базовую или фундаментальную модель, способную генерировать связные будущие видео на основе предыдущих кадров видео и текущего наблюдения. Чтобы специализировать эту модель в конкретной области, могут применяться методы постобучения, такие как тонкая настройка.
Рисунок 9. Иллюстрация того, как предварительно обученные физические AI-модели могут использоваться для конкретных задач с постобучением (Источник)
Как модели на основе диффузии, так и авторегрессионные модели могут быть тонко настроены, чтобы превосходно предсказывать видео для конкретных задач, таких как управление камерой, роботизированные манипуляции и автономное вождение. Возьмем управление камерой в качестве примера. Ниже приведен пример покадровых результатов после того, как модель была тонко настроена для задачи управления камерой.
Рисунок 10. Пример видео, сгенерированного диффузионной моделью, дообученной на задаче управления камерой (Источник)
Модель, дообученная для управления камерой, способна генерировать реалистичные видео на основе исходного видео и управляющего промпта, например поворота влево, вправо, движения вперед или назад. Предсказанное видео, сгенерированное моделью, можно использовать для симуляции и оценки поведения AI-системы в реальном физическом мире до ее фактического развертывания.
Ограничители
Поскольку модель способна генерировать видеоконтент, крайне важно внедрить меры безопасности для регулирования ее использования. Команда NVIDIA представила два этапа безопасности: pre-guard и post-guard.
Рисунок 11. Рабочий процесс ограничителей, реализованный на платформе Cosmos (Источник)
На этапе pre-guard ограничитель на основе LLM используется для выявления вредоносных текстовых промптов, которые могут отправлять пользователи. Если промпт признается небезопасным или вредоносным, система предотвращает генерацию видео и вместо этого отображает сообщение об ошибке.
Тем временем этап post-guard отслеживает как входное видео, отправленное в модель, так и видео, сгенерированное моделью. Чтобы определить, безопасно ли видеосодержимое, команда NVIDIA использует модель SigLIP для извлечения эмбеддингов из каждого кадра с последующей классификацией с помощью простого MLP-классификатора.
Еще одним аспектом этапа post-guard является фильтр размытия лиц. На этом шаге модель обнаружения лиц под названием RetinaFace используется для размытия частей кадра, содержащих человеческие лица, чтобы обеспечить конфиденциальность
Результаты экспериментов с диффузионными и авторегрессионными моделями
Результаты как диффузионных, так и авторегрессионных моделей после этапа предварительного обучения были качественно оценены. В этом разделе мы рассмотрим некоторые выходные данные, сгенерированные обеими моделями, начиная с диффузионной модели.
Диффузионная модель представлена в двух вариантах: с 7B и 14B параметрами. В целом обе модели создают высококачественные видео, которые хорошо соответствуют обусловливанию текстовым промптом.
Рисунок 12. Пример сгенерированных видео из Video2World на основе диффузионной модели с заданным инструкционным промптом (Источник)
Как показано в визуализации выше, хотя оба варианта генерируют высококачественные видео, модель 14B более эффективно улавливает более тонкие детали движения в каждом кадре. Кроме того, она отлично справляется с созданием видео со сложными сценами и стабильным движением. Вы можете посмотреть реальные видео, сгенерированные диффузионной моделью, на сайте Cosmos.
Та же тенденция наблюдается в авторегрессионной модели, которая также имеет два варианта: с 5B и 13B параметрами. В целом модель 13B создает более четкие видео и более плавное движение по сравнению с моделью 5B.
Рисунок 13. Пример сгенерированных видео из Video2World на основе диффузионной модели с заданным инструкционным промптом (Источник)
Хотя авторегрессионная модель в целом работает хорошо, она все еще может генерировать несвязные сцены во время генерации видео. Один заметный пример сбоя — внезапное появление случайных объектов в кадре, как показано ниже. Однако частота сбоев модели 13B на 100 тестовых входных данных составляет менее 2%, что указывает на редкость таких ошибок.
Рисунок 14. Пример случая сбоя из Video2World на основе авторегрессионной модели (Источник)
Чтобы определить пригодность моделей для представления физического AI в реальном мире, команда NVIDIA провела количественные оценки на основе двух ключевых аспектов: 3D-согласованности и соответствия законам физики.
3D-согласованность
Поддержание строгой 3D-согласованности имеет решающее значение, поскольку основная цель модели — имитировать поведение физического ИИ в реальной 3D-среде. Для оценки 3D-согласованности наблюдались два набора метрик: геометрическая согласованность (ошибка Сэмпсона, оценка позы) и согласованность синтеза вида (PSNR, SSIM, LPIPS)
Рисунок 15. Оценка 3D-согласованности на моделях Cosmos (Источник)
Результаты по обеим метрикам показывают, что модели на основе диффузии и авторегрессии достигают значительных улучшений в 3D-согласованности по сравнению с базовой моделью NVIDIA. Это демонстрирует способность моделей генерировать высокореалистичные 3D-видео, что делает их ценными для реальных симуляций.
Соответствие законам физики
Помимо 3D-согласованности, сгенерированные видео также должны соответствовать законам физики, чтобы поведение физического ИИ было реалистичным. Чтобы оценить это, команда NVIDIA сравнила смоделированные реальные видео с видео тех же сценариев, сгенерированными моделью. На разных уровнях использовались несколько метрик: пиксельный уровень (PSNR, SSIM), уровень признаков (DreamSim) и уровень объектов (IoU)
Рисунок 16. Оценка физического соответствия на моделях Cosmos (Источник)
Согласно результатам на пиксельном уровне, модель на основе диффузии в целом создает видео более высокого качества по сравнению с моделью на основе авторегрессии. Однако все модели по-прежнему сталкиваются с трудностями в полном соблюдении законов физики. В результате улучшения в кураторстве данных и дизайне моделей уже включены в дорожную карту NVIDIA для расширения возможностей будущих моделей.
Заключение
Платформа Cosmos, разработанная NVIDIA, представляет собой значительный шаг вперед в интеграции GenAI в физический мир. Решая ключевые проблемы, такие как масштабируемость данных и вопросы безопасности, Cosmos позволяет обучать и дообучать модели физического ИИ в контролируемой среде цифрового двойника. Благодаря своему конвейеру, включающему кураторство видео, токенизацию, предварительное обучение модели, последующее обучение и защитные механизмы, Cosmos способствует разработке моделей ИИ, которые могут прогнозировать будущие наблюдения и генерировать реалистичные видеовыходы для целого ряда физических приложений, включая робототехнику, автономное вождение и управление камерой.
Хотя модели способны генерировать видео высокого качества с хорошей 3D-согласованностью, остается серьезная проблема, которую еще необходимо решить. Для улучшения соответствия моделей законам физики в сгенерированных видео необходимы дальнейшие улучшения в кураторстве данных и дизайне моделей.
Читать далее
VDBBench Adds Cost-Aware Benchmarking for Vector Databases
Compare Zilliz Cloud, Pinecone, and turbopuffer with VDBBench cost-aware vector database benchmarks across latency, freshness, multitenancy, and cold starts.
Proactive Monitoring for Vector Database: Zilliz Cloud Integrates with Datadog
we're excited to announce Zilliz Cloud's integration with Datadog, enabling comprehensive monitoring and observability for your vectorDB deployments.
Zilliz Cloud BYOC Upgrades: Bring Enterprise-Grade Security, Networking Isolation, and More
Discover how Zilliz Cloud BYOC brings enterprise-grade security, networking isolation, and infrastructure automation to vector database deployments in AWS