Plataforma de modelos fundacionales del mundo Cosmos para IA física
Cuando hablamos de GenAI, principalmente discutimos sus aplicaciones en campos no físicos, como la resumición de textos, Retrieval-Augmented Generation (RAG), chatbots internos, etc. Este enfoque es comprensible, ya que los datos necesarios para entrenar modelos de GenAI para estas tareas son relativamente fáciles de obtener. Hay abundantes fuentes en internet donde podemos acceder a texto, imágenes u otras modalidades de datos para entrenar aplicaciones de GenAI.
Por otro lado, el desarrollo de aplicaciones de GenAI en campos físicos no está tan avanzado. La cuestión es que sabemos que aplicar GenAI en el mundo físico podría ser muy beneficioso para realizar tareas peligrosas, tediosas y repetitivas en diversas industrias. Por ejemplo, un sistema avanzado de GenAI podría utilizarse para conducción autónoma o manipulación robótica.
En este artículo, hablaremos sobre una plataforma desarrollada por el equipo de NVIDIA llamada Cosmos. Esta plataforma sirve como base para ajustar modelos de GenAI para casos de uso del mundo físico. Así que, sin más preámbulos, ¡comencemos!
Qué es Cosmos y por qué es necesario
Hay un par de razones por las que el desarrollo de aplicaciones de GenAI en el campo físico no es tan rápido como en el campo no físico.
La primera razón está relacionada con el escalado de los datos de entrenamiento. Para ser útil en el mundo físico, un modelo de IA necesita ser entrenado para predecir posibles próximas acciones basándose en instrucciones dadas y en su situación actual. Esto significa que los datos de entrenamiento deben incluir no solo imágenes, sino también videos. Además, estos videos no pueden ser aleatorios. Los videos de entrada deben mostrar observaciones y acciones relevantes que ayuden a entrenar el modelo para responder adecuadamente en situaciones específicas. Este tipo de datos no solo es difícil de encontrar, sino también complejo de procesar.
La segunda razón está relacionada con la seguridad. Como sabemos, entrenar un modelo de IA en el mundo físico puede plantear riesgos graves para las personas y el entorno. Una sola predicción errónea por parte de un sistema de IA entrenado para conducción autónoma, por ejemplo, podría provocar un accidente de tráfico importante. Por lo tanto, es preferible entrenar el modelo en un gemelo digital del mundo físico, donde pueda interactuar de forma segura con su entorno.
Cosmos es una plataforma desarrollada por NVIDIA para abordar estos desafíos. Nos permite entrenar y ajustar IA física (es decir, modelos de IA diseñados para aplicaciones del mundo físico) en un entorno de gemelo digital. Esto nos permite observar digitalmente el comportamiento en el mundo real de los modelos de IA física, sin necesidad de entrenarlos o implementarlos en el mundo físico real.
Figura 1. Componentes de la plataforma Cosmos (Fuente)
La plataforma Cosmos consta de varios componentes, cada uno responsable de una etapa específica en el proceso de entrenamiento de un modelo de IA física. Estos componentes incluyen curación de videos, tokenización, preentrenamiento, postentrenamiento y barreras de protección.
El resultado de ejecutar estos componentes es un modelo de IA física entrenado. Este modelo toma una secuencia de observaciones visuales (es decir, video) y una perturbación en un momento dado como entradas, produciendo una observación futura predicha como salida. La perturbación de entrada puede adoptar diversas formas, como una acción realizada por el modelo o una instrucción basada en texto.
Al predecir observaciones futuras completamente dentro de un entorno digital, el modelo puede ser útil para diversas aplicaciones, incluyendo imitar el comportamiento del mundo real, observación y entrenamiento de políticas, y generación de videos sintéticos.
Figura 2. Entradas-salida de modelos de IA física entrenados con la plataforma Cosmos (Fuente)
Componentes de la plataforma Cosmos y cómo funcionan
Como se mencionó anteriormente, Cosmos contiene varios componentes: curación de videos, tokenizador, preentrenamiento, posentrenamiento y barreras de seguridad. En esta sección, analizaremos cada uno de estos componentes, comenzando con el componente de curación de videos.
Curación de videos
El objetivo principal de este componente es curar y filtrar datos de video sin procesar obtenidos tanto de conjuntos de datos propietarios como de código abierto. Como todos sabemos, los datos de video a menudo contienen mucho ruido, por lo que deben filtrarse para garantizar la calidad del conjunto de datos final utilizado para entrenar la IA física.
Figura 3. Flujo de trabajo de la curación de videos en la plataforma Cosmos (Fuente)
Para filtrar los datos, la plataforma Cosmos sigue varios pasos. El primer paso es el proceso de división.
Cosmos utiliza un algoritmo de detección de tomas para la división de videos. Una fuente de video sin procesar se divide en clips cortos de longitud arbitraria sin cambios de toma. Esto garantiza que cada segmento de video consista en escenas coherentes que sean útiles para que el modelo aprenda de ellas.
Basándose en el rendimiento de diferentes métodos en varios benchmarks, Cosmos utiliza TransNetV2 para el proceso de división.
Después de la división, Cosmos aplica varias técnicas de filtrado de videos para refinar aún más los clips, entre ellas:
Filtrado de movimiento: Elimina clips que son estáticos o contienen movimientos bruscos de cámara.
Filtrado de calidad visual: Elimina clips con baja resolución o mala calidad.
Filtrado de superposición de texto: Elimina textos añadidos durante el posprocesamiento en el clip.
Filtrado por tipo de video: Filtra tipos de video no deseados.
A continuación, la colección refinada de clips se anota utilizando un Modelo de Lenguaje Visual (VLM). El resultado de la anotación es una descripción textual del contenido de cada clip. Basándose en los resultados de benchmarks, el equipo de NVIDIA seleccionó VILA como el VLM para generar anotaciones.
Una vez completada la anotación, el siguiente paso es la deduplicación. Cada video se transforma en un embedding utilizando un modelo de embedding de video llamado InternVideo. La colección de embeddings se agrupa en clústeres y se calcula la distancia por pares dentro de cada clúster para identificar videos muy similares. Si se encuentran duplicados, se selecciona el video con mayor resolución para el conjunto de datos de entrenamiento.
Tokenizador
El tokenizador es un componente crucial para transformar cada video en su representación numérica, ya que los modelos de IA no pueden procesar directamente video sin procesar. El tokenizador utilizado en la plataforma Cosmos es un tokenizador especializado desarrollado por NVIDIA llamado Cosmos-Tokenizer, que puede producir tanto tokenización continua como discreta para cada video.
La capacidad de generar tanto tokens continuos como discretos es esencial porque, en la siguiente etapa, Cosmos ofrece dos enfoques diferentes de preentrenamiento de modelos: estrategias de difusión y autorregresivas. La estrategia de difusión requiere tokens continuos para el entrenamiento, mientras que la estrategia autorregresiva se basa en tokens discretos.
Un aspecto clave de un tokenizador eficaz es su capacidad para comprimir datos de alta dimensionalidad, como el video, en una representación de menor dimensionalidad, minimizando al mismo tiempo la pérdida de calidad. En este sentido, Cosmos-Tokenizer supera a otros tokenizadores como CogVideoX-Tokenizer, FLUX-Tokenizer y VideoGPT-Tokenizer.
Figura 4. Tasa de compresión espaciotemporal - rendimiento de la calidad de reconstrucción entre Cosmos-Tokenizer y otros tokenizadores de video (Fuente)
El secreto detrás del rendimiento superior de Cosmos-Tokenizer reside en su diseño. Emplea un diseño temporal causal, lo que significa que cada fotograma de un video se tokeniza utilizando solo a sí mismo y sus fotogramas anteriores. En otras palabras, la tokenización de un fotograma no se ve influida por ningún fotograma futuro.
Para cualquier video de entrada de t segundos de duración, el video primero se agrupa y se submuestrea por un factor de cuatro usando una transformada wavelet de dos niveles. Por ejemplo, el primer grupo consta de los fotogramas 1 a 4, el segundo grupo consta de los fotogramas 5 a 8, y así sucesivamente. A continuación, una serie de bloques codificadores dentro de la arquitectura Cosmos-Tokenizer procesa la salida submuestreada de manera causal para reducir aún más la dimensionalidad del video.
Figura 5. Diseño de causalidad temporal de Cosmos-Tokenizer (Fuente)
Cada bloque codificador en Cosmos-Tokenizer consta de una combinación de capas residuales, capas de submuestreo y capas de atención espaciotemporal, como se muestra en la visualización anterior. La salida de la capa de submuestreo se pasa a la capa de atención espaciotemporal, que captura tanto las características espaciales como temporales del video. Primero, la entrada pasa por una capa de convolución 2D para capturar información espacial, seguida de una capa de convolución temporal para extraer información temporal.
Para reconstruir el video a partir de tokens comprimidos, los tokens se sobremuestrean usando una serie de bloques decodificadores de Cosmos-Tokenizer. Cada bloque decodificador tiene una estructura similar al bloque codificador, como se muestra en la imagen anterior. La única diferencia es que, en lugar de submuestrear la entrada, el decodificador la escala hacia arriba para reconstruir el video.
Preentrenamiento del modelo I: Modelo basado en difusión
El objetivo principal del preentrenamiento del modelo es desarrollar un modelo base que entienda cómo generar un video futuro que tenga sentido, dadas la observación actual y el video anterior como entradas. Hay dos modelos preentrenados diferentes en Cosmos: un modelo basado en difusión y un modelo basado en autorregresión. En esta sección, analizaremos en detalle el modelo basado en difusión.
Hay dos modelos basados en difusión en total: uno con 7B parámetros y otro con 14B parámetros. Ambos modelos se entrenan en un proceso de dos etapas.
En la primera etapa, los modelos reciben un prompt de texto como entrada y generan un video correspondiente basado en ese prompt. El modelo entrenado después de esta etapa se llama Text2World. En la segunda etapa, el modelo Text2World se ajusta aún más usando un video de entrada adicional que representa la observación actual. En otras palabras, dados tanto un prompt de texto como un video de entrada, el modelo se entrena para predecir el siguiente video más probable. El modelo entrenado después de esta segunda etapa se llama Video2World.
Figura 6. Arquitectura de preentrenamiento del modelo basado en difusión Video2World (Fuente)
En la visualización anterior, podemos ver la configuración general para entrenar Video2World. Primero, el video de entrada que representa la observación actual se tokeniza usando el codificador de Cosmos-1.0-Tokenizer-CV8x8x8, produciendo tokens continuos del video de entrada. Luego, estos tokens se corrompen agregando ruido gaussiano. Dado que los tokens corrompidos siguen siendo de alta dimensionalidad, deben dividirse en parches y aplanarse para que el modelo pueda procesarlos.
Figura 7. Ejemplo del proceso de división de una imagen en parches
Los tensores resultantes después del proceso de aplanamiento pasan por una serie de bloques Transformer. En cada bloque Transformer, la entrada se inyecta con una incrustación posicional aplanada para agregar información posicional absoluta a cada elemento vectorial y reducir la pérdida de entrenamiento. A continuación, la salida se procesa mediante una serie de capas de atención, incluidas capas de autoatención y de atención cruzada.
En las capas de atención, la información espacio-temporal se integra en la entrada mediante RoPE 3D y un paso de tiempo (t). Para permitir que el modelo genere videos condicionados por un prompt de texto, se incorpora en la entrada, dentro de la capa de atención cruzada, un embedding de texto generado por el codificador de texto T5. Finalmente, la salida de la capa de atención cruzada se pasa por una capa lineal, y este proceso se repite a través de múltiples bloques Transformer.
El último bloque Transformer produce los tokens denoised finales. A continuación, estos tokens denoised deben ser sobremuestreados y decodificados, lo cual realiza el decodificador de Cosmos-1.0-Tokenizer-CV8x8x8. Como resultado final, obtenemos el video futuro predicho.
Preentrenamiento del modelo II: Modelo basado en autoregresión
El segundo modelo preentrenado es el modelo basado en autoregresión. Hay dos variantes de este modelo: una con 5B parámetros y otra con 13B parámetros. El proceso de preentrenamiento también consta de dos etapas. En la primera etapa, el modelo se entrena únicamente para predecir futuros fotogramas de video basándose en la observación de video actual. En la segunda etapa, el modelo se preentrena adicionalmente incorporando texto como entrada adicional. Esto significa que el modelo final toma como entradas tanto un video de entrada como un prompt de texto y produce un video futuro como salida.
Figura 8. Arquitectura de preentrenamiento del modelo Video2World basado en autoregresión (Fuente)
El proceso de preentrenamiento es bastante similar al del modelo basado en difusión analizado en la sección anterior. Primero, el video de entrada se transforma en tokens. Sin embargo, a diferencia del enfoque basado en difusión, el modelo autoregresivo requiere tokens discretos en lugar de continuos. Por lo tanto, el proceso de preentrenamiento utiliza Cosmos-1.0-Tokenizer-DV8x16x16 para convertir el video de entrada en tokens discretos. Estos tokens discretos se introducen luego en una capa de embedding, que los transforma en embeddings listos para ser procesados por el siguiente componente.
A continuación, la entrada pasa por una serie de bloques Transformer, donde cada bloque consta de una capa de autoatención, una capa de atención cruzada y una capa lineal. En cada bloque Transformer, primero se añade un embedding posicional absoluto a la entrada para proporcionar información posicional absoluta para cada token.
Dentro de la capa de autoatención, se utiliza RoPE 3D para inyectar información sobre la posición relativa de los tokens. Mientras tanto, la información textual se integra en la entrada dentro de la capa de atención cruzada. Finalmente, la entrada pasa por una capa lineal al final. Este proceso se repite a través de múltiples bloques Transformer hasta llegar al bloque final.
El último bloque Transformer produce la representación final de los tokens. Para convertir estos tokens en un video predicho, deben ser sobremuestreados y decodificados utilizando el decodificador de Cosmos-1.0-Tokenizer-DV8x16x16.
Postentrenamiento del modelo
Como se mencionó en la sección anterior, el objetivo principal del preentrenamiento del modelo es desarrollar un modelo base o fundacional capaz de generar videos futuros coherentes basándose en fotogramas de video anteriores y en la observación actual. Para especializar este modelo en un área específica, se pueden aplicar técnicas de postentrenamiento, como el ajuste fino.
Figura 9. Ilustración de cómo los modelos de IA física preentrenados pueden utilizarse para tareas específicas con postentrenamiento (Fuente)
Tanto los modelos basados en difusión como los basados en autoregresión pueden ajustarse finamente para destacar en la predicción de videos para tareas específicas, como el control de cámara, la manipulación robótica y la conducción autónoma. Tomemos el control de cámara como ejemplo. A continuación se muestra un ejemplo de resultados fotograma por fotograma después de que el modelo haya sido ajustado finamente en una tarea de control de cámara.
Figura 10. Ejemplo de video generado a partir de un modelo basado en difusión ajustado finamente en una tarea de control de cámara (Fuente)
El modelo ajustado finamente para el control de cámara es capaz de generar videos realistas basados en un video inicial y una instrucción de control, como girar a la izquierda, a la derecha, avanzar o retroceder. El video predicho generado por el modelo puede utilizarse para simular y evaluar el comportamiento de un sistema de IA en el mundo físico real antes de que se implemente realmente.
Medidas de protección
Dado que el modelo es capaz de generar contenido de video, es crucial implementar medidas de seguridad para regular su uso. El equipo de NVIDIA ha introducido dos etapas de seguridad: pre-guard y post-guard.
Figura 11. Flujo de trabajo de medidas de protección implementado en la plataforma Cosmos (Fuente)
En la etapa pre-guard, se utiliza una medida de protección basada en LLM para detectar instrucciones de texto dañinas que los usuarios podrían enviar. Si una instrucción se considera insegura o dañina, el sistema impide la generación de video y muestra un mensaje de error en su lugar.
Mientras tanto, la etapa post-guard supervisa tanto el video de entrada enviado al modelo como el video generado por el modelo. Para determinar si el contenido del video es seguro, el equipo de NVIDIA utiliza el modelo SigLIP para extraer embeddings de cada fotograma, seguido de una clasificación mediante un clasificador MLP simple.
Otro aspecto de la etapa post-guard es el filtro de desenfoque facial. En este paso, se utiliza un modelo de detección facial llamado RetinaFace para desenfocar partes del fotograma que contienen rostros humanos con el fin de garantizar la privacidad
Resultado de la experimentación de modelos basados en difusión y autorregresivos
Los resultados de los modelos basados en difusión y autorregresivos después de la etapa de preentrenamiento se han evaluado cualitativamente. En esta sección, revisaremos algunas de las salidas generadas por ambos modelos, comenzando con el modelo basado en difusión.
El modelo basado en difusión viene en dos variantes: parámetros 7B y 14B. En general, ambos modelos producen videos de alta calidad que se alinean bien con el condicionamiento de instrucciones de texto.
Figura 12. Ejemplo de videos generados por el modelo Video2World basado en difusión con una instrucción dada (Fuente)
Como se muestra en la visualización anterior, aunque ambas variantes generan videos de alta calidad, el modelo 14B captura con mayor eficacia detalles de movimiento más finos dentro de cada fotograma. Además, sobresale en la producción de videos con escenas complejas y movimiento estable. Puedes ver videos reales generados por el modelo basado en difusión en el sitio web de Cosmos.
La misma tendencia se observa en el modelo autorregresivo, que también tiene dos variantes: parámetros 5B y 13B. En general, el modelo 13B produce videos más nítidos y un movimiento más fluido en comparación con el modelo 5B.
Figura 13. Ejemplo de videos generados por el modelo Video2World basado en difusión con una instrucción dada (Fuente)
Aunque el modelo autorregresivo funciona bien en general, aún puede generar escenas incoherentes durante la generación de video. Un caso de fallo notable es la aparición repentina de objetos aleatorios en el fotograma, como se ilustra a continuación. Sin embargo, se observa que la tasa de fallos del modelo 13B en 100 entradas de prueba es inferior al 2%, lo que indica que estos errores son ocurrencias poco frecuentes.
Figura 14. Ejemplo de un caso de fallo del modelo Video2World autorregresivo (Fuente)
Para determinar la idoneidad de los modelos para representar IA física en el mundo real, el equipo de NVIDIA realizó evaluaciones cuantitativas basadas en dos aspectos clave: consistencia 3D y alineación con las leyes de la física.
Consistencia 3D
Mantener una sólida consistencia 3D es crucial, ya que el objetivo principal del modelo es simular el comportamiento de la IA física en un entorno 3D real. Para evaluar la consistencia 3D, se observaron dos conjuntos de métricas: consistencia geométrica (error de Sampson, estimación de pose) y consistencia de síntesis de vistas (PSNR, SSIM, LPIPS)
Figura 15. Evaluación de la consistencia 3D en los modelos Cosmos (Fuente)
Los resultados de ambas métricas indican que tanto los modelos basados en difusión como los basados en autorregresión logran mejoras significativas en la consistencia 3D en comparación con el modelo de referencia de NVIDIA. Esto demuestra la capacidad de los modelos para generar videos 3D altamente realistas, lo que los hace valiosos para simulaciones del mundo real.
Alineación con las leyes de la física
Además de la consistencia 3D, los videos generados también deben ajustarse a las leyes de la física para garantizar que el comportamiento de la IA física sea realista. Para evaluar esto, el equipo de NVIDIA comparó videos reales simulados con videos de los mismos escenarios generados por el modelo. Se utilizaron varias métricas en diferentes niveles: nivel de píxel (PSNR, SSIM), nivel de características (DreamSim) y nivel de objeto (IoU)
Figura 16. Evaluación de las alineaciones físicas en los modelos Cosmos (Fuente)
Según los resultados a nivel de píxel, el modelo basado en difusión generalmente produce videos de mayor calidad en comparación con el modelo basado en autorregresión. Sin embargo, todos los modelos aún enfrentan desafíos para ajustarse por completo a las leyes de la física. Como resultado, las mejoras en la curación de datos y el diseño de modelos ya están en la hoja de ruta de NVIDIA para mejorar las capacidades de futuros modelos.
Conclusión
La plataforma Cosmos desarrollada por NVIDIA representa un avance significativo en la integración de GenAI en el mundo físico. Al abordar desafíos clave como la escalabilidad de los datos y las preocupaciones de seguridad, Cosmos permite el entrenamiento y el ajuste fino de modelos de IA física en un entorno de gemelo digital controlado. Con su pipeline, como la curación de videos, la tokenización, el preentrenamiento de modelos, el posentrenamiento y las barreras de protección, Cosmos facilita el desarrollo de modelos de IA que pueden predecir observaciones futuras y generar salidas de video realistas para una variedad de aplicaciones físicas, incluidas la robótica, la conducción autónoma y el control de cámaras.
Si bien los modelos son capaces de generar videos de alta calidad con buena consistencia 3D, existe un gran desafío que aún debe abordarse. Se necesitan más mejoras en la curación de datos y el diseño de modelos para mejorar la adhesión de los modelos a las leyes de la física en los videos generados.
Sigue leyendo
How to Install and Run OpenClaw (Previously Clawdbot/Moltbot) on Mac
Turn your Mac into an AI gateway for WhatsApp, Telegram, Discord, iMessage, and more — in under 5 minutes.
How to Improve Retrieval Quality for Japanese Text with Sudachi, Milvus/Zilliz, and AWS Bedrock
Learn how Sudachi normalization and Milvus/Zilliz hybrid search improve Japanese RAG accuracy with BM25 + vector fusion, AWS Bedrock embeddings, and practical code examples.
How to Build an Enterprise-Ready RAG Pipeline on AWS with Bedrock, Zilliz Cloud, and LangChain
Build production-ready enterprise RAG with AWS Bedrock, Nova models, Zilliz Cloud, and LangChain. Complete tutorial with deployable code.