Plataforma de Modelos Fundamentais de Mundo Cosmos para IA Física
Ao falar sobre GenAI, discutimos principalmente suas aplicações em campos não físicos, como sumarização de texto, Retrieval-Augmented Generation (RAG), chatbots internos etc. Esse foco é compreensível, já que os dados necessários para treinar modelos de GenAI para essas tarefas são relativamente fáceis de obter. Há fontes abundantes na internet onde podemos acessar texto, imagens ou outras modalidades de dados para treinar aplicações de GenAI.
Por outro lado, o desenvolvimento de aplicações de GenAI em campos físicos não está tão avançado. A questão é que sabemos que aplicar GenAI no mundo físico poderia ser altamente benéfico para realizar tarefas perigosas, tediosas e repetitivas em vários setores. Por exemplo, um sistema avançado de GenAI poderia ser usado para direção autônoma ou manipulação robótica.
Neste artigo, discutiremos uma plataforma desenvolvida pela equipe da NVIDIA chamada Cosmos. Essa plataforma serve como base para o ajuste fino de modelos de GenAI para casos de uso no mundo físico. Então, sem mais delongas, vamos começar!
O que é Cosmos e por que ele é necessário
Há alguns motivos pelos quais o desenvolvimento de aplicações de GenAI no campo físico não é tão rápido quanto no campo não físico.
O primeiro motivo está relacionado ao escalonamento dos dados de treinamento. Para ser útil no mundo físico, um modelo de IA precisa ser treinado para prever possíveis próximas ações com base em instruções dadas e em sua situação atual. Isso significa que os dados de treinamento devem incluir não apenas imagens, mas também vídeos. Além disso, esses vídeos não podem ser aleatórios. Os vídeos de entrada devem apresentar observações e ações relevantes que ajudem a treinar o modelo para responder adequadamente em situações específicas. Esse tipo de dado não é apenas difícil de encontrar, mas também complexo de processar.
O segundo motivo está relacionado à segurança. Como sabemos, treinar um modelo de IA no mundo físico pode representar riscos sérios para as pessoas e o meio ambiente. Uma única previsão incorreta por um sistema de IA treinado para direção autônoma, por exemplo, poderia levar a um grande acidente de trânsito. Portanto, é preferível treinar o modelo em um gêmeo digital do mundo físico, onde ele possa interagir com segurança com seu entorno.
Cosmos é uma plataforma desenvolvida pela NVIDIA para enfrentar esses desafios. Ela nos permite treinar e ajustar finamente IA física (ou seja, modelos de IA projetados para aplicações no mundo físico) em um ambiente de gêmeo digital. Isso nos permite observar digitalmente o comportamento no mundo real de modelos de IA física, sem a necessidade de treiná-los ou implantá-los no mundo físico real.
Figura 1. Componentes da plataforma Cosmos (Fonte)
A plataforma Cosmos consiste em vários componentes, cada um responsável por uma etapa específica no processo de treinamento de um modelo de IA física. Esses componentes incluem curadoria de vídeo, tokenização, pré-treinamento, pós-treinamento e guardrails.
O resultado da execução desses componentes é um modelo de IA física treinado. Esse modelo recebe como entradas uma sequência de observações visuais (ou seja, vídeo) e uma perturbação em um determinado momento, produzindo uma observação futura prevista como saída. A perturbação de entrada pode assumir várias formas, como uma ação realizada pelo modelo ou uma instrução baseada em texto.
Ao prever observações futuras inteiramente dentro de um ambiente digital, o modelo pode ser útil para várias aplicações, incluindo imitar o comportamento do mundo real, observação e treinamento de políticas, e geração de vídeo sintético.
Figura 2. Entradas-saída de modelos de IA física treinados com a plataforma Cosmos (Fonte)
Componentes da plataforma Cosmos e como eles funcionam
Como mencionado anteriormente, o Cosmos contém vários componentes: curadoria de vídeos, tokenizer, pré-treinamento, pós-treinamento e guardrails. Nesta seção, discutiremos cada um desses componentes, começando pelo componente de curadoria de vídeos.
Curadoria de Vídeos
O principal objetivo deste componente é fazer a curadoria e filtrar dados de vídeo brutos obtidos tanto de datasets proprietários quanto de código aberto. Como todos sabemos, dados de vídeo frequentemente contêm muito ruído, portanto devem ser filtrados para garantir a qualidade do dataset final usado para treinar a IA física.
Figura 3. Fluxo de trabalho da curadoria de vídeos na plataforma Cosmos (Fonte)
Para filtrar os dados, a plataforma Cosmos segue várias etapas. A primeira etapa é o processo de divisão.
O Cosmos usa um algoritmo de detecção de tomadas para a divisão de vídeos. Uma fonte de vídeo bruta é dividida em clipes curtos de comprimento arbitrário sem mudanças de tomada. Isso garante que cada segmento de vídeo consista em cenas coerentes que sejam úteis para o modelo aprender.
Com base no desempenho de diferentes métodos em vários benchmarks, o Cosmos usa o TransNetV2 para o processo de divisão.
Após a divisão, o Cosmos aplica várias técnicas de filtragem de vídeo para refinar ainda mais os clipes, incluindo:
Filtragem de movimento: Remove clipes que são estáticos ou contêm movimento abrupto da câmera.
Filtragem de qualidade visual: Elimina clipes com baixa resolução ou baixa qualidade.
Filtragem de sobreposição de texto: Remove textos adicionados durante o pós-processamento no clipe.
Filtragem de tipo de vídeo: Filtra tipos de vídeo indesejados.
Em seguida, a coleção refinada de clipes é anotada usando um Visual Language Model (VLM). O resultado da anotação é uma descrição textual do conteúdo de cada clipe. Com base nos resultados de benchmarks, a equipe da NVIDIA selecionou o VILA como o VLM para gerar anotações.
Após a conclusão da anotação, a próxima etapa é a deduplicação. Cada vídeo é transformado em um embedding usando um modelo de embedding de vídeo chamado InternVideo. A coleção de embeddings é então agrupada em clusters, e a distância pareada dentro de cada cluster é computada para identificar vídeos altamente semelhantes. Se duplicatas forem encontradas, o vídeo com a resolução mais alta é selecionado para o dataset de treinamento.
Tokenizer
O tokenizer é um componente crucial para transformar cada vídeo em sua representação numérica, pois modelos de IA não conseguem processar vídeo bruto diretamente. O tokenizer usado na plataforma Cosmos é um tokenizer especializado desenvolvido pela NVIDIA chamado Cosmos-Tokenizer, que pode produzir tokenização contínua e discreta para cada vídeo.
A capacidade de gerar tokens contínuos e discretos é essencial porque, na próxima etapa, o Cosmos oferece duas abordagens diferentes de pré-treinamento de modelos: estratégias de difusão e autorregressivas. A estratégia de difusão requer tokens contínuos para o treinamento, enquanto a estratégia autorregressiva depende de tokens discretos.
Um aspecto-chave de um tokenizer eficaz é sua capacidade de comprimir dados de alta dimensionalidade, como vídeo, em uma representação de menor dimensionalidade, minimizando a perda de qualidade. Nesse sentido, o Cosmos-Tokenizer supera outros tokenizers, como CogVideoX-Tokenizer, FLUX-Tokenizer e VideoGPT-Tokenizer.
Figura 4. Taxa de compressão espaço-temporal - desempenho de qualidade de reconstrução entre o Cosmos-Tokenizer e outros tokenizers de vídeo (Fonte)
O segredo por trás do desempenho superior do Cosmos-Tokenizer está em seu design. Ele emprega um design temporal causal, o que significa que cada frame em um vídeo é tokenizado usando apenas a si mesmo e seus frames anteriores. Em outras palavras, a tokenização de um frame não é influenciada por nenhum frame futuro.
Para qualquer vídeo de entrada com t segundos de duração, o vídeo é primeiro agrupado e subamostrado por um fator de quatro usando uma transformada wavelet de dois níveis. Por exemplo, o primeiro grupo consiste nos quadros 1 a 4, o segundo grupo consiste nos quadros 5 a 8, e assim por diante. Em seguida, uma série de blocos codificadores dentro da arquitetura Cosmos-Tokenizer processa a saída subamostrada de maneira causal para reduzir ainda mais a dimensionalidade do vídeo.
Figura 5. Projeto de causalidade temporal do Cosmos-Tokenizer (Fonte)
Cada bloco codificador no Cosmos-Tokenizer consiste em uma combinação de camadas residuais, camadas de subamostragem e camadas de atenção espaço-temporal, como mostrado na visualização acima. A saída da camada de subamostragem é passada para a camada de atenção espaço-temporal, que captura características espaciais e temporais do vídeo. Primeiro, a entrada passa por uma camada de convolução 2D para capturar informações espaciais, seguida por uma camada de convolução temporal para extrair informações temporais.
Para reconstruir o vídeo a partir dos tokens comprimidos, os tokens são superamostrados usando uma série de blocos decodificadores do Cosmos-Tokenizer. Cada bloco decodificador tem uma estrutura semelhante à do bloco codificador, como mostrado na imagem acima. A única diferença é que, em vez de subamostrar a entrada, o decodificador a amplia para reconstruir o vídeo.
Pré-Treinamento do Modelo I: Modelo baseado em Difusão
O objetivo principal do pré-treinamento do modelo é desenvolver um modelo base que entenda como gerar um vídeo futuro que faça sentido, dadas a observação atual e o vídeo anterior como entradas. Existem dois modelos pré-treinados diferentes no Cosmos: um modelo baseado em difusão e um modelo baseado em autorregressão. Nesta seção, discutiremos o modelo baseado em difusão em detalhes.
Existem dois modelos baseados em difusão no total — um com 7B parâmetros e outro com 14B parâmetros. Ambos os modelos são treinados em um processo de duas etapas.
Na primeira etapa, os modelos recebem um prompt de texto como entrada e geram um vídeo correspondente com base nesse prompt. O modelo treinado após esta etapa é chamado Text2World. Na segunda etapa, o modelo Text2World é ainda ajustado usando um vídeo de entrada adicional que representa a observação atual. Em outras palavras, dado tanto um prompt de texto quanto um vídeo de entrada, o modelo é treinado para prever o próximo vídeo mais provável. O modelo treinado após esta segunda etapa é chamado Video2World.
Figura 6. Arquitetura de pré-treinamento do modelo baseado em difusão Video2World (Fonte)
Na visualização acima, podemos ver a configuração geral para treinar o Video2World. Primeiro, o vídeo de entrada que representa a observação atual é tokenizado usando o codificador do Cosmos-1.0-Tokenizer-CV8x8x8, produzindo tokens contínuos do vídeo de entrada. Esses tokens são então corrompidos pela adição de ruído Gaussiano. Como os tokens corrompidos ainda são de alta dimensionalidade, eles precisam ser divididos em patches e achatados para que possam ser processados pelo modelo.
Figura 7. Exemplo do processo de divisão de imagem em patches
Os tensores resultantes após o processo de achatamento passam por uma série de blocos Transformer. Em cada bloco Transformer, a entrada é injetada com um embedding posicional achatado para adicionar informações posicionais absolutas a cada elemento vetorial e reduzir a perda de treinamento. Em seguida, a saída é processada por uma série de camadas de atenção, incluindo camadas de autoatenção e atenção cruzada.
Nas camadas de atenção, as informações espaço-temporais são integradas à entrada usando RoPE 3D e um passo de tempo (t). Para permitir que o modelo gere vídeos condicionados a um prompt de texto, uma incorporação de texto gerada pelo codificador de texto T5 é incorporada à entrada dentro da camada de atenção cruzada. Por fim, a saída da camada de atenção cruzada passa por uma camada linear, e esse processo se repete por vários blocos Transformer.
O último bloco Transformer produz os tokens finais sem ruído. Em seguida, esses tokens sem ruído precisam ser ampliados e decodificados, o que é feito pelo decodificador do Cosmos-1.0-Tokenizer-CV8x8x8. Como resultado final, obtemos o vídeo futuro previsto.
Pré-treinamento do Modelo II: Modelo baseado em Autoregressão
O segundo modelo pré-treinado é o modelo baseado em autoregressão. Existem duas variantes desse modelo: uma com 5B parâmetros e outra com 13B parâmetros. O processo de pré-treinamento também consiste em duas etapas. Na primeira etapa, o modelo é treinado exclusivamente para prever quadros de vídeo futuros com base na observação de vídeo atual. Na segunda etapa, o modelo é ainda pré-treinado incorporando texto como uma entrada adicional. Isso significa que o modelo final recebe tanto um vídeo de entrada quanto um prompt de texto como entradas e produz um vídeo futuro como saída.
Figura 8. Arquitetura de pré-treinamento do modelo Video2World baseado em autoregressão (Fonte)
O processo de pré-treinamento é bastante semelhante ao do modelo baseado em difusão discutido na seção anterior. Primeiro, o vídeo de entrada é transformado em tokens. No entanto, diferentemente da abordagem baseada em difusão, o modelo autoregressivo requer tokens discretos em vez de contínuos. Portanto, o processo de pré-treinamento usa Cosmos-1.0-Tokenizer-DV8x16x16 para converter o vídeo de entrada em tokens discretos. Esses tokens discretos são então alimentados em uma camada de incorporação, que os transforma em incorporações prontas para serem processadas pelo próximo componente.
Em seguida, a entrada passa por uma série de blocos Transformer, em que cada bloco consiste em uma camada de autoatenção, uma camada de atenção cruzada e uma camada linear. Em cada bloco Transformer, uma incorporação posicional absoluta é primeiro adicionada à entrada para fornecer informações posicionais absolutas para cada token.
Dentro da camada de autoatenção, RoPE 3D é usado para injetar informações sobre a posição relativa dos tokens. Enquanto isso, as informações textuais são integradas à entrada dentro da camada de atenção cruzada. Por fim, a entrada passa por uma camada linear no final. Esse processo se repete por vários blocos Transformer até que o bloco final seja alcançado.
O último bloco Transformer produz a representação final dos tokens. Para converter esses tokens em um vídeo previsto, eles devem ser ampliados e decodificados usando o decodificador do Cosmos-1.0-Tokenizer-DV8x16x16.
Pós-treinamento do Modelo
Como mencionado na seção anterior, o objetivo principal do pré-treinamento do modelo é desenvolver um modelo base ou fundamental capaz de gerar vídeos futuros coerentes com base em quadros de vídeo anteriores e na observação atual. Para especializar esse modelo em uma área específica, técnicas de pós-treinamento, como ajuste fino, podem ser aplicadas.
Figura 9. Ilustração de como modelos de IA física pré-treinados podem ser usados para tarefas específicas com pós-treinamento (Fonte)
Tanto os modelos baseados em difusão quanto os baseados em autoregressão podem ser ajustados para se destacarem na previsão de vídeos para tarefas específicas, como controle de câmera, manipulação robótica e direção autônoma. Vamos tomar o controle de câmera como exemplo. Abaixo está um exemplo de resultados quadro a quadro depois que o modelo foi ajustado em uma tarefa de controle de câmera.
Figura 10. Exemplo de vídeo gerado a partir de modelo baseado em difusão ajustado em uma tarefa de controle de câmera (Fonte)
O modelo ajustado para controle de câmera é capaz de gerar vídeos realistas com base em um vídeo inicial e um prompt de controle, como virar à esquerda, à direita, para frente ou para trás. O vídeo previsto gerado pelo modelo pode ser usado para simular e avaliar o comportamento de um sistema de IA no mundo físico real antes de ele ser efetivamente implantado.
Guardrails
Como o modelo é capaz de gerar conteúdo em vídeo, é crucial implementar medidas de segurança para regular seu uso. A equipe da NVIDIA introduziu duas etapas de segurança: pre-guard e post-guard.
Figura 11. Fluxo de trabalho de guardrail implementado na plataforma Cosmos (Fonte)
Na etapa pre-guard, um guardrail baseado em LLM é usado para detectar prompts de texto nocivos que os usuários possam enviar. Se um prompt for considerado inseguro ou nocivo, o sistema impede a geração de vídeo e exibe uma mensagem de erro em vez disso.
Enquanto isso, a etapa post-guard monitora tanto o vídeo de entrada enviado ao modelo quanto o vídeo gerado pelo modelo. Para determinar se o conteúdo do vídeo é seguro, a equipe da NVIDIA usa o modelo SigLIP para extrair embeddings de cada quadro, seguido de classificação usando um classificador MLP simples.
Outro aspecto da etapa post-guard é o filtro de desfoque facial. Nesta etapa, um modelo de detecção facial chamado RetinaFace é usado para desfocar partes do quadro que contêm rostos humanos para garantir a privacidade
Resultado da Experimentação de Modelos Baseados em Difusão e Autorregressivos
Os resultados dos modelos baseados em difusão e autorregressivos após a etapa de pré-treinamento foram avaliados qualitativamente. Nesta seção, revisaremos algumas das saídas geradas por ambos os modelos, começando pelo modelo baseado em difusão.
O modelo baseado em difusão vem em duas variantes: 7B e 14B parâmetros. No geral, ambos os modelos produzem vídeos de alta qualidade que se alinham bem ao condicionamento por prompt de texto.
Figura 12. Exemplo de vídeos gerados pelo modelo Video2World baseado em difusão com prompt de instrução fornecido (Fonte)
Como mostrado na visualização acima, embora ambas as variantes gerem vídeos de alta qualidade, o modelo 14B captura detalhes de movimento mais sutis em cada quadro com mais eficácia. Além disso, ele se destaca na produção de vídeos com cenas complexas e movimento estável. Você pode ver vídeos reais gerados pelo modelo baseado em difusão no site da Cosmos.
A mesma tendência é observada no modelo autorregressivo, que também tem duas variantes: 5B e 13B parâmetros. No geral, o modelo 13B produz vídeos mais nítidos e movimentos mais suaves em comparação com o modelo 5B.
Figura 13. Exemplo de vídeos gerados pelo modelo Video2World baseado em difusão com prompt de instrução fornecido (Fonte)
Embora o modelo autorregressivo apresente bom desempenho no geral, ele ainda pode gerar cenas incoerentes durante a geração de vídeo. Um caso de falha notável é o aparecimento repentino de objetos aleatórios no quadro, conforme ilustrado abaixo. No entanto, observa-se que a taxa de falha do modelo 13B em 100 entradas de teste é inferior a 2%, indicando que esses erros são ocorrências raras.
Figura 14. Exemplo de um caso de falha do modelo Video2World autorregressivo (Fonte)
Para determinar a adequação dos modelos para representar IA física no mundo real, a equipe da NVIDIA conduziu avaliações quantitativas com base em dois aspectos principais: consistência 3D e alinhamento com as leis da física.
Consistência 3D
Manter uma forte consistência 3D é crucial, pois o objetivo principal do modelo é simular o comportamento da IA física em um ambiente 3D real. Para avaliar a consistência 3D, foram observados dois conjuntos de métricas: consistência geométrica (erro de Sampson, estimativa de pose) e consistência de síntese de vistas (PSNR, SSIM, LPIPS)
Figura 15. Avaliação da consistência 3D nos modelos Cosmos (Fonte)
Os resultados para ambas as métricas indicam que tanto os modelos baseados em difusão quanto os baseados em autorregressão alcançam melhorias significativas na consistência 3D em comparação com o modelo de referência da NVIDIA. Isso demonstra a capacidade dos modelos de gerar vídeos 3D altamente realistas, tornando-os valiosos para simulações do mundo real.
Alinhamento com as Leis da Física
Além da consistência 3D, os vídeos gerados também devem aderir às leis da física para garantir que o comportamento da IA física seja realista. Para avaliar isso, a equipe da NVIDIA comparou vídeos reais simulados com vídeos dos mesmos cenários gerados pelo modelo. Várias métricas foram usadas em diferentes níveis: nível de pixel (PSNR, SSIM), nível de recurso (DreamSim) e nível de objeto (IoU)
Figura 16. Avaliação dos alinhamentos físicos nos modelos Cosmos (Fonte)
Com base nos resultados em nível de pixel, o modelo baseado em difusão geralmente produz vídeos de maior qualidade em comparação com o modelo baseado em autorregressão. No entanto, todos os modelos ainda enfrentam desafios para aderir plenamente às leis da física. Como resultado, melhorias na curadoria de dados e no design de modelos já estão no roteiro da NVIDIA para aprimorar as capacidades de modelos futuros.
Conclusão
A plataforma Cosmos desenvolvida pela NVIDIA representa um avanço significativo na integração da GenAI ao mundo físico. Ao abordar desafios-chave como escalabilidade de dados e preocupações de segurança, o Cosmos permite o treinamento e o ajuste fino de modelos de IA física em um ambiente controlado de gêmeo digital. Com seu pipeline, como curadoria de vídeo, tokenização, pré-treinamento de modelo, pós-treinamento e barreiras de proteção, o Cosmos facilita o desenvolvimento de modelos de IA que podem prever observações futuras e gerar saídas de vídeo realistas para uma variedade de aplicações físicas, incluindo robótica, direção autônoma e controle de câmera.
Embora os modelos sejam capazes de gerar vídeos de alta qualidade com boa consistência 3D, há um grande desafio que ainda precisa ser abordado. São necessárias melhorias adicionais na curadoria de dados e no design de modelos para melhorar a aderência dos modelos às leis da física nos vídeos gerados.
Continue lendo
Introducing Business Critical Plan: Enterprise-Grade Security and Compliance for Mission-Critical AI Applications
Discover Zilliz Cloud’s Business Critical Plan—offering advanced security, compliance, and uptime for mission-critical AI and vector database workloads.
DeepSeek-OCR Explained: Optical Compression for Scalable Long-Context and RAG Systems
Discover how DeepSeek-OCR uses visual tokens and Contexts Optical Compression to boost long-context LLM efficiency and reshape RAG performance.
Will Amazon S3 Vectors Kill Vector Databases—or Save Them?
AWS S3 Vectors aims for 90% cost savings for vector storage. But will it kill vectordbs like Milvus? A deep dive into costs, limits, and the future of tiered storage.