Piattaforma Cosmos World Foundation Model per l’IA fisica
Quando parliamo di GenAI, discutiamo principalmente delle sue applicazioni in ambiti non fisici, come la sintesi di testi, la Retrieval-Augmented Generation (RAG), i chatbot interni, ecc. Questa attenzione è comprensibile, poiché i dati necessari per addestrare modelli GenAI per questi compiti sono relativamente facili da ottenere. Su internet esistono fonti abbondanti da cui possiamo accedere a testi, immagini o altre modalità di dati per addestrare applicazioni GenAI.
D’altra parte, lo sviluppo di applicazioni GenAI in ambiti fisici non è altrettanto avanzato. Il punto è che sappiamo che applicare la GenAI nel mondo fisico potrebbe essere estremamente vantaggioso per svolgere attività pericolose, noiose e ripetitive in vari settori. Ad esempio, un sistema GenAI avanzato potrebbe essere utilizzato per la guida autonoma o la manipolazione robotica.
In questo articolo, discuteremo di una piattaforma sviluppata dal team NVIDIA chiamata Cosmos. Questa piattaforma funge da base per il fine-tuning di modelli GenAI per casi d’uso nel mondo fisico. Quindi, senza ulteriori indugi, iniziamo!
Cos’è Cosmos e perché è necessario
Ci sono un paio di ragioni per cui lo sviluppo di applicazioni GenAI nell’ambito fisico non è rapido quanto in quello non fisico.
La prima ragione è legata alla scalabilità dei dati di addestramento. Per essere utile nel mondo fisico, un modello di IA deve essere addestrato a prevedere possibili azioni successive sulla base di istruzioni fornite e della sua situazione attuale. Ciò significa che i dati di addestramento dovrebbero includere non solo immagini ma anche video. Inoltre, questi video non possono essere casuali. I video in input devono mostrare osservazioni e azioni rilevanti che aiutino ad addestrare il modello a rispondere in modo appropriato in situazioni specifiche. Questo tipo di dati non è solo difficile da trovare, ma anche complesso da elaborare.
La seconda ragione è legata alla sicurezza. Come sappiamo, addestrare un modello di IA nel mondo fisico può comportare seri rischi per le persone e l’ambiente. Una singola previsione errata da parte di un sistema di IA addestrato per la guida autonoma, ad esempio, potrebbe portare a un grave incidente stradale. Pertanto, è preferibile addestrare il modello in un gemello digitale del mondo fisico, dove può interagire in sicurezza con l’ambiente circostante.
Cosmos è una piattaforma sviluppata da NVIDIA per affrontare queste sfide. Ci consente di addestrare e perfezionare l’IA fisica (cioè modelli di IA progettati per applicazioni nel mondo fisico) in un ambiente di gemello digitale. Questo ci permette di osservare digitalmente il comportamento nel mondo reale dei modelli di IA fisica, senza la necessità di addestrarli o implementarli nel mondo fisico reale.
Figura 1. Componenti della piattaforma Cosmos (Fonte)
La piattaforma Cosmos è composta da diversi componenti, ciascuno responsabile di una fase specifica nel processo di addestramento di un modello di IA fisica. Questi componenti includono curation video, tokenizzazione, pre-training, post-training e guardrail.
Il risultato dell’esecuzione di questi componenti è un modello di IA fisica addestrato. Questo modello prende in input una sequenza di osservazioni visive (cioè video) e una perturbazione in un determinato momento, producendo come output un’osservazione futura prevista. La perturbazione in input può assumere varie forme, come un’azione eseguita dal modello o un’istruzione basata su testo.
Prevedendo osservazioni future interamente all’interno di un ambiente digitale, il modello può essere utile per varie applicazioni, tra cui l’imitazione del comportamento nel mondo reale, l’osservazione e l’addestramento di policy, e la generazione di video sintetici.
Figura 2. Input-output dei modelli di IA fisica addestrati con la piattaforma Cosmos (Fonte)
Componenti della piattaforma Cosmos e come funzionano
Come menzionato in precedenza, Cosmos contiene diversi componenti: curatela video, tokenizer, pre-training, post-training e guardrail. In questa sezione discuteremo ciascuno di questi componenti, iniziando dal componente di curatela video.
Curatela video
L'obiettivo principale di questo componente è curare e filtrare i dati video grezzi ottenuti sia da dataset proprietari sia open-source. Come tutti sappiamo, i dati video contengono spesso molto rumore, quindi devono essere filtrati per garantire la qualità del dataset finale utilizzato per addestrare l'AI fisica.
Figura 3. Flusso di lavoro della curatela video nella piattaforma Cosmos (Fonte)
Per filtrare i dati, la piattaforma Cosmos segue diversi passaggi. Il primo passaggio è il processo di suddivisione.
Cosmos utilizza un algoritmo di rilevamento degli shot per la suddivisione dei video. Una sorgente video grezza viene suddivisa in brevi clip di lunghezza arbitraria senza cambiamenti di shot. Questo garantisce che ogni segmento video sia composto da scene coerenti da cui il modello possa apprendere.
In base alle prestazioni di diversi metodi su vari benchmark, Cosmos utilizza TransNetV2 per il processo di suddivisione.
Dopo la suddivisione, Cosmos applica diverse tecniche di filtraggio video per perfezionare ulteriormente le clip, tra cui:
Filtraggio del movimento: Rimuove le clip statiche o che contengono movimenti bruschi della camera.
Filtraggio della qualità visiva: Elimina le clip con bassa risoluzione o scarsa qualità.
Filtraggio delle sovrapposizioni di testo: Rimuove i testi aggiunti durante il post-processing nella clip.
Filtraggio del tipo di video: Filtra i tipi di video indesiderati.
Successivamente, la raccolta perfezionata di clip viene annotata utilizzando un Visual Language Model (VLM). Il risultato dell'annotazione è una descrizione testuale del contenuto di ciascuna clip. In base ai risultati dei benchmark, il team NVIDIA ha selezionato VILA come VLM per generare le annotazioni.
Una volta completata l'annotazione, il passaggio successivo è la deduplicazione. Ogni video viene trasformato in un embedding utilizzando un modello di embedding video chiamato InternVideo. La raccolta di embedding viene quindi raggruppata in cluster e viene calcolata la distanza a coppie all'interno di ciascun cluster per identificare video molto simili. Se vengono trovati duplicati, il video con la risoluzione più alta viene selezionato per il dataset di training.
Tokenizer
Il tokenizer è un componente cruciale per trasformare ogni video nella sua rappresentazione numerica, poiché i modelli AI non possono elaborare direttamente video grezzi. Il tokenizer utilizzato nella piattaforma Cosmos è un tokenizer specializzato sviluppato da NVIDIA chiamato Cosmos-Tokenizer, che può produrre tokenizzazione sia continua sia discreta per ciascun video.
La capacità di generare sia token continui sia discreti è essenziale perché, nella fase successiva, Cosmos offre due diversi approcci di pre-training del modello: strategie di diffusione e autoregressive. La strategia di diffusione richiede token continui per l'addestramento, mentre la strategia autoregressiva si basa su token discreti.
Un aspetto chiave di un tokenizer efficace è la sua capacità di comprimere dati ad alta dimensionalità, come i video, in una rappresentazione a dimensionalità inferiore minimizzando al contempo la perdita di qualità. Sotto questo aspetto, Cosmos-Tokenizer supera altri tokenizer come CogVideoX-Tokenizer, FLUX-Tokenizer e VideoGPT-Tokenizer.
Figura 4. Tasso di compressione spazio-temporale - prestazioni di qualità della ricostruzione tra Cosmos-Tokenizer e altri tokenizer video (Fonte)
Il segreto dietro le prestazioni superiori di Cosmos-Tokenizer risiede nel suo design. Impiega un design temporale causale, il che significa che ogni frame in un video viene tokenizzato utilizzando solo sé stesso e i frame precedenti. In altre parole, la tokenizzazione di un frame non è influenzata da alcun frame futuro.
Per qualsiasi video di input della durata di t secondi, il video viene prima raggruppato e sottocampionato di un fattore quattro utilizzando una trasformata wavelet a due livelli. Ad esempio, il primo gruppo è composto dai frame da 1 a 4, il secondo gruppo dai frame da 5 a 8, e così via. Successivamente, una serie di blocchi encoder all'interno dell'architettura Cosmos-Tokenizer elabora l'output sottocampionato in modo causale per ridurre ulteriormente la dimensionalità del video.
Figura 5. Progettazione della causalità temporale di Cosmos-Tokenizer (Fonte)
Ogni blocco encoder in Cosmos-Tokenizer consiste in una combinazione di layer residui, layer di downsampling e layer di attenzione spazio-temporale, come mostrato nella visualizzazione sopra. L'output del layer di downsampling viene passato al layer di attenzione spazio-temporale, che cattura sia le caratteristiche spaziali sia quelle temporali del video. Per prima cosa, l'input passa attraverso un layer di convoluzione 2D per catturare le informazioni spaziali, seguito da un layer di convoluzione temporale per estrarre le informazioni temporali.
Per ricostruire il video dai token compressi, i token vengono sottoposti a upsampling utilizzando una serie di blocchi decoder di Cosmos-Tokenizer. Ogni blocco decoder ha una struttura simile al blocco encoder, come mostrato nell'immagine sopra. L'unica differenza è che, invece di sottocampionare l'input, il decoder lo ingrandisce per ricostruire il video.
Pre-addestramento del modello I: Modello basato sulla diffusione
L'obiettivo principale del pre-addestramento del modello è sviluppare un modello di base che comprenda come generare un video futuro sensato, dati in input l'osservazione attuale e il video precedente. In Cosmos esistono due diversi modelli pre-addestrati: un modello basato sulla diffusione e un modello basato sull'autoregressione. In questa sezione discuteremo in dettaglio il modello basato sulla diffusione.
In totale ci sono due modelli basati sulla diffusione: uno con 7B di parametri e un altro con 14B di parametri. Entrambi i modelli vengono addestrati in un processo a due fasi.
Nella prima fase, i modelli ricevono un prompt testuale come input e generano un video corrispondente sulla base di quel prompt. Il modello addestrato dopo questa fase è chiamato Text2World. Nella seconda fase, il modello Text2World viene ulteriormente sottoposto a fine-tuning utilizzando un video di input aggiuntivo che rappresenta l'osservazione attuale. In altre parole, dati sia un prompt testuale sia un video di input, il modello viene addestrato a prevedere il video successivo più probabile. Il modello addestrato dopo questa seconda fase è chiamato Video2World.
Figura 6. Architettura di pre-addestramento del modello Video2World basato sulla diffusione (Fonte)
Nella visualizzazione sopra, possiamo vedere la configurazione complessiva per l'addestramento di Video2World. Per prima cosa, il video di input che rappresenta l'osservazione attuale viene tokenizzato utilizzando l'encoder di Cosmos-1.0-Tokenizer-CV8x8x8, producendo token continui del video di input. Questi token vengono poi corrotti aggiungendo rumore gaussiano. Poiché i token corrotti sono ancora ad alta dimensionalità, devono essere suddivisi in patch e appiattiti in modo da poter essere elaborati dal modello.
Figura 7. Esempio del processo di patchificazione di un'immagine
I tensori risultanti dopo il processo di appiattimento passano attraverso una serie di blocchi Transformer. In ogni blocco Transformer, all'input viene iniettato un embedding posizionale appiattito per aggiungere informazioni posizionali assolute a ciascun elemento vettoriale e ridurre la perdita di addestramento. Successivamente, l'output viene elaborato da una serie di layer di attenzione, inclusi layer di self-attention e cross-attention.
Nei livelli di attenzione, le informazioni spazio-temporali vengono integrate nell’input utilizzando 3D RoPE e un time step (t). Per consentire al modello di generare video condizionati da un prompt testuale, un embedding testuale generato dal text encoder T5 viene incorporato nell’input all’interno del livello di cross-attention. Infine, l’output del livello di cross-attention viene passato attraverso un livello lineare, e questo processo si ripete attraverso più blocchi Transformer.
L’ultimo blocco Transformer produce i token denoised finali. Successivamente, questi token denoised devono essere upsampled e decodificati, operazione eseguita dal decoder di Cosmos-1.0-Tokenizer-CV8x8x8. Come risultato finale, otteniamo il video futuro previsto.
Pre-training del modello II: modello basato su Autoregressive
Il secondo modello pre-addestrato è il modello basato su autoregressive. Esistono due varianti di questo modello: una con 5B parametri e un’altra con 13B parametri. Anche il processo di pre-training consiste in due fasi. Nella prima fase, il modello viene addestrato esclusivamente a prevedere i frame video futuri sulla base dell’osservazione video corrente. Nella seconda fase, il modello viene ulteriormente pre-addestrato incorporando il testo come input aggiuntivo. Ciò significa che il modello finale prende sia un video in input sia un prompt testuale come input e produce un video futuro come output.
Figura 8. Architettura di pre-training del modello Video2World basato su autoregressive (Fonte)
Il processo di pre-training è abbastanza simile a quello del modello basato su diffusion discusso nella sezione precedente. Innanzitutto, il video in input viene trasformato in token. Tuttavia, a differenza dell’approccio basato su diffusion, il modello autoregressive richiede token discreti invece di token continui. Pertanto, il processo di pre-training utilizza Cosmos-1.0-Tokenizer-DV8x16x16 per convertire il video in input in token discreti. Questi token discreti vengono poi inseriti in un livello di embedding, che li trasforma in embedding pronti per essere elaborati dal componente successivo.
Successivamente, l’input attraversa una serie di blocchi Transformer, in cui ciascun blocco è composto da un livello di self-attention, un livello di cross-attention e un livello lineare. In ciascun blocco Transformer, viene prima aggiunto all’input un embedding posizionale assoluto per fornire informazioni posizionali assolute per ciascun token.
All’interno del livello di self-attention, 3D RoPE viene utilizzato per iniettare informazioni sulla posizione relativa dei token. Nel frattempo, le informazioni testuali vengono integrate nell’input all’interno del livello di cross-attention. Infine, l’input passa attraverso un livello lineare alla fine. Questo processo si ripete attraverso più blocchi Transformer fino al raggiungimento del blocco finale.
L’ultimo blocco Transformer produce la rappresentazione finale dei token. Per convertire questi token in un video previsto, devono essere upsampled e decodificati utilizzando il decoder di Cosmos-1.0-Tokenizer-DV8x16x16.
Post-training del modello
Come menzionato nella sezione precedente, l’obiettivo principale del pre-training del modello è sviluppare un modello base o foundation capace di generare video futuri coerenti sulla base dei frame video precedenti e dell’osservazione corrente. Per specializzare questo modello in un’area specifica, possono essere applicate tecniche di post-training, come il fine-tuning.
Figura 9. Illustrazione di come i modelli di AI fisica pre-addestrati possano essere utilizzati per compiti specifici con il post-training (Fonte)
Sia i modelli basati su diffusion sia quelli basati su autoregressive possono essere sottoposti a fine-tuning per eccellere nella previsione di video per compiti specifici, come il controllo della fotocamera, la manipolazione robotica e la guida autonoma. Prendiamo come esempio il controllo della fotocamera. Di seguito è riportato un esempio di risultati frame-by-frame dopo che il modello è stato sottoposto a fine-tuning su un compito di controllo della fotocamera.
Figura 10. Esempio di video generato da un modello basato sulla diffusione ottimizzato su un'attività di controllo della telecamera (Fonte)
Il modello ottimizzato per il controllo della telecamera è in grado di generare video realistici basati su un video iniziale e un prompt di controllo, come girare a sinistra, a destra, avanti o indietro. Il video previsto generato dal modello può essere utilizzato per simulare e valutare il comportamento di un sistema di IA nel mondo fisico reale prima che venga effettivamente distribuito.
Guardrail
Poiché il modello è in grado di generare contenuti video, è fondamentale implementare misure di sicurezza per regolarne l'utilizzo. Il team NVIDIA ha introdotto due fasi di sicurezza: pre-guard e post-guard.
Figura 11. Flusso di lavoro dei guardrail implementato nella piattaforma Cosmos (Fonte)
Nella fase di pre-guard, viene utilizzato un guardrail basato su LLM per rilevare prompt testuali dannosi che gli utenti potrebbero inviare. Se un prompt è considerato non sicuro o dannoso, il sistema impedisce la generazione del video e mostra invece un messaggio di errore.
Nel frattempo, la fase di post-guard monitora sia il video di input inviato al modello sia il video generato dal modello. Per determinare se il contenuto video è sicuro, il team NVIDIA utilizza il modello SigLIP per estrarre embedding da ciascun fotogramma, seguiti dalla classificazione tramite un semplice classificatore MLP.
Un altro aspetto della fase di post-guard è il filtro di sfocatura dei volti. In questo passaggio, viene utilizzato un modello di rilevamento dei volti chiamato RetinaFace per sfocare le parti del fotogramma che contengono volti umani, al fine di garantire la privacy
Risultato della sperimentazione dei modelli basati sulla diffusione e autoregressivi
I risultati dei modelli sia basati sulla diffusione sia autoregressivi dopo la fase di pre-training sono stati valutati qualitativamente. In questa sezione, esamineremo alcuni degli output generati da entrambi i modelli, iniziando dal modello basato sulla diffusione.
Il modello basato sulla diffusione è disponibile in due varianti: 7B e 14B parametri. Nel complesso, entrambi i modelli producono video di alta qualità che si allineano bene al condizionamento del prompt testuale.
Figura 12. Esempio di video generati dal modello Video2World basato sulla diffusione con un prompt di istruzioni dato (Fonte)
Come mostrato nella visualizzazione sopra, sebbene entrambe le varianti generino video di alta qualità, il modello 14B cattura in modo più efficace i dettagli di movimento più fini all'interno di ciascun fotogramma. Inoltre, eccelle nella produzione di video con scene complesse e movimento stabile. Puoi vedere video reali generati dal modello basato sulla diffusione sul sito web di Cosmos.
La stessa tendenza si osserva nel modello autoregressivo, che ha anch'esso due varianti: 5B e 13B parametri. Nel complesso, il modello 13B produce video più nitidi e movimenti più fluidi rispetto al modello 5B.
Figura 13. Esempio di video generati dal modello Video2World basato sulla diffusione con un prompt di istruzioni dato (Fonte)
Sebbene il modello autoregressivo abbia complessivamente buone prestazioni, può comunque generare scene incoerenti durante la generazione video. Un caso di fallimento degno di nota è l'improvvisa comparsa di oggetti casuali nel fotogramma, come illustrato di seguito. Tuttavia, si osserva che il tasso di fallimento del modello 13B su 100 input di test è inferiore al 2%, indicando che questi errori sono eventi rari.
Figura 14. Esempio di un caso di fallimento del modello Video2World autoregressivo (Fonte)
Per determinare l'idoneità dei modelli a rappresentare l'IA fisica nel mondo reale, il team NVIDIA ha condotto valutazioni quantitative basate su due aspetti chiave: coerenza 3D e allineamento con le leggi della fisica.
Coerenza 3D
Mantenere una forte coerenza 3D è fondamentale, poiché l’obiettivo principale del modello è simulare il comportamento dell’IA fisica in un ambiente 3D reale. Per valutare la coerenza 3D, sono stati osservati due insiemi di metriche: coerenza geometrica (errore di Sampson, stima della posa) e coerenza della sintesi di viste (PSNR, SSIM, LPIPS)
Figura 15. Valutazione della coerenza 3D sui modelli Cosmos (Fonte)
I risultati per entrambe le metriche indicano che sia i modelli basati su diffusione sia quelli autoregressivi ottengono miglioramenti significativi nella coerenza 3D rispetto al modello di riferimento di NVIDIA. Ciò dimostra la capacità dei modelli di generare video 3D altamente realistici, rendendoli preziosi per simulazioni nel mondo reale.
Allineamento con le leggi della fisica
Oltre alla coerenza 3D, i video generati devono anche rispettare le leggi della fisica per garantire che il comportamento dell’IA fisica sia realistico. Per valutarlo, il team di NVIDIA ha confrontato video reali simulati con video degli stessi scenari generati dal modello. Sono state utilizzate diverse metriche a vari livelli: livello di pixel (PSNR, SSIM), livello di feature (DreamSim) e livello di oggetto (IoU)
Figura 16. Valutazione degli allineamenti fisici sui modelli Cosmos (Fonte)
Sulla base dei risultati a livello di pixel, il modello basato su diffusione produce generalmente video di qualità superiore rispetto al modello autoregressivo. Tuttavia, tutti i modelli affrontano ancora sfide nel rispettare pienamente le leggi della fisica. Di conseguenza, miglioramenti nella curatela dei dati e nella progettazione del modello sono già nella roadmap di NVIDIA per potenziare le capacità dei modelli futuri.
Conclusione
La piattaforma Cosmos sviluppata da NVIDIA rappresenta un progresso significativo nell’integrazione della GenAI nel mondo fisico. Affrontando sfide chiave come la scalabilità dei dati e le preoccupazioni relative alla sicurezza, Cosmos consente l’addestramento e il fine-tuning di modelli di IA fisica in un ambiente controllato di digital twin. Con la sua pipeline, che comprende curatela video, tokenizzazione, pre-addestramento del modello, post-addestramento e guardrail, Cosmos facilita lo sviluppo di modelli di IA in grado di prevedere osservazioni future e generare output video realistici per una gamma di applicazioni fisiche, tra cui robotica, guida autonoma e controllo della videocamera.
Sebbene i modelli siano in grado di generare video di alta qualità con buona coerenza 3D, c’è una grande sfida che deve ancora essere affrontata. Sono necessari ulteriori miglioramenti nella curatela dei dati e nella progettazione del modello per migliorare l’aderenza dei modelli alle leggi della fisica nei video generati.
Continua a leggere
A Few Notes from Databricks Data + AI Summit 2026: Why the Data Layer Matters Again
James Luan shares notes from Databricks Data + AI Summit 2026 on why production AI is pushing the data layer back to the center of infrastructure.
My Wife Wanted Dior. I Spent $600 on Claude Code to Vibe-Code a 2M-Line Database Instead.
Write tests, not code reviews. How a test-first workflow with 6 parallel Claude Code sessions turns a 2M-line C++ codebase into a daily shipping pipeline.
Bringing AI to Legal Tech: The Role of Vector Databases in Enhancing LLM Guardrails
Discover how vector databases enhance AI reliability in legal tech, ensuring accurate, compliant, and trustworthy AI-powered legal solutions.