Plateforme Cosmos de modèles fondamentaux du monde pour l’IA physique
Lorsque l’on parle de GenAI, nous discutons principalement de ses applications dans des domaines non physiques, comme la synthèse de texte, la génération augmentée par récupération (RAG), les chatbots internes, etc. Cette orientation est compréhensible, puisque les données nécessaires pour entraîner des modèles GenAI pour ces tâches sont relativement faciles à obtenir. Il existe de nombreuses sources sur Internet où nous pouvons accéder à du texte, des images ou d’autres modalités de données pour entraîner des applications GenAI.
En revanche, le développement d’applications GenAI dans les domaines physiques n’est pas aussi avancé. Le fait est que nous savons que l’application de GenAI dans le monde physique pourrait être extrêmement bénéfique pour effectuer des tâches dangereuses, fastidieuses et répétitives dans divers secteurs. Par exemple, un système GenAI avancé pourrait être utilisé pour la conduite autonome ou la manipulation robotique.
Dans cet article, nous aborderons une plateforme développée par l’équipe NVIDIA appelée Cosmos. Cette plateforme sert de base pour affiner des modèles GenAI destinés à des cas d’utilisation dans le monde physique. Alors, sans plus attendre, commençons !
Qu’est-ce que Cosmos et pourquoi est-il nécessaire
Il existe plusieurs raisons pour lesquelles le développement d’applications GenAI dans le domaine physique n’est pas aussi rapide que dans le domaine non physique.
La première raison est liée à la mise à l’échelle des données d’entraînement. Pour être utile dans le monde physique, un modèle d’IA doit être entraîné à prédire les prochaines actions possibles en fonction d’instructions données et de sa situation actuelle. Cela signifie que les données d’entraînement doivent inclure non seulement des images, mais aussi des vidéos. De plus, ces vidéos ne peuvent pas être aléatoires. Les vidéos d’entrée doivent présenter des observations et des actions pertinentes qui aident à entraîner le modèle à répondre de manière appropriée dans des situations spécifiques. Ce type de données est non seulement difficile à trouver, mais aussi complexe à traiter.
La deuxième raison est liée à la sécurité. Comme nous le savons, entraîner un modèle d’IA dans le monde physique peut présenter de sérieux risques pour les personnes et l’environnement. Une seule prédiction erronée par un système d’IA entraîné pour la conduite autonome, par exemple, pourrait entraîner un accident de la route majeur. Il est donc préférable d’entraîner le modèle dans un jumeau numérique du monde physique, où il peut interagir en toute sécurité avec son environnement.
Cosmos est une plateforme développée par NVIDIA pour relever ces défis. Elle nous permet d’entraîner et d’affiner une IA physique (c’est-à-dire des modèles d’IA conçus pour des applications dans le monde physique) dans un environnement de jumeau numérique. Cela nous permet d’observer numériquement le comportement réel des modèles d’IA physique, sans avoir besoin de les entraîner ou de les déployer dans le monde physique réel.
Figure 1. Composants de la plateforme Cosmos (Source)
La plateforme Cosmos se compose de plusieurs composants, chacun responsable d’une étape spécifique du processus d’entraînement d’un modèle d’IA physique. Ces composants comprennent la curation vidéo, la tokenisation, le pré-entraînement, le post-entraînement et les garde-fous.
Le résultat de l’exécution de ces composants est un modèle d’IA physique entraîné. Ce modèle prend en entrée une séquence d’observations visuelles (c’est-à-dire une vidéo) et une perturbation à un moment donné, produisant en sortie une observation future prédite. La perturbation d’entrée peut prendre diverses formes, comme une action effectuée par le modèle ou une instruction textuelle.
En prédisant les observations futures entièrement dans un environnement numérique, le modèle peut être utile pour diverses applications, notamment l’imitation du comportement réel, l’observation et l’entraînement des politiques, ainsi que la génération de vidéos synthétiques.
Figure 2. Entrées-sortie des modèles d’IA physique entraînés avec la plateforme Cosmos (Source)
Composants de la plateforme Cosmos et leur fonctionnement
Comme mentionné précédemment, Cosmos contient plusieurs composants : curation vidéo, tokenizer, pré-entraînement, post-entraînement et garde-fous. Dans cette section, nous aborderons chacun de ces composants, en commençant par le composant de curation vidéo.
Curation vidéo
L’objectif principal de ce composant est de curer et de filtrer les données vidéo brutes obtenues à partir de jeux de données propriétaires et open source. Comme nous le savons tous, les données vidéo contiennent souvent beaucoup de bruit, elles doivent donc être filtrées afin de garantir la qualité du jeu de données final utilisé pour entraîner l’IA physique.
Figure 3. Flux de travail de la curation vidéo dans la plateforme Cosmos (Source)
Pour filtrer les données, la plateforme Cosmos suit plusieurs étapes. La première étape est le processus de découpage.
Cosmos utilise un algorithme de détection de plans pour le découpage vidéo. Une source vidéo brute est découpée en courts clips de longueur arbitraire sans changement de plan. Cela garantit que chaque segment vidéo se compose de scènes cohérentes utiles à l’apprentissage du modèle.
Sur la base des performances de différentes méthodes sur plusieurs benchmarks, Cosmos utilise TransNetV2 pour le processus de découpage.
Après le découpage, Cosmos applique plusieurs techniques de filtrage vidéo pour affiner davantage les clips, notamment :
Filtrage du mouvement : supprime les clips statiques ou contenant des mouvements de caméra brusques.
Filtrage de la qualité visuelle : élimine les clips à faible résolution ou de mauvaise qualité.
Filtrage des incrustations de texte : supprime les textes ajoutés lors du post-traitement dans le clip.
Filtrage du type de vidéo : filtre les types de vidéos indésirables.
Ensuite, la collection affinée de clips est annotée à l’aide d’un modèle de langage visuel (VLM). Le résultat de l’annotation est une description textuelle du contenu de chaque clip. Sur la base des résultats de benchmarks, l’équipe NVIDIA a sélectionné VILA comme VLM pour générer les annotations.
Une fois l’annotation terminée, l’étape suivante est la déduplication. Chaque vidéo est transformée en un embedding à l’aide d’un modèle d’embedding vidéo appelé InternVideo. La collection d’embeddings est ensuite regroupée en clusters, et la distance par paires au sein de chaque cluster est calculée afin d’identifier les vidéos très similaires. Si des doublons sont trouvés, la vidéo ayant la résolution la plus élevée est sélectionnée pour le jeu de données d’entraînement.
Tokenizer
Le tokenizer est un composant crucial pour transformer chaque vidéo en sa représentation numérique, car les modèles d’IA ne peuvent pas traiter directement la vidéo brute. Le tokenizer utilisé dans la plateforme Cosmos est un tokenizer spécialisé développé par NVIDIA appelé Cosmos-Tokenizer, qui peut produire à la fois une tokenisation continue et discrète pour chaque vidéo.
La capacité à générer à la fois des tokens continus et discrets est essentielle car, à l’étape suivante, Cosmos propose deux approches différentes de pré-entraînement du modèle : des stratégies de diffusion et autorégressives. La stratégie de diffusion nécessite des tokens continus pour l’entraînement, tandis que la stratégie autorégressive repose sur des tokens discrets.
Un aspect clé d’un tokenizer efficace est sa capacité à compresser des données de grande dimension, comme la vidéo, en une représentation de dimension inférieure tout en minimisant la perte de qualité. À cet égard, Cosmos-Tokenizer surpasse d’autres tokenizers tels que CogVideoX-Tokenizer, FLUX-Tokenizer et VideoGPT-Tokenizer.
Figure 4. Taux de compression spatio-temporelle - performance de qualité de reconstruction entre Cosmos-Tokenizer et d’autres tokenizers vidéo (Source)
Le secret des performances supérieures de Cosmos-Tokenizer réside dans sa conception. Il emploie une conception temporelle causale, ce qui signifie que chaque image d’une vidéo est tokenisée en utilisant uniquement elle-même et les images qui la précèdent. En d’autres termes, la tokenisation d’une image n’est influencée par aucune image future.
Pour toute vidéo d’entrée d’une durée de t secondes, la vidéo est d’abord regroupée et sous-échantillonnée d’un facteur quatre à l’aide d’une transformée en ondelettes à deux niveaux. Par exemple, le premier groupe se compose des images 1 à 4, le deuxième groupe se compose des images 5 à 8, et ainsi de suite. Ensuite, une série de blocs d’encodeur au sein de l’architecture Cosmos-Tokenizer traite la sortie sous-échantillonnée de manière causale afin de réduire davantage la dimensionnalité de la vidéo.
Figure 5. Conception de la causalité temporelle de Cosmos-Tokenizer (Source)
Chaque bloc d’encodeur dans Cosmos-Tokenizer se compose d’une combinaison de couches résiduelles, de couches de sous-échantillonnage et de couches d’attention spatio-temporelle, comme le montre la visualisation ci-dessus. La sortie de la couche de sous-échantillonnage est transmise à la couche d’attention spatio-temporelle, qui capture à la fois les caractéristiques spatiales et temporelles de la vidéo. Tout d’abord, l’entrée passe par une couche de convolution 2D pour capturer les informations spatiales, suivie d’une couche de convolution temporelle pour extraire les informations temporelles.
Pour reconstruire la vidéo à partir de jetons compressés, les jetons sont suréchantillonnés à l’aide d’une série de blocs de décodeur de Cosmos-Tokenizer. Chaque bloc de décodeur possède une structure similaire à celle du bloc d’encodeur, comme le montre l’image ci-dessus. La seule différence est qu’au lieu de sous-échantillonner l’entrée, le décodeur l’agrandit afin de reconstruire la vidéo.
Pré-entraînement du modèle I : Modèle basé sur la diffusion
L’objectif principal du pré-entraînement du modèle est de développer un modèle de base qui comprend comment générer une vidéo future cohérente, étant donné l’observation actuelle et la vidéo précédente comme entrées. Il existe deux modèles pré-entraînés différents dans Cosmos : un modèle basé sur la diffusion et un modèle basé sur l’autorégression. Dans cette section, nous aborderons en détail le modèle basé sur la diffusion.
Il existe au total deux modèles basés sur la diffusion — l’un avec 7B de paramètres et l’autre avec 14B de paramètres. Les deux modèles sont entraînés selon un processus en deux étapes.
Dans la première étape, les modèles reçoivent une invite textuelle en entrée et génèrent une vidéo correspondante basée sur cette invite. Le modèle entraîné après cette étape est appelé Text2World. Dans la deuxième étape, le modèle Text2World est affiné davantage à l’aide d’une vidéo d’entrée supplémentaire représentant l’observation actuelle. Autrement dit, étant donné à la fois une invite textuelle et une vidéo d’entrée, le modèle est entraîné à prédire la vidéo suivante la plus probable. Le modèle entraîné après cette deuxième étape est appelé Video2World.
Figure 6. Architecture de pré-entraînement du modèle Video2World basé sur la diffusion (Source)
Dans la visualisation ci-dessus, nous pouvons voir la configuration globale pour l’entraînement de Video2World. Tout d’abord, la vidéo d’entrée représentant l’observation actuelle est tokenisée à l’aide de l’encodeur de Cosmos-1.0-Tokenizer-CV8x8x8, produisant des jetons continus de la vidéo d’entrée. Ces jetons sont ensuite corrompus par l’ajout de bruit gaussien. Comme les jetons corrompus restent de grande dimension, ils doivent être découpés en patches et aplatis afin de pouvoir être traités par le modèle.
Figure 7. Exemple de processus de patchification d’image
Les tenseurs résultants après le processus d’aplatissement passent par une série de blocs Transformer. Dans chaque bloc Transformer, l’entrée est enrichie d’un encodage positionnel aplati afin d’ajouter des informations positionnelles absolues à chaque élément vectoriel et de réduire la perte d’entraînement. Ensuite, la sortie est traitée par une série de couches d’attention, notamment des couches de self-attention et de cross-attention.
Dans les couches d’attention, les informations spatio-temporelles sont intégrées à l’entrée à l’aide de 3D RoPE et d’un pas de temps (t). Pour permettre au modèle de générer des vidéos conditionnées par une invite textuelle, un embedding textuel généré par l’encodeur de texte T5 est incorporé à l’entrée au sein de la couche d’attention croisée. Enfin, la sortie de la couche d’attention croisée passe par une couche linéaire, et ce processus se répète à travers plusieurs blocs Transformer.
Le dernier bloc Transformer produit les tokens débruités finaux. Ensuite, ces tokens débruités doivent être suréchantillonnés et décodés, ce qui est effectué par le décodeur de Cosmos-1.0-Tokenizer-CV8x8x8. Comme résultat final, nous obtenons la vidéo future prédite.
Pré-entraînement du modèle II : modèle basé sur l’autorégression
Le deuxième modèle pré-entraîné est le modèle basé sur l’autorégression. Il existe deux variantes de ce modèle : l’une avec 5B paramètres et l’autre avec 13B paramètres. Le processus de pré-entraînement comprend également deux étapes. Dans la première étape, le modèle est entraîné uniquement à prédire les futures images vidéo à partir de l’observation vidéo actuelle. Dans la deuxième étape, le modèle est ensuite pré-entraîné davantage en incorporant du texte comme entrée supplémentaire. Cela signifie que le modèle final prend à la fois une vidéo d’entrée et une invite textuelle comme entrées et produit une vidéo future en sortie.
Figure 8. Architecture de pré-entraînement du modèle Video2World basé sur l’autorégression (Source)
Le processus de pré-entraînement est assez similaire à celui du modèle basé sur la diffusion évoqué dans la section précédente. Tout d’abord, la vidéo d’entrée est transformée en tokens. Cependant, contrairement à l’approche basée sur la diffusion, le modèle autorégressif nécessite des tokens discrets plutôt que continus. Par conséquent, le processus de pré-entraînement utilise Cosmos-1.0-Tokenizer-DV8x16x16 pour convertir la vidéo d’entrée en tokens discrets. Ces tokens discrets sont ensuite transmis à une couche d’embedding, qui les transforme en embeddings prêts à être traités par le composant suivant.
Ensuite, l’entrée passe par une série de blocs Transformer, où chaque bloc se compose d’une couche d’auto-attention, d’une couche d’attention croisée et d’une couche linéaire. Dans chaque bloc Transformer, un embedding positionnel absolu est d’abord ajouté à l’entrée afin de fournir des informations positionnelles absolues pour chaque token.
Au sein de la couche d’auto-attention, 3D RoPE est utilisé pour injecter des informations sur la position relative des tokens. Pendant ce temps, les informations textuelles sont intégrées à l’entrée au sein de la couche d’attention croisée. Enfin, l’entrée passe par une couche linéaire à la fin. Ce processus se répète à travers plusieurs blocs Transformer jusqu’à ce que le bloc final soit atteint.
Le dernier bloc Transformer produit la représentation finale des tokens. Pour convertir ces tokens en une vidéo prédite, ils doivent être suréchantillonnés et décodés à l’aide du décodeur de Cosmos-1.0-Tokenizer-DV8x16x16.
Post-entraînement du modèle
Comme mentionné dans la section précédente, l’objectif principal du pré-entraînement du modèle est de développer un modèle de base ou de fondation capable de générer des vidéos futures cohérentes à partir d’images vidéo précédentes et de l’observation actuelle. Pour spécialiser ce modèle dans un domaine spécifique, des techniques de post-entraînement, telles que le fine-tuning, peuvent être appliquées.
Figure 9. Illustration de la manière dont les modèles d’IA physique pré-entraînés peuvent être utilisés pour des tâches spécifiques avec le post-entraînement (Source)
Les modèles basés sur la diffusion comme ceux basés sur l’autorégression peuvent être fine-tunés afin d’exceller dans la prédiction de vidéos pour des tâches spécifiques, telles que le contrôle de caméra, la manipulation robotique et la conduite autonome. Prenons le contrôle de caméra comme exemple. Ci-dessous figure un exemple de résultats image par image après que le modèle a été fine-tuné sur une tâche de contrôle de caméra.
Figure 10. Exemple de vidéo générée à partir d’un modèle basé sur la diffusion, affiné sur une tâche de contrôle de caméra (Source)
Le modèle affiné pour le contrôle de caméra est capable de générer des vidéos réalistes à partir d’une vidéo initiale et d’une invite de contrôle, comme tourner à gauche, à droite, avancer ou reculer. La vidéo prédite générée par le modèle peut être utilisée pour simuler et évaluer le comportement d’un système d’IA dans le monde physique réel avant son déploiement effectif.
Garde-fous
Étant donné que le modèle est capable de générer du contenu vidéo, il est crucial de mettre en œuvre des mesures de sécurité pour réguler son utilisation. L’équipe NVIDIA a introduit deux étapes de sécurité : pré-garde et post-garde.
Figure 11. Flux de travail des garde-fous mis en œuvre dans la plateforme Cosmos (Source)
À l’étape de pré-garde, un garde-fou basé sur un LLM est utilisé pour détecter les invites textuelles nuisibles que les utilisateurs pourraient soumettre. Si une invite est jugée dangereuse ou nuisible, le système empêche la génération de vidéo et affiche à la place un message d’erreur.
Pendant ce temps, l’étape de post-garde surveille à la fois la vidéo d’entrée soumise au modèle et la vidéo générée par le modèle. Pour déterminer si le contenu vidéo est sûr, l’équipe NVIDIA utilise le modèle SigLIP pour extraire des embeddings de chaque image, suivis d’une classification à l’aide d’un simple classificateur MLP.
Un autre aspect de l’étape de post-garde est le filtre de floutage des visages. À cette étape, un modèle de détection de visages appelé RetinaFace est utilisé pour flouter les parties de l’image qui contiennent des visages humains afin de garantir la confidentialité
Résultat d’expérimentation des modèles basés sur la diffusion et autorégressifs
Les résultats des modèles basés sur la diffusion et autorégressifs après l’étape de pré-entraînement ont été évalués qualitativement. Dans cette section, nous passerons en revue certains des résultats générés par les deux modèles, en commençant par le modèle basé sur la diffusion.
Le modèle basé sur la diffusion existe en deux variantes : 7B et 14B paramètres. Globalement, les deux modèles produisent des vidéos de haute qualité qui s’alignent bien avec le conditionnement par invite textuelle.
Figure 12. Exemple de vidéos générées par le modèle Video2World basé sur la diffusion avec une invite d’instruction donnée (Source)
Comme le montre la visualisation ci-dessus, bien que les deux variantes génèrent des vidéos de haute qualité, le modèle 14B capture plus efficacement les détails fins du mouvement dans chaque image. De plus, il excelle dans la production de vidéos avec des scènes complexes et un mouvement stable. Vous pouvez voir des vidéos réelles générées par le modèle basé sur la diffusion sur le site web de Cosmos.
La même tendance est observée dans le modèle autorégressif, qui possède également deux variantes : 5B et 13B paramètres. Globalement, le modèle 13B produit des vidéos plus nettes et des mouvements plus fluides que le modèle 5B.
Figure 13. Exemple de vidéos générées par le modèle Video2World basé sur la diffusion avec une invite d’instruction donnée (Source)
Bien que le modèle autorégressif soit globalement performant, il peut encore générer des scènes incohérentes pendant la génération vidéo. Un cas d’échec notable est l’apparition soudaine d’objets aléatoires dans l’image, comme illustré ci-dessous. Cependant, le taux d’échec du modèle 13B sur 100 entrées de test est observé comme étant inférieur à 2 %, ce qui indique que ces erreurs sont rares.
Figure 14. Exemple d’un cas d’échec du modèle Video2World autorégressif (Source)
Pour déterminer l’aptitude des modèles à représenter l’IA physique dans le monde réel, l’équipe NVIDIA a mené des évaluations quantitatives fondées sur deux aspects clés : la cohérence 3D et l’alignement avec les lois de la physique.
Cohérence 3D
Le maintien d’une forte cohérence 3D est crucial, car l’objectif principal du modèle est de simuler le comportement de l’IA physique dans un environnement 3D réel. Pour évaluer la cohérence 3D, deux ensembles de métriques ont été observés : la cohérence géométrique (erreur de Sampson, estimation de pose) et la cohérence de synthèse de vues (PSNR, SSIM, LPIPS)
Figure 15. Évaluation de la cohérence 3D sur les modèles Cosmos (Source)
Les résultats pour les deux métriques indiquent que les modèles basés à la fois sur la diffusion et sur l’autorégression obtiennent des améliorations significatives de la cohérence 3D par rapport au modèle de référence de NVIDIA. Cela démontre la capacité des modèles à générer des vidéos 3D très réalistes, ce qui les rend précieux pour les simulations du monde réel.
Alignement avec les lois de la physique
En plus de la cohérence 3D, les vidéos générées doivent également respecter les lois de la physique afin de garantir que le comportement de l’IA physique soit réaliste. Pour évaluer cela, l’équipe de NVIDIA a comparé des vidéos réelles simulées avec des vidéos des mêmes scénarios générées par le modèle. Plusieurs métriques ont été utilisées à différents niveaux : niveau pixel (PSNR, SSIM), niveau caractéristiques (DreamSim) et niveau objet (IoU)
Figure 16. Évaluation des alignements physiques sur les modèles Cosmos (Source)
D’après les résultats au niveau pixel, le modèle basé sur la diffusion produit généralement des vidéos de meilleure qualité que le modèle basé sur l’autorégression. Cependant, tous les modèles rencontrent encore des difficultés à respecter pleinement les lois de la physique. Par conséquent, des améliorations de la curation des données et de la conception des modèles figurent déjà sur la feuille de route de NVIDIA afin de renforcer les capacités des futurs modèles.
Conclusion
La plateforme Cosmos développée par NVIDIA représente une avancée significative dans l’intégration de la GenAI dans le monde physique. En relevant des défis clés tels que la scalabilité des données et les préoccupations de sécurité, Cosmos permet l’entraînement et l’affinage de modèles d’IA physique dans un environnement de jumeau numérique contrôlé. Avec son pipeline, notamment la curation vidéo, la tokenisation, le pré-entraînement des modèles, le post-entraînement et les garde-fous, Cosmos facilite le développement de modèles d’IA capables de prédire des observations futures et de générer des sorties vidéo réalistes pour une gamme d’applications physiques, notamment la robotique, la conduite autonome et le contrôle de caméra.
Bien que les modèles soient capables de générer des vidéos de haute qualité avec une bonne cohérence 3D, un défi majeur reste à relever. Des améliorations supplémentaires de la curation des données et de la conception des modèles sont nécessaires pour améliorer le respect, par les modèles, des lois de la physique dans les vidéos générées.
Continuer à lire
Will Amazon S3 Vectors Kill Vector Databases—or Save Them?
AWS S3 Vectors aims for 90% cost savings for vector storage. But will it kill vectordbs like Milvus? A deep dive into costs, limits, and the future of tiered storage.
Zilliz Named "Highest Performer" and "Easiest to Use" in G2's Summer 2025 Grid® Report for Vector Databases
Zilliz shines in G2's Summer 2025 Grid® Report as both "Highest Performer" and "Easiest to Use," solving the performance-usability dilemma.
1 Table = 1000 Words? Foundation Models for Tabular Data
TableGPT2 automates tabular data insights, overcoming schema variability, while Milvus accelerates vector search for efficient, scalable decision-making.