Cosmos World Foundation Model Platform für physische KI
Wenn wir über GenAI sprechen, diskutieren wir meist ihre Anwendungen in nicht-physischen Bereichen, wie Textzusammenfassung, Retrieval-Augmented Generation (RAG), interne Chatbots usw. Dieser Fokus ist verständlich, da die Daten, die zum Trainieren von GenAI-Modellen für diese Aufgaben erforderlich sind, relativ leicht zu beschaffen sind. Es gibt zahlreiche Quellen im Internet, über die wir auf Text, Bilder oder andere Datenmodalitäten zugreifen können, um GenAI-Anwendungen zu trainieren.
Andererseits ist die Entwicklung von GenAI-Anwendungen in physischen Bereichen nicht so weit fortgeschritten. Dabei wissen wir, dass der Einsatz von GenAI in der physischen Welt äußerst vorteilhaft sein könnte, um gefährliche, mühsame und repetitive Aufgaben in verschiedenen Branchen auszuführen. Beispielsweise könnte ein fortschrittliches GenAI-System für autonomes Fahren oder robotische Manipulation eingesetzt werden.
In diesem Artikel besprechen wir eine von NVIDIA entwickelte Plattform namens Cosmos. Diese Plattform dient als Grundlage für das Fine-Tuning von GenAI-Modellen für Anwendungsfälle in der physischen Welt. Also, ohne weitere Umschweife, legen wir los!
Was ist Cosmos und warum ist es notwendig
Es gibt mehrere Gründe, warum die Entwicklung von GenAI-Anwendungen im physischen Bereich nicht so schnell voranschreitet wie im nicht-physischen Bereich.
Der erste Grund hängt mit der Skalierung von Trainingsdaten zusammen. Um in der physischen Welt nützlich zu sein, muss ein KI-Modell darauf trainiert werden, mögliche nächste Aktionen auf der Grundlage gegebener Anweisungen und seiner aktuellen Situation vorherzusagen. Das bedeutet, dass Trainingsdaten nicht nur Bilder, sondern auch Videos umfassen sollten. Darüber hinaus dürfen diese Videos nicht zufällig sein. Die Eingabevideos müssen relevante Beobachtungen und Aktionen zeigen, die dabei helfen, das Modell darauf zu trainieren, in bestimmten Situationen angemessen zu reagieren. Diese Art von Daten ist nicht nur schwer zu finden, sondern auch komplex zu verarbeiten.
Der zweite Grund hängt mit der Sicherheit zusammen. Wie wir wissen, kann das Trainieren eines KI-Modells in der physischen Welt ernsthafte Risiken für Menschen und die Umwelt mit sich bringen. Eine einzige Fehlvorhersage eines KI-Systems, das beispielsweise für autonomes Fahren trainiert wurde, könnte zu einem schweren Verkehrsunfall führen. Daher ist es vorzuziehen, das Modell in einem digitalen Zwilling der physischen Welt zu trainieren, in dem es sicher mit seiner Umgebung interagieren kann.
Cosmos ist eine von NVIDIA entwickelte Plattform, um diese Herausforderungen anzugehen. Sie ermöglicht es uns, physische KI (d. h. KI-Modelle, die für Anwendungen in der physischen Welt entwickelt wurden) in einer digitalen Zwillingsumgebung zu trainieren und feinzujustieren. Dadurch können wir das reale Verhalten physischer KI-Modelle digital beobachten, ohne sie in der tatsächlichen physischen Welt trainieren oder einsetzen zu müssen.
Abbildung 1. Komponenten der Cosmos-Plattform (Quelle)
Die Cosmos-Plattform besteht aus mehreren Komponenten, die jeweils für eine bestimmte Phase im Trainingsprozess eines physischen KI-Modells verantwortlich sind. Zu diesen Komponenten gehören Videokuration, Tokenisierung, Pre-Training, Post-Training und Guardrails.
Das Ergebnis der Ausführung dieser Komponenten ist ein trainiertes physisches KI-Modell. Dieses Modell nimmt eine Sequenz visueller Beobachtungen (d. h. Video) und eine Störung zu einem bestimmten Zeitpunkt als Eingaben und erzeugt eine vorhergesagte zukünftige Beobachtung als Ausgabe. Die Eingabestörung kann verschiedene Formen annehmen, etwa eine vom Modell ausgeführte Aktion oder eine textbasierte Anweisung.
Durch die vollständige Vorhersage zukünftiger Beobachtungen innerhalb einer digitalen Umgebung kann das Modell für verschiedene Anwendungen nützlich sein, darunter die Nachahmung realen Verhaltens, Richtlinienbeobachtung und -training sowie die Erzeugung synthetischer Videos.
Abbildung 2. Eingaben-Ausgabe physischer KI-Modelle, die mit der Cosmos-Plattform trainiert wurden (Quelle)
Komponenten der Cosmos-Plattform und wie sie funktionieren
Wie bereits erwähnt, enthält Cosmos mehrere Komponenten: Videokuration, Tokenizer, Pre-Training, Post-Training und Guardrails. In diesem Abschnitt werden wir jede dieser Komponenten besprechen, beginnend mit der Videokurationskomponente.
Videokuration
Das Hauptziel dieser Komponente besteht darin, rohe Videodaten zu kuratieren und zu filtern, die sowohl aus proprietären als auch aus Open-Source-Datensätzen stammen. Wie wir alle wissen, enthalten Videodaten oft viel Rauschen, daher müssen sie gefiltert werden, um die Qualität des endgültigen Datensatzes sicherzustellen, der zum Trainieren der physischen KI verwendet wird.
Abbildung 3. Workflow der Videokuration in der Cosmos-Plattform (Quelle)
Um die Daten zu filtern, folgt die Cosmos-Plattform mehreren Schritten. Der erste Schritt ist der Aufteilungsprozess.
Cosmos verwendet einen Shot-Detection-Algorithmus zur Videoaufteilung. Eine rohe Videoquelle wird in kurze Clips beliebiger Länge ohne Shot-Wechsel aufgeteilt. Dies garantiert, dass jedes Videosegment aus kohärenten Szenen besteht, aus denen das Modell sinnvoll lernen kann.
Basierend auf der Leistung verschiedener Methoden über mehrere Benchmarks hinweg verwendet Cosmos TransNetV2 für den Aufteilungsprozess.
Nach der Aufteilung wendet Cosmos mehrere Videofiltertechniken an, um die Clips weiter zu verfeinern, darunter:
Bewegungsfilterung: Entfernt Clips, die statisch sind oder abrupte Kamerabewegungen enthalten.
Filterung der visuellen Qualität: Entfernt Clips mit niedriger Auflösung oder schlechter Qualität.
Text-Overlay-Filterung: Entfernt Texte, die während der Nachbearbeitung im Clip hinzugefügt wurden.
Videotyp-Filterung: Filtert unerwünschte Videotypen heraus.
Als Nächstes wird die verfeinerte Sammlung von Clips mithilfe eines Visual Language Model (VLM) annotiert. Das Annotationsergebnis ist eine Textbeschreibung des Inhalts jedes Clips. Basierend auf Benchmark-Ergebnissen wählte das NVIDIA-Team VILA als VLM zur Generierung von Annotationen aus.
Sobald die Annotation abgeschlossen ist, ist der nächste Schritt die Deduplizierung. Jedes Video wird mithilfe eines Video-Embedding-Modells namens InternVideo in ein Embedding umgewandelt. Die Sammlung von Embeddings wird anschließend geclustert, und die paarweise Distanz innerhalb jedes Clusters wird berechnet, um sehr ähnliche Videos zu identifizieren. Wenn Duplikate gefunden werden, wird das Video mit der höheren Auflösung für den Trainingsdatensatz ausgewählt.
Tokenizer
Der Tokenizer ist eine entscheidende Komponente zur Umwandlung jedes Videos in seine numerische Darstellung, da KI-Modelle Rohvideos nicht direkt verarbeiten können. Der in der Cosmos-Plattform verwendete Tokenizer ist ein spezialisierter, von NVIDIA entwickelter Tokenizer namens Cosmos-Tokenizer, der für jedes Video sowohl kontinuierliche als auch diskrete Tokenisierung erzeugen kann.
Die Fähigkeit, sowohl kontinuierliche als auch diskrete Token zu generieren, ist wesentlich, da Cosmos in der nächsten Phase zwei verschiedene Modell-Pre-Training-Ansätze anbietet: Diffusions- und autoregressive Strategien. Die Diffusionsstrategie erfordert kontinuierliche Token für das Training, während die autoregressive Strategie auf diskreten Token basiert.
Ein zentraler Aspekt eines effektiven Tokenizers ist seine Fähigkeit, hochdimensionale Daten wie Video in eine niedriger dimensionale Darstellung zu komprimieren und dabei den Qualitätsverlust zu minimieren. In dieser Hinsicht übertrifft Cosmos-Tokenizer andere Tokenizer wie CogVideoX-Tokenizer, FLUX-Tokenizer und VideoGPT-Tokenizer.
Abbildung 4. Räumlich-zeitliche Kompressionsrate – Leistung der Rekonstruktionsqualität zwischen Cosmos-Tokenizer und anderen Video-Tokenizern (Quelle)
Das Geheimnis hinter der überlegenen Leistung von Cosmos-Tokenizer liegt in seinem Design. Er verwendet ein kausales zeitliches Design, was bedeutet, dass jedes Frame in einem Video nur unter Verwendung seiner selbst und seiner vorhergehenden Frames tokenisiert wird. Mit anderen Worten: Die Tokenisierung eines Frames wird nicht von zukünftigen Frames beeinflusst.
Für jedes Eingabevideo mit einer Länge von t Sekunden wird das Video zunächst mithilfe einer zweistufigen Wavelet-Transformation gruppiert und um den Faktor vier herunterabgetastet. Beispielsweise besteht die erste Gruppe aus den Frames 1 bis 4, die zweite Gruppe aus den Frames 5 bis 8 und so weiter. Anschließend verarbeitet eine Reihe von Encoder-Blöcken innerhalb der Cosmos-Tokenizer-Architektur die herunterabgetastete Ausgabe auf kausale Weise, um die Dimensionalität des Videos weiter zu reduzieren.
Abbildung 5. Design der zeitlichen Kausalität von Cosmos-Tokenizer (Quelle)
Jeder Encoder-Block in Cosmos-Tokenizer besteht aus einer Kombination von Residualschichten, Downsampling-Schichten und raumzeitlichen Attention-Schichten, wie in der obigen Visualisierung gezeigt. Die Ausgabe der Downsampling-Schicht wird an die raumzeitliche Attention-Schicht weitergegeben, die sowohl räumliche als auch zeitliche Merkmale des Videos erfasst. Zunächst durchläuft die Eingabe eine 2D-Faltungsschicht, um räumliche Informationen zu erfassen, gefolgt von einer zeitlichen Faltungsschicht, um zeitliche Informationen zu extrahieren.
Um das Video aus komprimierten Tokens zu rekonstruieren, werden die Tokens mithilfe einer Reihe von Decoder-Blöcken aus Cosmos-Tokenizer hochabgetastet. Jeder Decoder-Block hat eine ähnliche Struktur wie der Encoder-Block, wie im obigen Bild gezeigt. Der einzige Unterschied besteht darin, dass der Decoder die Eingabe nicht herunterabgetastet, sondern hochskaliert, um das Video zu rekonstruieren.
Modell-Vortraining I: Diffusionsbasiertes Modell
Das Hauptziel des Modell-Vortrainings besteht darin, ein Basismodell zu entwickeln, das versteht, wie ein zukünftiges Video erzeugt wird, das sinnvoll ist, wenn die aktuelle Beobachtung und das vorherige Video als Eingaben gegeben sind. In Cosmos gibt es zwei verschiedene vortrainierte Modelle: ein diffusionsbasiertes Modell und ein autoregressionsbasiertes Modell. In diesem Abschnitt werden wir das diffusionsbasierte Modell im Detail besprechen.
Insgesamt gibt es zwei diffusionsbasierte Modelle – eines mit 7B Parametern und ein weiteres mit 14B Parametern. Beide Modelle werden in einem zweistufigen Prozess trainiert.
In der ersten Stufe erhalten die Modelle einen Text-Prompt als Eingabe und erzeugen ein entsprechendes Video auf Grundlage dieses Prompts. Das nach dieser Stufe trainierte Modell wird Text2World genannt. In der zweiten Stufe wird das Text2World-Modell zusätzlich mithilfe eines weiteren Eingabevideos, das die aktuelle Beobachtung darstellt, feinabgestimmt. Mit anderen Worten: Gegeben sowohl ein Text-Prompt als auch ein Eingabevideo wird das Modell darauf trainiert, das wahrscheinlichste nächste Video vorherzusagen. Das nach dieser zweiten Stufe trainierte Modell wird Video2World genannt.
Abbildung 6. Vortrainingsarchitektur des diffusionsbasierten Video2World-Modells (Quelle)
In der obigen Visualisierung sehen wir den Gesamtaufbau für das Training von Video2World. Zunächst wird das Eingabevideo, das die aktuelle Beobachtung darstellt, mithilfe des Encoders von Cosmos-1.0-Tokenizer-CV8x8x8 tokenisiert, wodurch kontinuierliche Tokens des Eingabevideos erzeugt werden. Diese Tokens werden anschließend durch Hinzufügen von Gaußschem Rauschen korrumpiert. Da die korrumpierten Tokens weiterhin hochdimensional sind, müssen sie in Patches aufgeteilt und abgeflacht werden, damit sie vom Modell verarbeitet werden können.
Abbildung 7. Beispiel für den Prozess der Bild-Patchifizierung
Die resultierenden Tensoren nach dem Abflachungsprozess durchlaufen eine Reihe von Transformer-Blöcken. In jedem Transformer-Block wird der Eingabe ein abgeflachtes Positions-Embedding hinzugefügt, um jedem Vektorelement absolute Positionsinformationen hinzuzufügen und den Trainingsverlust zu reduzieren. Anschließend wird die Ausgabe durch eine Reihe von Attention-Schichten verarbeitet, darunter Self-Attention- und Cross-Attention-Schichten.
In den Attention-Schichten werden raumzeitliche Informationen mithilfe von 3D RoPE und einem Zeitschritt (t) in die Eingabe integriert. Um dem Modell zu ermöglichen, Videos auf Grundlage eines Text-Prompts zu generieren, wird ein vom T5-Text-Encoder erzeugtes Text-Embedding innerhalb der Cross-Attention-Schicht in die Eingabe integriert. Schließlich wird die Ausgabe der Cross-Attention-Schicht durch eine lineare Schicht geleitet, und dieser Prozess wiederholt sich über mehrere Transformer-Blöcke hinweg.
Der letzte Transformer-Block erzeugt die finalen entrauschten Tokens. Anschließend müssen diese entrauschten Tokens hochskaliert und dekodiert werden, was durch den Decoder von Cosmos-1.0-Tokenizer-CV8x8x8 erfolgt. Als Endergebnis erhalten wir das vorhergesagte zukünftige Video.
Modell-Vortraining II: Autoregressionsbasiertes Modell
Das zweite vortrainierte Modell ist das autoregressionsbasierte Modell. Es gibt zwei Varianten dieses Modells: eine mit 5B Parametern und eine weitere mit 13B Parametern. Der Vortrainingsprozess besteht ebenfalls aus zwei Phasen. In der ersten Phase wird das Modell ausschließlich darauf trainiert, zukünftige Videoframes basierend auf der aktuellen Videobeobachtung vorherzusagen. In der zweiten Phase wird das Modell weiter vortrainiert, indem Text als zusätzliche Eingabe einbezogen wird. Das bedeutet, dass das finale Modell sowohl ein Eingabevideo als auch einen Text-Prompt als Eingaben erhält und ein zukünftiges Video als Ausgabe erzeugt.
Abbildung 8. Vortrainingsarchitektur des Video2World-autoregressionsbasierten Modells (Quelle)
Der Vortrainingsprozess ist dem des diffusionsbasierten Modells, das im vorherigen Abschnitt besprochen wurde, recht ähnlich. Zunächst wird das Eingabevideo in Tokens umgewandelt. Im Gegensatz zum diffusionsbasierten Ansatz benötigt das autoregressive Modell jedoch diskrete Tokens anstelle kontinuierlicher. Daher verwendet der Vortrainingsprozess Cosmos-1.0-Tokenizer-DV8x16x16, um das Eingabevideo in diskrete Tokens umzuwandeln. Diese diskreten Tokens werden anschließend in eine Embedding-Schicht eingespeist, die sie in Embeddings umwandelt, die bereit sind, von der nächsten Komponente verarbeitet zu werden.
Als Nächstes durchläuft die Eingabe eine Reihe von Transformer-Blöcken, wobei jeder Block aus einer Self-Attention-Schicht, einer Cross-Attention-Schicht und einer linearen Schicht besteht. In jedem Transformer-Block wird zunächst ein absolutes Positions-Embedding zur Eingabe hinzugefügt, um absolute Positionsinformationen für jedes Token bereitzustellen.
Innerhalb der Self-Attention-Schicht wird 3D RoPE verwendet, um Informationen über die relative Position von Tokens einzubringen. Gleichzeitig werden textuelle Informationen innerhalb der Cross-Attention-Schicht in die Eingabe integriert. Schließlich durchläuft die Eingabe am Ende eine lineare Schicht. Dieser Prozess wiederholt sich über mehrere Transformer-Blöcke hinweg, bis der finale Block erreicht ist.
Der letzte Transformer-Block erzeugt die finale Token-Repräsentation. Um diese Tokens in ein vorhergesagtes Video umzuwandeln, müssen sie mithilfe des Decoders von Cosmos-1.0-Tokenizer-DV8x16x16 hochskaliert und dekodiert werden.
Modell-Nachtraining
Wie im vorherigen Abschnitt erwähnt, besteht das primäre Ziel des Modell-Vortrainings darin, ein Basis- oder Foundation-Modell zu entwickeln, das in der Lage ist, kohärente zukünftige Videos basierend auf vorherigen Videoframes und der aktuellen Beobachtung zu generieren. Um dieses Modell auf einen bestimmten Bereich zu spezialisieren, können Nachtrainingstechniken wie Fine-Tuning angewendet werden.
Abbildung 9. Veranschaulichung, wie vortrainierte Physical-AI-Modelle mit Nachtraining für spezifische Aufgaben verwendet werden können (Quelle)
Sowohl diffusionsbasierte als auch autoregressionsbasierte Modelle können feinabgestimmt werden, um bei der Vorhersage von Videos für spezifische Aufgaben wie Kamerasteuerung, robotische Manipulation und autonomes Fahren hervorragende Leistungen zu erzielen. Nehmen wir als Beispiel die Kamerasteuerung. Unten sehen Sie ein Beispiel für Frame-für-Frame-Ergebnisse, nachdem das Modell auf eine Kamerasteuerungsaufgabe feinabgestimmt wurde.
Abbildung 10. Beispiel eines Videos, das von einem diffusionsbasierten Modell generiert wurde, das für eine Kamerasteuerungsaufgabe feinabgestimmt wurde (Quelle)
Das für die Kamerasteuerung feinabgestimmte Modell ist in der Lage, realistische Videos auf Basis eines anfänglichen Videos und eines Steuerungs-Prompts zu generieren, etwa nach links, nach rechts, vorwärts oder rückwärts zu drehen. Das vom Modell generierte vorhergesagte Video kann verwendet werden, um das Verhalten eines KI-Systems in der realen physischen Welt zu simulieren und zu bewerten, bevor es tatsächlich eingesetzt wird.
Guardrails
Da das Modell in der Lage ist, Videoinhalte zu generieren, ist es entscheidend, Sicherheitsmaßnahmen zu implementieren, um seine Nutzung zu regulieren. Das NVIDIA-Team hat zwei Sicherheitsstufen eingeführt: Pre-Guard und Post-Guard.
Abbildung 11. Guardrail-Workflow, der in der Cosmos-Plattform implementiert ist (Quelle)
In der Pre-Guard-Stufe wird ein LLM-basiertes Guardrail verwendet, um schädliche Text-Prompts zu erkennen, die Benutzer einreichen könnten. Wenn ein Prompt als unsicher oder schädlich eingestuft wird, verhindert das System die Videogenerierung und zeigt stattdessen eine Fehlermeldung an.
Währenddessen überwacht die Post-Guard-Stufe sowohl das an das Modell übermittelte Eingabevideo als auch das vom Modell generierte Video. Um festzustellen, ob der Videoinhalt sicher ist, verwendet das NVIDIA-Team das SigLIP-Modell, um Embeddings aus jedem Frame zu extrahieren, gefolgt von einer Klassifizierung mithilfe eines einfachen MLP-Klassifikators.
Ein weiterer Aspekt der Post-Guard-Stufe ist der Gesichtsunschärfe-Filter. In diesem Schritt wird ein Gesichtserkennungsmodell namens RetinaFace verwendet, um Teile des Frames, die menschliche Gesichter enthalten, unscharf zu machen, um die Privatsphäre zu gewährleisten
Experimentelles Ergebnis von diffusions- und autoregressionsbasierten Modellen
Die Ergebnisse sowohl der diffusionsbasierten als auch der autoregressionsbasierten Modelle nach der Pre-Training-Phase wurden qualitativ bewertet. In diesem Abschnitt sehen wir uns einige der von beiden Modellen generierten Ausgaben an, beginnend mit dem diffusionsbasierten Modell.
Das diffusionsbasierte Modell gibt es in zwei Varianten: 7B- und 14B-Parameter. Insgesamt erzeugen beide Modelle hochwertige Videos, die gut mit der Text-Prompt-Konditionierung übereinstimmen.
Abbildung 12. Beispiel generierter Videos aus dem Video2World-diffusionsbasierten Modell mit gegebenem Anweisungs-Prompt (Quelle)
Wie in der obigen Visualisierung gezeigt, erzeugen beide Varianten zwar hochwertige Videos, doch das 14B-Modell erfasst feinere Bewegungsdetails innerhalb jedes Frames effektiver. Darüber hinaus ist es hervorragend darin, Videos mit komplexen Szenen und stabiler Bewegung zu erzeugen. Sie können tatsächliche Videos, die vom diffusionsbasierten Modell generiert wurden, auf der Cosmos-Website ansehen.
Derselbe Trend zeigt sich beim autoregressionsbasierten Modell, das ebenfalls zwei Varianten hat: 5B- und 13B-Parameter. Insgesamt erzeugt das 13B-Modell im Vergleich zum 5B-Modell schärfere Videos und flüssigere Bewegungen.
Abbildung 13. Beispiel generierter Videos aus dem Video2World-diffusionsbasierten Modell mit gegebenem Anweisungs-Prompt (Quelle)
Obwohl das autoregressionsbasierte Modell insgesamt gut abschneidet, kann es während der Videogenerierung dennoch inkohärente Szenen erzeugen. Ein bemerkenswerter Fehlerfall ist das plötzliche Auftauchen zufälliger Objekte im Frame, wie unten dargestellt. Die Fehlerrate des 13B-Modells über 100 Testeingaben hinweg wurde jedoch mit weniger als 2 % beobachtet, was darauf hindeutet, dass diese Fehler seltene Vorkommnisse sind.
Abbildung 14. Beispiel eines Fehlerfalls aus dem Video2World-autoregressionsbasierten Modell (Quelle)
Um die Eignung der Modelle zur Darstellung physischer KI in der realen Welt zu bestimmen, führte das NVIDIA-Team quantitative Bewertungen auf Grundlage zweier zentraler Aspekte durch: 3D-Konsistenz und Übereinstimmung mit den Gesetzen der Physik.
3D-Konsistenz
Die Aufrechterhaltung einer starken 3D-Konsistenz ist entscheidend, da das Hauptziel des Modells darin besteht, das Verhalten physischer KI in einer realen 3D-Umgebung zu simulieren. Zur Bewertung der 3D-Konsistenz wurden zwei Gruppen von Metriken betrachtet: geometrische Konsistenz (Sampson-Fehler, Posenschätzung) und Konsistenz der Ansichtssynthese (PSNR, SSIM, LPIPS)
Abbildung 15. Bewertung der 3D-Konsistenz bei Cosmos-Modellen (Quelle)
Die Ergebnisse für beide Metriken zeigen, dass sowohl diffusions- als auch autoregressionsbasierte Modelle im Vergleich zu NVIDIAs Basismodell erhebliche Verbesserungen der 3D-Konsistenz erzielen. Dies demonstriert die Fähigkeit der Modelle, äußerst realistische 3D-Videos zu erzeugen, wodurch sie für Simulationen in der realen Welt wertvoll sind.
Übereinstimmung mit den Gesetzen der Physik
Zusätzlich zur 3D-Konsistenz müssen die erzeugten Videos auch den Gesetzen der Physik entsprechen, um sicherzustellen, dass das Verhalten der physischen KI realistisch ist. Um dies zu bewerten, verglich das NVIDIA-Team simulierte reale Videos mit Videos derselben Szenarien, die vom Modell erzeugt wurden. Mehrere Metriken wurden auf verschiedenen Ebenen verwendet: Pixelebene (PSNR, SSIM), Merkmalsebene (DreamSim) und Objektebene (IoU)
Abbildung 16. Bewertung physikalischer Übereinstimmungen bei Cosmos-Modellen (Quelle)
Basierend auf den Ergebnissen auf Pixelebene erzeugt das diffusionsbasierte Modell im Allgemeinen qualitativ hochwertigere Videos als das autoregressionsbasierte Modell. Allerdings stehen alle Modelle weiterhin vor Herausforderungen, die Gesetze der Physik vollständig einzuhalten. Daher stehen Verbesserungen bei der Datenkuratierung und beim Modelldesign bereits auf NVIDIAs Roadmap, um die Fähigkeiten zukünftiger Modelle zu verbessern.
Fazit
Die von NVIDIA entwickelte Cosmos-Plattform stellt einen bedeutenden Fortschritt bei der Integration von GenAI in die physische Welt dar. Durch die Bewältigung zentraler Herausforderungen wie Datenskalierbarkeit und Sicherheitsbedenken ermöglicht Cosmos das Training und die Feinabstimmung physischer KI-Modelle in einer kontrollierten Digital-Twin-Umgebung. Mit ihrer Pipeline wie Videokuratierung, Tokenisierung, Modell-Vortraining, Nachtraining und Schutzmechanismen erleichtert Cosmos die Entwicklung von KI-Modellen, die zukünftige Beobachtungen vorhersagen und realistische Videoausgaben für eine Reihe physischer Anwendungen erzeugen können, darunter Robotik, autonomes Fahren und Kamerasteuerung.
Obwohl die Modelle in der Lage sind, qualitativ hochwertige Videos mit guter 3D-Konsistenz zu erzeugen, gibt es eine große Herausforderung, die noch angegangen werden muss. Weitere Verbesserungen bei der Datenkuratierung und beim Modelldesign sind erforderlich, um die Einhaltung der Gesetze der Physik durch die Modelle in den erzeugten Videos zu verbessern.
Weiterlesen
A Few Notes from Databricks Data + AI Summit 2026: Why the Data Layer Matters Again
James Luan shares notes from Databricks Data + AI Summit 2026 on why production AI is pushing the data layer back to the center of infrastructure.
Optimizing Embedding Model Selection with TDA Clustering: A Strategic Guide for Vector Databases
Discover how Topological Data Analysis (TDA) reveals hidden embedding model weaknesses and helps optimize vector database performance.
Vector Databases vs. Time Series Databases
Use a vector database for similarity search and semantic relationships; use a time series database for tracking value changes over time.