Blog
Erschließung umfassender visueller Erkenntnisse mit RGB-X-Modellen

Erschließung umfassender visueller Erkenntnisse mit RGB-X-Modellen

Oct 16, 202417 min read

Machine Learning entwickelt sich hin zu multimodal, wobei sich viele Modelle in Computer Vision mittlerweile auf Bereiche wie Vision und 3D ausweiten. Ein Bereich, der sich schnell, wenn auch eher im Stillen, weiterentwickelt hat, sind RGB-X-Daten—bei denen zusätzliche Daten wie Infrarot, Tiefe oder Oberflächennormalen zusammen mit traditionellen RGB-Informationen (Rot, Grün, Blau) einbezogen werden.

Bei einem kürzlich von Zilliz veranstalteten NYC Unstructured Data Meetup hielt Daniel Gural, ein Machine-Learning- und Developer-Relations-Experte bei Voxel51, einen aufschlussreichen Vortrag über RGB-X-Modelle, in dem er die neuesten Fortschritte und Best Practices für die Arbeit mit diesen komplexen Datenformaten hervorhob. Seine Präsentation untersuchte außerdem einige der führenden Modelle in diesem wachsenden Bereich der Visual AI und bot wertvolle Orientierung zum Umgang mit den reichhaltigeren, detaillierteren Daten, die RGB-X-Modelle in die Bildanalyse einbringen. In diesem Blog fassen wir die wichtigsten Erkenntnisse aus Gurals Vortrag zusammen. Wenn Sie an weiteren Details interessiert sind, sehen Sie sich die vollständige Präsentation auf YouTube an.

RGB-X-Modelle verstehen

RGB-X-Modelle sind fortschrittliche Machine-Learning-Modelle in Computer Vision, die traditionelle RGB-Daten (Rot, Grün, Blau) erweitern, indem sie zusätzliche Kanäle wie Tiefe, Infrarot oder Oberflächennormalen einbeziehen. Das X in RGB-X kann verschiedene Datentypen darstellen, wie zum Beispiel:

Tiefeninformationen: Messen die Entfernung von der Kamera zu Objekten in einer Szene und liefern räumlichen Kontext. In einem Szenario mit einem selbstfahrenden Auto können Tiefendaten dem Fahrzeug beispielsweise helfen zu bestimmen, dass ein Fußgänger 5 Meter entfernt ist, was eine sichere Navigation unterstützt.
Infrarotdaten: Erfassen Wärmesignaturen und sind dadurch nützlich für Nachtsicht und Wärmebildgebung. Bei der Wildtierüberwachung ermöglichen Infrarotdaten Forschenden, Tierbewegungen nachts zu verfolgen, ohne sie zu stören.
Normal Maps: Zeigen die Ausrichtung von Oberflächen, was für realistisches 3D-Rendering und Beleuchtungsberechnungen unerlässlich ist. In Virtual-Reality-Spielen erhöhen Normal Maps den Realismus von Texturen und Beleuchtung und schaffen immersivere Umgebungen.
Wärmebildgebung: Konzentriert sich auf Temperaturvariationen, ähnlich wie Infrarot, misst jedoch speziell die Wärmeverteilung. Bei Gebäudeinspektionen kann Wärmebildgebung Bereiche mit Wärmeverlust oder elektrischen Problemen identifizieren und so helfen, potenzielle Probleme frühzeitig zu erkennen.

Diese zusätzlichen Kanäle liefern zusätzliche Informationsdimensionen und ermöglichen eine umfassendere Analyse und ein besseres Verständnis visueller Szenen. Um zu verstehen, wie RGB-X-Modelle diese Daten in der Praxis integrieren, betrachten Sie das folgende Beispiel einer Person, die vor einem Gebäude steht.

Abbildung- Verschiedene Darstellungen einer Person, die vor einem Gebäude steht.png

Abbildung: Verschiedene Darstellungen einer Person, die vor einem Gebäude steht

Oben sind vier verschiedene Darstellungen einer Person zu sehen, die vor einem Gebäude steht. Das POSE-Panel zeigt das Originalbild mit einer überlagerten skelettalen Posenschätzung. Das SEG-Panel zeigt die Segmentierung, wobei verschiedene Körperteile und Kleidungsstücke farbcodiert sind. Das DEPTH-Panel verwendet einen Farbverlauf, um Tiefe darzustellen, wobei wärmere Farben nähere Objekte anzeigen. Das NORMAL-Panel zeigt Oberflächennormalen und verwendet Farbe, um die Ausrichtung von Oberflächen im 3D-Raum darzustellen.

Dieses Beispiel zeigt, dass RGB-X-Modelle gleichzeitig mehrere Aspekte einer Szene verarbeiten können, darunter Posenschätzung, Segmentierung, Tiefenwahrnehmung und Berechnung von Oberflächennormalen. Dieser vielschichtige Ansatz ermöglicht ein ganzheitlicheres Verständnis der visuellen Informationen. Schauen wir uns diese Komponenten genauer an:

Posenschätzung: Identifizieren der Position und Ausrichtung menschlicher Körperteile in einem Bild. Dabei wird Keypoint-Erkennung verwendet, um Gelenke zu lokalisieren und eine skelettale Darstellung der Person zu erstellen. In einer Fitnessanwendung könnte die Posenschätzung den Nutzern helfen, ihre Form während Übungen zu korrigieren, indem ihre Haltung mit einem idealen Modell verglichen wird.
Segmentierung: Dieser Prozess unterteilt ein Bild in mehrere Segmente oder Objekte. In RGB-X-Modellen kann er zwischen verschiedenen Körperteilen, Kleidungsstücken und Hintergrundelementen unterscheiden. In einer Augmented-Reality-Mode-App könnte die Segmentierung es Nutzern beispielsweise ermöglichen, verschiedene Outfits virtuell anzuprobieren, indem Kleidungsstücke präzise auf ihren Körpern überlagert werden.
Tiefenwahrnehmung: Mithilfe von Tiefeninformationen kann das Modell die 3D-Struktur einer Szene verstehen. Im Bild zeigen wärmere Farben (Rot- und Gelbtöne) Objekte an, die näher an der Kamera sind, während kühlere Farben (Blau- und Violetttöne) weiter entfernte Elemente darstellen. Dies könnte in einer Robotikanwendung entscheidend sein und einem Roboter helfen, Hindernisse in einem Lagerhaus zu umfahren.
Berechnung von Oberflächennormalen: Diese Technik berechnet die Ausrichtung von Oberflächen im 3D-Raum. Die Farbcodierung im NORMAL-Panel stellt verschiedene Oberflächenausrichtungen dar und liefert entscheidende Informationen zum Verständnis der Geometrie von Objekten in der Szene. In 3D-Modellierungssoftware könnten Informationen zu Oberflächennormalen Künstlern helfen, realistischere Texturen und Beleuchtungseffekte zu erstellen.

Nachdem wir nun die Kernkomponenten von RGB-X-Modellen untersucht haben, wollen wir lernen, wie diese Modelle in verschiedenen Branchen eingesetzt werden können, um komplexe visuelle Herausforderungen zu bewältigen.

Anwendungen von RGB-X-Modellen

Mit der Fähigkeit, vielschichtige visuelle Informationen zu verarbeiten, haben RGB-X-Modelle Anwendungen in verschiedenen Branchen und Anwendungsfällen gefunden, darunter Objektverfolgung über Frames hinweg und Vermessung schwierigen Geländes.

1. Objektverfolgung über Frames hinweg

RGB-X-Modelle eignen sich perfekt für die Objektverfolgung und gehen über die traditionelle Objekterkennung hinaus, indem sie Objekte über mehrere Video- oder Bildsequenz-Frames hinweg verfolgen. Diese Modelle verwenden RGB-Daten zusammen mit zusätzlichen Modalitäten, um die Leistung zu verbessern.

Werfen wir einen Blick auf die von Gural geteilte Struktur des RGB-X-Tracking-Systems:

Abbildung- Struktur des RGB-X-Tracking-Systems.png

Abbildung: Struktur des RGB-X-Tracking-Systems

Das System beginnt mit Eingaben aus verschiedenen Quellen – RGB-Kameras und Sensoren, die Tiefe, Wärmebilder oder andere Datentypen erfassen. Diese Eingaben werden an einen zentralen RGB Tracker weitergeleitet.

Zwei zentrale Verarbeitungsströme umgeben diesen Kern: modalitätsagnostische und modalitätsbewusste Komponenten. Modalitätsagnostische Teile verarbeiten Merkmale, die allen Eingabetypen gemeinsam sind, während modalitätsbewusste Abschnitte auf bestimmte Eingabemodalitäten wie Tiefen- oder Wärmebilddaten spezialisiert sind.

Dieses System verwendet Shallow-Embedding-Techniken, darunter Memory (MeME)- und Embedding-Module (Emb.), um anfängliche Eingabedarstellungen zu erstellen. Darauf folgt Deep Prompting, bei dem iterative Memory- und Prompt-Module verwendet werden, um die Informationen zu verfeinern und zu kontextualisieren.

Diese Komponenten arbeiten zusammen, um ein Generalist-RGB-X-System für Visual Object Tracking (VOT) zu bilden. Dieses System richtet Informationen aus Quellen wie Tiefendaten, Ereignisdaten und Wärmebildgebung aus und verarbeitet sie, wodurch Tracking über verschiedene Modalitäten hinweg ermöglicht wird.

Dieser Ansatz ermöglicht es RGB-X-Modellen, Objekte unter verschiedenen Bedingungen effektiv zu verfolgen. Zu den Anwendungen gehören:

Überwachungssysteme: Verfolgung von Personen oder Objekten über mehrere Kamera-Feeds hinweg, einschließlich Wechseln zwischen Sensortypen.
Autonome Fahrzeuge: Verfolgung von Fahrzeugen, Fußgängern und Hindernissen in Echtzeit unter Verwendung visueller, Tiefen- und potenziell thermischer Daten, um das Tracking unter unterschiedlichen Bedingungen aufrechtzuerhalten.
Robotik: Unterstützung von Robotern beim Verfolgen und Interagieren mit Objekten in dynamischen Umgebungen, unter Verwendung mehrerer Datenströme, um Objektpersistenz aufrechtzuerhalten, wenn visuelle Daten allein nicht ausreichen.
Sportanalyse: Verfolgung von Spielern und Ausrüstung für die Leistungsanalyse, potenziell durch Kombination von visuellem Tracking mit anderen Datentypen wie Infrarot für physiologische Überwachung.

Die multimodale Natur des RGB-X-Trackings ermöglicht eine konsistente Leistung unter schwierigen Bedingungen wie wechselnder Beleuchtung, teilweisen Verdeckungen oder komplexen Umgebungen. Wenn ein Objekt visuell verdeckt wird, können Tiefen- oder Wärmeinformationen dabei helfen, die Tracking-Genauigkeit aufrechtzuerhalten.

2. Vermessung schwierigen Geländes

RGB-X-Modelle unterstützen Vermessungs- und Kartierungsanwendungen, insbesondere in anspruchsvollen Umgebungen. Einige wichtige Einsatzmöglichkeiten sind:

Drohnenbasierte Kartierung: Die Ausstattung von Drohnen mit RGB-X-fähigen Sensoren ermöglicht die Erstellung detaillierter 3D-Karten von Gebieten, die zu Fuß schwer oder gefährlich zugänglich sind. Nach einer Naturkatastrophe könnten Drohnen mit RGB-X-Fähigkeiten beispielsweise beschädigte Gebiete schnell kartieren und Einsatzkräften helfen, ihre Maßnahmen effektiver zu planen.
On-board processing: Fortschrittliche RGB-X-Modelle können Echtzeitverarbeitung direkt auf der Drohne durchführen, wodurch sofortige Analyse und Entscheidungsfindung ermöglicht werden. In einem Such- und Rettungsszenario könnte eine Drohne autonom den Standort einer vermissten Person identifizieren und melden, ohne all ihre Daten an eine Basisstation zurückzusenden.
Geologische Untersuchungen: Die Tiefen- und Normaleninformationen von RGB-X-Daten sind nützlich, um Geländeformen und geologische Formationen zu verstehen. In der Bergbauexploration könnten RGB-X-Modelle helfen, vielversprechende Gebiete für Mineralvorkommen zu identifizieren, indem sie die Oberflächenmerkmale und Zusammensetzung großer Landflächen analysieren.

Abbildung – Wie RGB-X-Daten einfache Luftbilder in 3D-Modelle umwandeln können .png

Abbildung: Wie RGB-X-Daten einfache Luftbilder in 3D-Modelle umwandeln können

Das obige Bild veranschaulicht, wie RGB-X-Daten einfache Luftbilder in detaillierte 3D-Modelle umwandeln können, wodurch präzise Analyse und Planung in verschiedenen Bereichen wie Stadtentwicklung, Landwirtschaft und Umweltüberwachung ermöglicht werden. Stadtplaner könnten solche Modelle beispielsweise nutzen, um die Auswirkungen neuer Bauprojekte auf die Sonneneinstrahlung bestehender Gebäude zu bewerten.

Fortschritte in der Entwicklung von RGB-X-Modellen

Jüngste Entwicklungen in der Entwicklung von RGB-X-Modellen haben zu erheblichen Verbesserungen bei Leistung und Fähigkeiten geführt.

1. Sapiens und darüber hinaus

Das Sapiens-Modell stellt einen bedeutenden Fortschritt in der RGB-X-Verarbeitung dar. Es besteht aus vier spezialisierten Modellen, die sich jeweils auf einen anderen Aspekt des visuellen Verständnisses konzentrieren:

Posenschätzung: Dieses Modell identifiziert Schlüsselpunkte am menschlichen Körper, wie Gelenke und Gesichtslandmarken, um die Pose von Personen in der Szene zu bestimmen. Es verwendet eine Kombination aus Convolutional Neural Networks (CNNs) und Graph Neural Networks (GNNs), um diese Schlüsselpunkte präzise zu lokalisieren und zu verbinden. In einer realen Anwendung könnte dieses Modell in einem smarten Fitnessstudio eingesetzt werden, um Echtzeit-Feedback zur Übungsausführung zu geben.
Segmentierung: Das Segmentierungsmodell unterteilt das Bild in unterschiedliche Regionen und identifiziert verschiedene Objekte, Körperteile oder Hintergrundelemente. Es verwendet Fully Convolutional Networks (FCNs) oder U-Net-Architekturen, um pixelweise Klassifizierungen zu erzeugen. Dieses Modell könnte in autonomen Fahrzeugen eingesetzt werden, um verschiedene Elemente einer Straßenszene wie Fußgänger, Fahrzeuge und Verkehrsschilder präzise zu identifizieren und voneinander zu trennen.
Tiefenwahrnehmung: Dieses Modell schätzt die Entfernung jedes Pixels von der Kamera und erstellt eine Tiefenkarte der Szene. Es verwendet häufig Techniken wie Stereo Matching oder monokulare Tiefenschätzung mithilfe von Encoder-Decoder-Architekturen. In einer Robotikanwendung könnten diese Tiefeninformationen einem Roboter helfen, Objekte unterschiedlicher Größen und Formen präzise zu greifen.
Berechnung von Oberflächennormalen: Dieses Modell berechnet die Ausrichtung von Oberflächen im 3D-Raum. Es verwendet spezialisierte CNN-Architekturen, um den Oberflächennormalenvektor für jedes Pixel zu schätzen und liefert damit entscheidende Informationen über die Geometrie von Objekten in der Szene. Dies könnte in Augmented-Reality-Anwendungen wertvoll sein, da virtuelle Objekte realistisch mit realen Oberflächen interagieren können. Werfen wir einen Blick auf sapiens in Aktion.

Abbildung- Ausgaben des RGB-X-Modells mit Pose, Segmentierung, Tiefe und Normalenkarten für zwei Subjekte.png

Abbildung: Ausgaben des RGB-X-Modells mit Pose, Segmentierung, Tiefe und Normalenkarten für zwei Subjekte

Das obige Bild zeigt die Fähigkeiten fortschrittlicher RGB-X-Modelle wie Sapiens. Es zeigt zwei Bildsätze mit jeweils fünf Panels: das Originalbild, die Posenschätzung, die Segmentierung, die Tiefenkarte und die Oberflächennormalenkarte. Die obere Reihe zeigt einen Erwachsenen, während die untere ein Kind zeigt. Dies demonstriert die Fähigkeit des Modells, unterschiedliche Subjekte präzise zu verarbeiten.

2. Feingranulare Suchen

Mit den erweiterten Informationen, die in RGB-X-Daten verfügbar sind, ist es möglich, detailliertere und spezifischere Suchen in visuellen Datenbanken durchzuführen. Zum Beispiel:

Finden von Drohnenbildern, die aus bestimmten Winkeln aufgenommen wurden: Durch die Nutzung der Informationen aus der Normalenkarte kann das System Bilder identifizieren, bei denen Oberflächen in bestimmten Winkeln relativ zur Kamera ausgerichtet sind. Dies könnte bei Architekturvermessungen nützlich sein und Analysten ermöglichen, Bilder von Gebäuden aus bestimmten Blickwinkeln zu finden.
Identifizierung von Objekten basierend auf ihrer Tiefe in einer Szene: Der Tiefenkanal ermöglicht Abfragen, die die Entfernung von Objekten zur Kamera angeben, wodurch präzisere räumliche Suchen möglich werden. In einem Bestandsverwaltungssystem für den Einzelhandel könnte dies helfen, Produkte zu lokalisieren, die in bestimmten Tiefen auf Regalen platziert sind.
Suche nach thermischen Anomalien in Infrarotdaten: Der thermische Kanal kann Bereiche mit ungewöhnlichen Wärmesignaturen identifizieren, was in Anwendungen wie der industriellen Inspektion oder der Wildtierüberwachung nützlich ist. Beispielsweise könnte diese Fähigkeit in einem großen Solarpark schnell überhitzte Module identifizieren, die möglicherweise gewartet werden müssen.

3. Verkörperte KI und selbstfahrende Autos

RGB-X-Modelle spielen eine entscheidende Rolle bei der Entwicklung verkörperter KI, insbesondere bei selbstfahrenden Autos. Einige Anwendungen umfassen:

Erweiterte Navigation: Nutzung von Tiefen- und Normaleninformationen, um Straßenbedingungen und Hindernisse besser zu verstehen. Dadurch kann das Fahrzeug in Echtzeit eine detaillierte 3D-Karte seiner Umgebung erstellen. Zum Beispiel könnte das Auto ein Schlagloch erkennen und umfahren, indem es dessen Tiefe und Form versteht.
Objektidentifikation: Kombination von RGB- und Infrarotdaten zur verbesserten Objekterkennung unter verschiedenen Lichtbedingungen. Dies ist besonders nützlich, um Fußgänger, Tiere oder Hindernisse bei schlechten Lichtverhältnissen oder widrigen Wetterbedingungen zu identifizieren. Beispielsweise könnte das System in einer nebligen Nacht Fußgänger erkennen, die die Straße überqueren, selbst wenn sie allein im RGB-Bild nicht klar sichtbar sind.
Passagierüberwachung: Verwendung von Tiefen- und Wärmedaten zur Überwachung der Gesundheit und Sicherheit von Passagieren. Dieser Ansatz könnte Anzeichen von Notlagen oder ungewöhnlichem Verhalten im Fahrzeug erkennen. Zum Beispiel könnte das System feststellen, ob ein Passagier eingeschlafen ist oder einen medizinischen Notfall erlebt, und das Fahrzeug dazu veranlassen, geeignete Maßnahmen zu ergreifen.

Anwendungen von RGB-X-Modellen in selbstfahrenden Autos gehen über einfache Hindernisvermeidung hinaus. Diese Modelle ermöglichen anspruchsvollere Interaktionen, etwa dass Nutzer auf Objekte außerhalb des Autos zeigen und Informationen darüber erhalten können, oder die Überwachung der Gesundheit und Sicherheit von Passagieren im Fahrzeug.

Herausforderungen und Überlegungen zu RGB-X-Modellen

Während diese Fortschritte spannende neue Möglichkeiten eröffnen, ist es wichtig, die Herausforderungen und Überlegungen zu erkennen, die mit dem Einsatz von RGB-X-Modellen in realen Umgebungen einhergehen, darunter:

Datenkomplexität: Die Verwaltung und Verarbeitung von Vier-Kanal-Daten erfordert mehr Rechenressourcen und Speicherkapazität. Dies erhöht die Anforderungen an die Hardware und macht effiziente Datenverwaltungsstrategien erforderlich.
Interpretierbarkeit von Modellen: Da Modelle komplexer werden, wird es entscheidend, sicherzustellen, dass ihre Entscheidungen interpretierbar und erklärbar sind. Entwickler müssen möglicherweise Techniken wie Aufmerksamkeitsvisualisierung oder Analyse der Merkmalswichtigkeit implementieren, um Entscheidungen von RGB-X-Modellen transparenter zu machen.
Ethik und Datenschutz: Die erweiterten Fähigkeiten von RGB-X-Modellen werfen neue Fragen zum Datenschutz und zur ethischen Nutzung von KI auf. Zum Beispiel könnte die Fähigkeit, detaillierte 3D-Avatare aus kurzen Videoclips zu erstellen, Auswirkungen auf die Privatsphäre und Einwilligung haben. Organisationen, die RGB-X-Technologien implementieren, müssen möglicherweise robuste Datenschutzrichtlinien entwickeln und eine klare Einwilligung von Personen einholen, deren Daten erfasst und verarbeitet werden.

Integration von RGB-X-Modellen mit Vektordatenbanken

Wie Gural in seinem Vortrag betont, gehen RGB-X-Modelle über einfache Inferenz hinaus. Er erklärt: „Mit diesen Modellen können Sie nicht nur Vorhersagen über Oberflächennormalen, Tiefe, Wärmedaten oder andere Kanäle treffen, an denen Sie interessiert sind, sondern auch Einbettungen dafür erstellen.“ Diese Erkenntnis unterstreicht die duale Funktionalität von RGB-X-Modellen: Sie können Mehrkanal-Ausgaben vorhersagen und leistungsstarke Vektoreinbettungen erzeugen, die komplexe visuelle Merkmale erfassen und reichhaltigere Repräsentationen für nachgelagerte Aufgaben wie Bildabruf oder Klassifizierung bereitstellen.

Da RGB-X-Modelle hochdimensionale Einbettungen erzeugen, wird die effiziente Speicherung, Indexierung und der Abruf dieser Einbettungen entscheidend. Vektordatenbanken wie Milvus und Zilliz Cloud sind speziell dafür entwickelt, diese komplexen, mehrdimensionalen Daten zu verwalten, und eignen sich daher ideal für die Handhabung und Optimierung der reichhaltigen Einbettungen, die von RGB-X-Modellen erzeugt werden.

So verbessern Vektordatenbanken Anwendungen von RGB-X-Modellen:

Effiziente Ähnlichkeitssuche: Vektordatenbanken finden ähnliche Elemente in hochdimensionalen Einbettungsräumen. Für RGB-X-Daten können visuell oder strukturell ähnliche Szenen anhand komplexer Kriterien schnell lokalisiert werden. In einem groß angelegten Überwachungssystem könnten Betreiber Milvus verwenden, um sofort Aufnahmen mit ähnlichen Einbettungsmustern in Tiefen-, Wärme- oder kombiniertem RGB-X-Raum abzurufen.
Skalierbarkeit: Mit dem Wachstum von RGB-X-Anwendungen wächst auch das Volumen der Vektoreinbettungen. Vektordatenbanken wie Zilliz Cloud können riesige Datensätze dieser Einbettungen verarbeiten und eignen sich damit ideal für Anwendungen wie stadtweite Sensornetzwerke oder umfangreiche Analysen von Satellitenbildern.
Flexibles Schema: RGB-X-Ausgaben erzeugen häufig verschiedene Arten von Vektoreinbettungen – von visuellen Merkmalen bis hin zu Tiefen- und Wärmerepräsentationen. Milvus kann diese Vielfalt aufnehmen und ermöglicht die einheitliche Speicherung und Abfrage verschiedener RGB-X-Aspekteinbettungen.
RAG und GenAI: Durch das Speichern von RGB-X-Vektoreinbettungen in Milvus können Sie effektivere retrieval-augmented generation (RAG) pipelines für Ihre GenAI-Anwendungen erstellen. Dieser Ansatz kann die Leistung von KI-Modellen, die komplexe visuelle Szenen mithilfe multimodaler Einbettungen erschließen müssen, erheblich verbessern.
Unterstützung multimodaler Einbettungen: Milvus eignet sich gut zum Speichern und Vergleichen von Einbettungen aus verschiedenen Modalitäten. Diese Fähigkeit ist entscheidend für RGB-X-Anwendungen, die Beziehungen zwischen visuellen, Tiefen- und Wärme-Einbettungsräumen analysieren.

Die Integration von Milvus mit Tools wie FiftyOne kann RGB-X-Workflows weiter verbessern. Solche Integrationen ermöglichen die nahtlose Verwaltung von Datensätzen und ihren entsprechenden Einbettungen, die Visualisierung komplexer RGB-X-Ausgaben und effiziente Ähnlichkeitssuchen über große Sammlungen von Mehrkanal-Bildeinbettungen hinweg.

Praktisch: Monokulare Tiefenschätzung mit FiftyOne

Um die praktischen Anwendungen von RGB-X-Modellen zu veranschaulichen, gehen wir ein praktisches Beispiel für die Verwendung von FiftyOne zur monokularen Tiefenschätzung mit dem SUNRGBD-Datensatz durch. Wir behandeln, wie man mit dem Laden und Verarbeiten von RGB-D-Daten (RGB + Tiefe) in Fifty One beginnt, was Gural im Vortrag gezeigt hat. Außerdem fügen wir einen Link zum vollständigen Tutorial zur Nutzung von RGB-X-Modellen für diese Daten hinzu.

Schritt 1: Einrichtung und Installation

Zunächst müssen wir die erforderlichen Bibliotheken installieren und den Datensatz herunterladen:

!pip install fiftyone
!curl -o sunrgbd.zip https://rgbd.cs.princeton.edu/data/SUNRGBD.zip
!unzip sunrgbd.zip

Dieser Code installiert FiftyOne, lädt den SUNRGBD-Datensatz herunter und entpackt ihn. FiftyOne ist ein Tool für Datensatzverwaltung und Visualisierung, das für Computer-Vision-Aufgaben nützlich ist.

Schritt 2: Importieren der erforderlichen Bibliotheken

Als Nächstes importieren wir die notwendigen Python-Bibliotheken:

from glob import glob
import numpy as np
from PIL import Image
import torch
import fiftyone as fo
import fiftyone.zoo as foz
import fiftyone.brain as fob
from fiftyone import ViewField as F

Diese Importe stellen uns Tools für Dateiverwaltung (glob), numerische Operationen (numpy), Bildverarbeitung (PIL), Deep Learning (torch) und Datensatzverwaltung (fiftyone) bereit.

Schritt 3: Erstellen des Datensatzes

Jetzt erstellen wir einen FiftyOne-Datensatz und füllen ihn mit Beispielen aus dem SUNRGBD-Datensatz:

dataset = fo.Dataset(name="SUNRGBD-20", persistent=True)
# Restrict to 20 scenes
scene_dirs = glob("SUNRGBD/k*/*/*")[:20]

samples = []
for scene_dir in scene_dirs:
    # Get image file path from scene directory
    image_path = glob(f"{scene_dir}/image/*")[0]
    
    # Get depth map file path from scene directory
    depth_path = glob(f"{scene_dir}/depth_bfx/*")[0]
    depth_map = np.array(Image.open(depth_path))
    depth_map = (depth_map * 255 / np.max(depth_map)).astype("uint8")
    
    sample = fo.Sample(
        filepath=image_path,
        gt_depth=fo.Heatmap(map=depth_map),
    )
    samples.append(sample)

dataset.add_samples(samples)

Dieser Code erstellt einen neuen FiftyOne-Datensatz namens "SUNRGBD-20". Anschließend durchläuft er 20 Szenen aus dem SUNRGBD-Datensatz und lädt für jede Szene sowohl das RGB-Bild als auch die zugehörige Tiefenkarte. Die Tiefenkarten werden normalisiert und zur leichteren Visualisierung in ein 8-Bit-Format konvertiert. Jedes Bild-Tiefen-Paar wird dem Datensatz als Sample hinzugefügt, wobei die Tiefenkarte als Heatmap gespeichert wird.

Schritt 4: Starten der FiftyOne-App

Schließlich starten wir die FiftyOne-App, um unseren Datensatz zu visualisieren:

session = fo.launch_app(dataset, auto=False)
# Then open tab to localhost:5151 in browser

Der Code startet die FiftyOne-App, die eine webbasierte Oberfläche zum Erkunden und Analysieren des Datensatzes bereitstellt. Sie können auf diese Oberfläche zugreifen, indem Sie einen Webbrowser öffnen und zu localhost:5151 navigieren.

Die Oberfläche sollte dieser ähnlich sein:

Abbildung- Tiefenkarten aus dem SUNRGBD-20-Datensatz in FiftyOne.png

Abbildung: Tiefenkarten aus dem SUNRGBD-20-Datensatz in FiftyOne

Diese Ausgabe zeigt Tiefenkarten aus dem von uns erstellten SUNRGBD-20-Datensatz. Die Heatmaps stellen die Tiefeninformationen verschiedener Innenraumszenen dar, wobei hellere Gelb- und Grüntöne nähere Objekte oder Oberflächen anzeigen und dunklere Blautöne Bereiche darstellen, die weiter von der Kamera entfernt sind.

Nachdem Sie den Datensatz geladen haben, können Sie diesem Tutorial folgen, um Modelle zur monokularen Tiefenschätzung darauf auszuführen.

Die Zukunft des maschinellen Lernens mit RGB-X-Modellen

Da sich RGB-X-Modelle weiterentwickeln, werden sie wahrscheinlich einen erheblichen Einfluss auf die Zukunft des maschinellen Lernens und der KI haben:

1. Verbesserte Mensch-Digital-Interaktion

RGB-X-Modelle ermöglichen natürlichere und intuitivere Interaktionen zwischen Menschen und digitalen Systemen. Einige mögliche Anwendungen sind:

Erstellung realistischer 3D-Avatare aus kurzen Videoclips: RGB-X-Modelle können genauere und detailliertere 3D-Darstellungen von Personen aus begrenzten Eingabedaten erzeugen, indem sie Tiefen- und Normaleninformationen nutzen. Dies könnte virtuelle Meetings revolutionieren, indem Teilnehmer durch lebensechte Avatare dargestellt werden, die ihre Ausdrücke und Bewegungen präzise nachahmen.
Verbesserung der Gestenerkennung für virtuelle und erweiterte Realität: Die zusätzlichen Informationskanäle ermöglichen eine präzisere Verfolgung von Hand- und Körperbewegungen und damit reaktionsschnellere und immersivere VR/AR-Erlebnisse. Beispielsweise könnte das System in einer VR-Bildhaueranwendung feine Fingerbewegungen genau erkennen und so eine präzisere und intuitivere Bearbeitung von virtuellem Ton ermöglichen.
Verbesserung von Gesichtserkennungs- und Emotionserkennungssystemen: Durch die Einbeziehung von Tiefen- und Thermaldaten können diese Systeme Gesichtsausdrücke und physiologische Reaktionen besser verstehen, was zu einer genaueren Emotionserkennung führt. Dies könnte in der Marktforschung eingesetzt werden, wo Unternehmen die Reaktionen des Publikums auf Produkte oder Werbung genauer einschätzen könnten.

Gural hob das Potenzial von RGB-X-Modellen bei der Erstellung detaillierter 3D-Avatare aus einfachen Videoeingaben hervor. Diese Technologie könnte verändern, wie wir in virtuellen Umgebungen interagieren, von Videospielen bis hin zu virtuellen Büros.

2. Fortgeschrittene Robotik

Die multimodale Natur von RGB-X-Daten ist in der Robotik besonders wertvoll:

Verbesserte Objektmanipulation: Tiefen- und Normalendaten können Robotern helfen, Objektformen und Texturen besser zu verstehen, was ein präziseres Greifen und Manipulieren unterschiedlichster Objekte ermöglicht. In einer Lagerumgebung könnten Roboter eine große Vielfalt an Produkten handhaben, von empfindlichen Glaswaren bis hin zu ungewöhnlich geformten Verpackungen, mit gleicher Geschicklichkeit.
Verbesserte Navigation: Die Kombination von RGB mit Tiefeninformationen ermöglicht präzisere Bewegungen in komplexen Umgebungen und verbessert die Fähigkeit eines Roboters, sich in überfüllten oder dynamischen Räumen zurechtzufinden. Beispielsweise könnte ein Heimassistenzroboter Möbel und Haustiere umgehen und sich effektiver um Menschen herum bewegen.
Bessere Mensch-Roboter-Interaktion: Durch ein genaueres Verständnis menschlicher Körperhaltungen und Gesten können Roboter natürlicher mit Menschen interagieren, subtile Hinweise interpretieren und angemessen reagieren. Dies könnte besonders in Gesundheitseinrichtungen wertvoll sein, wo Roboter Patienten unterstützen könnten und gleichzeitig sensibel auf deren Bewegungen und nonverbale Kommunikation reagieren.

3. Umweltüberwachung und Naturschutz

RGB-X-Modelle haben das Potenzial, die Art und Weise zu revolutionieren, wie wir die Umwelt überwachen und schützen:

Präzise Waldkartierung: Kombiniert RGB-Bilder mit Tiefeninformationen für eine genaue Baumzählung und Artenidentifikation. Dies kann die Waldbewirtschaftung und Naturschutzbemühungen unterstützen. Beispielsweise könnten Forscher Drohnen mit RGB-X-Sensoren einsetzen, um schnell den Gesundheitszustand eines Waldes zu bewerten und mit hoher Präzision Bereiche zu identifizieren, die von Krankheiten oder Entwaldung betroffen sind.
Wildtierverfolgung: Nutzung von Wärme- und RGB-Daten zur nichtinvasiven Überwachung von Tierpopulationen. Dieser Ansatz kann wertvolle Einblicke in Tierverhalten und Lebensraumnutzung liefern, ohne die beobachteten Tiere zu stören. Beispielsweise könnten Naturschützer mit RGB-X ausgestattete Kameras verwenden, um gefährdete Arten in ihren natürlichen Lebensräumen zu verfolgen, selbst bei schlechten Lichtverhältnissen oder dichter Vegetation.
Bewertung der Auswirkungen des Klimawandels: Nutzung von Tiefen- und Normalendaten, um Veränderungen im Gelände im Laufe der Zeit zu verfolgen, etwa Küstenerosion oder Gletscherrückgang. Durch die Erstellung detaillierter 3D-Modelle von Landschaften im Zeitverlauf können Wissenschaftler die Auswirkungen des Klimawandels genauer quantifizieren und visualisieren. Dies könnte besonders nützlich sein, um den Anstieg des Meeresspiegels und seine Auswirkungen auf Küstengemeinden zu überwachen.

Fazit

Gural stellte die Fortschritte in der Entwicklung von RGB-X-Modellen vor und zeigte, wie diese Modelle über traditionelle RGB-Kanäle hinausgehen, um neue Dimensionen in Computer Vision und KI zu erschließen. Durch die Integration zusätzlicher Daten wie Tiefe, Infrarot und mehr haben RGB-X-Modelle die Möglichkeiten der visuellen Analyse neu definiert und machen sie in vielfältigen Anwendungen wie autonomen Fahrzeugen, Robotik und Umweltüberwachung unverzichtbar.

Weiterführende Lektüre

Aktualisiert am Jul 13, 2026

Simon Mwaniki

Weiterlesen

A Few Notes from Databricks Data + AI Summit 2026: Why the Data Layer Matters Again

James Luan shares notes from Databricks Data + AI Summit 2026 on why production AI is pushing the data layer back to the center of infrastructure.

Context Engineering Strategies for AI Agents: A Developer’s Guide

Learn practical context engineering strategies for AI agents. Explore frameworks, tools, and techniques to improve reliability, efficiency, and cost.

Why I’m Against Claude Code’s Grep-Only Retrieval? It Just Burns Too Many Tokens

Learn how vector-based code retrieval cuts Claude Code token consumption by 40%. Open-source solution with easy MCP integration. Try claude-context today.