Bilder und Text zusammenführen: Wie multimodale Retrieval die Suche transformiert
Der Aufstieg multimodaler Modelle
Wenn wir auf die rasanten Fortschritte von großen Sprachmodellen (LLMs) im Jahr 2024 zurückblicken, wird deutlich, dass KI durch verstärkte Innovation und Investitionen weiter voranschreitet. Während reichlich Textdaten verfügbar sind, haben Forschende erkannt, dass Menschen die Welt durch mehrere Sinne verstehen, was zu einer Verlagerung hin zur Nutzung anderer Datentypen wie Bilder, Audio und Videos geführt hat. Dieser Wandel hat den Aufstieg von multimodalen KI-Modellen vorangetrieben, die Daten aus mehreren Quellen verarbeiten und verstehen können und so reichhaltigere, komplexere Interpretationen von Informationen ermöglichen.
In der ersten Hälfte des Jahres 2024 sahen wir bedeutende Veröffentlichungen multimodaler Modelle, wie OpenAIs GPT-4o, Anthropics Claude 3, Googles Gemini 1.5 Pro und Apples Ferret-UI. Diese Modelle erweitern die Fähigkeiten der KI über Text hinaus und eröffnen neue Anwendungen in der Kreativbranche, in Produktivitätstools und in interaktiveren Systemen. Was einst ein akademisches Nischenkonzept war, ist nun zum Mainstream geworden, wobei Entwickler diese APIs nutzen, um Anwendungen zu erstellen, die KI mit vielfältigen Medien integrieren und neue Innovationsmöglichkeiten erschließen.
OpenAI-Wissenschaftler zeigen die multimodalen Fähigkeiten ihres neu veröffentlichten GPT-40.png
Abbildung: OpenAI-Wissenschaftler zeigen die multimodalen Fähigkeiten ihres neu veröffentlichten GPT-40
Multimodaler Abruf und Composed Image Retrieval (CIR)
Mit der Entwicklung multimodaler Modelle wird multimodaler Abruf—der Eingaben aus mehreren Modalitäten, typischerweise Text und Bilder, kombiniert—immer beliebter. Dieser Ansatz ermöglicht eine nuanciertere und präzisere Erfassung der Suchabsichten der Nutzer, indem die Stärken beider Modalitäten genutzt werden.
Eine der häufigsten Aufgaben innerhalb des multimodalen Abrufs ist Composed Image Retrieval (CIR), bei der Nutzer eine Abfrage bereitstellen, die ein Referenzbild zusammen mit einer beschreibenden Bildunterschrift enthält. Dieser Dual-Input-Ansatz ermöglicht den Abruf spezifischer Bilder, indem visuelle Inhalte mit textuellen Anweisungen kombiniert werden, wodurch eine detailliertere und genauere Abfrage entsteht.
Traditionelle Bildsuchen stützen sich hauptsächlich auf visuelle Ähnlichkeitsmetriken, die für viele allgemeine Abfragen effektiv sind. In Fällen jedoch, in denen ein einzelnes Referenzbild die Absicht des Nutzers nicht vollständig ausdrückt, wird die Texteingabe zu einer wesentlichen Ergänzung. Der Text fügt Kontext und Präzision hinzu, die einem Bild allein möglicherweise fehlen, und ermöglicht es den Nutzern, ihre Suchanfragen fein abzustimmen. Diese Verschmelzung von Modalitäten ermöglicht es Entwicklern, robustere und flexiblere Suchsysteme zu schaffen, sodass Nutzer komplexe Abfragen natürlich und mit höherer Präzision ausdrücken können.
In den folgenden Abschnitten werden wir die führenden Modelle und Techniken im Bereich Composed Image Retrieval, ihre Methoden und ihre Leistung in verschiedenen Domänen untersuchen, bewertet anhand beliebter Datensätze wie FashionIQ, CIRR und CIRCO. Diese Bewertungen werden die Stärken und Grenzen verschiedener CIR-Ansätze in realen Anwendungen hervorheben.
Ein Überblick über beliebte Methoden des Composed Image Retrieval
In den letzten Jahren haben sich multimodale Abruftechniken in Richtung Zero-Shot-Universalität weiterentwickelt, insbesondere mit Modellen wie CLIP, das leistungsstarken Text-zu-Bild-Abruf mithilfe eines gemeinsamen Einbettungsraums für beide Modalitäten ermöglicht. Diese Techniken nutzen je nach verfügbaren Ressourcen entweder vortrainierte Einbettungen oder feinabgestimmte, annotierte Datensätze, was zu erheblichen Verbesserungen der Suchleistung und Datenqualität führt.
Die folgende Tabelle bietet einen Überblick über beliebte Composed-Image-Retrieval (CIR)-Techniken, ihre Kernmethodologien und die Arten von Embeddings, die sie generieren und für die Suche verwenden:
| Technik | Beschreibung | Generiertes Embedding | Such-Embedding |
| Pic2Word | Wandelt ein Bild in ein in Text eingebettetes Token um und ermöglicht so flexible Bild-zu-Text-Suchen. | CLIP Text Embedding | CLIP Visual Embedding |
| CompoDiff | Wendet Rauschen auf ein visuelles CLIP-Embedding an und verwendet anschließend Text während des Entrauschungsprozesses, um ein bedingtes visuelles CLIP-Embedding zu rekonstruieren. | CLIP Visual Embedding | CLIP Visual Embedding |
| CIReVL | Transformiert ein Bild in beschreibenden Text, modifiziert die Beschreibung passend zum Ziel und generiert eine neue Repräsentation. | CLIP Text Embedding | CLIP Visual Embedding |
| MagicLens | Verwendet ein Transformer-Modell, das Bild- und Textdaten gleichzeitig verarbeitet und ein einheitliches Vektor-Embedding erzeugt. | MagicLens Embedding | MagicLens Embedding |
Pic2Word: Abbildung von Bildern auf Wörter für Zero-shot Composed Image Retrieval
Pic2Word ist eine Methode für Zero-shot Composed Image Retrieval (ZS-CIR), die darauf abzielt, Bilder mithilfe von Bild und Text als Eingabeabfragen abzurufen, ohne große, beschriftete Datensätze zu benötigen. Unter Verwendung des vortrainierten CLIP-Modells bildet Pic2Word visuelle Embeddings aus Bildern auf Pseudo-Wort-Token ab, die das Bild im Textraum repräsentieren. Dadurch kann das Modell die Bildmerkmale mit Textbeschreibungen kombinieren, um Zielbilder auf Grundlage der im Text angegebenen Modifikationen abzurufen (z. B. das Ändern von Attributen eines Bildes, etwa der Farbe eines Objekts).
Links-der Prozess des Trainings des Pic2word-Mapping-Netzwerks; Rechts-der Prozess des Composed Image Retrieval..png
Abbildung: Links: der Prozess des Trainings des Pic2word-Mapping-Netzwerks; Rechts: der Prozess des Composed Image Retrieval.
Wie Pic2Word funktioniert
Das obige Bild zeigt das Training des Pic2Word-Mapping-Netzwerks und den Prozess des Composed Image Retrieval. Während des Trainingsprozesses wird ein Bild (z. B. ein Bild einer Katze) durch einen eingefrorenen Visual Encoder geleitet, der ein visuelles Embedding erzeugt. Gleichzeitig wird ein tokenisierter Text-Prompt wie "A photo of" durch einen Text Encoder geleitet, der ein entsprechendes Text-Embedding erzeugt. Das Ziel des Mapping-Netzwerks besteht darin, das Bild-Embedding auf ein Pseudo-Token abzubilden, das in den Text-Prompt integriert werden kann, wodurch die Phrase "A photo of [s]." entsteht.
Dieses abgebildete Token sollte, wenn es durch den eingefrorenen Text Encoder geleitet wird, ein textuelles Embedding erzeugen, das eng mit dem ursprünglichen Bild-Embedding übereinstimmt. Das Netzwerk wird mithilfe einer Contrastive-Loss-Funktion trainiert, die den Abstand zwischen dem visuellen Embedding und dem Text-Embedding minimiert und sicherstellt, dass das Bild präzise als wortähnliches Token repräsentiert wird.
Sobald das Mapping-Netzwerk trainiert ist, kann es für Aufgaben der zusammengesetzten Bildsuche verwendet werden. In dieser Phase gibt der Benutzer ein Bild (z. B. einen Hund) und eine Textanfrage (z. B. "in einem Pool") ein. Das Bild wird durch den Visual Encoder verarbeitet, während der Text durch den Text Encoder verarbeitet wird. Das gelernte Pseudo-Token verbessert die Anfrage und ermöglicht es dem System, die Zusammensetzung von Bild und Text zu verstehen.
Das Abfrage-Feature, das Bild- und Textrepräsentationen kombiniert, wird mit einer Datenbank von Kandidatenbildern verglichen. Das System ruft dann das am besten passende Bild ab (z. B. einen Hund, der in einem Pool schwimmt), wodurch das Eingabebild effektiv auf Grundlage der bereitgestellten Textbeschreibung modifiziert wird.
CompoDiff: Vielseitige zusammengesetzte Bildsuche mit latenter Diffusion
CompoDiff ist ein diffusionsbasiertes Modell, das für Zero-Shot Composed Image Retrieval (ZS-CIR) entwickelt wurde. Es verwendet Diffusionsmodelle, eine Technik in der Text-zu-Bild-Generierung, um die Flexibilität und Präzision der Bildbearbeitung und -suche erheblich zu verbessern. Diese Modelle gehen über die einfache Bezugnahme auf Text hinaus; sie stellen sicher, dass die generierten Bilder mit den während des Trainings beobachteten Mustern übereinstimmen. Durch die Verwendung von Diffusionsmodellen erstellt CompoDiff Einbettungen, die Eingabetext, Referenzbilder und Masken zusammenführen und Vektoren erzeugen, die mit der CLIP visual embedding distribution übereinstimmen.
Wie verstehen wir also die Mechanik von Diffusionsmodellen? Betrachten Sie ein Foto, das im Laufe der Zeit zunehmend verrauscht wird. Stellen Sie sich vor, Sie beginnen mit einem klaren, scharfen Bild und fügen ihm dann allmählich zufälliges Rauschen hinzu, ähnlich wie statisches Rauschen auf einem alten Fernseher. Das Bild wird immer stärker verdeckt, bis es fast unkenntlich ist und wie reines Rauschen aussieht. Dies ist der Forward-Diffusion-Prozess.
Der faszinierendere Teil ist jedoch der umgekehrte Prozess. Bei Diffusionsmodellen besteht das Ziel darin, mit diesem verrauschten Bild zu beginnen und es Schritt für Schritt langsam zu "entrauschen". Während das Modell Rauschen entfernt, rekonstruiert es das ursprüngliche Bild (oder erstellt neue Bilder auf Grundlage von Text-Prompts). Dieser Prozess ermöglicht es dem Modell, hochwertige Bilder zu generieren, die bestimmten Bedingungen entsprechen—wie einer bestimmten Textbeschreibung oder einem Referenzbild.
Beim Einbetten von Text funktioniert es auf die gleiche Weise. CompoDiff entrauscht schrittweise eine Gaußsche Rauscheinbettung und verbessert ihr Signal-Rausch-Verhältnis, bis es dem einer visuellen CLIP-Einbettung entspricht. Text und Bilder steuern diese Transformation, wobei Masken zusätzliche Hinweise darauf geben, welche Bildbereiche modifiziert werden sollen.
How CompoDiff Works.png
Abbildung: Funktionsweise von CompoDiff
Inferenzprozess von CompoDiff
In der Inferenzphase von CompoDiff, wie im Diagramm dargestellt, beginnt der Prozess mit einem Eingabebild (z. B. dem Eiffelturm), das durch den CLIP Image Encoder in einen latenten Raum kodiert wird, wodurch die anfängliche visuelle Einbettung entsteht. Diese Einbettung durchläuft einen Forward-Diffusion-Prozess, bei dem ihr Rauschen hinzugefügt wird und sie in eine verrauschtere Version umgewandelt wird, die eine degradierte Version des ursprünglichen Bildes darstellt.
Als Nächstes wird der Denoising Transformer angewendet, der das Rauschen schrittweise in mehreren Schritten entfernt ( -mal wiederholt), um eine sauberere Bildeinbettung wiederherzustellen. Der Entrauschungsprozess wird durch Bedingungen gesteuert, die beeinflussen, wie das Bild rekonstruiert werden soll. Diese Bedingungen umfassen:
Textbedingung : In diesem Fall wird der Text-Prompt "Balloon" durch einen Text Encoder (CLIP oder andere Textmodelle wie T5) kodiert, wodurch eine Texteinbettung entsteht. Diese Einbettung fügt dem Entrauschungsprozess eine kontextuelle Orientierung hinzu und stellt sicher, dass das endgültige Bild mit der Beschreibung eines "Balloon" übereinstimmt.
Maskenbedingung : Wenn eine Maske bereitgestellt wird, wird sie durch ein Multi-Layer Perceptron (MLP) verarbeitet, um eine Maskeneinbettung zu erzeugen, die die Entrauschung anleitet, sich auf bestimmte Bereiche des Bildes zu konzentrieren, etwa um Elemente wie einen Ballon in bestimmten Regionen zu verändern oder hinzuzufügen.
Die Text- und Maskenbedingungen werden mit der verrauschten visuellen Einbettung konkateniert und durch den Entrauschungs-Transformer geleitet, der Classifier-Free Guidance (CFG) verwendet, um die Stärke dieser Bedingungen anzupassen. Wenn keine Maske oder Bedingung bereitgestellt wird, werden standardmäßige Nullvektoren verwendet, um einen reibungslosen Betrieb sicherzustellen.
Bemerkenswerterweise werden während dieses Prozesses auch negative Textbedingungen eingeführt, um die Ausgabe zu verfeinern. Beispielsweise könnte eine negative Bedingung wie „mehrere Ballons“ angewendet werden, um zu vermeiden, dass mehr als ein Ballon erzeugt wird, wodurch sichergestellt wird, dass das endgültige Bild einen einzelnen Ballon in der Nähe des Eiffelturms zeigt.
Nach mehreren Iterationen der Entrauschung stimmt die resultierende Bildeinbettung mit den visuellen CLIP-Merkmalen überein und wird anschließend mit einer Retrieval-Datenbank verglichen, um das am besten passende Bild zu finden oder zu erzeugen, was in diesem Fall der Eiffelturm mit einem Ballon am Himmel wäre.
Trainingsprozess von CompoDiff
Das Training erfolgt in zwei Phasen:
Trainingsprozess von CompoDiff.png
Abbildung: Trainingsprozess von CompoDiff
****
Phase 1: Training mit LAION-2B
In der ersten Phase wird das Modell auf dem LAION-2B-Datensatz trainiert, der eine große Sammlung von Bild-Text-Paaren enthält. Das Hauptziel dieser Phase besteht darin, zu lernen, wie visuelle CLIP-Einbettungen aus verrauschten Eingaben erzeugt werden können, wobei textuelle Beschreibungen als Anleitung dienen.
Der Prozess beginnt damit, dass ein Bild (z. B. ein Vogel) in eine visuelle CLIP-Einbettung kodiert wird. Diese Einbettung durchläuft einen Diffusionsprozess, bei dem über mehrere Schritte hinweg zunehmend Rauschen hinzugefügt wird, was zu einer stark verrauschten Version führt, die kaum bis gar keine identifizierbaren Informationen enthält. Gleichzeitig wird die entsprechende Textbeschreibung, etwa „Ein Meisenküken sitzt auf einer Holzoberfläche neben Blumen“, in eine CLIP-Texteinbettung kodiert. Die verrauschte visuelle Einbettung und die Texteinbettung werden dann in einen Entrauschungs-Transformer eingespeist, der das Rauschen schrittweise entfernt und dabei vom Text geleitet wird. Der Transformer zielt darauf ab, die saubere visuelle Einbettung des Bildes schrittweise zu rekonstruieren. Das Ziel in dieser Phase besteht darin, die Differenz zwischen der verrauschten visuellen Einbettung und der rekonstruierten Einbettung unter Verwendung des Textes als leitender Referenz zu minimieren. Dadurch lernt das Modell, visuelle und textuelle Informationen aufeinander abzustimmen und sicherzustellen, dass die erzeugten Bildmerkmale der Textbeschreibung entsprechen.
Phase 2: Feinabstimmung auf dem SynthTriplets18M-Datensatz
In Phase 2 wird das Modell sowohl auf dem LAION-2B- als auch auf dem synthetischen SynthTriplet18M-Datensatz feinabgestimmt, wodurch seine Fähigkeit verbessert wird, komplexere Szenarien zu bewältigen.
In dieser Phase lernt das Modell, spezifische Bilder nicht nur aus Textbeschreibungen zu erzeugen, sondern auch durch die Einbeziehung von Referenzbildern und Maskenbedingungen, die Bereiche angeben, die verändert werden sollen. Das Training beginnt damit, dass ein Eingabebild kodiert wird, genau wie in Phase 1, aber nun wird zusätzlich ein Referenzbild bereitgestellt und in seine eigene visuelle Einbettung kodiert. Das Referenzbild leitet das Modell bei der Veränderung des Eingabebildes an. Außerdem wird eine Maskenbedingung eingeführt, die bestimmte Regionen im Bild hervorhebt, die verändert werden müssen. Die Maske wird mithilfe eines MLP (Multi-Layer Perceptron) in eine Einbettung verarbeitet und arbeitet zusammen mit der Texteinbettung (z. B. „Ändere die Meise in einen Hahn“), um den Entrauschungsprozess anzuleiten.
Das Modell wechselt zwischen zwei Zielen: einem, bei dem es lernt, bestimmte Bereiche des Zielbildes basierend auf den Text- und Maskenbedingungen zu verdecken, und einem anderen, bei dem es seine Fähigkeit verfeinert, das Eingabebild basierend auf der bereitgestellten Referenz, Maske und dem Text in das Zielbild zu transformieren. Durch diesen alternierenden Trainingsprozess lernt das Modell, visuelle und textuelle Informationen zu kombinieren, um Bilder präzise und flexibel zu verändern. Am Ende dieser beiden Phasen ist CompoDiff in der Lage, komplexe Aufgaben der komponierten Bildsuche zu bewältigen und bietet eine feine Kontrolle darüber, wie Bilder basierend auf mehreren Bedingungen generiert und verändert werden. Dadurch kann das Modell Bilder erzeugen, die mit detaillierten Textanweisungen übereinstimmen, Merkmale aus Referenzbildern einbeziehen und bestimmte Regionen selektiv verändern.
CIReVL: Vision-by-Language für trainingsfreie kompositionelle Bildsuche
Die meisten Modelle für kompositionelle Bildsuche (CIR) stützen sich auf annotierte Datensätze und aufgabenspezifisches Modelltraining, was teuer und anfällig für Overfitting ist. Das bedeutet, dass die Modelle tendenziell schlecht abschneiden, wenn ihnen Bilder präsentiert werden, die von ihrer Trainingsverteilung abweichen. Dieses Problem wird besonders in realen Anwendungen problematisch, in denen die Vielfalt der Eingaben enorm und unvorhersehbar sein kann. Mit der Entwicklung großskaliger Modelle wie großer Sprachmodelle (LLMs) und Vision-Language-Modelle (VLMs) hat das Paradigma des Zero-Shot-Learning—bei dem Modelle Aufgaben ausführen, auf die sie nicht explizit trainiert wurden—erhebliche Aufmerksamkeit erlangt. CIReVL ist ein prominentes Beispiel für ein Zero-Shot-CIR-Modell, das kein zusätzliches Training erfordert und dennoch eine robuste Leistung erzielt.
How CIReVL works.png
Abbildung: Wie CIReVL funktioniert
Genauer gesagt ist CIReVL (Compositional Image Retrieval through Vision-by-Language) ein trainingsfreier Ansatz für kompositionelle Bildsuche, der bestehende, vortrainierte Modelle wie VLMs und LLMs nutzt. Sein Ziel ist es, Zielbilder aus einer Datenbank abzurufen, indem ein Abfragebild und ein textueller Modifikator kombiniert werden (zum Beispiel „Eiffelturm ohne Menschen und bei Nacht“). Was CIReVL auszeichnet, ist seine Fähigkeit, die Notwendigkeit von überwachtem Training vollständig zu umgehen und damit eine flexiblere und effizientere Lösung für CIR-Aufgaben zu bieten.
Die Methode basiert auf drei Schlüsselkomponenten, die jeweils über starke Generalisierungsfähigkeiten verfügen. Zunächst generiert ein Vision-Language-Modell (wie BLIP2) eine beschreibende Bildunterschrift für das Eingabebild. Zweitens modifiziert ein großes Sprachmodell (wie GPT-3.5 oder GPT-4) die Bildunterschrift basierend auf den bereitgestellten Textanweisungen (z. B. „Menschen entfernen, die Zeit auf Nacht ändern“). Schließlich wird die modifizierte Bildunterschrift mithilfe eines Text-Bild-Encoders wie CLIP in ein Text-Embedding umgewandelt, das anschließend die eigentliche Bildsuche in der Datenbank durchführt. Dieser Prozess ist hochgradig modular und erfolgt ausschließlich im Sprachraum, wodurch eine intuitivere Steuerung und Benutzereingriffe ermöglicht werden. Diese einfache Pipeline macht CIReVL zudem sowohl skalierbar als auch anpassungsfähig.
MagicLens: Selbstüberwachte Bildsuche mit offenen Anweisungen
Wenn wir auf frühere Methoden zurückblicken, stellen wir fest, dass eine der größten Herausforderungen bei der komponierten Bildsuche (CIR) darin besteht, hochwertige, reale Daten zu sammeln und zu annotieren, um Modelle zu trainieren, die über verschiedene Kontexte hinweg gut generalisieren. Modelle müssen komplexe Bildbeziehungen verstehen, aber die für diese Art von Training erforderlichen Daten sind oft teuer und schwer zu beschaffen. Um dieses Problem anzugehen, stellten Forscher von DeepMind und der Ohio State University MagicLens vor, ein selbstüberwachtes Bildsuchmodell mit offenen Anweisungen. Seine zentrale Innovation liegt in seiner Fähigkeit, über traditionelle visuelle Ähnlichkeit hinauszugehen und Bilder basierend auf nuancierteren semantischen Beziehungen abzurufen.
MagicLens baut auf vortrainierten Vision-Language-Modellen (VLMs) wie CLIP oder CoCa sowie auf großen Sprachmodellen (LLMs) wie PaLM2 auf. Diese Kombination ermöglicht es MagicLens, komplexe Suchanfragen zu verarbeiten, sodass Benutzer ein Bild und einen flexiblen Text-Prompt (z. B. „aus einem anderen Winkel“ oder „die Innenansicht“) eingeben können, um Bilder abzurufen, die sowohl mit dem visuellen Inhalt als auch mit den semantischen Beziehungen übereinstimmen.
Das Modell nutzt die Erkenntnis, dass Bilder von denselben Webseiten häufig implizite Beziehungen teilen, etwa unterschiedliche Ansichten eines Objekts oder Interaktionen zwischen Objekten. MagicLens gewinnt diese Bildpaare aus Webseiten und verwendet sie, um einen riesigen Datensatz von Trainings-Triplets zu erstellen – jedes bestehend aus einem Abfragebild, einer textuellen Anweisung und einem Zielbild. Diese Triplets bilden die Grundlage für den selbstüberwachten Lernprozess von MagicLens, bei dem das Modell lernt, Bilder anhand der bereitgestellten Anweisungen zu verknüpfen.
How Magiclends works.png
Abbildung: Wie Magiclends funktioniert
Um diese Triplets zu sammeln und zu kuratieren, verwendet MagicLens eine ausgefeilte Datenpipeline:
Webseiten: Bilder werden von derselben URL gesammelt, unter der Annahme, dass sie wahrscheinlich miteinander in Beziehung stehen. Dies ermöglicht es dem Modell, eine riesige Datenmenge aus Common Crawl zu sammeln.
Gruppierung & Bereinigung: Die gesammelten Bilder werden nach URL gruppiert und anschließend gefiltert, um niedrig aufgelöste, doppelte oder irrelevante (z. B. Werbe-)Bilder zu entfernen.
Metadaten-Erweiterung: Um das Verständnis zu verbessern, werden für jedes Bild Metadaten generiert. Diese Metadaten umfassen:
ICA-Labels (generiert über die Google Vision API) zur grundlegenden Objekterkennung.
Alt-Text (alternative Textbeschreibungen von Webseiten).
Beschriftungen, die mithilfe von Googles PaLI-Modell generiert werden.
Bewertung & Filterung: Mithilfe von CLIPs Bild-zu-Bild- und Text-zu-Text-Bewertung filtert MagicLens schwach verwandte Bildpaare weiter heraus und stellt sicher, dass nur hochwertige Paare übrig bleiben.
Anweisungsgenerierung: Basierend auf den Metadaten gepaarter Bilder generiert Googles PaLM2 offene textuelle Anweisungen, die die Beziehung zwischen Abfrage- und Zielbildern erklären.
data pipeline.png
Abbildung: Datenpipeline
Durch diese Pipeline erzeugt MagicLens einen Datensatz von 36,7 Millionen Triplets (Referenzbild, Textanweisung und Zielbild), der die Grundlage für das Modelltraining bildet. Dieser massive Datensatz ermöglicht es MagicLens, effektiv zu trainieren, ohne dass manuelle Annotationen erforderlich sind, was zu einem robusten Modell für verschiedene Abrufaufgaben führt.
Bewertung von Composed-Image-Retrieval-(CIR)-Modellen
Mehrere Benchmark-Datensätze werden häufig verwendet, um die Leistung von Composed-Image-Retrieval-(CIR)-Modellen zu bewerten, darunter FashionIQ, CIRR und CIRCO. Diese Datensätze decken eine Vielzahl von Abrufaufgaben ab, von der Modesuche nach Bildern bis zum Abruf natürlicher Bilder, und eignen sich daher ideal zur Bewertung verschiedener Modelle über unterschiedliche Domänen hinweg.
FashionIQ konzentriert sich auf den feingranularen Abruf von Modebildern, mit Aufgaben, die bestimmte Kleidungsstücke betreffen (z. B. Kleider, Hemden usw.). Es umfasst 2005 Abfragen und 5179 Indexbilder.
CIRR legt den Schwerpunkt auf reale Bilder und deckt eine breite Palette von Bildbeziehungen ab (z. B. räumliche oder kompositorische Änderungen). Es umfasst 4148 Abfragen und 2316 Indexbilder.
CIRCO ist ein groß angelegter Datensatz mit über 120.000 natürlichen Bildern, bei dem jede Abfrage mehrere korrekte Zielbilder haben kann.
Modellleistung auf CIR-Benchmarks
Die folgende Tabelle hebt die Leistung mehrerer führender CIR-Modelle auf diesen Datensätzen hervor. Die Modelle werden anhand verschiedener Metriken bewertet, wie Recall@10 (R@10) für FashionIQ und CIRR sowie Mean Average Precision at 5 (mAP@5) für CIRCO. Diese Metriken bewerten, wie gut die Modelle relevante Bilder auf Grundlage einer Kombination aus visueller Eingabe und textlichen Anweisungen abrufen können.
| Publication | Params | Fashion IQ R@10 | CIRR R@1 | CIRCO mAP@5 | |
| Pic2Word | CVPR 2023 | 429M | 24.7 | 23.9 | 8.7 |
| CompoDiff | CVPRW 2024 | 568M | 36.0 | 18.2 | 12.6 |
| CIReVL | ICLR 2024 | 12.5B | 28.6 | 24.6 | 18.6 |
| MagicLens-L | ICML 2024 | 613M | 38.0 | 33.3 | 34.1 |
Wichtige Erkenntnisse:
FashionIQ-Leistung: MagicLens-L übertrifft andere Modelle mit einem Recall@10 von 38.0 und zeigt damit seine Effektivität bei Fashion-Retrieval-Aufgaben. CompoDiff folgt dicht dahinter mit 36.0 und zeigt seine Stärke im fashionbezogenen CIR.
CIRR-Leistung: MagicLens-L führt auch bei CIRR und erreicht einen Recall@1 von 33.3, deutlich höher als andere Modelle. CIReVL schneidet mit 24.6 solide ab und demonstriert seine Fähigkeit beim realitätsnahen Bildabruf.
CIRCO-Leistung: MagicLens-L glänzt auch bei groß angelegten Aufgaben zum Abruf natürlicher Bilder, mit einer mean Average Precision at 5 (mAP@5) von 34.1, weit vor anderen Modellen. Dies demonstriert seine Stärke im Umgang mit komplexen, großen Datensätzen mit mehreren korrekten Zielbildern.
Insgesamt zeigt MagicLens-L die beste allgemeine Leistung über alle Datensätze hinweg und überzeugt insbesondere sowohl bei Fashion- als auch bei groß angelegten Aufgaben zum Abruf natürlicher Bilder, obwohl es im Vergleich zu CIReVL weniger Parameter hat.
Zusammenfassung
In diesem Artikel haben wir die zunehmende Verbreitung von multimodalen Retrieval-Methoden untersucht, die den Abruf von Text, Bildern und vielen anderen Datentypen kombinieren, um flexiblere und präzisere Möglichkeiten zur Erfassung der Suchabsicht bereitzustellen. Eine häufige Aufgabe in diesem Bereich ist composed image retrieval (CIR), bei der Nutzer Bildsuchen mithilfe von Textbeschreibungen in Kombination mit Referenzbildern verfeinern.
Wir haben zentrale Modelle und Techniken behandelt, die CIR vorantreiben, darunter Pic2Word, CompoDiff, CIReVL und MagicLens. Jedes davon baut auf den grundlegenden Fähigkeiten von CLIP auf und verfolgt zugleich unterschiedliche Ansätze zur Verbesserung des Retrievals:
Pic2Word wandelt Bilder in Text-Token um, die in eine textbasierte Suche eingebettet werden, und nutzt CLIP-Text-Embeddings für äußerst vielseitiges, textgesteuertes Bild-Retrieval.
CompoDiff setzt textgesteuertes Denoising ein, verfeinert verrauschte visuelle Embeddings mit Texteingaben, um image embeddings bedingt zu rekonstruieren, und verbessert so die Suchpräzision.
CIReVL modifiziert Textbeschreibungen, um besser zum Zielbild zu passen, und regeneriert neue visuelle Embeddings, wodurch durch die Ausrichtung textlicher Änderungen am Referenzbild genauere Suchergebnisse bereitgestellt werden.
MagicLens verwendet Transformer models, um Text und Bilder parallel zu verarbeiten, und erzeugt ein einheitliches Embedding, das beide Modalitäten erfasst und die Retrieval-Leistung verbessert.
Entdecken Sie unsere Demo zur multimodalen Suche!
Wir haben eine Online-Demo für multimodale Suche entwickelt, die von der Milvus vector database unterstützt wird. In dieser Demo können Sie ein Bild hochladen und Textanweisungen eingeben, die von einem Composed-Image-Retrieval-Modell verarbeitet werden, um passende Bilder auf Grundlage sowohl visueller als auch textlicher Eingaben zu finden.
Im Mittelpunkt dieser Demo steht das MagicLens-Embedding-Modell, das zusammen mit einem GPT-4o-basierten Re-Ranking-System arbeitet, um Suchergebnisse entsprechend der Nutzerintention zu verfeinern. Diese Kombination zeigt, wie multimodale Modelle moderne Retrieval-Systeme transformieren und genauere sowie intuitivere Sucherlebnisse ermöglichen können.
Wir laden Sie ein, die Zukunft der multimodalen Suche selbst zu erkunden und zu erleben!
Suchergebnisse des multimodalen Suchmodells.png
Abbildung: Suchergebnisse des multimodalen Suchmodells
Probieren Sie die Demo aus: Multimodale Bildsuche
Sehen Sie sich den Quellcode an: Multimodales RAG mit Milvus | Milvus-Dokumentation
Weitere Ressourcen
MagicLens-GitHub-Seite: https://open-vision-language.github.io/MagicLens/
CIReVL-GitHub-Seite: https://github.com/ExplainableML/Vision_by_Language
CompoDiff-GitHub-Seite: https://github.com/navervision/CompoDiff
Milvus-Demo: https://milvus.io/milvus-demos
Weiterlesen
Zilliz Cloud Now Available in AWS Asia Pacific (Seoul)
Zilliz Cloud is now available in AWS Seoul — low-latency vector search, in-country data residency, and one-step migration for Korean AI teams. 31 regions across 5 clouds.
How to Improve Retrieval Quality for Japanese Text with Sudachi, Milvus/Zilliz, and AWS Bedrock
Learn how Sudachi normalization and Milvus/Zilliz hybrid search improve Japanese RAG accuracy with BM25 + vector fusion, AWS Bedrock embeddings, and practical code examples.
Bringing AI to Legal Tech: The Role of Vector Databases in Enhancing LLM Guardrails
Discover how vector databases enhance AI reliability in legal tech, ensuring accurate, compliant, and trustworthy AI-powered legal solutions.