Combinare immagini e testo insieme: come il recupero multimodale trasforma la ricerca
L'ascesa dei modelli multimodali
Guardando ai rapidi progressi dei modelli linguistici di grandi dimensioni (LLM) nel 2024, è chiaro che l'IA continua ad avanzare grazie a una maggiore innovazione e a maggiori investimenti. Sebbene siano disponibili abbondanti dati testuali, i ricercatori hanno riconosciuto che gli esseri umani comprendono il mondo attraverso molteplici sensi, favorendo un passaggio verso l'utilizzo di altri tipi di dati come immagini, audio e video. Questo cambiamento ha guidato l'ascesa dei modelli di IA multimodale, che possono elaborare e comprendere dati provenienti da più fonti, consentendo interpretazioni delle informazioni più ricche e complesse.
Nella prima metà del 2024, abbiamo visto importanti rilasci di modelli multimodali, come GPT-4o di OpenAI, Claude 3 di Anthropic, Gemini 1.5 Pro di Google e Ferret-UI di Apple. Questi modelli estendono le capacità dell'IA oltre il testo, aprendo nuove applicazioni nelle industrie creative, negli strumenti di produttività e in sistemi più interattivi. Quello che un tempo era un concetto accademico di nicchia è ora diventato mainstream, con gli sviluppatori che utilizzano queste API per creare applicazioni che integrano l'IA con media diversi, sbloccando nuove possibilità di innovazione.
Scienziati di OpenAI che mostrano le capacità multimodali del loro GPT-40 appena rilasciato.png
Figura: scienziati di OpenAI che mostrano le capacità multimodali del loro GPT-40 appena rilasciato
Recupero multimodale e recupero di immagini composte (CIR)
Con lo sviluppo dei modelli multimodali, il recupero multimodale—che combina input da più modalità, tipicamente testo e immagini—sta diventando sempre più popolare. Questo approccio consente un modo più sfumato e preciso di cogliere gli intenti di ricerca degli utenti, sfruttando i punti di forza di entrambe le modalità.
Uno dei compiti più comuni all'interno del recupero multimodale è il recupero di immagini composte (CIR), in cui gli utenti forniscono una query che include un'immagine di riferimento insieme a una didascalia descrittiva. Questo approccio a doppio input consente il recupero di immagini specifiche combinando contenuto visivo con istruzioni testuali, creando una query più dettagliata e accurata.
Le ricerche di immagini tradizionali si basano principalmente su metriche di somiglianza visiva, che sono efficaci per molte query di uso generale. Tuttavia, nei casi in cui una singola immagine di riferimento non esprime pienamente l'intento dell'utente, l'input testuale diventa un complemento essenziale. Il testo aggiunge contesto e precisione che un'immagine da sola potrebbe non avere, consentendo agli utenti di perfezionare le loro query di ricerca. Questa fusione di modalità permette agli sviluppatori di creare sistemi di ricerca più robusti e flessibili, consentendo agli utenti di esprimere query complesse in modo naturale e con maggiore precisione.
Nelle sezioni seguenti, esploreremo i principali modelli e tecniche nel recupero di immagini composte, le loro metodologie e le loro prestazioni in vari domini, valutati utilizzando dataset popolari come FashionIQ, CIRR e CIRCO. Queste valutazioni evidenzieranno i punti di forza e i limiti dei diversi approcci CIR nelle applicazioni reali.
Una panoramica dei metodi popolari di recupero di immagini composte
Negli ultimi anni, le tecniche di recupero multimodale sono avanzate verso l'universalità zero-shot, soprattutto con modelli come CLIP, che consente un potente recupero text-to-image utilizzando uno spazio di embedding condiviso per entrambe le modalità. Queste tecniche sfruttano embedding pre-addestrati oppure dataset annotati e sottoposti a fine-tuning, a seconda delle risorse disponibili, portando a miglioramenti significativi nelle prestazioni di ricerca e nella qualità dei dati.
La seguente tabella fornisce una panoramica delle tecniche popolari di composed image retrieval (CIR), delle loro metodologie principali e dei tipi di embedding che generano e utilizzano per la ricerca:
| Tecnica | Descrizione | Embedding generato | Embedding di ricerca |
| Pic2Word | Converte un'immagine in un token incorporato nel testo, consentendo ricerche flessibili da immagine a testo. | CLIP Text Embedding | CLIP Visual Embedding |
| CompoDiff | Applica rumore a un embedding visivo CLIP, quindi utilizza il testo durante il processo di denoising per ricostruire un embedding visivo CLIP condizionale. | CLIP Visual Embedding | CLIP Visual Embedding |
| CIReVL | Trasforma un'immagine in testo descrittivo, modifica la descrizione per corrispondere al target e genera una nuova rappresentazione. | CLIP Text Embedding | CLIP Visual Embedding |
| MagicLens | Utilizza un modello Transformer che elabora simultaneamente dati di immagine e testo, generando un embedding vettoriale unificato. | MagicLens Embedding | MagicLens Embedding |
Pic2Word: Mappatura di immagini in parole per il composed image retrieval zero-shot
Pic2Word è un metodo per il composed image retrieval zero-shot (ZS-CIR), volto a recuperare immagini utilizzando immagini e testo come query di input senza richiedere dataset grandi ed etichettati. Utilizzando il modello CLIP preaddestrato, Pic2Word mappa gli embedding visivi delle immagini in token pseudo-parola che rappresentano l'immagine nello spazio testuale. Ciò consente al modello di combinare le caratteristiche dell'immagine con descrizioni testuali per recuperare immagini target in base alle modifiche specificate nel testo (ad esempio, cambiando attributi di un'immagine, come il colore di un oggetto).
Left-the process of training the Pic2word mapping network; Right-the process of composed image retrieval..png
Figura: Sinistra: il processo di addestramento della rete di mappatura Pic2word; Destra: il processo di composed image retrieval.
Come funziona Pic2Word
L'immagine sopra mostra l'addestramento della rete di mappatura Pic2Word e il processo di composed image retrieval. Durante il processo di addestramento, un'immagine (ad esempio, una foto di un gatto) viene passata attraverso un Visual Encoder congelato, che genera un embedding visivo . Simultaneamente, un prompt testuale tokenizzato come "A photo of" viene passato attraverso un Text Encoder che produce un embedding testuale corrispondente . L'obiettivo della rete di mappatura è mappare l'embedding dell'immagine in uno pseudo-token che può essere incorporato nel prompt testuale, formando la frase "A photo of [s]."
Questo token mappato, quando viene passato attraverso il Text Encoder congelato, dovrebbe generare un embedding testuale che si allinea strettamente con l'embedding dell'immagine originale . La rete viene addestrata utilizzando una funzione di contrastive loss, che minimizza la distanza tra l'embedding visivo e l'embedding testuale , garantendo che l'immagine sia rappresentata accuratamente come un token simile a una parola.
Una volta addestrata la rete di mapping, può essere utilizzata per attività di recupero di immagini composte. In questa fase, l’utente inserisce un’immagine (ad es., un cane) e una query testuale (ad es., "in una piscina"). L’immagine viene elaborata tramite il Visual Encoder, mentre il testo viene elaborato tramite il Text Encoder. Lo pseudo-token appreso migliora la query, consentendo al sistema di comprendere la composizione di immagine e testo.
La query feature, che combina rappresentazioni di immagini e testo, viene confrontata con un database di immagini candidate. Il sistema recupera quindi l’immagine con la migliore corrispondenza (ad es., un cane che nuota in una piscina), modificando di fatto l’immagine di input in base alla descrizione testuale fornita.
CompoDiff: recupero versatile di immagini composte con diffusione latente
CompoDiff è un modello basato sulla diffusione progettato per il recupero zero-shot di immagini composte (ZS-CIR). Utilizza modelli di diffusione, una tecnica nella generazione da testo a immagine, per migliorare significativamente la flessibilità e la precisione della modifica e del recupero delle immagini. Questi modelli vanno oltre il semplice riferimento al testo; garantiscono che le immagini generate siano allineate con i pattern osservati durante l’addestramento. Utilizzando modelli di diffusione, CompoDiff crea embedding che uniscono testo di input, immagini di riferimento e maschere, generando vettori allineati con la distribuzione degli embedding visivi CLIP.
Allora, come comprendiamo la meccanica dei modelli di diffusione? Considera una fotografia che diventa sempre più rumorosa nel tempo. Immagina di iniziare con un’immagine chiara e nitida e poi di aggiungervi gradualmente rumore casuale, simile alla statica di una vecchia TV. L’immagine diventa sempre più oscurata finché non è quasi irriconoscibile, trasformandosi in qualcosa che sembra puro rumore. Questo è il processo di diffusione in avanti.
La parte più affascinante, però, è il processo inverso. Nei modelli di diffusione, l’obiettivo è partire da quell’immagine rumorosa e "denoising" lentamente, passo dopo passo. Man mano che il modello rimuove il rumore, ricostruisce l’immagine originale (o crea nuove immagini basate su prompt testuali). Questo processo consente al modello di generare immagini di alta qualità che aderiscono a determinate condizioni, come una specifica descrizione testuale o un’immagine di riferimento.
Funziona allo stesso modo quando si effettua l’embedding del testo. CompoDiff denoising gradualmente un embedding di rumore gaussiano, migliorandone il rapporto segnale-rumore finché non corrisponde a quello di un embedding visivo CLIP. Testo e immagini controllano questa trasformazione, con le maschere che forniscono una guida aggiuntiva su quali aree dell’immagine modificare.
Come funziona CompoDiff.png
Figura: come funziona CompoDiff
Processo di inferenza di CompoDiff
Nella fase di inferenza di CompoDiff, come illustrato nel diagramma, il processo inizia con un’immagine di input (ad es., la Torre Eiffel) che viene codificata in uno spazio latente tramite il CLIP Image Encoder, producendo l’embedding visivo iniziale . Questo embedding subisce un processo di diffusione in avanti, aggiungendovi rumore e trasformandolo in una versione più rumorosa , che rappresenta una versione degradata dell’immagine originale.
Successivamente, viene applicato il Denoising Transformer, che rimuove progressivamente il rumore in più passaggi (ripetuti volte) per recuperare un embedding dell’immagine più pulito. Il processo di denoising è guidato da condizioni che influenzano il modo in cui l’immagine dovrebbe essere ricostruita. Queste condizioni includono:
Condizione testuale : In questo caso, il prompt testuale "Palloncino" viene codificato tramite un Text Encoder (CLIP o altri modelli testuali come T5), producendo un embedding testuale . Questo embedding aggiunge una guida contestuale al processo di denoising, garantendo che l’immagine finale sia allineata con la descrizione di un "Palloncino."
Condizione di maschera : Se viene fornita una maschera, viene elaborata tramite un Percettrone Multistrato (MLP) per generare un embedding della maschera , che guida il denoising a concentrarsi su aree specifiche dell'immagine, come modificare o aggiungere elementi come un palloncino in determinate regioni.
Le condizioni di testo e maschera vengono concatenate con l'embedding visivo rumoroso e passate attraverso il transformer di denoising, che utilizza la Guida Senza Classificatore (CFG) per regolare la forza di queste condizioni. Se non viene fornita alcuna maschera o condizione, vengono utilizzati vettori zero predefiniti per garantire un funzionamento fluido.
In particolare, durante questo processo vengono introdotte anche condizioni testuali negative per affinare l'output. Ad esempio, una condizione negativa come "palloncini multipli" potrebbe essere applicata per evitare di generare più di un palloncino, assicurando che l'immagine finale rappresenti un singolo palloncino vicino alla Torre Eiffel.
Dopo diverse iterazioni di denoising, l'embedding dell'immagine risultante si allinea con le caratteristiche visive CLIP e viene quindi confrontato con un database di recupero per trovare o generare l'immagine più corrispondente, che in questo caso sarebbe la Torre Eiffel con un palloncino nel cielo.
Processo di addestramento di CompoDiff
L'addestramento è suddiviso in due fasi:
Processo di addestramento di CompoDiff.png
Figura: Processo di addestramento di CompoDiff
****
Fase 1: Addestramento con LAION-2B
Nella prima fase, il modello viene addestrato sul dataset LAION-2B, che contiene un'ampia raccolta di coppie immagine-testo. L'obiettivo principale di questa fase è imparare a generare embedding visivi CLIP da input rumorosi utilizzando descrizioni testuali come guida.
Il processo inizia codificando un'immagine (ad es., un uccello) in un embedding visivo CLIP . Questo embedding subisce un processo di diffusione, in cui il rumore viene aggiunto progressivamente in diversi passaggi, producendo una versione altamente rumorosa che contiene poche o nessuna informazione identificabile. Contemporaneamente, la descrizione testuale corrispondente, come "Una cinciallegra seduta su una superficie di legno accanto a dei fiori," viene codificata in un embedding testuale CLIP . L'embedding visivo rumoroso e l'embedding testuale vengono quindi inseriti in un Transformer di Denoising, che rimuove il rumore in fasi, guidato dal testo. Il transformer mira a ricostruire gradualmente l'embedding visivo pulito dell'immagine. L'obiettivo in questa fase è minimizzare la differenza tra l'embedding visivo rumoroso e l'embedding ricostruito utilizzando il testo come riferimento guida. Questo insegna al modello ad allineare informazioni visive e testuali, assicurando che le caratteristiche dell'immagine generata corrispondano alla descrizione testuale.
Fase 2: Fine-Tuning sul dataset SynthTriplets18M
Nella Fase 2, il modello viene sottoposto a fine-tuning sia sui dataset LAION-2B sia sul dataset sintetico SynthTriplet18M, migliorando la sua capacità di gestire scenari più complessi.
In questa fase, il modello impara a generare immagini specifiche non solo da descrizioni testuali, ma anche incorporando immagini di riferimento e condizioni di maschera che indicano le aree da modificare. L'addestramento inizia codificando un'immagine di input, proprio come nella Fase 1, ma ora viene fornita anche un'immagine di riferimento e codificata nel proprio embedding visivo. L'immagine di riferimento guida il modello nella modifica dell'immagine di input. Viene introdotta anche una condizione di maschera, che evidenzia regioni specifiche dell'immagine che necessitano di modifica. La maschera viene trasformata in un embedding utilizzando un MLP (percettrone multistrato) e funziona insieme all'embedding testuale (ad es., "Cambia la cinciallegra in un gallo") per guidare il processo di denoising.
Il modello alterna due obiettivi: uno in cui impara a oscurare aree specifiche dell’immagine target in base alle condizioni di testo e maschera, e un altro in cui affina la propria capacità di trasformare l’immagine di input nell’immagine target in base al riferimento, alla maschera e al testo forniti. Attraverso questo processo di addestramento alternato, il modello impara a combinare informazioni visive e testuali per modificare le immagini in modo accurato e flessibile. Al termine di queste due fasi, CompoDiff è attrezzato per gestire compiti complessi di recupero di immagini composte, offrendo un controllo preciso su come le immagini vengono generate e modificate in base a più condizioni. Ciò consente al modello di generare immagini che si allineano a istruzioni testuali dettagliate, incorporano caratteristiche dalle immagini di riferimento e modificano selettivamente regioni specifiche.
CIReVL: Vision-by-Language per il recupero di immagini composizionali senza addestramento
La maggior parte dei modelli di recupero di immagini composizionali (CIR) si basa su dataset annotati e su un addestramento del modello specifico per il compito, che sono costosi e soggetti a overfitting. Ciò significa che i modelli tendono a ottenere scarse prestazioni quando vengono presentate immagini che differiscono dalla loro distribuzione di addestramento. Questo problema diventa particolarmente critico nelle applicazioni reali, dove la varietà degli input può essere vasta e imprevedibile. Con lo sviluppo di modelli su larga scala come i large language models (LLMs) e i vision-language models (VLMs), il paradigma dello zero-shot learning—in cui i modelli eseguono compiti per i quali non sono stati esplicitamente addestrati—ha attirato notevole attenzione. CIReVL è un esempio importante di modello CIR zero-shot che non richiede alcun addestramento aggiuntivo ma raggiunge comunque prestazioni solide.
How CIReVL works.png
Figura: Come funziona CIReVL
Più nello specifico, CIReVL (Compositional Image Retrieval through Vision-by-Language) è un approccio senza addestramento al recupero di immagini composizionali che sfrutta modelli esistenti e pre-addestrati come VLMs e LLMs. Il suo obiettivo è recuperare immagini target da un database combinando una immagine di query e un modificatore testuale (ad esempio, "Torre Eiffel senza persone e di notte"). Ciò che distingue CIReVL è la sua capacità di evitare del tutto la necessità di addestramento supervisionato, offrendo una soluzione più flessibile ed efficiente per i compiti CIR.
Il metodo si basa su tre componenti chiave, ciascuno con forti capacità di generalizzazione. Innanzitutto, un vision-language model (come BLIP2) genera una didascalia descrittiva per l’immagine di input. In secondo luogo, un large language model (come GPT-3.5 o GPT-4) modifica la didascalia in base alle istruzioni testuali fornite (ad esempio, "rimuovi le persone, cambia l’orario in notte"). Infine, la didascalia modificata viene trasformata in un embedding testuale utilizzando un encoder testo-immagine come CLIP, che poi esegue il recupero effettivo delle immagini dal database. Questo processo è altamente modulare e opera puramente nel dominio del linguaggio, consentendo un controllo più intuitivo e l’intervento dell’utente. Questa pipeline semplice rende inoltre CIReVL sia scalabile sia adattabile.
MagicLens: recupero di immagini auto-supervisionato con istruzioni aperte
Guardando ai metodi precedenti, possiamo constatare che una delle maggiori sfide nel recupero di immagini composte (CIR) è la raccolta e l’annotazione di dati reali di alta qualità per addestrare modelli che generalizzino bene in vari contesti. I modelli devono comprendere relazioni complesse tra immagini, ma i dati necessari per questo tipo di addestramento sono spesso costosi e difficili da ottenere. Per affrontare questo problema, i ricercatori di DeepMind e della Ohio State University hanno introdotto MagicLens, un modello di recupero di immagini auto-supervisionato con istruzioni aperte. La sua innovazione principale risiede nella capacità di andare oltre la tradizionale somiglianza visiva e recuperare immagini in base a relazioni semantiche più sfumate.
MagicLens si basa su modelli visione-linguaggio (VLM) pre-addestrati come CLIP o CoCa, insieme a modelli linguistici di grandi dimensioni (LLM) come PaLM2. Questa combinazione consente a MagicLens di gestire query di ricerca complesse, permettendo agli utenti di inserire un’immagine e un prompt testuale flessibile (ad es., "da un’angolazione diversa" o "la vista interna") per recuperare immagini che si allineano sia con il contenuto visivo sia con le relazioni semantiche.
Il modello sfrutta l’intuizione che le immagini provenienti dalle stesse pagine web spesso condividono relazioni implicite, come diverse viste di un oggetto o interazioni tra oggetti. MagicLens estrae queste coppie di immagini dalle pagine web e le utilizza per generare un vasto dataset di triplette di addestramento—ciascuna composta da un’immagine di query, un’istruzione testuale e un’immagine target. Queste triplette forniscono la base per il processo di apprendimento self-supervised di MagicLens, in cui il modello impara a collegare le immagini in base alle istruzioni fornite.
How Magiclends works.png
Figura: Come funziona Magiclends
Per raccogliere e curare queste triplette, MagicLens impiega una pipeline di dati sofisticata:
Pagine web: Le immagini vengono raccolte dallo stesso URL, con l’assunzione che siano probabilmente correlate. Ciò consente al modello di raccogliere un’enorme quantità di dati da Common Crawl.
Raggruppamento e pulizia: Le immagini raccolte vengono raggruppate per URL, quindi filtrate per rimuovere immagini a bassa risoluzione, duplicate o irrilevanti (ad es., pubblicitarie).
Espansione dei metadati: Per migliorare la comprensione, vengono generati metadati per ciascuna immagine. Questi metadati includono:
Etichette ICA (generate tramite Google Vision API) per l’identificazione di base degli oggetti.
Alt-text (descrizioni testuali alternative dalle pagine web).
Didascalie generate utilizzando il modello PaLI di Google.
Punteggio e filtraggio: Utilizzando il punteggio image-to-image e text-to-text di CLIP, MagicLens filtra ulteriormente le coppie di immagini debolmente correlate, assicurando che rimangano solo coppie di alta qualità.
Generazione delle istruzioni: In base ai metadati delle immagini abbinate, PaLM2 di Google genera istruzioni testuali aperte che spiegano la relazione tra le immagini di query e target.
data pipeline.png
Figura: pipeline di dati
Attraverso questa pipeline, MagicLens genera un dataset di 36,7 milioni di triplette (immagine di riferimento, istruzione testuale e immagine target), che fornisce la base per l’addestramento del modello. Questo enorme dataset consente a MagicLens di addestrarsi efficacemente senza la necessità di annotazioni manuali, portando a un modello robusto in diversi compiti di recupero.
Valutazione dei modelli di Composed Image Retrieval (CIR)
Diversi dataset benchmark sono comunemente utilizzati per valutare le prestazioni dei modelli di Composed Image Retrieval (CIR), tra cui FashionIQ, CIRR e CIRCO. Questi dataset coprono una varietà di compiti di recupero, dalla ricerca di immagini di moda al recupero di immagini naturali, rendendoli ideali per valutare diversi modelli in vari domini.
FashionIQ si concentra sul recupero di immagini di moda a grana fine, con compiti che coinvolgono specifici capi di abbigliamento (ad es., vestiti, camicie ecc.). Include 2005 query e 5179 immagini di indice.
CIRR enfatizza immagini del mondo reale e copre un’ampia gamma di relazioni tra immagini (ad es., cambiamenti spaziali o compositivi). Ha 4148 query e 2316 immagini di indice.
CIRCO è un dataset su larga scala con oltre 120.000 immagini naturali, in cui ogni query può avere più immagini target corrette.
Prestazioni del modello sui benchmark CIR
La seguente tabella evidenzia le prestazioni di diversi modelli CIR leader su questi dataset. I modelli vengono valutati utilizzando metriche diverse, come Recall@10 (R@10) per FashionIQ e CIRR, e Mean Average Precision at 5 (mAP@5) per CIRCO. Queste metriche valutano quanto bene i modelli riescano a recuperare immagini rilevanti sulla base di una combinazione di input visivo e istruzioni testuali.
| Pubblicazione | Parametri | Fashion IQ R@10 | CIRR R@1 | CIRCO mAP@5 | |
| Pic2Word | CVPR 2023 | 429M | 24.7 | 23.9 | 8.7 |
| CompoDiff | CVPRW 2024 | 568M | 36.0 | 18.2 | 12.6 |
| CIReVL | ICLR 2024 | 12.5B | 28.6 | 24.6 | 18.6 |
| MagicLens-L | ICML 2024 | 613M | 38.0 | 33.3 | 34.1 |
Approfondimenti chiave:
Prestazioni su FashionIQ: MagicLens-L supera gli altri modelli con un Recall@10 di 38.0, mostrando la sua efficacia nei compiti di recupero nel settore della moda. CompoDiff segue da vicino con 36.0, dimostrando la sua forza nel CIR legato alla moda.
Prestazioni su CIRR: MagicLens-L è leader anche in CIRR, raggiungendo un Recall@1 di 33.3, significativamente superiore agli altri modelli. CIReVL ottiene prestazioni solide con 24.6, dimostrando la sua capacità nel recupero di immagini del mondo reale.
Prestazioni su CIRCO: MagicLens-L eccelle anche nei compiti di recupero di immagini naturali su larga scala, con una Mean Average Precision at 5 (mAP@5) di 34.1, molto avanti rispetto agli altri modelli. Questo dimostra la sua forza nel gestire dataset complessi e di grandi dimensioni con più target corretti.
Nel complesso, MagicLens-L mostra le migliori prestazioni generali su tutti i dataset, eccellendo in particolare sia nei compiti di recupero di immagini di moda sia in quelli di recupero di immagini naturali su larga scala, pur avendo meno parametri rispetto a CIReVL.
Riepilogo
In questo articolo, abbiamo esplorato la crescente adozione dei metodi di recupero multimodale, che combinano il recupero di testo, immagini e molti altri tipi di dati per offrire modi più flessibili e precisi di catturare l’intento di ricerca. Un compito comune in questo dominio è il composed image retrieval (CIR), in cui gli utenti affinano le ricerche di immagini utilizzando descrizioni testuali in combinazione con immagini di riferimento.
Abbiamo trattato i principali modelli e tecniche alla base del CIR, tra cui Pic2Word, CompoDiff, CIReVL e MagicLens. Ciascuno di questi si basa sulle capacità fondamentali di CLIP, adottando al contempo approcci diversi per migliorare il recupero:
Pic2Word trasforma le immagini in token di testo incorporati in una ricerca basata sul testo, sfruttando gli embedding testuali di CLIP per un recupero di immagini altamente versatile e guidato dal testo.
CompoDiff impiega il denoising guidato dal testo, affinando embedding visivi rumorosi con input testuale per ricostruire condizionalmente gli embedding delle immagini, migliorando la precisione della ricerca.
CIReVL modifica le descrizioni testuali per corrispondere meglio all’immagine target e rigenera nuovi embedding visivi, fornendo risultati di ricerca più accurati allineando le modifiche testuali con l’immagine di riferimento.
MagicLens utilizza modelli Transformer per elaborare testo e immagini in parallelo, generando un embedding unificato che cattura entrambe le modalità e migliora le prestazioni di recupero.
Esplora la nostra demo di ricerca multimodale!
Abbiamo sviluppato una demo online per la ricerca multimodale basata sul database vettoriale Milvus. In questa demo, puoi caricare un’immagine e inserire istruzioni testuali, che vengono elaborate da un modello di composed image retrieval per trovare immagini corrispondenti sulla base sia dell’input visivo sia di quello testuale.
Al centro di questa demo c’è il modello di embedding MagicLens, che lavora insieme a un sistema di riordinamento basato su GPT-4o per perfezionare i risultati di ricerca in base all’intento dell’utente. Questa combinazione evidenzia come i modelli multimodali possano trasformare i moderni sistemi di recupero, offrendo esperienze di ricerca più accurate e intuitive.
Ti invitiamo a esplorare e sperimentare in prima persona il futuro della ricerca multimodale!
Risultati di ricerca dal modello di ricerca multimodale.png
Figura: Risultati di ricerca dal modello di ricerca multimodale
Prova la demo: Ricerca di immagini multimodale
Consulta il codice sorgente: RAG multimodale con Milvus | Documentazione Milvus
Risorse aggiuntive
Pagina GitHub di MagicLens: https://open-vision-language.github.io/MagicLens/
Pagina GitHub di CIReVL: https://github.com/ExplainableML/Vision_by_Language
Pagina GitHub di CompoDiff: https://github.com/navervision/CompoDiff
Demo Milvus: https://milvus.io/milvus-demos
Continua a leggere
Introducing Loon: A New Storage Engine for Vector Data That Never Stops Changing
Loon is a new storage engine for Milvus 3.0 and Zilliz Vector Lakebase, built to manage evolving vector datasets with ColumnGroups, row ID alignment, and Manifests.
How to Choose the Best Embedding Model for RAG in 2026: 10 Models Benchmarked
We benchmarked 10 embedding models on cross-modal, cross-lingual, long-document, and dimension compression tasks. See which one fits your RAG pipeline.
Expanding Our Global Reach: Zilliz Cloud Launches in Azure Central India
Zilliz Cloud expands to Azure Central India. This new region helps customers meet compliance, reduce latency, and optimize cloud costs when building AI applications.