Combiner images et texte : comment la recherche multimodale transforme la recherche
L’essor des modèles multimodaux
En repensant aux progrès rapides des grands modèles de langage (LLMs) en 2024, il est clair que l’IA continue de progresser grâce à une innovation et à des investissements accrus. Bien que des données textuelles abondantes soient disponibles, les chercheurs ont reconnu que les humains comprennent le monde grâce à plusieurs sens, ce qui a entraîné une transition vers l’exploitation d’autres types de données comme les images, l’audio et les vidéos. Cette transition a favorisé l’essor des modèles d’IA multimodale, capables de traiter et de comprendre des données provenant de sources multiples, permettant des interprétations de l’information plus riches et plus complexes.
Au premier semestre 2024, nous avons vu d’importantes sorties de modèles multimodaux, comme GPT-4o d’OpenAI, Claude 3 d’Anthropic, Gemini 1.5 Pro de Google et Ferret-UI d’Apple. Ces modèles étendent les capacités de l’IA au-delà du texte, ouvrant la voie à de nouvelles applications dans les industries créatives, les outils de productivité et des systèmes plus interactifs. Ce qui était autrefois un concept académique de niche est désormais devenu courant, les développeurs utilisant ces API pour créer des applications qui intègrent l’IA à des médias variés, ouvrant de nouvelles possibilités d’innovation.
Des scientifiques d’OpenAI montrant les capacités multimodales de leur GPT-40 récemment publié.png
Figure : Des scientifiques d’OpenAI montrant les capacités multimodales de leur GPT-40 récemment publié
Récupération multimodale et récupération d’images composée (CIR)
À mesure que les modèles multimodaux se développent, la récupération multimodale — qui combine des entrées issues de plusieurs modalités, généralement du texte et des images — devient de plus en plus populaire. Cette approche permet de capter les intentions de recherche des utilisateurs de manière plus nuancée et précise, en tirant parti des forces des deux modalités.
L’une des tâches les plus courantes au sein de la récupération multimodale est la récupération d’images composée (CIR), où les utilisateurs fournissent une requête qui inclut une image de référence accompagnée d’une légende descriptive. Cette approche à double entrée permet de récupérer des images spécifiques en combinant le contenu visuel avec des instructions textuelles, créant ainsi une requête plus détaillée et plus précise.
Les recherches d’images traditionnelles reposent principalement sur des métriques de similarité visuelle, qui sont efficaces pour de nombreuses requêtes généralistes. Cependant, dans les cas où une seule image de référence n’exprime pas pleinement l’intention de l’utilisateur, la saisie de texte devient un complément essentiel. Le texte ajoute un contexte et une précision qu’une image seule peut ne pas offrir, permettant aux utilisateurs d’affiner leurs requêtes de recherche. Cette fusion des modalités permet aux développeurs de créer des systèmes de recherche plus robustes et flexibles, permettant aux utilisateurs d’exprimer naturellement des requêtes complexes avec une plus grande précision.
Dans les sections suivantes, nous explorerons les principaux modèles et techniques de récupération d’images composée, leurs méthodologies et leurs performances dans divers domaines, évalués à l’aide de jeux de données populaires comme FashionIQ, CIRR et CIRCO. Ces évaluations mettront en évidence les forces et les limites des différentes approches CIR dans des applications réelles.
Aperçu des méthodes populaires de récupération d’images composée
Ces dernières années, les techniques de récupération multimodale ont progressé vers une universalité zero-shot, en particulier avec des modèles comme CLIP, qui permet une puissante récupération texte-vers-image à l’aide d’un espace de plongement partagé pour les deux modalités. Ces techniques exploitent soit des plongements pré-entraînés, soit des jeux de données annotés et affinés, selon les ressources disponibles, entraînant des améliorations significatives des performances de recherche et de la qualité des données.
Le tableau suivant fournit un aperçu des techniques populaires de recherche d’images composées (CIR), de leurs méthodologies principales et des types d’embeddings qu’elles génèrent et utilisent pour la recherche :
| Technique | Description | Embedding généré | Embedding de recherche |
| Pic2Word | Convertit une image en un token intégré dans du texte, permettant des recherches flexibles d’image vers texte. | Embedding textuel CLIP | Embedding visuel CLIP |
| CompoDiff | Applique du bruit à un embedding visuel CLIP, puis utilise du texte pendant le processus de débruitage pour reconstruire un embedding visuel CLIP conditionnel. | Embedding visuel CLIP | Embedding visuel CLIP |
| CIReVL | Transforme une image en texte descriptif, modifie la description pour correspondre à la cible et génère une nouvelle représentation. | Embedding textuel CLIP | Embedding visuel CLIP |
| MagicLens | Utilise un modèle Transformer qui traite simultanément les données d’image et de texte, générant un embedding vectoriel unifié. | Embedding MagicLens | Embedding MagicLens |
Pic2Word : mapper les images vers les mots pour la recherche d’images composées zero-shot
Pic2Word est une méthode de recherche d’images composées zero-shot (ZS-CIR), visant à récupérer des images en utilisant une image et du texte comme requêtes d’entrée sans nécessiter de grands jeux de données étiquetés. À l’aide du modèle CLIP pré-entraîné, Pic2Word mappe les embeddings visuels issus des images vers des pseudo-mots tokens représentant l’image dans l’espace textuel. Cela permet au modèle de combiner les caractéristiques de l’image avec des descriptions textuelles afin de récupérer des images cibles en fonction de modifications spécifiées dans le texte (par exemple, changer les attributs d’une image, comme la couleur d’un objet).
Gauche-le processus d’entraînement du réseau de mapping Pic2word ; Droite-le processus de recherche d’images composées..png
Figure : Gauche : le processus d’entraînement du réseau de mapping Pic2word ; Droite : le processus de recherche d’images composées.
Fonctionnement de Pic2Word
L’image ci-dessus montre l’entraînement du réseau de mapping Pic2Word et le processus de recherche d’images composées. Pendant le processus d’entraînement, une image (par exemple, une photo de chat) est transmise à un encodeur visuel figé, qui génère un embedding visuel . Simultanément, une invite textuelle tokenisée comme "A photo of" est transmise à un encodeur textuel qui produit un embedding textuel correspondant . L’objectif du réseau de mapping est de mapper l’embedding d’image vers un pseudo-token pouvant être incorporé dans l’invite textuelle, formant la phrase "A photo of [s]."
Ce token mappé, lorsqu’il est transmis à l’encodeur textuel figé, doit générer un embedding textuel qui s’aligne étroitement avec l’embedding d’image original . Le réseau est entraîné à l’aide d’une fonction de perte contrastive, qui minimise la distance entre l’embedding visuel et l’embedding textuel , garantissant que l’image est représentée avec précision comme un token de type mot.
Une fois le réseau de mapping entraîné, il peut être utilisé pour des tâches de recherche d’images composées. À cette étape, l’utilisateur saisit une image (par exemple, un chien) et une requête textuelle (par exemple, "in a pool"). L’image est traitée par le Visual Encoder, tandis que le texte est traité par le Text Encoder. Le pseudo-token appris enrichit la requête, permettant au système de comprendre la composition de l’image et du texte.
La query feature, qui combine les représentations de l’image et du texte, est comparée à une base de données d’images candidates. Le système récupère ensuite l’image la plus pertinente (par exemple, un chien nageant dans une piscine), modifiant ainsi efficacement l’image d’entrée selon la description textuelle fournie.
CompoDiff : recherche d’images composées polyvalente avec diffusion latente
CompoDiff est un modèle basé sur la diffusion conçu pour la recherche d’images composées zero-shot (ZS-CIR). Il emploie des modèles de diffusion, une technique de génération texte-image, afin d’améliorer considérablement la flexibilité et la précision de l’édition et de la recherche d’images. Ces modèles vont au-delà de la simple référence au texte ; ils garantissent que les images générées s’alignent sur les motifs observés pendant l’entraînement. En utilisant des modèles de diffusion, CompoDiff crée des embeddings qui fusionnent le texte d’entrée, les images de référence et les masques, générant des vecteurs qui s’alignent sur la distribution des embeddings visuels CLIP.
Alors, comment comprendre les mécanismes des modèles de diffusion ? Considérez une photographie qui devient de plus en plus bruitée au fil du temps. Imaginez que vous commencez avec une image claire et nette, puis que vous y ajoutez progressivement du bruit aléatoire, comme la neige sur un vieux téléviseur. L’image devient de plus en plus obscurcie jusqu’à être presque méconnaissable, se transformant en ce qui ressemble à du bruit pur. C’est le processus de diffusion avant.
La partie la plus fascinante, toutefois, est le processus inverse. Dans les modèles de diffusion, l’objectif est de commencer avec cette image bruitée et de la "débruiter" lentement, étape par étape. À mesure que le modèle supprime le bruit, il reconstruit l’image originale (ou crée de nouvelles images à partir de prompts textuels). Ce processus permet au modèle de générer des images de haute qualité qui respectent certaines conditions, comme une description textuelle spécifique ou une image de référence.
Cela fonctionne de la même manière lors de l’embedding du texte. CompoDiff débruite progressivement un embedding de bruit gaussien, améliorant son rapport signal/bruit jusqu’à ce qu’il corresponde à celui d’un embedding visuel CLIP. Le texte et les images contrôlent cette transformation, les masques fournissant des indications supplémentaires sur les zones de l’image à modifier.
How CompoDiff Works.png
Figure : fonctionnement de CompoDiff
Processus d’inférence de CompoDiff
Dans la phase d’inférence de CompoDiff, comme illustré dans le diagramme, le processus commence par une image d’entrée (par exemple, la tour Eiffel) qui est encodée dans un espace latent via le CLIP Image Encoder, produisant l’embedding visuel initial . Cet embedding subit un processus de diffusion avant, qui y ajoute du bruit et le transforme en une version plus bruitée , représentant une version dégradée de l’image originale.
Ensuite, le Denoising Transformer est appliqué ; il supprime progressivement le bruit en plusieurs étapes (répétées fois) afin de récupérer un embedding d’image plus propre. Le processus de débruitage est guidé par des conditions qui influencent la manière dont l’image doit être reconstruite. Ces conditions comprennent :
Condition textuelle : Dans ce cas, le prompt textuel "Balloon" est encodé via un Text Encoder (CLIP ou d’autres modèles de texte comme T5), produisant un embedding textuel . Cet embedding ajoute un guide contextuel au processus de débruitage, garantissant que l’image finale s’aligne sur la description d’un "Balloon."
Condition de masque : Si un masque est fourni, il est traité au moyen d’un perceptron multicouche (MLP) afin de générer un embedding de masque , qui guide le débruitage pour se concentrer sur des zones spécifiques de l’image, par exemple pour modifier ou ajouter des éléments comme un ballon dans certaines régions.
Les conditions de texte et de masque sont concaténées avec l’embedding visuel bruité et transmises au transformeur de débruitage, qui utilise le guidage sans classificateur (CFG) pour ajuster la force de ces conditions. Si aucun masque ni aucune condition n’est fourni, des vecteurs nuls par défaut sont utilisés afin d’assurer un fonctionnement fluide.
Il est à noter que des conditions textuelles négatives sont également introduites au cours de ce processus afin d’affiner la sortie. Par exemple, une condition négative comme « multiple balloons » pourrait être appliquée pour éviter de générer plus d’un ballon, garantissant que l’image finale représente un seul ballon près de la tour Eiffel.
Après plusieurs itérations de débruitage, l’embedding d’image résultant s’aligne sur les caractéristiques visuelles CLIP et est ensuite comparé à une base de données de récupération afin de trouver ou de générer l’image la mieux correspondante, qui dans ce cas serait la tour Eiffel avec un ballon dans le ciel.
Processus d’entraînement de CompoDiff
L’entraînement se déroule en deux phases :
Processus d’entraînement de CompoDiff.png
Figure : Processus d’entraînement de CompoDiff
****
Étape 1 : Entraînement avec LAION-2B
Dans la première étape, le modèle est entraîné sur le jeu de données LAION-2B, qui contient une vaste collection de paires image-texte. L’objectif principal de cette étape est d’apprendre à générer des embeddings visuels CLIP à partir d’entrées bruitées en utilisant des descriptions textuelles comme guidage.
Le processus commence par l’encodage d’une image (par exemple, un oiseau) en un embedding visuel CLIP . Cet embedding subit un processus de diffusion, au cours duquel du bruit est progressivement ajouté en plusieurs étapes, ce qui produit une version fortement bruitée contenant peu ou pas d’informations identifiables. Simultanément, la description textuelle correspondante, comme « A chickadee sitting on a wooden surface next to flowers », est encodée en un embedding textuel CLIP . L’embedding visuel bruité et l’embedding textuel sont ensuite introduits dans un transformeur de débruitage, qui supprime le bruit par étapes, guidé par le texte. Le transformeur vise à reconstruire progressivement l’embedding visuel propre de l’image. L’objectif de cette étape est de minimiser la différence entre l’embedding visuel bruité et l’embedding reconstruit en utilisant le texte comme référence de guidage. Cela apprend au modèle à aligner les informations visuelles et textuelles, garantissant que les caractéristiques de l’image générée correspondent à la description textuelle.
Étape 2 : Ajustement fin sur le jeu de données SynthTriplets18M
Dans l’Étape 2, le modèle est ajusté finement à la fois sur les jeux de données LAION-2B et synthétique SynthTriplet18M, ce qui améliore sa capacité à gérer des scénarios plus complexes.
Dans cette phase, le modèle apprend à générer des images spécifiques non seulement à partir de descriptions textuelles, mais aussi en incorporant des images de référence et des conditions de masque qui indiquent les zones à modifier. L’entraînement commence par l’encodage d’une image d’entrée, comme dans l’Étape 1, mais une image de référence est désormais également fournie et encodée dans son propre embedding visuel. L’image de référence guide le modèle dans la modification de l’image d’entrée. Une condition de masque est également introduite, mettant en évidence les régions spécifiques de l’image nécessitant une modification. Le masque est transformé en embedding à l’aide d’un MLP (perceptron multicouche), et il fonctionne conjointement avec l’embedding textuel (par exemple, « Change the chickadee to a rooster ») pour guider le processus de débruitage.
Le modèle alterne entre deux objectifs : l’un où il apprend à masquer des zones spécifiques de l’image cible en fonction du texte et des conditions du masque, et un autre où il affine sa capacité à transformer l’image d’entrée en image cible en fonction de la référence, du masque et du texte fournis. Grâce à ce processus d’entraînement alterné, le modèle apprend à combiner les informations visuelles et textuelles pour modifier les images avec précision et flexibilité. À la fin de ces deux étapes, CompoDiff est équipé pour gérer des tâches complexes de recherche d’images composées, offrant un contrôle précis sur la manière dont les images sont générées et modifiées en fonction de multiples conditions. Cela permet au modèle de générer des images qui s’alignent sur des instructions textuelles détaillées, d’incorporer des caractéristiques issues d’images de référence et de modifier sélectivement des régions spécifiques.
CIReVL : Vision-by-Language pour la recherche d’images compositionnelle sans entraînement
La plupart des modèles de recherche d’images compositionnelle (CIR) reposent sur des jeux de données annotés et un entraînement de modèle spécifique à la tâche, qui sont coûteux et sujets au surapprentissage. Cela signifie que les modèles ont tendance à mal fonctionner lorsqu’on leur présente des images qui diffèrent de leur distribution d’entraînement. Ce problème devient particulièrement problématique dans les applications du monde réel, où la variété des entrées peut être vaste et imprévisible. Avec le développement de modèles à grande échelle comme les grands modèles de langage (LLMs) et les modèles vision-langage (VLMs), le paradigme de l’apprentissage zero-shot — où les modèles accomplissent des tâches pour lesquelles ils n’ont pas été explicitement entraînés — a suscité une attention considérable. CIReVL est un exemple marquant de modèle CIR zero-shot qui ne nécessite aucun entraînement supplémentaire tout en atteignant des performances robustes.
How CIReVL works.png
Figure : Fonctionnement de CIReVL
Plus précisément, CIReVL (Compositional Image Retrieval through Vision-by-Language) est une approche sans entraînement de la recherche d’images compositionnelle qui s’appuie sur des modèles existants et pré-entraînés tels que les VLMs et les LLMs. Son objectif est de retrouver des images cibles dans une base de données en combinant une image requête et un modificateur textuel (par exemple, « Eiffel Tower sans personnes et de nuit »). Ce qui distingue CIReVL est sa capacité à contourner entièrement le besoin d’un entraînement supervisé, offrant une solution plus flexible et plus efficace pour les tâches de CIR.
La méthode repose sur trois composants clés, chacun doté de fortes capacités de généralisation. Premièrement, un modèle vision-langage (tel que BLIP2) génère une légende descriptive pour l’image d’entrée. Deuxièmement, un grand modèle de langage (tel que GPT-3.5 ou GPT-4) modifie la légende en fonction des instructions textuelles fournies (par exemple, « supprimer les personnes, changer l’heure en nuit »). Enfin, la légende modifiée est transformée en un embedding textuel à l’aide d’un encodeur texte-image comme CLIP, qui effectue ensuite la recherche d’images effective dans la base de données. Ce processus est très modulaire et fonctionne purement dans le domaine du langage, ce qui permet un contrôle plus intuitif et une intervention de l’utilisateur. Ce pipeline simple rend également CIReVL à la fois évolutif et adaptable.
MagicLens : recherche d’images auto-supervisée avec instructions ouvertes
En revenant sur les méthodes précédentes, nous pouvons constater que l’un des plus grands défis de la recherche d’images composées (CIR) est de collecter et d’annoter des données réelles de haute qualité afin d’entraîner des modèles qui se généralisent bien dans divers contextes. Les modèles doivent comprendre des relations complexes entre images, mais les données nécessaires à ce type d’entraînement sont souvent coûteuses et difficiles à obtenir. Pour résoudre ce problème, des chercheurs de DeepMind et de l’Ohio State University ont introduit MagicLens, un modèle de recherche d’images auto-supervisé avec des instructions ouvertes. Son innovation principale réside dans sa capacité à aller au-delà de la similarité visuelle traditionnelle et à retrouver des images sur la base de relations sémantiques plus nuancées.
MagicLens s’appuie sur des modèles vision-langage (VLM) pré-entraînés comme CLIP ou CoCa, ainsi que sur de grands modèles de langage (LLM) tels que PaLM2. Cette combinaison permet à MagicLens de traiter des requêtes de recherche complexes, permettant aux utilisateurs de saisir une image et une invite textuelle flexible (par exemple, « sous un angle différent » ou « la vue intérieure ») afin de retrouver des images qui correspondent à la fois au contenu visuel et aux relations sémantiques.
Le modèle tire parti de l’idée selon laquelle les images provenant des mêmes pages web partagent souvent des relations implicites, telles que différentes vues d’un objet ou des interactions entre objets. MagicLens extrait ces paires d’images de pages web et les utilise pour générer un vaste jeu de données de triplets d’entraînement — chacun composé d’une image de requête, d’une instruction textuelle et d’une image cible. Ces triplets constituent la base du processus d’apprentissage auto-supervisé de MagicLens, dans lequel le modèle apprend à relier les images en fonction des instructions fournies.
Fonctionnement de Magiclends.png
Figure : Fonctionnement de Magiclends
Pour collecter et organiser ces triplets, MagicLens utilise un pipeline de données sophistiqué :
Pages web : Les images sont collectées à partir de la même URL, en supposant qu’elles sont probablement liées. Cela permet au modèle de recueillir une grande quantité de données depuis Common Crawl.
Regroupement et nettoyage : Les images collectées sont regroupées par URL, puis filtrées afin de supprimer les images en basse résolution, dupliquées ou non pertinentes (par exemple, des publicités).
Enrichissement des métadonnées : Pour améliorer la compréhension, des métadonnées sont générées pour chaque image. Ces métadonnées comprennent :
Étiquettes ICA (générées via Google Vision API) pour l’identification de base des objets.
Texte alternatif (descriptions textuelles alternatives provenant de pages web).
Légendes générées à l’aide du modèle PaLI de Google.
Notation et filtrage : À l’aide de la notation image-à-image et texte-à-texte de CLIP, MagicLens filtre davantage les paires d’images faiblement liées, garantissant que seules des paires de haute qualité subsistent.
Génération d’instructions : Sur la base des métadonnées des images appariées, PaLM2 de Google génère des instructions textuelles ouvertes qui expliquent la relation entre les images de requête et les images cibles.
pipeline de données.png
Figure : pipeline de données
Grâce à ce pipeline, MagicLens génère un jeu de données de 36,7 millions de triplets (image de référence, instruction textuelle et image cible), qui constitue la base de l’entraînement du modèle. Cet immense jeu de données permet à MagicLens de s’entraîner efficacement sans avoir besoin d’annotations manuelles, ce qui conduit à un modèle robuste pour diverses tâches de récupération.
Évaluation des modèles de récupération d’images composées (CIR)
Plusieurs jeux de données de référence sont couramment utilisés pour évaluer les performances des modèles de récupération d’images composées (CIR), notamment FashionIQ, CIRR et CIRCO. Ces jeux de données couvrent une variété de tâches de récupération, de la recherche d’images de mode à la récupération d’images naturelles, ce qui les rend idéaux pour évaluer différents modèles dans divers domaines.
FashionIQ se concentre sur la récupération d’images de mode à granularité fine, avec des tâches impliquant des articles vestimentaires spécifiques (par exemple, robes, chemises, etc.). Il comprend 2005 requêtes et 5179 images d’index.
CIRR met l’accent sur les images du monde réel et couvre un large éventail de relations entre images (par exemple, des changements spatiaux ou compositionnels). Il comporte 4148 requêtes et 2316 images d’index.
CIRCO est un jeu de données à grande échelle comprenant plus de 120 000 images naturelles, où chaque requête peut avoir plusieurs images cibles correctes.
Performances des modèles sur les benchmarks CIR
Le tableau suivant met en évidence les performances de plusieurs modèles CIR de premier plan sur ces jeux de données. Les modèles sont évalués à l’aide de différentes métriques, telles que Recall@10 (R@10) pour FashionIQ et CIRR, et Mean Average Precision at 5 (mAP@5) pour CIRCO. Ces métriques évaluent la capacité des modèles à retrouver des images pertinentes à partir d’une combinaison d’entrée visuelle et d’instructions textuelles.
| Publication | Params | Fashion IQ R@10 | CIRR R@1 | CIRCO mAP@5 | |
| Pic2Word | CVPR 2023 | 429M | 24.7 | 23.9 | 8.7 |
| CompoDiff | CVPRW 2024 | 568M | 36.0 | 18.2 | 12.6 |
| CIReVL | ICLR 2024 | 12.5B | 28.6 | 24.6 | 18.6 |
| MagicLens-L | ICML 2024 | 613M | 38.0 | 33.3 | 34.1 |
Principaux enseignements :
Performances sur FashionIQ : MagicLens-L surpasse les autres modèles avec un Recall@10 de 38.0, démontrant son efficacité dans les tâches de recherche d’articles de mode. CompoDiff suit de près avec 36.0, montrant sa solidité dans le CIR lié à la mode.
Performances sur CIRR : MagicLens-L est également en tête sur CIRR, atteignant un Recall@1 de 33.3, nettement supérieur à celui des autres modèles. CIReVL obtient de bons résultats avec 24.6, démontrant sa capacité dans la recherche d’images du monde réel.
Performances sur CIRCO : MagicLens-L excelle également dans les tâches de recherche d’images naturelles à grande échelle, avec une Mean Average Precision at 5 (mAP@5) de 34.1, loin devant les autres modèles. Cela démontre sa force dans la gestion de jeux de données complexes et volumineux comportant plusieurs cibles correctes.
Dans l’ensemble, MagicLens-L affiche les meilleures performances générales sur tous les jeux de données, excellant particulièrement dans les tâches de recherche d’images de mode et d’images naturelles à grande échelle, malgré un nombre de paramètres inférieur à celui de CIReVL.
Résumé
Dans cet article, nous avons exploré l’adoption croissante des méthodes de recherche multimodale, qui combinent la recherche de texte, d’images et de nombreux autres types de données afin d’offrir des moyens plus flexibles et précis de capturer l’intention de recherche. Une tâche courante dans ce domaine est la recherche d’images composée (CIR), où les utilisateurs affinent les recherches d’images à l’aide de descriptions textuelles en combinaison avec des images de référence.
Nous avons couvert les principaux modèles et techniques qui stimulent le CIR, notamment Pic2Word, CompoDiff, CIReVL et MagicLens. Chacun d’eux s’appuie sur les capacités fondamentales de CLIP tout en adoptant différentes approches pour améliorer la recherche :
Pic2Word transforme les images en jetons textuels intégrés dans une recherche basée sur le texte, exploitant les embeddings textuels de CLIP pour une recherche d’images très polyvalente et guidée par le texte.
CompoDiff emploie un débruitage guidé par le texte, affinant des embeddings visuels bruités à l’aide d’une entrée textuelle afin de reconstruire conditionnellement les embeddings d’images, améliorant ainsi la précision de la recherche.
CIReVL modifie les descriptions textuelles pour mieux correspondre à l’image cible et régénère de nouveaux embeddings visuels, fournissant des résultats de recherche plus précis en alignant les modifications textuelles avec l’image de référence.
MagicLens utilise des modèles Transformer pour traiter le texte et les images en parallèle, générant un embedding unifié qui capture les deux modalités et améliore les performances de recherche.
Découvrez notre démo de recherche multimodale !
Nous avons développé une démo en ligne pour la recherche multimodale alimentée par la base de données vectorielle Milvus. Dans cette démo, vous pouvez téléverser une image et saisir des instructions textuelles, qui sont traitées par un modèle de recherche d’images composée afin de trouver des images correspondantes à partir des entrées visuelle et textuelle.
Au cœur de cette démo se trouve le modèle d’embedding MagicLens, qui fonctionne avec un système de reclassement basé sur GPT-4o pour affiner les résultats de recherche selon l’intention de l’utilisateur. Cette combinaison montre comment les modèles multimodaux peuvent transformer les systèmes de récupération modernes, en offrant des expériences de recherche plus précises et intuitives.
Nous vous invitons à explorer et à découvrir par vous-même l’avenir de la recherche multimodale !
Searching results from the multimodal search model.png
Figure : Résultats de recherche du modèle de recherche multimodale
Essayez la démo : Multimodal Image Search
Consultez le code source : Multimodal RAG with Milvus | Milvus Documentation
Ressources supplémentaires
Page GitHub de MagicLens : https://open-vision-language.github.io/MagicLens/
Page GitHub de CIReVL : https://github.com/ExplainableML/Vision_by_Language
Page GitHub de CompoDiff : https://github.com/navervision/CompoDiff
Démo Milvus : https://milvus.io/milvus-demos
Continuer à lire
What Is a Vector Lakebase?
A Vector Lakebase is a unified, lake-native data architecture for AI that combines vector-database-grade serving with open lake storage, reusable lake-level indexes, and a shared semantic layer.
Democratizing AI: Making Vector Search Powerful and Affordable
Zilliz democratizes AI vector search with Milvus 2.6 and Zilliz Cloud for powerful, affordable scalability, cutting costs in infrastructure, operations, and development.
Vector Databases vs. Hierarchical Databases
Use a vector database for AI-powered similarity search; use a hierarchical database for organizing data in parent-child relationships with efficient top-down access patterns.