Combinando Imagens e Texto: Como a Recuperação Multimodal Transforma a Busca
A ascensão dos modelos multimodais
Ao olharmos para o rápido progresso dos grandes modelos de linguagem (LLMs) em 2024, fica claro que a IA continua a avançar por meio de maior inovação e investimento. Embora haja dados textuais abundantes disponíveis, os pesquisadores reconheceram que os humanos compreendem o mundo por meio de múltiplos sentidos, o que impulsionou uma mudança em direção ao aproveitamento de outros tipos de dados, como imagens, áudio e vídeos. Essa mudança impulsionou a ascensão dos modelos de IA multimodal, que podem processar e compreender dados de múltiplas fontes, permitindo interpretações mais ricas e complexas das informações.
Na primeira metade de 2024, vimos lançamentos significativos de modelos multimodais, como o GPT-4o da OpenAI, o Claude 3 da Anthropic, o Gemini 1.5 Pro do Google e o Ferret-UI da Apple. Esses modelos ampliam as capacidades da IA para além do texto, abrindo novas aplicações em indústrias criativas, ferramentas de produtividade e sistemas mais interativos. O que antes era um conceito acadêmico de nicho agora se tornou mainstream, com desenvolvedores utilizando essas APIs para criar aplicações que integram IA com mídias diversas, desbloqueando novas possibilidades de inovação.
Cientistas da OpenAI mostrando as capacidades multimodais de seu recém-lançado GPT-40.png
Figura: Cientistas da OpenAI mostrando as capacidades multimodais de seu recém-lançado GPT-40
Recuperação multimodal e recuperação de imagens compostas (CIR)
À medida que os modelos multimodais se desenvolvem, a recuperação multimodal—que combina entradas de múltiplas modalidades, normalmente texto e imagens—está se tornando cada vez mais popular. Essa abordagem permite uma forma mais sutil e precisa de capturar as intenções de busca dos usuários, aproveitando os pontos fortes de ambas as modalidades.
Uma das tarefas mais comuns dentro da recuperação multimodal é a Recuperação de Imagens Compostas (CIR), na qual os usuários fornecem uma consulta que inclui uma imagem de referência juntamente com uma legenda descritiva. Essa abordagem de entrada dupla permite a recuperação de imagens específicas ao combinar conteúdo visual com instruções textuais, criando uma consulta mais detalhada e precisa.
As buscas tradicionais por imagens dependem principalmente de métricas de similaridade, que são eficazes para muitas consultas de propósito geral. No entanto, em casos em que uma única imagem de referência não expressa totalmente a intenção do usuário, a entrada de texto se torna um complemento essencial. O texto adiciona contexto e precisão que uma imagem sozinha pode não ter, permitindo que os usuários ajustem suas consultas de busca. Essa fusão de modalidades permite que desenvolvedores criem sistemas de busca mais robustos e flexíveis, permitindo que os usuários expressem consultas complexas de forma natural e com maior precisão.
Nas seções a seguir, exploraremos os principais modelos e técnicas em recuperação de imagens compostas, suas metodologias e seu desempenho em vários domínios, avaliados usando conjuntos de dados populares como FashionIQ, CIRR e CIRCO. Essas avaliações destacarão os pontos fortes e as limitações de diferentes abordagens de CIR em aplicações do mundo real.
Uma visão geral dos métodos populares de recuperação de imagens compostas
Nos últimos anos, as técnicas de recuperação multimodal avançaram rumo à universalidade zero-shot, especialmente com modelos como CLIP, que permite uma poderosa recuperação de texto para imagem usando um espaço de incorporação compartilhado para ambas as modalidades. Essas técnicas aproveitam incorporações pré-treinadas ou conjuntos de dados anotados e ajustados, dependendo dos recursos disponíveis, levando a melhorias significativas no desempenho da busca e na qualidade dos dados.
A tabela a seguir fornece uma visão geral das técnicas populares de recuperação de imagens compostas (CIR), suas principais metodologias e os tipos de embeddings que elas geram e usam para pesquisa:
| Técnica | Descrição | Embedding Gerado | Embedding de Pesquisa |
| Pic2Word | Converte uma imagem em um token incorporado ao texto, permitindo pesquisas flexíveis de imagem para texto. | Embedding de Texto CLIP | Embedding Visual CLIP |
| CompoDiff | Aplica ruído a um embedding visual CLIP e, em seguida, usa texto durante o processo de remoção de ruído para reconstruir um embedding visual CLIP condicional. | Embedding Visual CLIP | Embedding Visual CLIP |
| CIReVL | Transforma uma imagem em texto descritivo, modifica a descrição para corresponder ao alvo e gera uma nova representação. | Embedding de Texto CLIP | Embedding Visual CLIP |
| MagicLens | Usa um modelo Transformer que processa simultaneamente dados de imagem e texto, gerando um embedding vetorial unificado. | Embedding MagicLens | Embedding MagicLens |
Pic2Word: Mapeando Imagens para Palavras para Recuperação de Imagens Compostas Zero-shot
Pic2Word é um método para recuperação de imagens compostas zero-shot (ZS-CIR), destinado a recuperar imagens usando imagem e texto como consultas de entrada sem exigir grandes conjuntos de dados rotulados. Usando o modelo CLIP pré-treinado, o Pic2Word mapeia embeddings visuais de imagens para tokens de pseudopalavras que representam a imagem no espaço textual. Isso permite que o modelo combine os recursos da imagem com descrições textuais para recuperar imagens-alvo com base em modificações especificadas no texto (por exemplo, alterar atributos de uma imagem, como a cor de um objeto).
Esquerda-o processo de treinamento da rede de mapeamento Pic2word; Direita-o processo de recuperação de imagens compostas..png
Figura: Esquerda: o processo de treinamento da rede de mapeamento Pic2word; Direita: o processo de recuperação de imagens compostas.
Como o Pic2Word Funciona
A imagem acima mostra o treinamento da rede de mapeamento Pic2Word e o processo de recuperação de imagens compostas. Durante o processo de treinamento, uma imagem (por exemplo, uma foto de um gato) é passada por um Codificador Visual congelado, que gera um embedding visual . Simultaneamente, um prompt de texto tokenizado como "Uma foto de" é passado por um Codificador de Texto que produz um embedding de texto correspondente . O objetivo da rede de mapeamento é mapear o embedding da imagem para um pseudotoken que possa ser incorporado ao prompt de texto, formando a frase "Uma foto de [s]."
Esse token mapeado, quando passado pelo Codificador de Texto congelado, deve gerar um embedding textual que se alinhe estreitamente com o embedding original da imagem . A rede é treinada usando uma função de perda contrastiva, que minimiza a distância entre o embedding visual e o embedding de texto , garantindo que a imagem seja representada com precisão como um token semelhante a uma palavra.
Depois que a rede de mapeamento é treinada, ela pode ser usada para tarefas de recuperação de imagens compostas. Nesta etapa, o usuário insere uma imagem (por exemplo, um cachorro) e uma consulta de texto (por exemplo, "em uma piscina"). A imagem é processada por meio do Codificador Visual, enquanto o texto é processado por meio do Codificador de Texto. O pseudo-token aprendido aprimora a consulta, permitindo que o sistema entenda a composição de imagem e texto.
O recurso da consulta, que combina representações de imagem e texto, é comparado com um banco de dados de imagens candidatas. O sistema então recupera a imagem mais correspondente (por exemplo, um cachorro nadando em uma piscina), modificando efetivamente a imagem de entrada com base na descrição textual fornecida.
CompoDiff: Recuperação Versátil de Imagens Compostas Com Difusão Latente
CompoDiff é um modelo baseado em difusão projetado para recuperação de imagens compostas zero-shot (ZS-CIR). Ele emprega modelos de difusão, uma técnica na geração de texto para imagem, para melhorar significativamente a flexibilidade e a precisão da edição e recuperação de imagens. Esses modelos vão além de simplesmente referenciar texto; eles garantem que as imagens geradas se alinhem aos padrões observados durante o treinamento. Ao usar modelos de difusão, o CompoDiff cria embeddings que mesclam texto de entrada, imagens de referência e máscaras, gerando vetores que se alinham à distribuição de embeddings visuais do CLIP.
Então, como entendemos a mecânica dos modelos de difusão? Considere uma fotografia que se torna cada vez mais ruidosa ao longo do tempo. Imagine que você começa com uma imagem clara e nítida e depois adiciona gradualmente ruído aleatório a ela, semelhante à estática em uma TV antiga. A imagem fica cada vez mais obscurecida até se tornar quase irreconhecível, transformando-se em algo que parece ruído puro. Este é o processo de difusão direta.
A parte mais fascinante, porém, é o processo inverso. Nos modelos de difusão, o objetivo é começar com essa imagem ruidosa e lentamente "remover o ruído" dela passo a passo. À medida que o modelo remove o ruído, ele reconstrói a imagem original (ou cria novas imagens com base em prompts de texto). Esse processo permite que o modelo gere imagens de alta qualidade que obedecem a determinadas condições—como uma descrição textual específica ou uma imagem de referência.
Funciona da mesma forma ao incorporar texto. O CompoDiff remove gradualmente o ruído de um embedding de ruído Gaussiano, aprimorando sua relação sinal-ruído até que ela corresponda à de um embedding visual do CLIP. Texto e imagens controlam essa transformação, com máscaras fornecendo orientação extra sobre quais áreas da imagem modificar.
Como o CompoDiff Funciona.png
Figura: Como o CompoDiff Funciona
Processo de Inferência do CompoDiff
Na fase de inferência do CompoDiff, conforme ilustrado no diagrama, o processo começa com uma imagem de entrada (por exemplo, a Torre Eiffel) que é codificada em um espaço latente por meio do Codificador de Imagem CLIP, produzindo o embedding visual inicial . Esse embedding passa por um processo de difusão direta, adicionando ruído a ele e transformando-o em uma versão mais ruidosa , representando uma versão degradada da imagem original.
Em seguida, o Transformador de Remoção de Ruído é aplicado, removendo progressivamente o ruído em múltiplas etapas (repetidas vezes) para recuperar um embedding de imagem mais limpo. O processo de remoção de ruído é guiado por condições que influenciam como a imagem deve ser reconstruída. Essas condições incluem:
Condição de Texto : Neste caso, o prompt de texto "Balão" é codificado por meio de um Codificador de Texto (CLIP ou outros modelos de texto como T5), produzindo um embedding de texto . Esse embedding adiciona um guia contextual ao processo de remoção de ruído, garantindo que a imagem final se alinhe à descrição de um "Balão."
Condição de Máscara : Se uma máscara for fornecida, ela é processada por meio de um Perceptron Multicamadas (MLP) para gerar um embedding de máscara , que orienta a remoção de ruído para se concentrar em áreas específicas da imagem, como modificar ou adicionar elementos, como um balão em determinadas regiões.
As condições de texto e máscara são concatenadas com o embedding visual ruidoso e passadas pelo transformer de remoção de ruído, que usa Orientação Livre de Classificador (CFG) para ajustar a intensidade dessas condições. Se nenhuma máscara ou condição for fornecida, vetores zero padrão são usados para garantir uma operação suave.
Notavelmente, condições de texto negativas também são introduzidas durante esse processo para refinar a saída. Por exemplo, uma condição negativa como "multiple balloons" poderia ser aplicada para evitar gerar mais de um balão, garantindo que a imagem final reflita um único balão perto da Torre Eiffel.
Após várias iterações de remoção de ruído, o embedding de imagem resultante se alinha com os recursos visuais do CLIP e é então comparado a um banco de dados de recuperação para encontrar ou gerar a imagem mais correspondente, que, neste caso, seria a Torre Eiffel com um balão no céu.
Processo de Treinamento do CompoDiff
O treinamento é realizado em duas fases:
Processo de Treinamento do CompoDiff.png
Figura: Processo de Treinamento do CompoDiff
****
Etapa 1: Treinamento com LAION-2B
Na primeira etapa, o modelo é treinado no conjunto de dados LAION-2B, que contém uma grande coleção de pares imagem-texto. O objetivo principal desta etapa é aprender a gerar embeddings visuais do CLIP a partir de entradas ruidosas usando descrições textuais como orientação.
O processo começa codificando uma imagem (por exemplo, um pássaro) em um embedding visual do CLIP . Esse embedding passa por um processo de difusão, no qual ruído é progressivamente adicionado ao longo de várias etapas, resultando em uma versão altamente ruidosa que contém pouca ou nenhuma informação identificável. Simultaneamente, a descrição textual correspondente, como "A chickadee sitting on a wooden surface next to flowers," é codificada em um embedding de texto do CLIP . O embedding visual ruidoso e o embedding de texto são então inseridos em um Transformer de Remoção de Ruído, que remove o ruído em etapas, guiado pelo texto. O transformer visa reconstruir gradualmente o embedding visual limpo da imagem. O objetivo nesta etapa é minimizar a diferença entre o embedding visual ruidoso e o embedding reconstruído usando o texto como referência orientadora. Isso ensina o modelo a alinhar informações visuais e textuais, garantindo que os recursos da imagem gerada correspondam à descrição textual.
Etapa 2: Ajuste Fino no Conjunto de Dados SynthTriplets18M
Na Etapa 2, o modelo é ajustado finamente tanto nos conjuntos de dados LAION-2B quanto no sintético SynthTriplet18M, aprimorando sua capacidade de lidar com cenários mais complexos.
Nesta fase, o modelo aprende a gerar imagens específicas não apenas a partir de descrições textuais, mas também incorporando imagens de referência e condições de máscara que indicam áreas a modificar. O treinamento começa codificando uma imagem de entrada, assim como na Etapa 1, mas agora uma imagem de referência também é fornecida e codificada em seu próprio embedding visual. A imagem de referência orienta o modelo na modificação da imagem de entrada. Uma condição de máscara também é introduzida, destacando regiões específicas na imagem que precisam de modificação. A máscara é processada em um embedding usando um MLP (perceptron multicamadas), e ela funciona em conjunto com o embedding de texto (por exemplo, "Change the chickadee to a rooster") para orientar o processo de remoção de ruído.
O modelo alterna entre dois objetivos: um em que aprende a obscurecer áreas específicas da imagem-alvo com base nas condições de texto e máscara, e outro em que refina sua capacidade de transformar a imagem de entrada na imagem-alvo com base na referência, na máscara e no texto fornecidos. Por meio desse processo de treinamento alternado, o modelo aprende a combinar informações visuais e textuais para modificar imagens de forma precisa e flexível. Ao final dessas duas etapas, o CompoDiff está equipado para lidar com tarefas complexas de recuperação de imagens compostas, oferecendo controle fino sobre como as imagens são geradas e modificadas com base em múltiplas condições. Isso permite que o modelo gere imagens alinhadas a instruções textuais detalhadas, incorpore características de imagens de referência e modifique seletivamente regiões específicas.
CIReVL: Visão por Linguagem para Recuperação de Imagens Composicionais sem Treinamento
A maioria dos modelos de recuperação de imagens composicionais (CIR) depende de conjuntos de dados anotados e treinamento de modelos específico para a tarefa, que são caros e propensos a overfitting. Isso significa que os modelos tendem a ter um desempenho ruim quando apresentados a imagens que diferem de sua distribuição de treinamento. Esse problema torna-se especialmente problemático em aplicações do mundo real, onde a variedade de entradas pode ser vasta e imprevisível. Com o desenvolvimento de modelos em larga escala, como grandes modelos de linguagem (LLMs) e modelos de visão-linguagem (VLMs), o paradigma de aprendizado zero-shot—em que os modelos executam tarefas para as quais não foram explicitamente treinados—ganhou atenção significativa. O CIReVL é um exemplo proeminente de modelo CIR zero-shot que não requer treinamento adicional, mas ainda assim alcança um desempenho robusto.
Como o CIReVL funciona.png
Figura: Como o CIReVL funciona
Mais especificamente, CIReVL (Recuperação de Imagens Composicionais por meio de Visão por Linguagem) é uma abordagem sem treinamento para recuperação de imagens composicionais que aproveita modelos existentes e pré-treinados, como VLMs e LLMs. Seu objetivo é recuperar imagens-alvo de um banco de dados combinando uma imagem de consulta e um modificador textual (por exemplo, "Torre Eiffel sem pessoas e à noite"). O que faz o CIReVL se destacar é sua capacidade de contornar completamente a necessidade de treinamento supervisionado, oferecendo uma solução mais flexível e eficiente para tarefas de CIR.
O método é construído sobre três componentes principais, cada um com fortes capacidades de generalização. Primeiro, um modelo de visão-linguagem (como o BLIP2) gera uma legenda descritiva para a imagem de entrada. Em segundo lugar, um grande modelo de linguagem (como o GPT-3.5 ou o GPT-4) modifica a legenda com base nas instruções textuais fornecidas (por exemplo, "remova pessoas, mude o horário para noite"). Por fim, a legenda modificada é transformada em um embedding de texto usando um codificador texto-imagem como o CLIP, que então realiza a recuperação real de imagens no banco de dados. Esse processo é altamente modular e opera puramente no domínio da linguagem, permitindo um controle mais intuitivo e intervenção do usuário. Esse pipeline simples também torna o CIReVL escalável e adaptável.
MagicLens: Recuperação de Imagens Auto-Supervisionada com Instruções Abertas
Olhando para métodos anteriores, podemos constatar que um dos maiores desafios na Recuperação de Imagens Compostas (CIR) é coletar e anotar dados reais de alta qualidade para treinar modelos que generalizem bem em vários contextos. Os modelos precisam entender relações complexas entre imagens, mas os dados necessários para esse tipo de treinamento costumam ser caros e difíceis de obter. Para enfrentar esse problema, pesquisadores da DeepMind e da Ohio State University introduziram o MagicLens, um modelo de recuperação de imagens auto-supervisionado com instruções abertas. Sua inovação central está na capacidade de ir além da similaridade visual tradicional e recuperar imagens com base em relações semânticas mais sutis.
MagicLens se baseia em modelos de visão-linguagem (VLMs) pré-treinados como CLIP ou CoCa, juntamente com grandes modelos de linguagem (LLMs) como PaLM2. Essa combinação permite que o MagicLens lide com consultas de busca complexas, permitindo que os usuários insiram uma imagem e um prompt de texto flexível (por exemplo, "de um ângulo diferente" ou "a vista interna") para recuperar imagens que estejam alinhadas tanto com o conteúdo visual quanto com as relações semânticas.
O modelo aproveita o insight de que imagens das mesmas páginas da web frequentemente compartilham relações implícitas, como diferentes vistas de um objeto ou interações entre objetos. O MagicLens extrai esses pares de imagens de páginas da web e os usa para gerar um vasto conjunto de dados de trios de treinamento — cada um consistindo em uma imagem de consulta, uma instrução textual e uma imagem-alvo. Esses trios fornecem a base para o processo de aprendizagem autossupervisionada do MagicLens, no qual o modelo aprende a vincular imagens com base nas instruções fornecidas.
How Magiclends works.png
Figura: Como o Magiclends funciona
Para coletar e curar esses trios, o MagicLens emprega um pipeline de dados sofisticado:
Páginas da Web: As imagens são coletadas da mesma URL, com a suposição de que provavelmente estão relacionadas. Isso permite que o modelo reúna uma vasta quantidade de dados do Common Crawl.
Agrupamento & Limpeza: As imagens coletadas são agrupadas por URL e, em seguida, filtradas para remover imagens de baixa resolução, duplicadas ou irrelevantes (por exemplo, anúncios).
Expansão de Metadados: Para aprimorar a compreensão, metadados são gerados para cada imagem. Esses metadados incluem:
Rótulos ICA (gerados via Google Vision API) para identificação básica de objetos.
Alt-text (descrições de texto alternativo de páginas da web).
Legendas geradas usando o modelo PaLI do Google.
Pontuação & Filtragem: Usando a pontuação imagem-para-imagem e texto-para-texto do CLIP, o MagicLens filtra ainda mais pares de imagens fracamente relacionados, garantindo que apenas pares de alta qualidade permaneçam.
Geração de Instruções: Com base nos metadados das imagens pareadas, o PaLM2 do Google gera instruções textuais abertas que explicam a relação entre as imagens de consulta e alvo.
data pipeline.png
Figura: pipeline de dados
Por meio desse pipeline, o MagicLens gera um conjunto de dados de 36,7 milhões de trios (imagem de referência, instrução de texto e imagem-alvo), que fornece a base para o treinamento do modelo. Esse enorme conjunto de dados permite que o MagicLens treine de forma eficaz sem a necessidade de anotações manuais, resultando em um modelo robusto em várias tarefas de recuperação.
Avaliação de Modelos de Recuperação de Imagem Composta (CIR)
Vários conjuntos de dados de benchmark são comumente usados para avaliar o desempenho de modelos de Recuperação de Imagem Composta (CIR), incluindo FashionIQ, CIRR e CIRCO. Esses conjuntos de dados abrangem uma variedade de tarefas de recuperação, desde busca de imagens de moda até recuperação de imagens naturais, tornando-os ideais para avaliar diferentes modelos em diversos domínios.
FashionIQ concentra-se na recuperação de imagens de moda em granularidade fina, com tarefas envolvendo itens específicos de vestuário (por exemplo, vestidos, camisas etc). Inclui 2005 consultas e 5179 imagens de índice.
CIRR enfatiza imagens do mundo real e abrange uma ampla gama de relações entre imagens (por exemplo, mudanças espaciais ou composicionais). Possui 4148 consultas e 2316 imagens de índice.
CIRCO é um conjunto de dados em larga escala com mais de 120.000 imagens naturais, em que cada consulta pode ter múltiplas imagens-alvo corretas.
Desempenho do Modelo em Benchmarks CIR
A tabela a seguir destaca o desempenho de vários modelos líderes de CIR nesses conjuntos de dados. Os modelos são avaliados usando diferentes métricas, como Recall@10 (R@10) para FashionIQ e CIRR, e Mean Average Precision at 5 (mAP@5) para CIRCO. Essas métricas avaliam quão bem os modelos conseguem recuperar imagens relevantes com base em uma combinação de entrada visual e instruções textuais.
| Publicação | Params | Fashion IQ R@10 | CIRR R@1 | CIRCO mAP@5 | |
| Pic2Word | CVPR 2023 | 429M | 24.7 | 23.9 | 8.7 |
| CompoDiff | CVPRW 2024 | 568M | 36.0 | 18.2 | 12.6 |
| CIReVL | ICLR 2024 | 12.5B | 28.6 | 24.6 | 18.6 |
| MagicLens-L | ICML 2024 | 613M | 38.0 | 33.3 | 34.1 |
Principais insights:
Desempenho no FashionIQ: MagicLens-L supera outros modelos com um Recall@10 de 38.0, demonstrando sua eficácia em tarefas de recuperação de moda. CompoDiff vem logo em seguida com 36.0, mostrando sua força em CIR relacionado à moda.
Desempenho no CIRR: MagicLens-L também lidera no CIRR, alcançando um Recall@1 de 33.3, significativamente maior do que outros modelos. CIReVL apresenta um desempenho sólido com 24.6, demonstrando sua capacidade na recuperação de imagens do mundo real.
Desempenho no CIRCO: MagicLens-L também se destaca em tarefas de recuperação de imagens naturais em larga escala, com uma Mean Average Precision at 5 (mAP@5) de 34.1, muito à frente de outros modelos. Isso demonstra sua força ao lidar com conjuntos de dados grandes e complexos, com múltiplos alvos corretos.
No geral, MagicLens-L mostra o melhor desempenho geral em todos os conjuntos de dados, destacando-se especialmente tanto em tarefas de recuperação de moda quanto de imagens naturais em larga escala, apesar de ter menos parâmetros em comparação com o CIReVL.
Resumo
Neste artigo, exploramos a crescente adoção de métodos de recuperação multimodal, que combinam a recuperação de texto, imagens e muitos outros tipos de dados para oferecer maneiras mais flexíveis e precisas de capturar a intenção de busca. Uma tarefa comum nesse domínio é a recuperação composta de imagens (CIR), em que os usuários refinam buscas de imagens usando descrições textuais em combinação com imagens de referência.
Abordamos os principais modelos e técnicas que impulsionam a CIR, incluindo Pic2Word, CompoDiff, CIReVL e MagicLens. Cada um deles se baseia nas capacidades fundamentais do CLIP, ao mesmo tempo em que adota diferentes abordagens para melhorar a recuperação:
Pic2Word transforma imagens em tokens de texto incorporados em uma busca baseada em texto, aproveitando embeddings de texto do CLIP para uma recuperação de imagens altamente versátil e orientada por texto.
CompoDiff emprega remoção de ruído guiada por texto, refinando embeddings visuais ruidosos com entrada de texto para reconstruir condicionalmente embeddings de imagem, melhorando a precisão da busca.
CIReVL modifica descrições textuais para corresponder melhor à imagem-alvo e regenera novos embeddings visuais, fornecendo resultados de busca mais precisos ao alinhar modificações textuais com a imagem de referência.
MagicLens usa modelos Transformer para processar texto e imagens em paralelo, gerando um embedding unificado que captura ambas as modalidades e melhora o desempenho da recuperação.
Explore nossa demonstração de busca multimodal!
Desenvolvemos uma demonstração online para busca multimodal alimentada pelo banco de dados vetorial Milvus. Nesta demonstração, você pode enviar uma imagem e inserir instruções de texto, que são processadas por um modelo de recuperação composta de imagens para encontrar imagens correspondentes com base tanto na entrada visual quanto na textual.
No centro desta demonstração está o modelo de embedding MagicLens, que funciona em conjunto com um sistema de reclassificação baseado no GPT-4o para refinar os resultados de busca de acordo com a intenção do usuário. Essa combinação destaca como modelos multimodais podem transformar os sistemas modernos de recuperação, oferecendo experiências de busca mais precisas e intuitivas.
Convidamos você a explorar e vivenciar em primeira mão o futuro da busca multimodal!
Searching results from the multimodal search model.png
Figura: Resultados de busca do modelo de busca multimodal
Experimente a demonstração: Multimodal Image Search
Confira o código-fonte: Multimodal RAG with Milvus | Milvus Documentation
Recursos adicionais
Página do MagicLens no GitHub: https://open-vision-language.github.io/MagicLens/
Página do CIReVL no GitHub: https://github.com/ExplainableML/Vision_by_Language
Página do CompoDiff no GitHub: https://github.com/navervision/CompoDiff
Demonstração do Milvus: https://milvus.io/milvus-demos
Continue lendo
VDBBench Adds Cost-Aware Benchmarking for Vector Databases
Compare Zilliz Cloud, Pinecone, and turbopuffer with VDBBench cost-aware vector database benchmarks across latency, freshness, multitenancy, and cold starts.
Zilliz Cloud Introduces Advanced BYOC-I Solution for Ultimate Enterprise Data Sovereignty
Explore Zilliz Cloud BYOC-I, the solution that balances AI innovation with data control, enabling secure deployments in finance, healthcare, and education sectors.
Optimizing Embedding Model Selection with TDA Clustering: A Strategic Guide for Vector Databases
Discover how Topological Data Analysis (TDA) reveals hidden embedding model weaknesses and helps optimize vector database performance.