GPL: Rotulagem Pseudo Generativa para Adaptação de Domínio Não Supervisionada de Recuperação Densa
A recuperação de informações é importante para muitas aplicações de processamento de linguagem natural (NLP). Embora métodos lexicais tradicionais tenham sido usados para pesquisar conteúdo textual, eles sofrem com uma lacuna lexical. Esses métodos não conseguem reconhecer sinônimos nem distinguir entre palavras ambíguas.
Métodos de recuperação densa que mapeiam consultas e passagens em um espaço vetorial compartilhado tornaram-se populares para abordar esses problemas, mostrando melhorias em relação às abordagens tradicionais. No entanto, eles exigem grandes conjuntos de dados de treinamento e são sensíveis a mudanças de domínio. Por exemplo, modelos treinados no MS MARCO apresentam desempenho ruim na literatura sobre COVID-19.
Assim, há a necessidade de criar um método que possa adaptar efetivamente modelos de recuperação densa a novos domínios sem exigir grandes quantidades de dados rotulados. Um método proposto é o GPL (Generative Pseudo Labeling), uma técnica de adaptação de domínio não supervisionada para modelos de recuperação densa que combina um gerador de consultas com pseudo-rotulagem. O GPL usa um modelo T5 para gerar consultas para um domínio-alvo. Ele recupera passagens negativas usando um modelo de recuperação densa existente e usa um cross-encoder para pontuar pares (consulta, passagem).
O GPL supera outros métodos de adaptação de domínio. Ele melhora o desempenho em até 9,3 nDCG@10 (Ganho Cumulativo Descontado normalizado na posição 10) em relação a modelos treinados no MS MARCO e em até 4,5 nDCG@10 em relação ao QGen (geração de consultas).
Figura: GPL para treinar recuperador denso adaptado ao domínio
Figura: GPL para treinar recuperador denso adaptado ao domínio | Fonte
Este artigo discutirá como o GPL aborda a questão da adaptação de domínio, seus mecanismos subjacentes e as melhorias que oferece em relação aos métodos anteriores de adaptação de domínio. Para mais detalhes, consulte o artigo Generative Pseudo Labeling.
Por que a recuperação densa nem sempre é suficiente
Apesar de suas capacidades impressionantes, os métodos de recuperação densa têm suas desvantagens. Os problemas mais significativos são a necessidade de grandes conjuntos de dados de treinamento e seus desafios ao se adaptarem a novos domínios. Aqui está uma análise desses desafios:
Requisitos de dados: Modelos de recuperação densa exigem grandes quantidades de dados de treinamento para funcionar de forma eficaz. Esse requisito de dados representa um desafio significativo para a aplicação da recuperação densa em domínios especializados onde grandes conjuntos de dados rotulados não estão disponíveis.
Sensibilidade a mudanças de domínio: Modelos de recuperação densa são extremamente sensíveis a mudanças de domínio. Seu desempenho diminui quando aplicados a um domínio diferente daquele em que foram treinados.
Lacuna lexical: Métodos lexicais tradicionais, uma alternativa à recuperação densa, sofrem com uma lacuna lexical. Eles não conseguem reconhecer sinônimos nem diferenciar entre palavras ambíguas.
Desempenho zero-shot: Modelos de recuperação densa frequentemente apresentam desempenho ruim em um determinado corpus quando aplicados em um cenário zero-shot.
Apresentando o GPL: uma solução rápida e robusta para adaptação de domínio
O GPL é uma técnica de adaptação de domínio não supervisionada projetada para melhorar o desempenho de modelos de recuperação densa quando aplicados a novos domínios. O método consiste em várias etapas principais, incluindo:
Geração de consultas
Mineração negativa
Pseudo-rotulagem
Treinamento do recuperador denso
Geração de consultas via T5
O processo GPL começa com a geração de consultas, em que consultas sintéticas são criadas para cada passagem dentro do domínio-alvo. Isso é feito usando um modelo codificador-decodificador T5 pré-treinado.
O modelo T5 é treinado em grandes conjuntos de dados como MS MARCO (Microsoft Machine Reading Comprehension). Ele gera consultas relevantes para o conteúdo de cada passagem, essencialmente criando pares sintéticos de pergunta-resposta.
O número de consultas geradas por passagem é ajustado com base no tamanho do corpus para manter consistente o número total de consultas geradas. Essa criação de dados sintéticos é importante porque fornece dados para o treinamento subsequente do recuperador denso para o domínio-alvo específico.
Mineração Negativa via Recuperação Densa
O método GPL usa um modelo de recuperação densa pré-treinado para cada consulta gerada a fim de encontrar os parágrafos mais semelhantes dentro do corpus-alvo. Esses parágrafos semelhantes são então tratados como passagens negativas, o que significa que são irrelevantes para a consulta.
Esta etapa é projetada para identificar "negativos difíceis". Esses exemplos desafiadores ajudam o modelo a diferenciar entre passagens semelhantes, mas irrelevantes. Dois recuperadores densos treinados no MS MARCO, ‘msmarco-distilbert-base-v3’ e ‘msmarco-MiniLM-L-6-v3’, são usados para garantir um conjunto diverso de exemplos negativos.
Por fim, uma passagem positiva e uma negativa são selecionadas das passagens recuperadas para cada exemplo de treinamento.
Pseudorrotulagem via Cross-Encoder
A próxima etapa inclui pontuar os pares (consulta, passagem) usando um cross-encoder. Ao contrário dos bi-encoders, que mapeiam consultas e passagens independentemente em um espaço vetorial compartilhado. Um cross-encoder recebe a concatenação da consulta e da passagem e prevê uma pontuação de relevância usando atenção cruzada.
Esta etapa atribui uma pontuação de relevância contínua e refinada a cada par (consulta, passagem positiva) e a cada par (consulta, passagem negativa). Essas pontuações são os pseudorrótulos. O modelo cross-encoder usado para pseudorrótulos é ms-marco-MiniLM-L-6-v2. As pontuações contínuas fornecem informações mais detalhadas do que os rótulos binários usados em outros métodos.
Treinando o Recuperador Denso com Perda MarginMSE
Por fim, o modelo de recuperação densa (recuperador denso estudante) é treinado usando as tuplas geradas (consulta, positiva, negativa) e as pontuações correspondentes do cross-encoder com perda MarginMSE. O objetivo é ensinar o recuperador denso a imitar a margem de pontuação entre os pares consulta-passagem positivos e negativos do cross-encoder. A função de perda MarginMSE é definida como:
LMarginMSE()= -1Mi=0M-1|i-i|2
Onde:
M é o tamanho do lote.
i é a margem de pontuação correspondente do recuperador denso estudante:
i= f(Qi)T f(Pi)- f(Qi)f(P_)
- onde f é o recuperador denso, Qi é a consulta, Pi é a passagem positiva e P_ é a passagem negativa.
- i é a margem de pontuação do cross-encoder:
= CE(Q, P+)-CE(Q, P_)
Esta função de perda ajuda o modelo a aprender um espaço vetorial. Nesse espaço, as consultas ficam mais próximas das passagens relevantes e mais distantes das irrelevantes, conforme definido pelos pseudorrótulos do cross-encoder. A perda MarginMSE aborda as limitações de métodos anteriores como QGen. QGen usa a perda Multiple Negatives Ranking (MNRL), que considera apenas a relação grosseira entre consultas e passagens.
Design Experimental para Recuperação Densa Adaptada ao Domínio
A configuração para avaliar o GPL tem como objetivo avaliar sua eficácia na adaptação de modelos de recuperação densa a tarefas específicas. Aqui está uma análise dos principais componentes da configuração:
Conjuntos de dados
Dois conjuntos de dados são usados: um para o domínio de origem e outro para o domínio-alvo.
- Dados do Domínio de Origem: O conjunto de dados de ranqueamento de passagens MS MARCO é usado como os dados do domínio de origem. Este conjunto de dados consiste em 8,8 milhões de passagens e 532,8 mil pares consulta-passagem rotulados como relevantes. Os modelos são treinados no MS MARCO e depois adaptados a um domínio-alvo usando o método GPL.
- Conjuntos de Dados do Domínio-Alvo: Seis conjuntos de dados de recuperação de texto específicos de domínio do benchmark BeIR são usados para avaliar as capacidades de adaptação de domínio do GPL. O número Esses conjuntos de dados representam uma variedade de domínios especializados e incluem:
FiQA (domínio financeiro)
SciFact (artigos científicos)
BioASQ (perguntas e respostas biomédicas)
TREC-COVID (artigos científicos sobre COVID-19)
CQADupStack (12 subfóruns do StackExchange)
Robust04 (artigos de notícias)
Esses conjuntos de dados diferem em:
Tamanhos: Variação nos tamanhos dos corpus.
Comprimentos de consultas e passagens: Cada conjunto de dados tem características distintas.
Rótulos de relevância: O número de passagens relevantes por consulta varia.
Alguns conjuntos de dados foram modificados para treinamento e avaliação eficientes. Por exemplo:
- BioASQ: Passagens irrelevantes foram removidas para reduzir o tamanho do corpus.
Baselines
Vários modelos de baseline foram incluídos para comparação:
Modelos zero-shot: Esses modelos são treinados nos conjuntos de dados MS MARCO ou PAQ e avaliados nos conjuntos de dados-alvo sem qualquer adaptação de domínio. Um sistema de busca lexical BM25 também é incluído como baseline.
Métodos anteriores de adaptação de domínio: UDALM e MoDIR são incluídos como baselines representando abordagens anteriores de adaptação de domínio.
Métodos de adaptação de domínio baseados em pré-treinamento: Esses métodos incluem pré-treinar os recuperadores densos no corpus-alvo e depois treinar o modelo no conjunto de dados MS MARCO. Diferentes métodos de pré-treinamento, como CD, SimCSE, CT, MLM, ICT e TSDAE foram usados.
Adaptação de domínio baseada em geração: Modelos QGen são treinados com negativos dentro do lote e negativos difíceis. Além disso, o pré-treinamento TSDAE combinado com QGen é incluído.
Treinamento
O modelo DistilBERT é usado para todos os experimentos com um comprimento máximo de sequência de 350, com mean pooling e similaridade por produto escalar.
Modelos QGen são treinados por 1 época, com um tamanho de lote de 75.
Modelos GPL são treinados por 140 mil etapas, com um tamanho de lote de 32.
Métodos de pré-treinamento como os modelos TSDAE e MLM foram treinados por 100 mil etapas de treinamento com um tamanho de lote de 8.
Métrica de Avaliação
O desempenho dos modelos é avaliado usando nDCG@10 (normalized Discounted Cumulative Gain na posição 10). Ela avalia a qualidade de um ranqueamento considerando a relevância dos itens recuperados. Ela dá mais peso a documentos altamente relevantes que aparecem no topo da lista ranqueada.
Eficácia e Desempenho do GPL na Adaptação de Domínio
O método GPL foi avaliado em relação a várias baselines, e seu desempenho foi analisado sob diferentes condições. A avaliação é feita usando nDCG@10, que mede a relevância dos 10 principais resultados de uma lista ranqueada.
Desempenho Geral do GPL
O GPL supera significativamente outros métodos de adaptação de domínio em quase todos os conjuntos de dados testados. Especificamente, o GPL melhora em relação ao QGen, um método anterior de estado da arte, em até 4,5 pontos de nDCG@10 no conjunto de dados BioASQ. Ele também mostra uma melhoria média de 2,7 pontos de nDCG@10 em todos os conjuntos de dados.
Combinar o pré-treinamento TSDAE (Transformer-based Sequential Denoising Auto-Encoder) com GPL (TSDAE + GPL) fornece resultados excepcionais. Essa abordagem estabelece um novo desempenho de estado da arte, com média de 52,9 pontos de nDCG@10. Notavelmente, ela oferece uma melhoria média de 7,7 pontos em relação ao modelo baseline MS MARCO pronto para uso.
Figura: Resultados de avaliação usando nDCG@10
Figura: Resultados de avaliação usando nDCG@10 | Fonte
Comparação com Baselines
Para entender o contexto do forte desempenho do GPL, vamos compará-lo a várias abordagens de base e métodos alternativos de adaptação de domínio.
Modelos Zero-Shot
Modelos zero-shot treinados no MS MARCO apresentam desempenho fraco em datasets específicos de domínio em comparação com buscas lexicais BM25 simples. Por exemplo, um modelo de recuperação densa de última geração alcança um MRR@10 (Mean Reciprocal Rank at 10) de 33,2 pontos no dataset MS MARCO. No entanto, ele apresenta desempenho fraco nos seis datasets de recuperação específicos de domínio selecionados.
O pré-treinamento TSDAE no MS MARCO, seguido de aprendizado supervisionado no MS MARCO, apresenta desempenho ligeiramente inferior ao modelo zero-shot MS MARCO.
Métodos Anteriores de Adaptação de Domínio
UDALM prejudica muito o desempenho em comparação com o pré-treinamento MLM (Masked Language Modeling), com uma queda média de 12,2 pontos nDCG@10. Isso ocorre porque o treinamento MLM direto entra em conflito com o treinamento supervisionado.
MoDIR apresenta desempenho equivalente ao modelo zero-shot MS MARCO em alguns datasets, mas desempenho muito inferior em outros.
Adaptação de Domínio Baseada em Pré-Treinamento
O pré-treinamento no corpus-alvo com TSDAE, MLM e ICT (Inverse Cloze Task) pode melhorar o desempenho em comparação com o modelo zero-shot MS MARCO. TSDAE é o método mais eficaz, superando a linha de base zero-shot em uma média de 4,0 pontos nDCG@10. CD, CT e SimCSE não conseguem se adaptar aos domínios e apresentam desempenho pior que o modelo zero-shot.
Adaptação de Domínio Baseada em Geração
GPL supera QGen em até 4,5 pontos (no BioASQ) e 2,7 pontos em média. O pré-treinamento adaptativo de domínio baseado em TSDAE combinado com GPL (TSDAE + GPL) melhora ainda mais o desempenho em todos os datasets. Ele alcança um novo resultado de estado da arte de 52,9 pontos nDCG@10.
Reordenação com Cross-Encoders
Cross-encoders apresentam bom desempenho em uma configuração zero-shot e superam significativamente abordagens de recuperação densa, mas têm um custo computacional significativo na inferência. TSDAE e GPL podem reduzir, mas não eliminar completamente, a lacuna de desempenho em relação aos cross-encoders. O modelo TSDAE + GPL seria preferível em um ambiente de produção devido aos custos computacionais muito mais baixos na inferência.
Influência das Etapas de Treinamento
O desempenho do GPL começa a saturar após cerca de 100 mil etapas de treinamento. O pré-treinamento TSDAE melhora consistentemente o desempenho durante toda a etapa de treinamento.
Figura: Influência do número de etapas de treinamento no desempenho
Figura: Influência do número de etapas de treinamento no desempenho | Fonte
Influência do Tamanho do Corpus
GPL pode superar a linha de base zero-shot com mais de 10 mil passagens, e o desempenho satura após 50 mil passagens. No entanto, QGen fica atrás da linha de base zero-shot para cada tamanho de corpus.
Figura: Influência do tamanho do corpus no desempenho
Figura: Influência do tamanho do corpus no desempenho | Fonte
Robustez Contra a Geração de Consultas
Corpora menores, como SciFact e FiQA, exigem um número maior de consultas geradas por passagem do que o corpus Robust04 maior para alcançar desempenho ideal. Além disso, GPL é mais robusto para consultas de baixa qualidade do que QGen. Mesmo quando as consultas geradas quase não têm relação com as passagens, GPL ainda apresenta bom desempenho.
Figura: Influência do número de QPPs gerados no desempenho
Figura: Influência do número de QPPs gerados no desempenho | Fonte
Sensibilidade à inicialização
GPL é menos sensível à escolha do checkpoint de inicialização. O treinamento no MS MARCO tem um efeito relativamente pequeno no desempenho do GPL, com uma diferença média de 0,3 ponto. Por outro lado, o QGen é altamente dependente da escolha do checkpoint de inicialização, mostrando uma diferença de 1,9 ponto.
Figura: Influência do checkpoint de inicialização no desempenho
Figura: Influência do checkpoint de inicialização no desempenho | Fonte
Desempenho no BeIR Completo
Nos 18 conjuntos de dados completos do BeIR, o GPL melhora consistentemente o desempenho em relação ao modelo zero-shot. Ele alcança uma classificação média de 5,2. TSDAE + GPL alcança uma classificação média de 4,2. Ao ser construído sobre o forte modelo zero-shot TAS-B, o GPL gera ganhos significativos de desempenho de até 21,5 pontos nDCG@10 (no TREC-COVID) e 4,6 pontos nDCG@10 em média. Este modelo TAS-B + GPL apresenta o melhor desempenho geral, alcançando uma classificação média igual a 3,2.
Figura: Desempenho em todos os 18 conjuntos de dados originais do BeIR
Figura: Desempenho em todos os 18 conjuntos de dados originais do BeIR | Fonte
Implicações para a Rotulagem Pseudo-Generativa
O método GPL tem várias implicações importantes para a recuperação de informações. Estas incluem:
Melhor Busca Específica por Domínio: O GPL melhora os resultados de busca em áreas especializadas, como finanças e ciência. Ele supera métodos anteriores ao se adaptar efetivamente a novos domínios.
Menor Necessidade de Dados Rotulados: O GPL adapta modelos sem exigir dados rotulados do domínio-alvo, usando passagens não rotuladas em vez disso. Isso reduz o custo e o tempo necessários para desenvolver sistemas de recuperação.
Lida com Consultas Ruins: O método é eficaz para consultas mal geradas porque um cross-encoder atribui pontuações baixas a pares irrelevantes (consulta, passagem). Isso garante que o recuperador denso não aprenda com consultas ruins.
Usa Bem Negativos Difíceis: O GPL usa um cross-encoder para gerar pontuações de relevância refinadas, tornando-o eficaz para treinamento com negativos difíceis. Isso leva a um treinamento mais robusto.
Eficiente e Prático: O GPL pode ser combinado com outras técnicas como TSDAE para alcançar resultados ainda melhores. Ele é mais eficiente do que métodos computacionalmente pesados como cross-encoders.
Funciona em Muitos Conjuntos de Dados: O GPL mostra melhoria consistente em 18 conjuntos de dados, destacando sua aplicabilidade geral. O método também melhora o desempenho quando combinado com um modelo poderoso como TAS-B.
GPL para Busca Semântica Aprimorada em Bancos de Dados Vetoriais
A Rotulagem Pseudo-Generativa (GPL) é um método que pode aprimorar diretamente o desempenho de bancos de dados vetoriais como Milvus ao melhorar a eficácia dos modelos de recuperação densa. Esses bancos de dados dependem de representações vetoriais densas para busca semântica. O GPL ajuda a adaptar esses modelos a novos domínios sem exigir dados rotulados, abordando a degradação de desempenho causada por mudanças de domínio.
O GPL usa um modelo pré-treinado para gerar consultas sintéticas para dados não rotulados, recupera passagens semelhantes, e emprega um cross-encoder para pontuar pares (consulta, passagem). Em última análise, ele treina um modelo de recuperação densa que é mais adequado para o domínio-alvo.
Esse método é particularmente valioso porque fornece uma maneira de melhorar a busca semântica em bancos de dados vetoriais, que armazenam dados como vetores densos. O processo de mineração negativa no GPL refina ainda mais o treinamento ao identificar passagens semelhantes, mas irrelevantes, levando a melhores distinções na busca semântica.
Milvus oferece suporte a vários tipos de pesquisas, como pesquisa Approximate Nearest Neighbor (ANN), pesquisa com filtragem, pesquisa por intervalo, pesquisa híbrida e pesquisa de texto completo. Técnicas como GPL, que melhoram as representações vetoriais subjacentes, podem aprimorar seu desempenho.
Conclusão e Direção de Pesquisa Futura
GPL é um método inovador para adaptação de domínio não supervisionada de modelos de recuperação densa usando pseudo-rótulos gerados por um codificador cruzado. Ele supera significativamente os métodos existentes de adaptação de domínio, particularmente quando combinado com o pré-treinamento TSDAE, ao mesmo tempo em que demonstra robustez a variações na qualidade das consultas.
Pseudo-rótulos de granularidade fina do codificador cruzado são uma vantagem fundamental do GPL, permitindo que o modelo aprenda de forma mais eficaz do que com rótulos de granularidade grosseira usados em outros métodos. Quando combinado com o pré-treinamento TSDAE, o GPL alcança um melhor equilíbrio entre precisão e eficiência computacional do que codificadores cruzados computacionalmente intensivos.
Direção de Pesquisa Futura
Há vários caminhos importantes para pesquisas adicionais destinadas a melhorar as técnicas de adaptação de domínio. Eles incluem:
Simplificação do Pipeline de Treinamento: O GPL requer uma configuração de treinamento relativamente complexa. Pesquisas futuras poderiam se concentrar em simplificar esse pipeline para torná-lo mais fácil de usar em aplicações práticas.
Explorar outros métodos de pré-treinamento: Trabalhos futuros poderiam explorar a combinação do GPL com outros métodos de pré-treinamento além do TSDAE para verificar se é possível alcançar melhorias adicionais de desempenho.
Ajuste Específico de Domínio: Explorar maneiras de ajustar modelos GPL para domínios individuais a fim de melhorar o desempenho em áreas específicas. Por exemplo, foi constatado que diferentes conjuntos de dados precisam de diferentes quantidades de consultas geradas por passagem.
Investigar alternativas aos codificadores cruzados: O codificador cruzado é um componente importante do GPL, mas é computacionalmente intensivo. Explorar outras maneiras de criar pseudo-rótulos igualmente eficazes poderia reduzir ainda mais os custos.
Adaptar GPL a idiomas de poucos recursos: O sucesso do GPL na adaptação de domínio sugere que pode ser benéfico aplicar esse método a idiomas de poucos recursos, nos quais os dados de treinamento rotulados são limitados.
Combinar GPL com outros métodos de adaptação: Poderia ser interessante investigar se a combinação do GPL com outros métodos de adaptação de domínio pode melhorar ainda mais o desempenho. Isso inclui métodos como treinamento adversarial ou aprendizado multitarefa.
Recursos Adicionais
Artigo sobre GPL: https://arxiv.org/pdf/2112.07577
Seja como um peixinho dourado, não memorize! Mitigando a memorização em LLMs generativos
Desbloqueando o poder do aprendizado em contexto Many-Shot em LLMs
LLM-Eval: Uma abordagem simplificada para avaliar conversas de LLMs
Vetores densos em IA: maximizando o potencial dos dados em Machine Learning
Continue lendo
Introducing Functions and Model Inference on Zilliz Cloud: Automatic Embedding and Reranking with Hosted Models
Zilliz Cloud Functions auto-generate embeddings via OpenAI, Voyage AI, Cohere, or Zilliz Hosted Models. Built-in reranking — just insert text and search.
Zilliz Cloud Update: Smarter Autoscaling for Cost Savings, Stronger Compliance with Audit Logs, and More
What's new in Zilliz Cloud? Smarter autoscaling with scale-down, audit logs GA, enhanced SSO, and Milvus 2.6 in Private Preview.
How to Build RAG with Milvus, QwQ-32B and Ollama
Hands-on tutorial on how to create a streamlined, powerful RAG pipeline that balances efficiency, accuracy, and scalability using the QwQ-32B and Milvus.