GPL: Pseudo-etichettatura generativa per l'adattamento di dominio non supervisionato del recupero denso
Il recupero delle informazioni è importante per molte applicazioni di elaborazione del linguaggio naturale (NLP). Sebbene i metodi lessicali tradizionali siano stati utilizzati per effettuare ricerche nei contenuti testuali, soffrono di un divario lessicale. Questi metodi non possono riconoscere sinonimi né distinguere tra parole ambigue.
I metodi di recupero denso che mappano query e passaggi in uno spazio vettoriale condiviso sono diventati popolari per affrontare questi problemi, mostrando miglioramenti rispetto agli approcci tradizionali. Tuttavia, richiedono grandi dataset di addestramento e sono sensibili ai cambiamenti di dominio. Ad esempio, i modelli addestrati su MS MARCO hanno prestazioni scarse nella letteratura sul COVID-19.
Pertanto, è necessario creare un metodo che possa adattare efficacemente i modelli di recupero denso a nuovi domini senza richiedere grandi quantità di dati etichettati. Un metodo proposto è GPL (Generative Pseudo Labeling), una tecnica di adattamento di dominio non supervisionata per modelli di recupero denso che combina un generatore di query con la pseudo-etichettatura. GPL utilizza un modello T5 per generare query per un dominio target. Recupera passaggi negativi utilizzando un modello di recupero denso esistente e usa un cross-encoder per assegnare un punteggio alle coppie (query, passaggio).
GPL supera altri metodi di adattamento di dominio. Migliora le prestazioni fino a 9,3 nDCG@10 (normalized Discounted Cumulative Gain al rank 10) rispetto ai modelli addestrati su MS MARCO e fino a 4,5 nDCG@10 rispetto a QGen (Query generation).
Figure: GPL for training domain-adapted dense retriever
Figura: GPL per addestrare un retriever denso adattato al dominio | Fonte
Questo articolo discuterà come GPL affronta il problema dell’adattamento di dominio, i suoi meccanismi sottostanti e i miglioramenti che offre rispetto ai precedenti metodi di adattamento di dominio. Per ulteriori dettagli, consulta il paper Generative Pseudo Labeling.
Perché il recupero denso non è sempre sufficiente
Nonostante le loro capacità impressionanti, i metodi di recupero denso presentano alcuni svantaggi. I problemi più significativi sono la necessità di grandi dataset di addestramento e le difficoltà nell’adattarsi a nuovi domini. Ecco una panoramica di queste sfide:
Requisiti dei dati: I modelli di recupero denso richiedono grandi quantità di dati di addestramento per funzionare efficacemente. Questo requisito di dati rappresenta una sfida significativa per l’applicazione del recupero denso in domini specializzati dove non sono disponibili dataset grandi ed etichettati.
Sensibilità ai cambiamenti di dominio: I modelli di recupero denso sono estremamente sensibili ai cambiamenti di dominio. Le loro prestazioni diminuiscono quando vengono applicati a un dominio diverso da quello su cui sono stati addestrati.
Divario lessicale: I metodi lessicali tradizionali, un’alternativa al recupero denso, soffrono di un divario lessicale. Non possono riconoscere sinonimi né differenziare tra parole ambigue.
Prestazioni zero-shot: I modelli di recupero denso spesso hanno prestazioni scarse su un dato corpus quando vengono applicati in un’impostazione zero-shot.
Introduzione a GPL: una soluzione rapida e robusta per l’adattamento di dominio
GPL è una tecnica di adattamento di dominio non supervisionata progettata per migliorare le prestazioni dei modelli di recupero denso quando applicati a nuovi domini. Il metodo consiste in diversi passaggi chiave, tra cui:
Generazione di query
Estrazione di negativi
Pseudo-etichettatura
Addestramento del retriever denso
Generazione di query tramite T5
Il processo GPL inizia con la generazione di query, in cui vengono create query sintetiche per ogni passaggio all'interno del dominio di destinazione. Questo viene fatto utilizzando un modello T5 encoder-decoder pre-addestrato.
Il modello T5 viene addestrato su grandi dataset come MS MARCO (Microsoft Machine Reading Comprehension). Genera query pertinenti al contenuto di ciascun passaggio, creando essenzialmente coppie domanda-risposta sintetiche.
Il numero di query generate per passaggio viene regolato in base alla dimensione del corpus per mantenere coerente il numero totale di query generate. Questa creazione di dati sintetici è importante perché fornisce dati per il successivo addestramento del dense retriever per lo specifico dominio di destinazione.
Estrazione di negativi tramite Dense Retrieval
Il metodo GPL utilizza un modello dense retrieval pre-addestrato per ogni query generata per trovare i paragrafi più simili all'interno del corpus di destinazione. Questi paragrafi simili vengono quindi trattati come passaggi negativi, il che significa che sono irrilevanti per la query.
Questo passaggio è progettato per identificare "hard negatives." Questi esempi impegnativi aiutano il modello a distinguere tra passaggi simili ma irrilevanti. Due dense retriever addestrati su MS MARCO, ‘msmarco-distilbert-base-v3’ e ‘msmarco-MiniLM-L-6-v3’, vengono utilizzati per garantire un insieme diversificato di esempi negativi.
Infine, un passaggio positivo e uno negativo vengono selezionati dai passaggi recuperati per ogni esempio di addestramento.
Pseudo-etichettatura tramite Cross-Encoder
Il passaggio successivo include l'assegnazione di punteggi alle coppie (query, passaggio) utilizzando un cross-encoder. A differenza dei bi-encoder, che mappano query e passaggi indipendentemente in uno spazio vettoriale condiviso. Un cross-encoder prende la concatenazione della query e del passaggio e predice un punteggio di rilevanza utilizzando la cross-attention.
Questo passaggio assegna un punteggio di rilevanza continuo e granulare a ciascuna coppia (query, passaggio positivo) e a ciascuna coppia (query, passaggio negativo). Questi punteggi sono le pseudo-etichette. Il modello cross-encoder utilizzato per le pseudo-etichette è ms-marco-MiniLM-L-6-v2. I punteggi continui forniscono informazioni più dettagliate rispetto alle etichette binarie utilizzate in altri metodi.
Addestramento del Dense Retriever con MarginMSE Loss
Infine, il modello dense retrieval (student dense retriever) viene addestrato utilizzando le tuple generate (query, positivo, negativo) e i corrispondenti punteggi del cross-encoder con MarginMSE loss. L'obiettivo è insegnare al dense retriever a imitare il margine di punteggio tra le coppie query-passaggio positive e negative del cross-encoder. La funzione di perdita MarginMSE è definita come:
LMarginMSE()= -1Mi=0M-1|i-i|2
Dove:
M è la dimensione del batch.
i è il margine di punteggio corrispondente dello student dense retriever:
i= f(Qi)T f(Pi)- f(Qi)f(P_)
- dove f è il dense retriever, Qi è la query, Pi è il passaggio positivo e P_ è il passaggio negativo.
- i è il margine di punteggio dal cross-encoder:
= CE(Q, P+)-CE(Q, P_)
Questa funzione di perdita aiuta il modello ad apprendere uno spazio vettoriale. In questo spazio, le query sono più vicine ai passaggi rilevanti e più lontane da quelli irrilevanti, come definito dalle pseudo-etichette del cross-encoder. La MarginMSE loss affronta le carenze dei metodi precedenti come QGen. QGen utilizza la perdita Multiple Negatives Ranking (MNRL), che considera solo la relazione grossolana tra query e passaggi.
Progettazione sperimentale per Dense Retrieval adattato al dominio
La configurazione per valutare GPL è pensata per valutarne l'efficacia nell'adattare i modelli dense retrieval a compiti specifici. Ecco una suddivisione dei componenti chiave della configurazione:
Dataset
Vengono utilizzati due dataset: uno per il dominio di origine e uno per il dominio di destinazione.
- Dati del dominio sorgente: Il dataset di ranking dei passaggi MS MARCO viene utilizzato come dati del dominio sorgente. Questo dataset è composto da 8,8 milioni di passaggi e 532,8K coppie query-passaggio etichettate come rilevanti. I modelli vengono addestrati su MS MARCO e poi adattati a un dominio target usando il metodo GPL.
- Dataset del dominio target: Sei dataset di recupero testuale specifici per dominio dal benchmark BeIR vengono utilizzati per valutare le capacità di adattamento al dominio di GPL. Il numero Questi dataset rappresentano una gamma di domini specializzati e includono:
FiQA (dominio finanziario)
SciFact (articoli scientifici)
BioASQ (Q&A biomedico)
TREC-COVID (articoli scientifici su COVID-19)
CQADupStack (12 sotto-forum StackExchange)
Robust04 (articoli di notizie)
Questi dataset differiscono per:
Dimensioni: Variazione nelle dimensioni dei corpora.
Lunghezze di query e passaggi: Ogni dataset ha caratteristiche distinte.
Etichette di rilevanza: Il numero di passaggi rilevanti per query varia.
Alcuni dataset sono stati modificati per un addestramento e una valutazione efficienti. Ad esempio:
- BioASQ: I passaggi irrilevanti sono stati rimossi per ridurre la dimensione del corpus.
Baseline
Diversi modelli baseline sono stati inclusi per il confronto:
Modelli zero-shot: Questi modelli sono addestrati sui dataset MS MARCO o PAQ e valutati sui dataset target senza alcun adattamento al dominio. Anche un sistema di ricerca lessicale BM25 è incluso come baseline.
Metodi precedenti di adattamento al dominio: UDALM e MoDIR sono inclusi come baseline che rappresentano approcci precedenti all'adattamento al dominio.
Metodi di adattamento al dominio basati su pre-training: Questi metodi includono il pre-training dei dense retriever sul corpus target e poi l'addestramento del modello sul dataset MS MARCO. Sono stati utilizzati diversi metodi di pre-training, come CD, SimCSE, CT, MLM, ICT e TSDAE.
Adattamento al dominio basato sulla generazione: I modelli QGen sono addestrati con negativi in-batch e negativi hard. Inoltre, è incluso il pre-training TSDAE combinato con QGen.
Addestramento
Il modello DistilBERT viene utilizzato per tutti gli esperimenti con una lunghezza massima della sequenza di 350, con mean pooling e similarità dot-product.
I modelli QGen sono addestrati per 1 epoca, con una dimensione del batch di 75.
I modelli GPL sono addestrati per 140k step, con una dimensione del batch di 32.
I metodi di pre-training come i modelli TSDAE e MLM sono stati addestrati per 100K step di addestramento con una dimensione del batch di 8.
Metrica di valutazione
Le prestazioni dei modelli vengono valutate usando nDCG@10 (normalized Discounted Cumulative Gain al rank 10). Valuta la qualità di un ranking considerando la rilevanza degli elementi recuperati. Assegna più peso ai documenti altamente rilevanti che appaiono in cima alla lista ordinata.
Efficacia e prestazioni di GPL nell'adattamento al dominio
Il metodo GPL è stato valutato rispetto a diverse baseline, e le sue prestazioni sono state analizzate in condizioni diverse. La valutazione viene effettuata usando nDCG@10, che misura la rilevanza dei primi 10 risultati di una lista ordinata.
Prestazioni complessive di GPL
GPL supera significativamente altri metodi di adattamento al dominio su quasi tutti i dataset testati. In particolare, GPL migliora rispetto a QGen, un precedente metodo allo stato dell'arte, fino a 4,5 punti nDCG@10 sul dataset BioASQ. Mostra inoltre un miglioramento medio di 2,7 punti nDCG@10 su tutti i dataset.
Combinare il pre-training TSDAE (Transformer-based Sequential Denoising Auto-Encoder) con GPL (TSDAE + GPL) produce risultati eccezionali. Questo approccio stabilisce una nuova prestazione allo stato dell'arte, con una media di 52,9 punti nDCG@10. In particolare, offre un miglioramento medio di 7,7 punti rispetto al modello baseline MS MARCO out-of-the-box.
Figura: Risultati della valutazione usando nDCG@10
Figura: Risultati della valutazione usando nDCG@10 | Fonte
Confronto con le baseline
Per comprendere il contesto delle solide prestazioni di GPL, confrontiamolo con vari approcci baseline e metodi alternativi di adattamento di dominio.
Modelli Zero-Shot
I modelli zero-shot addestrati su MS MARCO ottengono scarse prestazioni sui dataset specifici di dominio rispetto a semplici ricerche lessicali BM25. Ad esempio, un modello di dense retrieval all'avanguardia raggiunge un MRR@10 (Mean Reciprocal Rank at 10) di 33,2 punti sul dataset MS MARCO. Tuttavia, ottiene scarse prestazioni sui sei dataset di retrieval specifici di dominio selezionati.
Il pre-training TSDAE su MS MARCO, seguito da apprendimento supervisionato su MS MARCO, ottiene prestazioni leggermente inferiori rispetto al modello zero-shot MS MARCO.
Metodi Precedenti di Adattamento di Dominio
UDALM danneggia notevolmente le prestazioni rispetto al pre-training MLM (Masked Language Modeling), con una diminuzione media di 12,2 punti nDCG@10. Questo perché l'addestramento MLM diretto entra in conflitto con l'addestramento supervisionato.
MoDIR ottiene prestazioni alla pari con il modello zero-shot MS MARCO su alcuni dataset, ma molto più deboli su altri.
Adattamento di Dominio Basato su Pre-Training
Il pre-training sul corpus target con TSDAE, MLM e ICT (Inverse Cloze Task) può migliorare le prestazioni rispetto al modello zero-shot MS MARCO. TSDAE è il metodo più efficace, superando la baseline zero-shot di una media di 4,0 punti nDCG@10. CD, CT e SimCSE non riescono ad adattarsi ai domini e ottengono prestazioni peggiori rispetto al modello zero-shot.
Adattamento di Dominio Basato su Generazione
GPL supera QGen fino a 4,5 punti (su BioASQ) e di 2,7 punti in media. Il pre-training domain-adaptive basato su TSDAE combinato con GPL (TSDAE + GPL) migliora ulteriormente le prestazioni su tutti i dataset. Raggiunge un nuovo risultato state-of-the-art di 52,9 punti nDCG@10.
Re-ranking con Cross-Encoder
I cross-encoder ottengono buone prestazioni in un contesto zero-shot e superano significativamente gli approcci di dense retrieval, ma hanno un costo computazionale significativo in fase di inferenza. TSDAE e GPL possono ridurre, ma non colmare completamente, il divario di prestazioni con i cross-encoder. Il modello TSDAE + GPL sarebbe preferibile in un contesto di produzione grazie ai costi computazionali molto più bassi in fase di inferenza.
Influenza degli Step di Addestramento
Le prestazioni di GPL iniziano a saturare dopo circa 100K step di addestramento. Il pre-training TSDAE migliora costantemente le prestazioni durante tutta la fase di addestramento.
Figura: Influenza del numero di step di addestramento sulle prestazioni
Figura: Influenza del numero di step di addestramento sulle prestazioni | Fonte
Influenza della Dimensione del Corpus
GPL può superare la baseline zero-shot con più di 10K passaggi, e le prestazioni saturano dopo 50K passaggi. Tuttavia, QGen resta indietro rispetto alla baseline zero-shot per ogni dimensione del corpus.
Figura: Influenza della dimensione del corpus sulle prestazioni
Figura: Influenza della dimensione del corpus sulle prestazioni | Fonte
Robustezza alla Generazione di Query
Corpus più piccoli, come SciFact e FiQA, richiedono un numero maggiore di query generate per passaggio rispetto al corpus Robust04 più grande per ottenere prestazioni ottimali. Inoltre, GPL è più robusto di QGen rispetto a query di bassa qualità. Anche quando le query generate non hanno quasi alcuna relazione con i passaggi, GPL continua a ottenere buone prestazioni.
Figura: Influenza del numero di QPP generati sulle prestazioni
Figura: Influenza del numero di QPP generati sulle prestazioni | Fonte
Sensibilità all'inizializzazione
GPL è meno sensibile alla scelta del checkpoint di inizializzazione. L’addestramento su MS MARCO ha un effetto relativamente ridotto sulle prestazioni di GPL, con una differenza media di 0,3 punti. D’altra parte, QGen dipende fortemente dalla scelta del checkpoint di inizializzazione, mostrando una differenza di 1,9 punti.
Figura: Influenza del checkpoint di inizializzazione sulle prestazioni
Figura: Influenza del checkpoint di inizializzazione sulle prestazioni | Fonte
Prestazioni su BeIR completo
Sui 18 dataset BeIR completi, GPL migliora costantemente le prestazioni rispetto al modello zero-shot. Raggiunge un rank medio di 5,2. TSDAE + GPL raggiunge un rank medio di 4,2. Quando viene costruito sopra il solido modello zero-shot TAS-B, GPL produce significativi miglioramenti delle prestazioni fino a 21,5 punti nDCG@10 (su TREC-COVID) e 4,6 punti nDCG@10 in media. Questo modello TAS-B + GPL offre le migliori prestazioni complessive, raggiungendo un rank medio pari a 3,2.
Figura: Prestazioni su tutti i 18 dataset BeIR originali
Figura: Prestazioni su tutti i 18 dataset BeIR originali | Fonte
Implicazioni per il Generative Pseudo Labeling
Il metodo GPL ha diverse implicazioni importanti per il recupero delle informazioni. Queste includono:
Migliore ricerca specifica per dominio: GPL migliora i risultati di ricerca in aree specializzate come finanza e scienza. Supera i metodi precedenti adattandosi efficacemente a nuovi domini.
Minore necessità di dati etichettati: GPL adatta i modelli senza richiedere dati etichettati dal dominio di destinazione, utilizzando invece passaggi non etichettati. Ciò riduce il costo e il tempo necessari per sviluppare sistemi di retrieval.
Gestisce query scadenti: Il metodo è efficace per query generate male perché un cross-encoder assegna punteggi bassi alle coppie (query, passaggio) irrilevanti. Questo garantisce che il dense retriever non apprenda da query errate.
Usa bene gli hard negative: GPL utilizza un cross-encoder per generare punteggi di rilevanza a grana fine, rendendolo efficace per l’addestramento con hard negative. Questo porta a un addestramento più robusto.
Efficiente e pratico: GPL può essere combinato con altre tecniche come TSDAE per ottenere risultati ancora migliori. È più efficiente rispetto a metodi computazionalmente pesanti come i cross-encoder.
Funziona su molti dataset: GPL mostra un miglioramento costante su 18 dataset, evidenziando la sua applicabilità generale. Il metodo migliora anche le prestazioni quando combinato con un modello potente come TAS-B.
GPL per una ricerca semantica migliorata nei database vettoriali
Generative Pseudo Labeling (GPL) è un metodo che può migliorare direttamente le prestazioni dei database vettoriali come Milvus migliorando l’efficacia dei modelli di dense retrieval. Questi database si basano su rappresentazioni vettoriali dense per la ricerca semantica. GPL aiuta ad adattare questi modelli a nuovi domini senza richiedere dati etichettati, affrontando il degrado delle prestazioni causato dagli spostamenti di dominio.
GPL utilizza un modello pre-addestrato per generare query sintetiche per dati non etichettati, recupera passaggi simili e impiega un cross-encoder per assegnare un punteggio alle coppie (query, passaggio). In definitiva, addestra un modello di dense retrieval più adatto al dominio di destinazione.
Questo metodo è particolarmente prezioso perché fornisce un modo per migliorare la ricerca semantica nei database vettoriali, che memorizzano i dati come vettori densi. Il processo di negative mining in GPL perfeziona ulteriormente l’addestramento identificando passaggi simili ma irrilevanti, portando a migliori distinzioni nella ricerca semantica.
Milvus supporta vari tipi di ricerche, come la ricerca Approximate Nearest Neighbor (ANN), la ricerca con filtri, la ricerca per intervallo, la ricerca ibrida e la ricerca full-text. Tecniche come GPL, che migliorano le rappresentazioni vettoriali sottostanti, possono aumentarne le prestazioni.
Conclusione e direzione della ricerca futura
GPL è un metodo innovativo per l’adattamento di dominio non supervisionato dei modelli di dense retrieval utilizzando pseudo-etichette generate da un cross-encoder. Supera significativamente i metodi esistenti di adattamento di dominio, in particolare quando combinato con il pre-training TSDAE, dimostrando al contempo robustezza alle variazioni della qualità delle query.
Le pseudo-etichette a grana fine del cross-encoder sono un vantaggio chiave di GPL, consentendo al modello di apprendere in modo più efficace rispetto alle etichette a grana grossa utilizzate in altri metodi. Quando combinato con il pre-training TSDAE, GPL raggiunge un migliore equilibrio tra accuratezza ed efficienza computazionale rispetto ai cross-encoder computazionalmente intensivi.
Direzione della ricerca futura
Esistono diverse importanti strade per ulteriori ricerche volte a migliorare le tecniche di adattamento di dominio. Queste includono:
Semplificazione della pipeline di training: GPL richiede una configurazione di training relativamente complessa. La ricerca futura potrebbe concentrarsi sulla semplificazione di questa pipeline per renderla più facile da utilizzare nelle applicazioni pratiche.
Esplorazione di altri metodi di pre-training: Il lavoro futuro potrebbe esplorare la combinazione di GPL con altri metodi di pre-training oltre a TSDAE per verificare se sia possibile ottenere ulteriori miglioramenti delle prestazioni.
Ottimizzazione specifica per dominio: Esplorare modi per affinare i modelli GPL per singoli domini al fine di migliorare le prestazioni in aree specifiche. Ad esempio, è stato riscontrato che dataset diversi necessitano di quantità diverse di query generate per passaggio.
Studio di alternative ai cross-encoder: Il cross-encoder è un componente importante di GPL, ma è computazionalmente intensivo. Esplorare altri modi per creare pseudo-etichette altrettanto efficaci potrebbe ridurre ulteriormente i costi.
Adattamento di GPL alle lingue a basse risorse: Il successo di GPL nell’adattamento di dominio suggerisce che potrebbe essere vantaggioso applicare questo metodo alle lingue a basse risorse, dove i dati di training etichettati sono limitati.
Combinazione di GPL con altri metodi di adattamento: Potrebbe essere interessante indagare se la combinazione di GPL con altri metodi di adattamento di dominio possa migliorare ulteriormente le prestazioni. Ciò include metodi come l’adversarial training o il multi-task learning.
Ulteriori risorse
Paper GPL: https://arxiv.org/pdf/2112.07577
Qual è il ruolo dell’apprendimento non supervisionato nell’NLP?
Sii come un pesce rosso, non memorizzare! Mitigare la memorizzazione negli LLM generativi
Sbloccare il potere del Many-Shot In-Context Learning negli LLM
LLM-Eval: un approccio semplificato alla valutazione delle conversazioni degli LLM
Vettori densi nell’IA: massimizzare il potenziale dei dati nel machine learning
Continua a leggere
How to Choose the Best Embedding Model for RAG in 2026: 10 Models Benchmarked
We benchmarked 10 embedding models on cross-modal, cross-lingual, long-document, and dimension compression tasks. See which one fits your RAG pipeline.
Zilliz Cloud Audit Logs Goes GA: Security, Compliance, and Transparency at Scale
Zilliz Cloud Audit Logs are now GA, giving enterprises real-time visibility, compliance-ready trails, and stronger security across AWS, GCP, and Azure.
Milvus WebUI: A Visual Management Tool for Your Vector Database
Explore Milvus WebUI to monitor, manage, and optimize your vector database with real-time insights, performance tracking, and system health monitoring.