Che cos'è il benchmark BEIR per i sistemi di recupero delle informazioni
Che cos'è il benchmark BEIR per i sistemi di recupero delle informazioni
Analisi del benchmark BEIR per il recupero delle informazioni
Introduzione al recupero delle informazioni e a BEIR
I sistemi IR sono progettati per trovare documenti in risposta alle query degli utenti. Con l'evoluzione di questi sistemi, si è evoluta anche la necessità di metodi di valutazione completi per comprendere i sistemi esistenti.
BEIR (Benchmarking IR) è uno strumento per valutare quanto bene i sistemi di ricerca funzionano su molte attività e tipi di informazioni. I ricercatori hanno sviluppato BEIR per affrontare i limiti dei metodi di valutazione esistenti. BEIR è una valutazione più realistica della tecnologia di ricerca, soprattutto fuori dominio.
A differenza dei benchmark tradizionali che si concentrano su attività o domini specifici, BEIR è un framework di valutazione eterogeneo che testa molti modelli di sistemi IR in numerosi scenari. Dispone di 18 dataset per varie attività come fact checking, question answering e recupero di informazioni biomediche. Questa diversità consente a BEIR di valutare la versatilità e la robustezza dei sistemi IR in un modo più simile alle applicazioni del mondo reale.
Una delle principali innovazioni di BEIR è la sua attenzione alla valutazione zero-shot, che testa quanto bene i modelli funzionano su attività per le quali non sono stati specificamente addestrati. Ciò ha mostrato importanti intuizioni sui punti di forza e di debolezza dei diversi modelli IR, in particolare sulle sfide affrontate dai modelli di recupero densi nelle ricerche fuori dominio.
Di seguito approfondiremo le funzionalità di BEIR, la sua importanza nel recupero delle informazioni e l'impatto che ha sulla tecnologia di ricerca. Confronteremo BEIR con diversi approcci, dai motori di ricerca tradizionali lessicali ai moderni modelli neurali, e discuteremo cosa significa per gli sviluppatori che costruiscono sistemi di ricerca robusti e adattabili.
Che cos'è BEIR?
Anche se suona come "beer" e il logo è composto da due boccali di birra, purtroppo non è il tipo di birra a cui sono abituato, ma invece un tipo di "Bier!" completamente diverso. BEIR sta per Benchmarking IR (Information Retrieval) ed è uno strumento per valutare quanto bene i sistemi di recupero delle informazioni (sistemi di ricerca) funzionano su molte attività e tipi di informazioni. I ricercatori hanno sviluppato BEIR per affrontare i limiti dei metodi di valutazione esistenti. BEIR è una valutazione più realistica della tecnologia di ricerca.
Panoramica della raccolta diversificata di dataset di Bier
Funzionalità di BEIR
Benchmarking Information Retrieval è un benchmark standard per valutare le prestazioni dei modelli di recupero delle informazioni e fornisce una raccolta diversificata di dataset che si concentrano su varie attività di recupero. Risponde alla necessità di una valutazione più realistica della tecnologia di ricerca su attività e domini diversi. Ecco alcune funzionalità chiave di BEIR:
BEIR è un benchmark progettato per valutare la versatilità e la robustezza dei modelli di recupero delle informazioni. Presenta 18 dataset diversi provenienti da domini come bioinformatica, finanza e notizie, consentendo di testare i modelli su un'ampia gamma di diverse attività di recupero di testi, come fact-checking, question answering, recupero di documenti e sistemi di raccomandazione.
Il benchmark copre nove attività di recupero distinte, come il recupero di similarità, il recupero di argomenti e il fact-checking, che testa i modelli in vari scenari del mondo reale. La sua capacità di test cross-domain consente di valutare i modelli su attività al di fuori del loro dominio di addestramento, rendendolo uno strumento prezioso per valutarne le capacità di generalizzazione.
BEIR utilizza metriche di valutazione standardizzate come NDCG e Recall, semplificando i confronti tra modelli e dataset. Include inoltre l’integrazione con modelli popolari come BERT, T5 e GPT, rendendo più efficiente il processo di benchmarking. La natura open-source di BEIR favorisce la collaborazione e l’adattamento da parte della community, cosa importante per uno strumento di benchmarking al fine di aiutarlo a mantenere la trasparenza.
Inoltre, BEIR enfatizza la valutazione zero-shot, che misura quanto bene i sistemi di retrieval si comportano su compiti per i quali non sono stati esplicitamente addestrati, fornendo indicazioni sulla loro adattabilità. I suoi dataset includono anche tipi di testo vari, dai brevi tweet ai lunghi articoli scientifici, imitando la gamma di contenuti presenti sul web.
BEIR consente a ricercatori e sviluppatori di identificare punti di forza e debolezze negli algoritmi di IR, confrontare gli approcci in modo equo e sviluppare tecnologie di ricerca di base più robuste e versatili. La sua valutazione completa promuove progressi nella tecnologia IR, potenzialmente migliorando le esperienze di ricerca in varie applicazioni.
Limitazioni
Focus sul recupero di passaggi
Il benchmark è focalizzato sul recupero di passaggi a causa delle limitazioni di lunghezza dei modelli basati su transformer. La maggior parte dei documenti in BEIR rientra nel limite di 512 token dei modelli transformer. Ci sono alcune eccezioni, come i documenti archiviati nel dataset robust04, che contiene articoli di notizie di circa 700 parole. Ma BEIR non contiene documenti molto lunghi come PDF con centinaia di pagine. Questo è un “punto cieco” in cui potranno essere sviluppati benchmark futuri.
Creare versioni più difficili del benchmark
Con il miglioramento dei modelli di recupero denso, le loro prestazioni su BEIR sono diventate molto migliori. Risultati recenti mostrano che la ricerca lessicale (come BM25) è migliore solo su 2 dataset su 14, rispetto ai risultati precedenti in cui era migliore sulla maggior parte dei dataset. Questo solleva la questione se BEIR sia ancora un benchmark impegnativo. Nella community c’è una discussione sulla necessità di un “BEIR 2” con dataset di recupero più impegnativi per spingere i modelli ai loro limiti.
Modelli di recupero denso nella ricerca fuori dominio
BEIR ha mostrato che i modelli di embedding denso che ottenevano prestazioni molto buone su compiti in-domain (fino a 18 punti di miglioramento) faticano molto negli scenari out-of-domain. Per esempio, alcuni modelli densi hanno ottenuto buone prestazioni solo sul dataset Wikipedia su cui erano stati addestrati, ma sono risultati peggiori della ricerca lessicale su tutti gli altri 17 dataset di BEIR. Questo ha portato a molte ricerche sul perché i modelli densi abbiano difficoltà con domini sconosciuti. I ricercatori hanno riscontrato problemi come un’elevata sovrapposizione train-test in alcuni dataset e parole mai viste. Queste intuizioni hanno guidato miglioramenti nelle tecniche di addestramento dei modelli, incluso un modo migliore per gestire le parole fuori dominio e benchmark più robusti con una chiara separazione tra set di addestramento e test.
Questi risultati di BEIR hanno guidato progressi nell’IR, innovazioni nei modelli, nell’addestramento e nella valutazione.
Perché BEIR:
BEIR colma il divario nel modo in cui la ricerca viene valutata. Fornendo un insieme di test standard, vario e impegnativo, ricercatori e sviluppatori possono vedere i punti di forza e le debolezze degli attuali algoritmi di ricerca, confrontare gli approcci in modo equo e completo e costruire una tecnologia di ricerca più versatile e migliore. Inoltre, BEIR li aiuta a vedere come i sistemi di ricerca si comporteranno in applicazioni reali e diversificate.
Per gli utenti dei motori di ricerca web e della tecnologia, i risultati di BEIR porteranno a esperienze di ricerca più accurate, versatili ed efficienti su tutte le applicazioni e piattaforme. Ciò significa risultati di ricerca migliori nelle applicazioni quotidiane, dalla ricerca web alle query su database.
BEIR è un progetto open-source, quindi i ricercatori di tutto il mondo possono contribuire e trarne beneficio. Questa apertura accelererà il miglioramento della tecnologia di ricerca man mano che i ricercatori sviluppano e perfezionano BEIR. Con il miglioramento di BEIR, l’intero campo dell’IR ne trarrà beneficio e, in ultima analisi, gli utenti finali avranno esperienze di ricerca migliori in tutte le applicazioni.
Contesto di Beir
BEIR (Benchmarking IR) è il primo benchmark ampio e zero-shot per il recupero delle informazioni. A differenza dei benchmark precedenti, valuta il recupero delle informazioni moderno, attraverso più domini e tipi di attività in un contesto zero-shot. Lavori precedenti come MultiReQA e KILT erano limitati per ambito, singola attività, piccolo corpus o dominio specifico.
Il benchmark arriva in un momento in cui i metodi IR stanno evolvendo. Tradizionalmente, approcci lessicali come TF-IDF e BM25 erano i metodi dominanti di recupero testuale. Di recente c’è un crescente interesse nell’uso di reti neurali come Splade per migliorare o sostituire questi metodi. Le prime tecniche neurali miravano a potenziare le tecniche di recupero delle informazioni lessicali, come docT5query per l’espansione dei documenti e DeepCT per la ponderazione dei termini.
Sono stati poi sviluppati modelli di recupero densi per catturare corrispondenze semantiche e colmare il divario lessicale. Questi modelli mappano query e documenti in uno spazio condiviso di vettori densi. Sono poi seguiti modelli ibridi lessicali-densi per combinare i punti di forza di entrambi.
Un’altra linea di ricerca ha esplorato l’adattamento di dominio non supervisionato per l’addestramento di retriever densi. Inoltre, modelli come ColBERT hanno introdotto embedding contestualizzati a livello di token per il recupero.
Il re-ranking tramite reti neurali, specialmente quelle che usano il meccanismo di cross-attention di BERT, ha mostrato un grande aumento delle prestazioni ma con un elevato costo computazionale.
BEIR cerca di capire come questi sistemi e metodi di recupero esistenti generalizzino attraverso diversi domini e attività, specialmente in un contesto zero-shot, per colmare il divario nella comprensione dell’adattabilità dei moderni sistemi IR.
Software e framework Beir
BEIR è un framework Python facile da usare che può essere installato con pip. È progettato per rendere semplice la valutazione dei modelli nelle attività IR. Il software include wrapper completi per replicare esperimenti e valutare modelli da repository ben noti come Sentence-Transformers, Transformers, Anserini, DPR, Elasticsearch, ColBERT e Universal Sentence Encoder. Questa ampia compatibilità rende BEIR utile sia per la ricerca accademica sia per le applicazioni industriali.
Il framework fornisce molte metriche basate sull’IR: Precision, Recall, Mean Average Precision (MAP), Mean Reciprocal Rank (MRR), Normalized Discounted Cumulative Gain (nDCG) per qualsiasi top-k. Ciò consente di valutare i modelli di recupero in modo completo.
BEIR è flessibile, gli utenti possono valutare modelli esistenti su nuovi dataset e nuovi modelli sui dataset del benchmark. Per affrontare il problema dei dataset in formati diversi, BEIR introduce un formato standard per corpus, query e giudizi di rilevanza (qrels). Questa standardizzazione rende più semplice il processo di valutazione su molti dataset per ricercatori e sviluppatori che vogliono testare i propri modelli su diverse attività di recupero dei dati.
Metrica di valutazione utilizzata in BEIR
BEIR utilizza Normalized Discounted Cumulative Gain (nDCG@10) come principale metrica di valutazione. Questa scelta è stata fatta per avere risultati comparabili tra diversi modelli e dataset nel benchmark.
La scelta di nDCG@10 si è basata su:
Le applicazioni del mondo reale possono essere focalizzate sia sulla precision sia sulla recall, quindi era necessaria una metrica bilanciata.
Alcune metriche come Precision e Recall non considerano il ranking dei risultati, che è importante nei task di retrieval.
Altre metriche sensibili al ranking come Mean Reciprocal Rank (MRR) e Mean Average Precision (MAP) sono limitate a giudizi di rilevanza binari, il che non è adatto a tutti i task.
nDCG@10 può gestire sia giudizi di rilevanza binari sia graduati, quindi è versatile tra diversi tipi di task di retrieval.
Il team BEIR afferma che nDCG@10 è una buona metrica per valutare in modo ampio i diversi task di retrieval. Usano l’interfaccia Python dello strumento ufficiale di valutazione TREC per calcolare questa metrica per tutti i dataset nel benchmark.
Utilizzando un’unica metrica per tutti i task, BEIR consente di confrontare diversi modelli di retrieval e tra diversi dataset, indipendentemente dal fatto che utilizzino giudizi di rilevanza binari o graduati.
Risultati chiave nel confronto tra metodi di ricerca neurale
Quando guardi il paper di Beir (o guardi il video breve e ben fatto di uno degli autori, Nils Reimers), vengono condivisi alcuni risultati di un confronto tra diversi metodi di ricerca neurale e BM25 (ricerca lessicale).
BEIR valuta molte architetture di retrieval allo stato dell’arte, concentrandosi su approcci neurali basati su transformer. Il benchmark utilizza checkpoint pre-addestrati disponibili pubblicamente e raggruppa i modelli in cinque categorie: lessicali, sparsi, densi, late-interaction e re-ranking. A causa delle limitazioni delle reti transformer, negli esperimenti vengono utilizzati solo i primi 512 word piece dei documenti di testo.
I risultati chiave della valutazione di BEIR includono:
I ricercatori hanno svolto un benchmarking completo dei modelli densi per l’information retrieval (IR). Tradizionalmente, gli approcci basati su embedding venivano utilizzati per l’IR in-domain, dove un modello viene addestrato con dati specifici del dominio e poi applicato alla ricerca all’interno dello stesso dominio. Ma i ricercatori hanno esplorato una sfida più interessante: l’IR out-of-domain, dove un modello pre-addestrato viene applicato a nuovi domini senza riaddestrarlo sui dati specifici. Per valutarlo, hanno raccolto molti dataset tra diversi task di retrieval. Per esempio, nel tweet retrieval, il task era abbinare articoli di notizie a tweet rilevanti. Nei dataset ArguAna e Touche-2020, il task era l’argument retrieval, in particolare trovare contro-argomentazioni. Il dataset Fever è stato utilizzato per trovare articoli di Wikipedia a supporto di affermazioni specifiche.
Hanno confrontato molti modelli di retrieval denso con un modello di ricerca lessicale di baseline (BM25). Il modello di retrieval denso di Facebook ha funzionato bene su Wikipedia, dove era stato addestrato, ma male su altri 17 dataset rispetto a BM25. Anche il miglior modello di embedding denso, TAS-B, ha superato BM25 solo su 8 dataset su 18. Quindi i modelli densi affrontano grandi sfide nei task out-of-domain. Quindi i modelli di embedding denso hanno grandi difficoltà quando vengono applicati a domini sconosciuti. Sono necessarie ulteriori ricerche per migliorare la loro capacità di generalizzazione.
Alcuni modelli come SPLADE hanno funzionato meglio in domini sconosciuti. Ma in molti contesti, il metodo di retrieval più robusto è stato BM25 con cross-encoder e modello di query T5, che ha mostrato risultati stabili in molti domini. Con l’evoluzione dei modelli densi, benchmark recenti mostrano che la ricerca lessicale supera ancora i modelli densi in 2 dataset su 14. Alcuni modelli potrebbero essere in overfitting sugli attuali dataset del Beir Benchmark. Forse è il momento di creare Beir Benchmark 2 con dataset più impegnativi e diversificati.
I modelli densi funzionano proiettando query e documenti in uno spazio vettoriale e recuperano i documenti trovando la corrispondenza vettoriale più vicina. Questo funziona bene in-domain ma fatica con parole non viste e out-of-domain. I ricercatori hanno anche scoperto che molti dataset in-domain hanno una sovrapposizione tra training e test, in cui le query di test sono viste durante il training e quindi producono prestazioni artificialmente elevate. I modelli densi faticano quando sono esposti a domini o parole non visti durante il training. Questo ha portato a ulteriori ricerche sul miglioramento della generalizzazione dei modelli densi oltre i loro domini di training.
Successivamente i ricercatori suggeriscono di avere benchmark migliori che separino bene i set di training e test e abbiano documenti più lunghi o compiti di retrieval più complessi. La ricerca futura si concentrerà su modelli che possano funzionare bene in molti domini, specialmente nel retrieval out-of-domain.
Conclusione
BEIR (Benchmarking IR) è uno strumento per il recupero di informazioni. Come primo benchmark ampio e zero-shot per il recupero di informazioni, colma la lacuna nella valutazione delle tecnologie di ricerca in molti domini e compiti. BEIR, con 18 dataset e 9 compiti, fornisce una comprensione senza precedenti di molti metodi e modelli di recupero di informazioni, specialmente out-of-domain.
Il benchmark ha mostrato le sfide dei modelli di retrieval densi e sparsi nel generalizzare a domini sconosciuti, il che ha portato a ulteriori ricerche e innovazione. Mostrando i punti di forza dei metodi tradizionali come BM25 in alcuni casi e degli approcci ibridi, BEIR ha incoraggiato una visione più equilibrata dei modelli di retrieval sparso e delle capacità dei sistemi.
Inoltre BEIR è open source e dispone di metriche standardizzate, il che ha incoraggiato la collaborazione nella comunità di ricerca e accelerato i progressi. Man mano che i modelli migliorano, la discussione sulla creazione di una versione più impegnativa del benchmark dimostra che BEIR è ancora rilevante e che il recupero di informazioni è un campo dinamico.
In futuro gli insight di BEIR guideranno tecnologie di ricerca più robuste, flessibili ed efficienti. Queste miglioreranno l'esperienza di ricerca in molte applicazioni, dai database accademici specializzati alla ricerca web quotidiana. Man mano che il campo progredisce, BEIR dimostra che una valutazione completa nel mondo reale è importante per spingere oltre i limiti dei sistemi di recupero di informazioni.
Riferimenti
Reimers, N. (2022). Valutare il recupero di informazioni con BEIR. Cohere. [Video YouTube]. https://www.youtube.com/watch?v=w6_5-hAsjBQ
Thakur, N., Reimers, N., Rücklé, A., Srivastava, A., & Gurevych, I. (2021). BEIR: Un benchmark eterogeneo per la valutazione zero-shot dei modelli di recupero di informazioni. preprint arXiv arXiv:2104.08663.
- Introduzione al recupero delle informazioni e a BEIR
- Che cos'è BEIR?
- Funzionalità di BEIR
- Limitazioni
- Perché BEIR:
- Contesto di Beir
- Software e framework Beir
- Metrica di valutazione utilizzata in BEIR
- Risultati chiave nel confronto tra metodi di ricerca neurale
- Conclusione
- Riferimenti
Contenuto
Inizia gratis, scala facilmente
Prova il database vettoriale completamente gestito progettato per le tue applicazioni GenAI.
Prova Zilliz Cloud gratuitamente