O que é o benchmark BEIR para sistemas de recuperação de informação
O que é o benchmark BEIR para sistemas de recuperação de informação
Analisando o benchmark BEIR para Recuperação de Informação
Introdução à Recuperação de Informação e ao BEIR
Sistemas de IR são projetados para encontrar documentos em resposta às consultas dos usuários. À medida que esses sistemas evoluíram, também evoluiu a necessidade de métodos abrangentes de avaliação para entender os sistemas existentes.
BEIR (Benchmarking IR) é uma ferramenta para avaliar quão bem os sistemas de busca funcionam em muitas tarefas e tipos de informação. Pesquisadores desenvolveram o BEIR para abordar as limitações dos métodos de avaliação existentes. O BEIR é uma avaliação mais realista da tecnologia de busca, especialmente fora do domínio.
Diferentemente dos benchmarks tradicionais que se concentram em tarefas ou domínios específicos, o BEIR é uma estrutura de avaliação heterogênea que testa muitos modelos de sistemas de IR em muitos cenários. Ele tem 18 conjuntos de dados para várias tarefas, como verificação de fatos, resposta a perguntas e recuperação de informação biomédica. Essa diversidade permite que o BEIR avalie a versatilidade e a robustez dos sistemas de IR de uma forma mais parecida com aplicações do mundo real.
Uma das principais inovações do BEIR é seu foco na avaliação zero-shot, testando quão bem os modelos funcionam em tarefas para as quais não foram especificamente treinados. Isso mostrou percepções importantes sobre os pontos fortes e fracos de diferentes modelos de IR, especialmente os desafios enfrentados por modelos de recuperação densa em buscas fora do domínio.
A seguir, vamos nos aprofundar nos recursos do BEIR, sua importância na recuperação de informação e o impacto que ele tem na tecnologia de busca. Vamos comparar o BEIR a diferentes abordagens, desde lexical tradicional e mecanismos de busca até modelos neurais modernos, e discutir o que isso significa para desenvolvedores que constroem sistemas de busca robustos e adaptáveis.
O que é BEIR?
Embora soe como "beer" e o logotipo seja composto por duas canecas de cerveja, infelizmente não é o tipo de cerveja a que estou acostumado, mas sim um tipo totalmente diferente de "Bier!" BEIR significa Benchmarking IR (Information Retrieval) e é uma ferramenta para avaliar quão bem Sistemas de Recuperação de Informação (sistemas de busca) funcionam em muitas tarefas e tipos de informação. Pesquisadores desenvolveram o BEIR para abordar as limitações dos métodos de avaliação existentes. O BEIR é uma avaliação mais realista da tecnologia de busca.
Visão geral da coleção diversificada de conjuntos de dados do Bier
Recursos do BEIR
Benchmarking Information Retrieval é um benchmark padrão para avaliar o desempenho de modelos de recuperação de informação e fornece uma coleção diversificada de conjuntos de dados que se concentram em várias tarefas de recuperação. Ele atende à necessidade de uma avaliação mais realista da tecnologia de busca em diversas tarefas e domínios. Aqui estão alguns recursos-chave do BEIR:
BEIR é um benchmark projetado para avaliar a versatilidade e a robustez de modelos de recuperação de informação. Ele apresenta 18 conjuntos de dados diversos de domínios como bioinformática, finanças e notícias, permitindo que os modelos sejam testados em uma ampla variedade de tarefas diversas de recuperação de texto, como verificação de fatos, resposta a perguntas, recuperação de documentos e sistemas de recomendação.
O benchmark abrange nove tarefas distintas de recuperação, como recuperação de similaridade, recuperação de argumentos e verificação de fatos, que testam modelos em vários cenários do mundo real. Sua capacidade de teste entre domínios permite que os modelos sejam avaliados em tarefas fora de seu domínio de treinamento, tornando-o uma ferramenta valiosa para avaliar suas capacidades de generalização.
O BEIR usa métricas de avaliação padronizadas como NDCG e Recall, simplificando comparações entre modelos e conjuntos de dados. Ele também inclui integração com modelos populares como BERT, T5 e GPT, agilizando o processo de benchmarking. A natureza open-source do BEIR promove a colaboração e a adaptação da comunidade, o que, para uma ferramenta de benchmarking, é importante para ajudá-la a manter a transparência.
Além disso, o BEIR enfatiza a avaliação zero-shot, que mede quão bem os sistemas de recuperação desempenham tarefas para as quais não foram explicitamente treinados, fornecendo insights sobre sua adaptabilidade. Seus conjuntos de dados também incluem tipos de texto variados, desde tweets curtos até longos artigos científicos, imitando a variedade de conteúdo encontrada na web.
O BEIR permite que pesquisadores e desenvolvedores identifiquem pontos fortes e fracos em algoritmos de IR, comparem abordagens de forma justa e desenvolvam tecnologias de busca de referência mais robustas, versáteis e abrangentes. Sua avaliação abrangente impulsiona avanços na tecnologia de IR, potencialmente melhorando experiências de busca em várias aplicações.
Limitações
Foco na recuperação de passagens
O benchmark é focado na recuperação de passagens por causa das limitações de comprimento dos modelos baseados em transformers. A maioria dos documentos no BEIR cabe dentro do limite de 512 tokens dos modelos transformer. Existem algumas exceções, como documentos armazenados no conjunto de dados robust04, que contém artigos de notícias com cerca de 700 palavras. Mas o BEIR não tem documentos muito longos, como PDFs com centenas de páginas. Este é um “ponto cego” onde benchmarks futuros podem ser desenvolvidos.
Criando versões mais difíceis do benchmark
À medida que os modelos de recuperação densa melhoraram, eles tiveram desempenho muito melhor no BEIR. Resultados recentes mostram que a busca lexical (como BM25) é melhor apenas em 2 de 14 conjuntos de dados em comparação com resultados anteriores, nos quais era melhor na maioria dos conjuntos de dados. Isso levanta a questão de se o BEIR ainda é um benchmark desafiador. Há uma discussão na comunidade sobre a necessidade de um “BEIR 2” que tenha conjuntos de dados de recuperação mais desafiadores para levar os modelos ao limite.
Modelos de recuperação densa em busca fora do domínio
O BEIR mostrou que modelos de embedding denso que tiveram desempenho muito bom em tarefas dentro do domínio (até 18 pontos de aumento) enfrentam muitas dificuldades em cenários fora do domínio. Por exemplo, alguns modelos densos tiveram bom desempenho apenas no conjunto de dados da Wikipedia em que foram treinados, mas foram piores do que a busca lexical em todos os outros 17 conjuntos de dados do BEIR. Isso levou a muita pesquisa sobre por que modelos densos têm dificuldade com domínios desconhecidos. Pesquisadores encontraram problemas como alta sobreposição entre treino e teste em alguns conjuntos de dados e palavras não vistas. Esses insights impulsionaram melhorias nas técnicas de treinamento de modelos, incluindo melhores formas de lidar com palavras fora do domínio e benchmarks mais robustos com separação clara entre conjuntos de treino e teste.
Esses resultados do BEIR impulsionaram avanços em IR, inovações em modelo, treinamento e avaliação.
Por que BEIR:
O BEIR preenche a lacuna na forma como a busca é avaliada. Ao fornecer um conjunto padrão, variado e desafiador de testes, pesquisadores e desenvolvedores podem ver os pontos fortes e fracos dos algoritmos de busca atuais, comparar abordagens de forma justa e abrangente e construir tecnologias de busca mais versáteis e melhores. Além disso, o BEIR os ajuda a ver como os sistemas de busca terão desempenho em aplicações reais e diversas.
Para usuários de mecanismos de busca na web e tecnologia, os resultados do BEIR levarão a experiências de busca mais precisas, versáteis e eficientes em todas as aplicações e plataformas. Isso significa melhores resultados de busca em aplicações cotidianas, desde busca na web até consultas em bancos de dados.
BEIR é um projeto de código aberto, portanto pesquisadores de todo o mundo podem contribuir e se beneficiar dele. Essa abertura acelerará a melhoria da tecnologia de busca à medida que os pesquisadores desenvolvem e refinam o BEIR. À medida que o BEIR for aprimorado, todo o campo de IR se beneficiará e, em última análise, os usuários finais terão melhores experiências de busca em todas as aplicações.
Contexto do Beir
BEIR (Benchmarking IR) é o primeiro benchmark amplo de recuperação de informações em cenário zero-shot. Ao contrário de benchmarks anteriores, ele avalia a recuperação de informações moderna em múltiplos domínios e tipos de tarefa em um cenário zero-shot. Trabalhos anteriores como MultiReQA e KILT eram limitados em escopo, tarefa única, corpus pequeno ou domínio específico.
O benchmark surge em um momento em que os métodos de IR estão evoluindo. Tradicionalmente, abordagens lexicais como TF-IDF e BM25 eram os métodos dominantes de recuperação de texto. Recentemente, há um interesse crescente em usar redes neurais como Splade para melhorar ou substituir esses métodos. As primeiras técnicas neurais buscavam aprimorar técnicas lexicais de recuperação de informações, como docT5query para expansão de documentos e DeepCT para ponderação de termos.
Modelos de recuperação densa foram então desenvolvidos para capturar correspondências semânticas e preencher a lacuna lexical. Esses modelos mapeiam consultas e documentos para um espaço compartilhado de vetores densos. Modelos híbridos léxico-densos vieram em seguida para combinar os pontos fortes de ambos.
Outra linha de pesquisa explorou a adaptação de domínio não supervisionada para treinar recuperadores densos. Além disso, modelos como ColBERT introduziram embeddings contextualizados em nível de token para recuperação.
O re-ranqueamento usando redes neurais, especialmente aquelas que usam o mecanismo de atenção cruzada do BERT, mostrou grande aumento de desempenho, mas com alto custo computacional.
O BEIR tenta ver como esses sistemas e métodos de recuperação existentes generalizam em diferentes domínios e tarefas, especialmente em cenário zero-shot, para preencher a lacuna na compreensão da adaptabilidade dos sistemas modernos de IR.
Software e Framework do Beir
BEIR é um framework Python fácil de usar que pode ser instalado com pip. Ele foi projetado para facilitar a avaliação de modelos em tarefas de IR. O software vem com wrappers abrangentes para replicar experimentos e avaliar modelos de repositórios bem conhecidos como Sentence-Transformers, Transformers, Anserini, DPR, Elasticsearch, ColBERT e Universal Sentence Encoder. Essa ampla compatibilidade torna o BEIR útil tanto para pesquisa acadêmica quanto para aplicações industriais.
O framework fornece muitas métricas baseadas em IR: Precision, Recall, Mean Average Precision (MAP), Mean Reciprocal Rank (MRR), Normalized Discounted Cumulative Gain (nDCG) para qualquer top-k. Isso permite avaliar modelos de recuperação de forma abrangente.
BEIR é flexível, os usuários podem avaliar modelos existentes em novos datasets e novos modelos nos datasets do benchmark. Para resolver o problema de datasets em diferentes formatos, o BEIR introduz um formato padrão para corpus, consultas e julgamentos de relevância (qrels). Essa padronização facilita o processo de avaliação em muitos datasets para que pesquisadores e desenvolvedores testem seus modelos em diferentes tarefas de recuperação de dados.
Métrica de avaliação usada no BEIR
BEIR usa Normalized Discounted Cumulative Gain (nDCG@10) como sua principal métrica de avaliação. Isso foi escolhido para ter resultados comparáveis entre diferentes modelos e datasets no benchmark.
A escolha de nDCG@10 foi baseada em:
Aplicações do mundo real podem ser focadas em precisão ou recall, portanto uma métrica equilibrada era necessária.
Algumas métricas, como Precision e Recall, não consideram o ranqueamento dos resultados, que é importante em tarefas de recuperação.
Outras métricas sensíveis ao ranqueamento, como Mean Reciprocal Rank (MRR) e Mean Average Precision (MAP), são limitadas a julgamentos de relevância binária, o que não é adequado para todas as tarefas.
nDCG@10 pode lidar tanto com julgamentos de relevância binária quanto graduada, por isso é versátil em diferentes tipos de tarefas de recuperação.
A equipe do BEIR diz que nDCG@10 é uma boa métrica para avaliar amplamente as diferentes tarefas de recuperação. Eles usam a interface Python da ferramenta oficial de avaliação TREC para calcular essa métrica para todos os conjuntos de dados no benchmark.
Ao usar uma única métrica em todas as tarefas, o BEIR permite comparar diferentes modelos de recuperação e entre diferentes conjuntos de dados, independentemente de eles usarem julgamentos de relevância binária ou graduada.
Principais descobertas ao comparar métodos de busca neural
Quando você olha para o artigo do Beir (ou assiste ao vídeo agradável e curto de um dos autores, Nils Reimers), eles compartilham algumas descobertas de uma comparação de diferentes métodos de busca neural vs BM25 (busca lexical).
O BEIR avalia muitas arquiteturas de recuperação de ponta, com foco em abordagens neurais baseadas em transformers. O benchmark usa checkpoints pré-treinados disponíveis publicamente e agrupa os modelos em cinco categorias: lexical, esparsa, densa, late-interaction e re-ranking. Devido às limitações das redes transformer, apenas as primeiras 512 partes de palavras dos documentos de texto são usadas nos experimentos.
As principais descobertas da avaliação do BEIR incluem:
Os pesquisadores fizeram um benchmarking abrangente de modelos densos para recuperação de informação (IR). Tradicionalmente, abordagens de embedding eram usadas para IR dentro do domínio, em que um modelo é treinado com dados específicos do domínio e então aplicado para buscar dentro desse mesmo domínio. Mas os pesquisadores exploraram um desafio mais interessante: IR fora do domínio, em que um modelo pré-treinado é aplicado a novos domínios sem retreiná-lo para os dados específicos. Para avaliar isso, eles coletaram muitos conjuntos de dados em diferentes tarefas de recuperação. Por exemplo, na recuperação de tweets, a tarefa era corresponder artigos de notícias a tweets relevantes. Nos conjuntos de dados ArguAna e Touche-2020, a tarefa era recuperação de argumentos, especificamente encontrar contra-argumentos. O conjunto de dados Fever foi usado para encontrar artigos da Wikipedia que sustentassem afirmações específicas.
Eles compararam muitos modelos de recuperação densa com um modelo de busca lexical de referência (BM25). O modelo de recuperação densa do Facebook funcionou bem na Wikipedia, onde foi treinado, mas teve desempenho ruim em 17 outros conjuntos de dados em comparação com o BM25. Mesmo o melhor modelo de embedding denso, TAS-B, só superou o BM25 em 8 de 18 conjuntos de dados. Portanto, modelos densos têm grandes desafios em tarefas fora do domínio. Assim, modelos de embedding densos têm grandes dificuldades quando aplicados a domínios desconhecidos. Mais pesquisas são necessárias para melhorar sua capacidade de generalização.
Alguns modelos, como SPLADE, funcionaram melhor em domínios desconhecidos. Mas, em muitos cenários, o método de recuperação mais robusto foi o BM25 com cross-encoder e modelo de consulta T5, que apresentou resultados estáveis em muitos domínios. À medida que os modelos densos evoluem, benchmarks recentes mostram que a busca lexical ainda supera modelos densos em 2 de 14 conjuntos de dados. Alguns modelos podem estar sofrendo overfitting nos conjuntos de dados atuais do Beir Benchmark. Talvez seja hora de criar o Beir Benchmark 2 com conjuntos de dados mais desafiadores e diversos.
Modelos densos funcionam projetando consultas e documentos em um espaço vetorial e recuperam documentos encontrando a correspondência vetorial mais próxima. Isso funciona bem dentro do domínio, mas tem dificuldades com palavras desconhecidas e fora do domínio. Os pesquisadores também descobriram que muitos conjuntos de dados dentro do domínio têm sobreposição entre treinamento e teste, em que consultas de teste são vistas durante o treinamento e, portanto, apresentam desempenho artificialmente alto. Modelos densos têm dificuldades quando expostos a domínios ou palavras não vistos durante o treinamento. Isso levou a mais pesquisas sobre como melhorar a generalização de modelos densos além de seus domínios de treinamento.
Em seguida, os pesquisadores sugerem ter benchmarks melhores que separem bem os conjuntos de treinamento e teste e tenham documentos mais longos ou tarefas de recuperação mais complexas. Pesquisas futuras se concentrarão em modelos que possam ter bom desempenho em muitos domínios, especialmente na recuperação fora do domínio.
Conclusão
BEIR (Benchmarking IR) é uma ferramenta para recuperação de informações. Como o primeiro benchmark amplo de recuperação de informações zero-shot, ele preenche a lacuna de avaliar tecnologias de busca em muitos domínios e tarefas. O BEIR, com 18 conjuntos de dados e 9 tarefas, fornece uma compreensão sem precedentes de muitos métodos e modelos de recuperação de informações, especialmente fora do domínio.
O benchmark mostrou os desafios dos modelos de recuperação densos e esparsos em generalizar para domínios desconhecidos, o que levou a mais pesquisa e inovação. Ao mostrar os pontos fortes de métodos tradicionais como BM25 em alguns casos e de abordagens híbridas, o BEIR incentivou uma visão mais equilibrada dos modelos de recuperação esparsa e das capacidades dos sistemas.
Além disso, o BEIR é de código aberto e possui métricas padronizadas, o que incentivou a colaboração na comunidade de pesquisa e acelerou o progresso. À medida que os modelos melhoram, a discussão sobre criar uma versão mais desafiadora do benchmark prova que o BEIR ainda é relevante e que a recuperação de informações é um campo dinâmico.
Em seguida, os insights do BEIR impulsionarão tecnologias de busca mais robustas, flexíveis e eficientes. Elas melhorarão a experiência de busca em muitas aplicações, desde bancos de dados acadêmicos especializados até a busca cotidiana na web. À medida que o campo avança, o BEIR é uma prova de que a avaliação abrangente no mundo real é importante para ampliar os limites dos sistemas de recuperação de informações.
Referências
Reimers, N. (2022). Avaliando a Recuperação de Informações com BEIR. Cohere. [Vídeo do YouTube]. https://www.youtube.com/watch?v=w6_5-hAsjBQ
Thakur, N., Reimers, N., Rücklé, A., Srivastava, A., & Gurevych, I. (2021). BEIR: Um Benchmark Heterogêneo para Avaliação Zero-shot de Modelos de Recuperação de Informações. preprint arXiv arXiv:2104.08663.
- Introdução à Recuperação de Informação e ao BEIR
- O que é BEIR?
- Recursos do BEIR
- Limitações
- Por que BEIR:
- Contexto do Beir
- Software e Framework do Beir
- Métrica de avaliação usada no BEIR
- Principais descobertas ao comparar métodos de busca neural
- Conclusão
- Referências
Conteúdo
Comece grátis, escale facilmente
Experimente o banco de dados totalmente gerenciado, construído para seus aplicativos GenAI.
Experimente o Zilliz Cloud grátis