Was ist der BEIR-Benchmark für Information-Retrieval-Systeme

Analyse des BEIR-Benchmarks für Information Retrieval

Einführung in Information Retrieval und BEIR

IR-Systeme sind darauf ausgelegt, Dokumente als Antwort auf Benutzeranfragen zu finden. Mit der Weiterentwicklung dieser Systeme ist auch der Bedarf an umfassenden Bewertungsmethoden gewachsen, um die bestehenden Systeme zu verstehen.

BEIR (Benchmarking IR) ist ein Tool zur Bewertung, wie gut Suchsysteme über viele Aufgaben und Arten von Informationen hinweg funktionieren. Forschende entwickelten BEIR, um die Einschränkungen bestehender Bewertungsmethoden zu adressieren. BEIR ist eine realistischere Bewertung von Suchtechnologie, insbesondere außerhalb der Domäne.

Im Gegensatz zu traditionellen Benchmarks, die sich auf bestimmte Aufgaben oder Domänen konzentrieren, ist BEIR ein heterogenes Evaluierungsframework, das viele Modelle von IR-Systemen in vielen Szenarien testet. Es umfasst 18 Datensätze für verschiedene Aufgaben wie Faktenprüfung, Fragebeantwortung und biomedizinisches Information Retrieval. Diese Vielfalt ermöglicht es BEIR, die Vielseitigkeit und Robustheit von IR-Systemen auf eine Weise zu bewerten, die realen Anwendungen ähnlicher ist.

Eine der wichtigsten Innovationen von BEIR ist der Fokus auf Zero-Shot-Evaluierung, bei der getestet wird, wie gut Modelle bei Aufgaben abschneiden, für die sie nicht speziell trainiert wurden. Dies hat wichtige Erkenntnisse über die Stärken und Schwächen verschiedener IR-Modelle geliefert, insbesondere über die Herausforderungen, denen Dense-Retrieval-Modelle bei Suchen außerhalb der Domäne gegenüberstehen.

Im Folgenden werden wir auf die Funktionen von BEIR, seine Bedeutung im Information Retrieval und seine Auswirkungen auf die Suchtechnologie eingehen. Wir werden BEIR mit verschiedenen Ansätzen vergleichen, von traditionellen lexikalischen Suchmaschinen bis hin zu modernen neuronalen Modellen, und diskutieren, was dies für Entwickler bedeutet, die robuste und anpassungsfähige Suchsysteme entwickeln.

Was ist BEIR?

Auch wenn es wie „beer“ klingt und das Logo aus zwei Bierkrügen besteht, ist es leider nicht die Art von Bier, an die ich gewöhnt bin, sondern eine völlig andere Art von „Bier!“ BEIR steht für Benchmarking IR (Information Retrieval) und ist ein Tool zur Bewertung, wie gut Information-Retrieval-Systeme (Suchsysteme) über viele Aufgaben und Arten von Informationen hinweg funktionieren. Forschende entwickelten BEIR, um die Einschränkungen bestehender Bewertungsmethoden zu adressieren. BEIR ist eine realistischere Bewertung von Suchtechnologie.

Überblick über die vielfältige Sammlung von Datensätzen von Bier

BEIR-Funktionen

Benchmarking Information Retrieval ist ein Standard-Benchmark zur Bewertung der Leistung von Information-Retrieval-Modellen und bietet eine vielfältige Sammlung von Datensätzen, die sich auf verschiedene Retrieval-Aufgaben konzentrieren. Er adressiert den Bedarf an einer realistischeren Bewertung von Suchtechnologie über unterschiedliche Aufgaben und Domänen hinweg. Hier sind einige zentrale Funktionen von BEIR:

BEIR ist ein Benchmark, der zur Bewertung der Vielseitigkeit und Robustheit von Information-Retrieval-Modellen entwickelt wurde. Er umfasst 18 vielfältige Datensätze aus Domänen wie Bioinformatik, Finanzen und Nachrichten, sodass Modelle auf einer breiten Palette unterschiedlicher Text-Retrieval-Aufgaben getestet werden können, wie etwa Faktenprüfung, Fragebeantwortung, Dokumenten-Retrieval und Empfehlungssysteme.

Der Benchmark deckt neun unterschiedliche Retrieval-Aufgaben ab, wie etwa Ähnlichkeits-Retrieval, Argument-Retrieval und Faktenprüfung, wodurch Modelle in verschiedenen realen Szenarien getestet werden. Seine Fähigkeit zum domänenübergreifenden Testen ermöglicht es, Modelle bei Aufgaben außerhalb ihrer Trainingsdomäne zu evaluieren, was ihn zu einem wertvollen Tool zur Bewertung ihrer Generalisierungsfähigkeiten macht.

BEIR verwendet standardisierte Evaluierungsmetriken wie NDCG und Recall, was Vergleiche zwischen Modellen und Datensätzen vereinfacht. Es umfasst außerdem Integration mit beliebten Modellen wie BERT, T5 und GPT, wodurch der Benchmarking-Prozess optimiert wird. Der Open-Source-Charakter von BEIR fördert die Zusammenarbeit und Anpassung innerhalb der Community, was für ein Benchmarking-Tool wichtig ist, um Transparenz zu gewährleisten.

Darüber hinaus betont BEIR die Zero-Shot-Evaluierung, die misst, wie gut Retrieval-Systeme bei Aufgaben abschneiden, für die sie nicht explizit trainiert wurden, und Einblicke in ihre Anpassungsfähigkeit bietet. Seine Datensätze umfassen außerdem unterschiedliche Textarten, von kurzen Tweets bis hin zu umfangreichen wissenschaftlichen Artikeln, und ahmen damit die Bandbreite der im Web vorkommenden Inhalte nach.

BEIR ermöglicht es Forschern und Entwicklern, Stärken und Schwächen von IR-Algorithmen zu identifizieren, Ansätze fair zu vergleichen und robustere, vielseitige Baseline-Suchtechnologien zu entwickeln. Seine umfassende Evaluierung treibt Fortschritte in der IR-Technologie voran und verbessert potenziell Sucherlebnisse in verschiedenen Anwendungen.

Einschränkungen

Fokus auf Passage Retrieval

Der Benchmark konzentriert sich aufgrund der Längenbeschränkungen transformerbasierter Modelle auf Passage Retrieval. Die meisten Dokumente in BEIR passen innerhalb der 512-Token-Grenze von Transformer-Modellen. Es gibt einige Ausnahmen, wie Dokumente, die im robust04-Datensatz gespeichert sind und Nachrichtenartikel mit etwa 700 Wörtern enthalten. Aber BEIR enthält keine sehr langen Dokumente wie PDFs mit Hunderten von Seiten. Dies ist ein „blinder Fleck“, in dem zukünftige Benchmarks entwickelt werden können.

Erstellung schwierigerer Versionen des Benchmarks

Da sich Dense-Retrieval-Modelle verbessert haben, haben sie bei BEIR deutlich besser abgeschnitten. Aktuelle Ergebnisse zeigen, dass lexikalische Suche (wie BM25) im Vergleich zu früheren Ergebnissen, bei denen sie bei den meisten Datensätzen besser war, nur noch bei 2 von 14 Datensätzen besser ist. Dies wirft die Frage auf, ob BEIR immer noch ein anspruchsvoller Benchmark ist. In der Community gibt es eine Diskussion über die Notwendigkeit eines „BEIR 2“, das anspruchsvollere Retrieval-Datensätze enthält, um die Grenzen der Modelle weiter auszuloten.

Dense-Retrieval-Modelle in der Out-of-Domain-Suche

BEIR zeigte, dass Dense-Embedding-Modelle, die bei In-Domain-Aufgaben sehr gut abschnitten (bis zu 18 Punkte Verbesserung), in Out-of-Domain-Szenarien große Schwierigkeiten haben. Beispielsweise schnitten einige Dense-Modelle nur bei dem Wikipedia-Datensatz gut ab, auf dem sie trainiert wurden, waren aber bei allen anderen 17 Datensätzen in BEIR schlechter als die lexikalische Suche. Dies führte zu umfangreicher Forschung darüber, warum Dense-Modelle mit unbekannten Domains Schwierigkeiten haben. Forscher fanden Probleme wie eine hohe Überschneidung zwischen Trainings- und Testdaten in einigen Datensätzen und unbekannte Wörter. Diese Erkenntnisse haben Verbesserungen bei Modelltrainingstechniken vorangetrieben, darunter bessere Möglichkeiten zum Umgang mit Out-of-Domain-Wörtern und robustere Benchmarks mit klarer Trennung zwischen Trainings- und Testsätzen.

Diese Ergebnisse von BEIR haben Fortschritte in IR sowie Innovationen bei Modellen, Training und Evaluierung vorangetrieben.

Warum BEIR:

BEIR schließt die Lücke darin, wie Suche evaluiert wird. Durch die Bereitstellung eines standardisierten, vielfältigen und anspruchsvollen Testsatzes können Forscher und Entwickler die Stärken und Schwächen aktueller Suchalgorithmen erkennen, Ansätze fair und umfassend vergleichen und vielseitigere sowie bessere Suchtechnologie entwickeln. Außerdem hilft BEIR ihnen zu erkennen, wie Suchsysteme in realen, vielfältigen Anwendungen abschneiden werden.

Für Nutzer von Websuchmaschinen und Technologie werden die Ergebnisse von BEIR zu genaueren, vielseitigeren und effizienteren Sucherlebnissen über alle Anwendungen und Plattformen hinweg führen. Das bedeutet bessere Suchergebnisse in alltäglichen Anwendungen, von der Websuche bis hin zu Datenbankabfragen.

BEIR ist ein Open-Source-Projekt, sodass Forschende auf der ganzen Welt dazu beitragen und davon profitieren können. Diese Offenheit wird die Verbesserung der Suchtechnologie beschleunigen, da Forschende auf BEIR aufbauen und es weiter verfeinern. Wenn BEIR verbessert wird, wird das gesamte IR-Feld davon profitieren, und letztendlich werden Endnutzer über alle Anwendungen hinweg bessere Sucherlebnisse haben.

Beir-Hintergrund

BEIR (Benchmarking IR) ist der erste breite Zero-Shot-Benchmark für Information Retrieval. Im Gegensatz zu früheren Benchmarks bewertet er modernes Information Retrieval über mehrere Domänen und Aufgabentypen hinweg im Zero-Shot-Setting. Frühere Arbeiten wie MultiReQA und KILT waren im Umfang begrenzt, auf eine einzelne Aufgabe, ein kleines Korpus oder eine spezifische Domäne beschränkt.

Der Benchmark erscheint zu einer Zeit, in der sich IR-Methoden weiterentwickeln. Traditionell waren lexikalische Ansätze wie TF-IDF und BM25 die dominierenden Methoden für Text-Retrieval. In jüngster Zeit wächst das Interesse daran, neuronale Netze wie Splade zu verwenden, um diese Methoden zu verbessern oder zu ersetzen. Frühe neuronale Techniken dienten dazu, lexikalische Information-Retrieval-Techniken zu verbessern, wie docT5query für Dokumenterweiterung und DeepCT für Term-Gewichtung.

Dense-Retrieval-Modelle wurden anschließend entwickelt, um semantische Übereinstimmungen zu erfassen und die lexikalische Lücke zu schließen. Diese Modelle bilden Anfragen und Dokumente in einem gemeinsamen dichten Vektor-Raum ab. Hybride lexikalisch-dichte Modelle folgten, um die Stärken beider Ansätze zu kombinieren.

Eine weitere Forschungslinie untersuchte unüberwachte Domänenanpassung für das Training dichter Retriever. Außerdem führten Modelle wie ColBERT token-level kontextualisierte Embeddings für Retrieval ein.

Re-Ranking mithilfe neuronaler Netze, insbesondere solcher, die BERTs Cross-Attention-Mechanismus verwenden, zeigte eine große Leistungssteigerung, jedoch mit hohen Rechenkosten.

BEIR versucht zu untersuchen, wie diese bestehenden Retrieval-Systeme und -Methoden über verschiedene Domänen und Aufgaben hinweg generalisieren, insbesondere im Zero-Shot-Setting, um die Lücke im Verständnis der Anpassungsfähigkeit moderner IR-Systeme zu schließen.

Beir-Software und -Framework

BEIR ist ein benutzerfreundliches Python-Framework, das mit pip installiert werden kann. Es wurde entwickelt, um die Modellevaluation in IR-Aufgaben zu erleichtern. Die Software enthält umfassende Wrapper, um Experimente zu replizieren und Modelle aus bekannten Repositories wie Sentence-Transformers, Transformers, Anserini, DPR, Elasticsearch, ColBERT und Universal Sentence Encoder zu evaluieren. Diese breite Kompatibilität macht BEIR sowohl für die akademische Forschung als auch für industrielle Anwendungen nützlich.

Das Framework bietet viele IR-basierte Metriken: Precision, Recall, Mean Average Precision (MAP), Mean Reciprocal Rank (MRR), Normalized Discounted Cumulative Gain (nDCG) für jedes top-k. Dies ermöglicht eine umfassende Evaluation von Retrieval-Modellen.

BEIR ist flexibel; Nutzer können bestehende Modelle auf neuen Datensätzen und neue Modelle auf den Datensätzen im Benchmark evaluieren. Um das Problem von Datensätzen in unterschiedlichen Formaten zu adressieren, führt BEIR ein Standardformat für Korpus, Anfragen und Relevanzbewertungen (qrels) ein. Diese Standardisierung erleichtert Forschenden und Entwicklern den Evaluationsprozess über viele Datensätze hinweg, um ihre Modelle an verschiedenen Daten-Retrieval-Aufgaben zu testen.

In BEIR verwendete Evaluationsmetrik

BEIR verwendet Normalized Discounted Cumulative Gain (nDCG@10) als seine wichtigste Evaluationsmetrik. Dies wurde gewählt, um vergleichbare Ergebnisse über verschiedene Modelle und Datensätze im Benchmark hinweg zu erhalten.

Die Wahl von nDCG@10 basierte auf:

Anwendungen in der realen Welt können entweder auf Precision oder Recall fokussiert sein, daher wurde eine ausgewogene Metrik benötigt.
Einige Metriken wie Precision und Recall berücksichtigen das Ranking der Ergebnisse nicht, das bei Retrieval-Aufgaben wichtig ist.
Andere ranking-bewusste Metriken wie Mean Reciprocal Rank (MRR) und Mean Average Precision (MAP) sind auf binäre Relevanzurteile beschränkt, was nicht für alle Aufgaben geeignet ist.
nDCG@10 kann sowohl binäre als auch abgestufte Relevanzurteile verarbeiten und ist daher vielseitig für verschiedene Arten von Retrieval-Aufgaben einsetzbar.

Das BEIR-Team sagt, dass nDCG@10 eine gute Metrik ist, um die verschiedenen Retrieval-Aufgaben breit zu bewerten. Sie verwenden die Python-Schnittstelle des offiziellen TREC-Evaluierungstools, um diese Metrik für alle Datensätze im Benchmark zu berechnen.

Durch die Verwendung einer einzigen Metrik über alle Aufgaben hinweg ermöglicht BEIR den Vergleich verschiedener Retrieval-Modelle und über verschiedene Datensätze hinweg, unabhängig davon, ob sie binäre oder abgestufte Relevanzurteile verwenden.

Wichtige Erkenntnisse beim Vergleich neuronaler Suchmethoden

Wenn man sich das Beir-Paper ansieht (oder das schöne und kurze Video von einem der Autoren, Nils Reimers, anschaut), teilen sie einige Erkenntnisse aus einem Vergleich verschiedener neuronaler Suchmethoden mit BM25 (lexikalische Suche).

BEIR bewertet viele hochmoderne Retrieval-Architekturen mit Fokus auf transformerbasierte neuronale Ansätze. Der Benchmark verwendet öffentlich verfügbare vortrainierte Checkpoints und gruppiert Modelle in fünf Kategorien: lexikalisch, sparse, dense, late-interaction und re-ranking. Aufgrund der Einschränkungen von Transformer-Netzwerken werden in den Experimenten nur die ersten 512 Word Pieces von Textdokumenten verwendet.

Zu den wichtigsten Erkenntnissen aus der BEIR-Evaluierung gehören:

Die Forscher führten ein umfassendes Benchmarking von Dense-Modellen für Information Retrieval (IR) durch. Traditionell wurden Embedding-Ansätze für In-Domain-IR verwendet, bei dem ein Modell mit domänenspezifischen Daten trainiert und dann für die Suche innerhalb derselben Domäne angewendet wird. Die Forscher untersuchten jedoch eine interessantere Herausforderung: Out-of-Domain-IR, bei der ein vortrainiertes Modell auf neue Domänen angewendet wird, ohne es für die spezifischen Daten erneut zu trainieren. Um dies zu bewerten, sammelten sie viele Datensätze über verschiedene Retrieval-Aufgaben hinweg. Beim Tweet-Retrieval bestand die Aufgabe beispielsweise darin, Nachrichtenartikel mit relevanten Tweets abzugleichen. In den Datensätzen ArguAna und Touche-2020 bestand die Aufgabe im Argument-Retrieval, konkret im Finden von Gegenargumenten. Der Fever-Datensatz wurde verwendet, um Wikipedia-Artikel zu finden, die bestimmte Behauptungen stützen.

Sie verglichen viele Dense-Retrieval-Modelle mit einem lexikalischen Suchmodell als Baseline (BM25). Das Dense-Retrieval-Modell von Facebook funktionierte gut auf Wikipedia, wo es trainiert wurde, schnitt aber auf 17 anderen Datensätzen im Vergleich zu BM25 schlecht ab. Selbst das beste Dense-Embedding-Modell, TAS-B, übertraf BM25 nur auf 8 von 18 Datensätzen. Dense-Modelle haben also große Herausforderungen bei Out-of-Domain-Aufgaben. Dense-Embedding-Modelle haben also große Schwierigkeiten, wenn sie auf unbekannte Domänen angewendet werden. Weitere Forschung ist erforderlich, um ihre Generalisierungsfähigkeit zu verbessern.

Einige Modelle wie SPLADE funktionierten in unbekannten Domänen besser. Über viele Szenarien hinweg war die robusteste Retrieval-Methode jedoch BM25 mit Cross-Encoder und T5-Query-Modell, das über viele Domänen hinweg stabile Ergebnisse zeigte. Mit der Weiterentwicklung von Dense-Modellen zeigen aktuelle Benchmarks, dass die lexikalische Suche Dense-Modelle immer noch in 2 von 14 Datensätzen übertrifft. Einige Modelle könnten auf die aktuellen Beir-Benchmark-Datensätze overfitten. Vielleicht ist es an der Zeit, Beir Benchmark 2 mit anspruchsvolleren und vielfältigeren Datensätzen zu erstellen.

Dense-Modelle funktionieren, indem sie Anfragen und Dokumente in einen Vektorraum projizieren und Dokumente abrufen, indem sie die nächstgelegene Vektorübereinstimmung finden. Das funktioniert gut innerhalb der Domäne, hat aber Schwierigkeiten mit unbekannten Wörtern und außerhalb der Domäne. Die Forschenden stellten außerdem fest, dass viele In-Domain-Datensätze Überschneidungen zwischen Trainings- und Testdaten aufweisen, bei denen Testanfragen bereits während des Trainings vorkommen und daher eine künstlich hohe Leistung entsteht. Dense-Modelle haben Schwierigkeiten, wenn sie Domänen oder Wörtern ausgesetzt sind, die sie während des Trainings nicht gesehen haben. Dies führte zu mehr Forschung zur Verbesserung der Generalisierung von Dense-Modellen über ihre Trainingsdomänen hinaus.

Als Nächstes schlagen die Forschenden vor, bessere Benchmarks zu haben, die Trainings- und Testsets klar trennen und längere Dokumente oder komplexere Retrieval-Aufgaben enthalten. Zukünftige Forschung wird sich auf Modelle konzentrieren, die über viele Domänen hinweg gut funktionieren können, insbesondere beim Out-of-Domain-Retrieval.

Fazit

BEIR (Benchmarking IR) ist ein Werkzeug für Information Retrieval. Als erster breiter Zero-Shot-Benchmark für Information Retrieval schließt er die Lücke bei der Bewertung von Suchtechnologien über viele Domänen und Aufgaben hinweg. BEIR bietet mit 18 Datensätzen und 9 Aufgaben ein beispielloses Verständnis vieler Information-Retrieval-Methoden und -Modelle, insbesondere außerhalb der Domäne.

Der Benchmark zeigte die Herausforderungen von Dense- und Sparse-Retrieval-Modellen bei der Generalisierung auf unbekannte Domänen, was zu mehr Forschung und Innovation führte. Durch das Aufzeigen der Stärken traditioneller Methoden wie BM25 in einigen Fällen sowie hybrider Ansätze förderte BEIR eine ausgewogenere Sicht auf Sparse-Retrieval-Modelle und Systemfähigkeiten.

Darüber hinaus ist BEIR Open Source und verfügt über standardisierte Metriken, was die Zusammenarbeit in der Forschungsgemeinschaft gefördert und den Fortschritt beschleunigt hat. Da sich Modelle weiter verbessern, zeigt die Diskussion über die Erstellung einer anspruchsvolleren Version des Benchmarks, dass BEIR weiterhin relevant ist und Information Retrieval ein dynamisches Feld bleibt.

Als Nächstes werden die Erkenntnisse aus BEIR robustere, flexiblere und effizientere Suchtechnologien vorantreiben. Diese werden die Sucherfahrung in vielen Anwendungen verbessern, von spezialisierten akademischen Datenbanken bis hin zur alltäglichen Websuche. Während sich das Feld weiterentwickelt, ist BEIR ein Beleg dafür, dass umfassende Evaluationen unter realen Bedingungen wichtig sind, um die Grenzen von Information-Retrieval-Systemen zu erweitern.

Referenzen

Reimers, N. (2022). Evaluating Information Retrieval with BEIR. Cohere. [YouTube-Video]. https://www.youtube.com/watch?v=w6_5-hAsjBQ
Thakur, N., Reimers, N., Rücklé, A., Srivastava, A., & Gurevych, I. (2021). BEIR: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models. arXiv preprint arXiv:2104.08663.

Inhalte

Kostenlos starten, einfach skalieren

Testen Sie die vollständig verwaltete Vektordatenbank, die für Ihre GenAI-Anwendungen entwickelt wurde.

Zilliz Cloud kostenlos ausprobieren