BAAI / bge-reranker-base

bge-reranker-baseの紹介

bge-reranker-base`はリランキングタスクに最適化されたクロスエンコーダーモデルである。RetroMAEアーキテクチャの基礎の上に構築されており、テキストデータ内の意味的な関係を効果的にキャプチャし、より正確で関連性の高い検索結果のランキングを可能にする。このモデルは768次元の埋め込みを生成し、クエリと文書コンテンツの両方を考慮することで結果を再ランクするように微調整されており、検索エンジン、質問応答、文書検索のようなアプリケーションに非常に適している。 埋め込みモデルによって返されたtop-k文書を再ランク付けするために使用/微調整することを推奨する。

リランキングやリランカーについて詳しくは、以下のブログをご覧ください。

• リランカーとは何か、どのように情報検索を強化するのか](https://zilliz.com/learn/what-are-rerankers-enhance-information-retrieval)
• リランカーによるRAGの最適化：その役割とトレードオフ](https://zilliz.com/learn/optimize-rag-with-rerankers-the-role-and-tradeoffs)

bge-reranker-baseを使った結果の再ランク付け方法

bge-reranker-base`モデルを使用して結果を再ランク付けするには、主に2つの方法があります：

• PyMilvus](https://github.com/milvus-io/pymilvus): Milvus 用の Python SDK で、 bge-reranker-base モデルとシームレスに統合されている。
• FlagEmbedding: BAAIが提供する公式のPython SDK。

PyMilvus による bge-reranker-base の再ランキング結果。

from pymilvus.model.reranker import BGERerankFunction

rf = BGERerankFunction(
    model_name="BAAI/bge-reranker-base"、
    device="cpu"
)

query = "人工知能が学問として正式に誕生した1956年の出来事は？"

documents = [
    1950年、アラン・チューリングは、人工知能の哲学と発展の基礎となる概念である、知能の基準としてのチューリング・テストを提案した、彼の代表的な論文「計算機と知能」を発表した、
    1956年のダートマス会議は、分野としての人工知能の発祥の地とされている。ここで、ジョン・マッカーシーらが『人工知能』という言葉を作り、その基本目標を示した」、
    「1951年、イギリスの数学者でありコンピュータ科学者でもあるアラン・チューリングは、チェスをプレイするように設計された最初のプログラムを開発し、ゲーム戦略におけるAIの初期の例を示した、
    「1955年、アレン・ニューウェル、ハーバート・A・サイモン、クリフ・ショーの3人によるロジック・セオリストの発明は、数学の定理を証明するような論理問題を解くことができる、最初の真のAIプログラムの誕生となった。
]

results = rf(
    query=query、
    documents=documents、
    top_k=3、
)

詳細はPyMilvus Documentationを参照してください。

bge-reranker-base`via FlagEmbedding Python SDK* による再ランキング結果。

from FlagEmbedding import FlagReranker
reranker = FlagReranker('BAAI/bge-reranker-base', use_fp16=True)

query = "人工知能が学問として正式に誕生した1956年の出来事は？"

documents = [
    "1950年、アラン・チューリングは、人工知能の哲学と発展の基礎となる概念である、知能の基準としてのチューリング・テストを提案した、彼の代表的な論文「計算機と知能」を発表した、
    1956年のダートマス会議は、分野としての人工知能の発祥の地とされている。ここで、ジョン・マッカーシーらが『人工知能』という言葉を作り、その基本目標を示した」、
    「1951年、イギリスの数学者でありコンピューター科学者でもあるアラン・チューリングは、チェスをプレイするように設計された最初のプログラムを開発し、ゲーム戦略におけるAIの初期の例を示した、
    「1955年、アレン・ニューウェル、ハーバート・A・サイモン、クリフ・ショーの3人によるロジック・セオリストの発明は、数学の定理を証明するような論理問題を解くことができる、最初の真のAIプログラムの誕生となった。
]
results = reranker.compute_score([[query, document] for document in documents])