bge-ranker-base 가이드

모든 모델
BAAI / bge-reranker-base

BAAI / bge-reranker-base

AI Model Milvus Integrated

작업: 순위 재조정

형태: 텍스트

유사성 측정법: N/A

라이선스: Apache 2.0

차원:

최대 입력 토큰: 512

가격: 무료

bge-ranker-base 소개

'bge-reranker-base'는 재랭크 작업에 최적화된 크로스 인코더 모델입니다. RetroMAE 아키텍처를 기반으로 구축되어 텍스트 데이터 내의 의미 관계를 효과적으로 포착하여 보다 정확하고 관련성 높은 검색 결과 순위를 매길 수 있습니다. 이 모델은 768차원 임베딩을 생성하고 쿼리와 문서 콘텐츠를 모두 고려하여 결과 순위를 재조정하도록 미세 조정되므로 검색 엔진, 질문 답변, 문서 검색과 같은 애플리케이션에 매우 적합합니다. 임베딩 모델에서 반환된 상위 k개 문서의 순위를 다시 매기는 데 사용하거나 미세 조정하는 것이 좋습니다.

재랭크 및 재랭커에 대한 자세한 내용은 아래 블로그를 참조하세요.

bge-reranker-base로 결과의 순위를 재조정하는 방법

bge-reranker-base` 모델을 사용하여 결과 순위를 재조정하는 방법에는 크게 두 가지가 있습니다:

PyMilvus](https://github.com/milvus-io/pymilvus): bge-reranker-base 모델과 원활하게 통합되는 Milvus 용 Python SDK.
플래그 임베딩: BAAI에서 제공하는 공식 Python SDK.

파이밀버스를 통해 `bge-reranker-base`로 결과 재랭크하기

pymilvus.model.reranker에서 BGERerankFunction을 가져옵니다.

rf = BGERerankFunction(
    모델_이름="BAAI/bge-reranker-base",
    device="cpu"
)

query = "1956년 인공 지능이 학문으로 공식적으로 탄생한 사건은 무엇인가요?"

문서 = [
    "1950년 앨런 튜링은 인공지능의 철학과 개발의 기초 개념인 튜링 테스트를 지능의 기준으로 제안하는 '컴퓨팅 기계와 지능'이라는 중요한 논문을 발표했습니다.",
    "1956년 다트머스 회의는 한 분야로서 인공지능의 발상지로 간주되며, 여기서 존 매카시 등이 '인공지능'이라는 용어를 만들고 그 기본 목표를 제시했습니다.",
    "1951년 영국의 수학자이자 컴퓨터 과학자인 앨런 튜링은 체스를 플레이하도록 설계된 최초의 프로그램을 개발하여 게임 전략에서 인공지능의 초기 사례를 보여주었습니다.", "1951년 영국의 수학자이자 컴퓨터 과학자인 앨런 튜링은 체스를 플레이하도록 설계된 최초의 프로그램을 개발했습니다.",
    "1955년 앨런 뉴웰, 허버트 사이먼, 클리프 쇼에 의해 논리 이론가가 발명되면서 수학 정리를 증명하는 것과 비슷한 논리 문제를 해결할 수 있는 최초의 진정한 AI 프로그램이 탄생했습니다.", "1955년 앨런 뉴웰, 허버트 사이먼, 클리프 쇼에 의해 논리 이론가가 발명되면서 수학 정리를 증명하는 것과 비슷한 논리 문제를 해결할 수 있는 최초의 진정한 AI 프로그램이 탄생했습니다.".
]

results = rf(
    쿼리=쿼리,
    documents=문서,
    top_k=3,
)

자세한 내용은 파이밀버스 문서를 참고하세요.

플래그 임베딩 파이썬 SDK**를 통해 `bge-reranker-base`로 결과 재랭크하기

플래그 임베딩에서 플래그 리랭커를 가져옵니다.
reranker = FlagReranker('BAAI/bge-reranker-base', use_fp16=True)

query = "1956년 인공 지능이 학문으로 공식적으로 탄생한 사건은 무엇인가요?"

문서 = [
    "1950년 앨런 튜링은 인공지능의 철학과 발전의 기초 개념인 튜링 테스트를 지능의 기준으로 제안하는 '컴퓨팅 기계와 지능'이라는 중요한 논문을 발표했습니다.",
    "1956년 다트머스 회의는 한 분야로서 인공지능의 발상지로 간주되며, 여기서 존 매카시 등이 '인공지능'이라는 용어를 만들고 그 기본 목표를 제시했습니다.",
    "1951년 영국의 수학자이자 컴퓨터 과학자인 앨런 튜링은 체스를 플레이하도록 설계된 최초의 프로그램을 개발하여 게임 전략에서 인공지능의 초기 사례를 보여주었습니다.",
    "1955년 앨런 뉴웰, 허버트 사이먼, 클리프 쇼에 의해 논리 이론가가 발명되면서 수학 정리를 증명하는 것과 비슷한 논리 문제를 해결할 수 있는 최초의 진정한 AI 프로그램이 탄생했습니다.", "1955년 앨런 뉴웰, 허버트 사이먼, 클리프 쇼에 의해 논리 이론가가 발명되면서 수학 정리를 증명하는 것과 비슷한 논리 문제를 해결할 수 있는 최초의 진정한 AI 프로그램이 탄생했습니다.".
]
results = reranker.compute_score([[문서에서 문서에 대해][[쿼리, 문서]])