snowflake-arctic-embed-l-v2.0 가이드| Snowflake

모든 모델
Snowflake / snowflake-arctic-embed-l-v2.0

Snowflake / snowflake-arctic-embed-l-v2.0

AI Model Milvus Integrated

작업: 임베딩

형태: 텍스트

유사성 측정법: IP, L1, L2, 코사인

라이선스: Apache 2.0

차원: 1024

최대 입력 토큰: 8192

가격: 무료

snowflake-arctic-embed-l-v2.0 소개

snowflake-arctic-embed-l-v2.0 모델은 74개 언어를 지원하는 다국어 텍스트 임베딩 모델로, 영어 및 비영어 작업 전반에서 고품질 검색과 효율적인 추론을 제공하도록 설계되었습니다. 303M개의 비임베딩 매개변수를 갖추고 있어 빠르고 확장 가능한 추론을 제공하며, Matryoshka Representation Learning 및 양자화 인식 학습을 통해 컴팩트한 표현을 지원합니다.

snowflake-arctic-embed-l-v2.0을 snowflake-arctic-l 모델과 비교해 보세요:

모델	params	비임베딩 params	차원	언어 지원
snowflake-arctic-l-v2.0	568M	303M	1024	다국어
snowflake-arctic-l	335M	303M	1024	영어 전용

snowflake-arctic-embed-l-v2.0으로 임베딩을 생성하는 방법

벡터 임베딩을 생성하는 주요 방법은 두 가지입니다:

PyMilvus: snowflake-arctic-embed-l-v2.0 모델을 원활하게 통합하는 Milvus용 Python SDK.
텍스트와 이미지를 위해 Snowflake Cortex에서 제공하는 AI_EMBED 함수.

벡터 임베딩이 생성되면 Zilliz Cloud(Milvus 기반의 완전 관리형 벡터 데이터베이스 서비스)에 저장하고 의미론적 유사도 검색에 사용할 수 있습니다. 다음은 네 가지 주요 단계입니다:

Zilliz Cloud 계정에 무료로 가입합니다.
서버리스 클러스터를 설정하고 Public Endpoint 및 API Key를 얻습니다.
벡터 컬렉션을 생성하고 벡터 임베딩을 삽입합니다.
저장된 임베딩에 대해 의미론적 검색을 실행합니다.

PyMilvus를 통해 임베딩을 생성하고 의미론적 검색을 위해 Zilliz Cloud에 삽입하기

from pymilvus.model.dense import SentenceTransformerEmbeddingFunction
from pymilvus import MilvusClient

# Load the Snowflake Arctic Embed L v2.0 model
ef = SentenceTransformerEmbeddingFunction(
    "Snowflake/snowflake-arctic-embed-l-v2.0", trust_remote_code=True
)

docs = [
    "Artificial intelligence was founded as an academic discipline in 1956.",
    "Alan Turing was the first person to conduct substantial research in AI.",
    "Born in Maida Vale, London, Turing was raised in southern England.",
]

# Generate embeddings for documents
docs_embeddings = ef(docs)

queries = ["When was artificial intelligence founded", "Where was Alan Turing born?"]

# Generate embeddings for queries
query_embeddings = ef(queries)

# Connect to Zilliz Cloud with Public Endpoint and API Key
client = MilvusClient(uri=ZILLIZ_PUBLIC_ENDPOINT, token=ZILLIZ_API_KEY)

COLLECTION = "arctic_embed_l_v2_documents"

# Drop collection if it exists
if client.has_collection(collection_name=COLLECTION):
    client.drop_collection(collection_name=COLLECTION)

# Create collection with auto-detected dimension
client.create_collection(collection_name=COLLECTION, dimension=ef.dim, auto_id=True)

# Insert documents with embeddings
for doc, embedding in zip(docs, docs_embeddings):
    client.insert(COLLECTION, {"text": doc, "vector": embedding})

# Search for similar documents
results = client.search(
    collection_name=COLLECTION,
    data=query_embeddings,
    # consistency_level="Strong",  # Strong consistency ensures accurate results but may increase latency
    output_fields=["text"],
    limit=2,
)

# Print search results
for i, query in enumerate(queries):
    print(f"\nQuery: {query}")
    for result in results[i]:
        print(f"  - {result['entity']['text']} (distance: {result['distance']:.4f})")