O guia para snowflake-arctic-embed-m-v2.0| Snowflake

Todos os modelos
Snowflake / snowflake-arctic-embed-m-v2.0

Snowflake / snowflake-arctic-embed-m-v2.0

AI Model Milvus Integrated

Tarefa: Incorporação

Modalidade: Texto

Métrica de Similaridade: IP, L1, L2, Cosseno

Licença: Apache 2.0

Dimensões: 768

Tokens Máximos de Entrada: 8192

Preço: Grátis

Introdução ao snowflake-arctic-embed-m-v2.0

O modelo snowflake-arctic-embed-m-v2.0 é um modelo multilíngue de embeddings de texto que abrange 74 idiomas, otimizado para recuperação de alta qualidade e inferência eficiente, ao mesmo tempo em que oferece forte desempenho tanto em inglês quanto em outros idiomas. Com 113M de parâmetros não relacionados a embeddings, ele fornece inferência rápida e escalável e oferece suporte a representações compactas por meio de Matryoshka Representation Learning e treinamento consciente de quantização.

Compare snowflake-arctic-embed-m-v2.0 com os modelos snowflake-arctic-m:

Modelo	parâmetros	parâmetros não emb	dimensões	Suporte a idiomas
snowflake-arctic-m-v2.0	305M	113M	768	multilíngue
snowflake-arctic-m	109M	86M	768	somente inglês

Como criar embeddings com snowflake-arctic-embed-m-v2.0

Há duas maneiras principais de gerar embeddings vetoriais:

PyMilvus: o SDK Python para Milvus que integra perfeitamente o modelo snowflake-arctic-embed-m-v2.0.
A função AI_EMBED fornecida pelo Snowflake Cortex para texto e imagens.

Depois que os embeddings vetoriais são gerados, eles podem ser armazenados no Zilliz Cloud (um serviço de banco de dados vetorial totalmente gerenciado desenvolvido com Milvus) e usados para busca por similaridade semântica. Aqui estão quatro etapas principais:

Cadastre-se para obter uma conta gratuita do Zilliz Cloud.
Configure um cluster serverless e obtenha o Public Endpoint e a API Key.
Crie uma coleção vetorial e insira seus embeddings vetoriais.
Execute uma busca semântica nos embeddings armazenados.

Crie embeddings via PyMilvus e insira-os no Zilliz Cloud para busca semântica

from pymilvus.model.dense import SentenceTransformerEmbeddingFunction
from pymilvus import MilvusClient

# Load the Snowflake Arctic Embed M v2.0 model
ef = SentenceTransformerEmbeddingFunction(
    "Snowflake/snowflake-arctic-embed-m-v2.0", trust_remote_code=True
)

docs = [
    "Artificial intelligence was founded as an academic discipline in 1956.",
    "Alan Turing was the first person to conduct substantial research in AI.",
    "Born in Maida Vale, London, Turing was raised in southern England.",
]

# Generate embeddings for documents
docs_embeddings = ef(docs)

queries = ["When was artificial intelligence founded", "Where was Alan Turing born?"]

# Generate embeddings for queries
query_embeddings = ef(queries)

# Connect to Zilliz Cloud with Public Endpoint and API Key
client = MilvusClient(uri=ZILLIZ_PUBLIC_ENDPOINT, token=ZILLIZ_API_KEY)

COLLECTION = "arctic_embed_m_v2_documents"

# Drop collection if it exists
if client.has_collection(collection_name=COLLECTION):
    client.drop_collection(collection_name=COLLECTION)

# Create collection with auto-detected dimension
client.create_collection(collection_name=COLLECTION, dimension=ef.dim, auto_id=True)

# Insert documents with embeddings
for doc, embedding in zip(docs, docs_embeddings):
    client.insert(COLLECTION, {"text": doc, "vector": embedding})

# Search for similar documents
results = client.search(
    collection_name=COLLECTION,
    data=query_embeddings,
    # consistency_level="Strong",  # Strong consistency ensures accurate results but may increase latency
    output_fields=["text"],
    limit=2,
)

# Print search results
for i, query in enumerate(queries):
    print(f"\nQuery: {query}")
    for result in results[i]:
        print(f"  - {result['entity']['text']} (distance: {result['distance']:.4f})")