Snowflake / snowflake-arctic-embed-l-v2.0
Milvus Integrated
Задача: Встраивание
Модальность: Текст
Метрика сходства: IP, L1, L2, косинус
Лицензия: Apache 2.0
Размерности: 1024
Максимальное количество входных токенов: 8192
Цена: Бесплатно
Введение в snowflake-arctic-embed-l-v2.0
Модель snowflake-arctic-embed-l-v2.0 — это многоязычная модель текстовых эмбеддингов с поддержкой 74 языков, разработанная для обеспечения высококачественного поиска и эффективного инференса как для англоязычных, так и для неанглоязычных задач. Имея 303M параметров без учета эмбеддингов, она обеспечивает быстрый, масштабируемый инференс и поддерживает компактные представления благодаря Matryoshka Representation Learning и обучению с учетом квантования.
Сравнение snowflake-arctic-embed-l-v2.0 с моделями snowflake-arctic-l:
| Модель | параметры | параметры без эмбеддингов | размерности | Поддержка языков |
|---|---|---|---|---|
| snowflake-arctic-l-v2.0 | 568M | 303M | 1024 | многоязычная |
| snowflake-arctic-l | 335M | 303M | 1024 | только английский |
Как создавать эмбеддинги с помощью snowflake-arctic-embed-l-v2.0
Существует два основных способа генерации векторных эмбеддингов:
- PyMilvus: Python SDK для Milvus, который бесшовно интегрирует модель
snowflake-arctic-embed-l-v2.0. - Функция
AI_EMBED, предоставляемая Snowflake Cortex для текста и изображений.
После генерации векторных эмбеддингов их можно хранить в Zilliz Cloud (полностью управляемом сервисе векторной базы данных на базе Milvus) и использовать для семантического поиска по сходству. Вот четыре ключевых шага:
- Зарегистрируйтесь и бесплатно создайте учетную запись Zilliz Cloud.
- Настройте serverless-кластер и получите Public Endpoint и API Key.
- Создайте векторную коллекцию и вставьте свои векторные эмбеддинги.
- Выполните семантический поиск по сохраненным эмбеддингам.
Создание эмбеддингов через PyMilvus и вставка их в Zilliz Cloud для семантического поиска
from pymilvus.model.dense import SentenceTransformerEmbeddingFunction
from pymilvus import MilvusClient
# Load the Snowflake Arctic Embed L v2.0 model
ef = SentenceTransformerEmbeddingFunction(
"Snowflake/snowflake-arctic-embed-l-v2.0", trust_remote_code=True
)
docs = [
"Artificial intelligence was founded as an academic discipline in 1956.",
"Alan Turing was the first person to conduct substantial research in AI.",
"Born in Maida Vale, London, Turing was raised in southern England.",
]
# Generate embeddings for documents
docs_embeddings = ef(docs)
queries = ["When was artificial intelligence founded", "Where was Alan Turing born?"]
# Generate embeddings for queries
query_embeddings = ef(queries)
# Connect to Zilliz Cloud with Public Endpoint and API Key
client = MilvusClient(uri=ZILLIZ_PUBLIC_ENDPOINT, token=ZILLIZ_API_KEY)
COLLECTION = "arctic_embed_l_v2_documents"
# Drop collection if it exists
if client.has_collection(collection_name=COLLECTION):
client.drop_collection(collection_name=COLLECTION)
# Create collection with auto-detected dimension
client.create_collection(collection_name=COLLECTION, dimension=ef.dim, auto_id=True)
# Insert documents with embeddings
for doc, embedding in zip(docs, docs_embeddings):
client.insert(COLLECTION, {"text": doc, "vector": embedding})
# Search for similar documents
results = client.search(
collection_name=COLLECTION,
data=query_embeddings,
# consistency_level="Strong", # Strong consistency ensures accurate results but may increase latency
output_fields=["text"],
limit=2,
)
# Print search results
for i, query in enumerate(queries):
print(f"\nQuery: {query}")
for result in results[i]:
print(f" - {result['entity']['text']} (distance: {result['distance']:.4f})")
Для получения дополнительной информации обратитесь к нашей документации по модели эмбеддингов PyMilvus.
- Введение в snowflake-arctic-embed-l-v2.0
- Как создавать эмбеддинги с помощью snowflake-arctic-embed-l-v2.0
Контент
Беспрерывные AI рабочие процессы
От встраиваний до масштабируемого AI поиска—Zilliz Cloud позволяет вам хранить, индексировать и извлекать встраивания с непревзойденной скоростью и эффективностью.
Попробуйте Zilliz Cloud Бесплатно
