Snowflake / snowflake-arctic-embed-m-v2.0
Milvus Integrated
Задача: Встраивание
Модальность: Текст
Метрика сходства: IP, L1, L2, косинус
Лицензия: Apache 2.0
Размерности: 768
Максимальное количество входных токенов: 8192
Цена: Бесплатно
Введение в snowflake-arctic-embed-m-v2.0
Модель snowflake-arctic-embed-m-v2.0 — это многоязычная модель текстовых эмбеддингов, охватывающая 74 языка, оптимизированная для высококачественного поиска и эффективного инференса, обеспечивая при этом высокую производительность как для английского, так и для других языков. Благодаря 113 млн параметров без учета эмбеддингов она обеспечивает быстрый, масштабируемый инференс и поддерживает компактные представления за счет Matryoshka Representation Learning и обучения с учетом квантизации.
Сравнение snowflake-arctic-embed-m-v2.0 с моделями snowflake-arctic-m:
| Модель | параметры | параметры без эмбеддингов | размерности | Поддержка языков |
|---|---|---|---|---|
| snowflake-arctic-m-v2.0 | 305M | 113M | 768 | многоязычная |
| snowflake-arctic-m | 109M | 86M | 768 | только английский |
Как создавать эмбеддинги с помощью snowflake-arctic-embed-m-v2.0
Существует два основных способа генерации векторных эмбеддингов:
- PyMilvus: Python SDK для Milvus, который бесшовно интегрирует модель
snowflake-arctic-embed-m-v2.0. - Функция
AI_EMBED, предоставляемая Snowflake Cortex для текста и изображений.
После создания векторных эмбеддингов их можно сохранить в Zilliz Cloud (полностью управляемом сервисе векторной базы данных на базе Milvus) и использовать для семантического поиска по сходству. Вот четыре ключевых шага:
- Зарегистрируйтесь и бесплатно создайте учетную запись Zilliz Cloud.
- Настройте serverless-кластер и получите Public Endpoint и API Key.
- Создайте векторную коллекцию и вставьте свои векторные эмбеддинги.
- Выполните семантический поиск по сохраненным эмбеддингам.
Создание эмбеддингов через PyMilvus и вставка их в Zilliz Cloud для семантического поиска
from pymilvus.model.dense import SentenceTransformerEmbeddingFunction
from pymilvus import MilvusClient
# Load the Snowflake Arctic Embed M v2.0 model
ef = SentenceTransformerEmbeddingFunction(
"Snowflake/snowflake-arctic-embed-m-v2.0", trust_remote_code=True
)
docs = [
"Artificial intelligence was founded as an academic discipline in 1956.",
"Alan Turing was the first person to conduct substantial research in AI.",
"Born in Maida Vale, London, Turing was raised in southern England.",
]
# Generate embeddings for documents
docs_embeddings = ef(docs)
queries = ["When was artificial intelligence founded", "Where was Alan Turing born?"]
# Generate embeddings for queries
query_embeddings = ef(queries)
# Connect to Zilliz Cloud with Public Endpoint and API Key
client = MilvusClient(uri=ZILLIZ_PUBLIC_ENDPOINT, token=ZILLIZ_API_KEY)
COLLECTION = "arctic_embed_m_v2_documents"
# Drop collection if it exists
if client.has_collection(collection_name=COLLECTION):
client.drop_collection(collection_name=COLLECTION)
# Create collection with auto-detected dimension
client.create_collection(collection_name=COLLECTION, dimension=ef.dim, auto_id=True)
# Insert documents with embeddings
for doc, embedding in zip(docs, docs_embeddings):
client.insert(COLLECTION, {"text": doc, "vector": embedding})
# Search for similar documents
results = client.search(
collection_name=COLLECTION,
data=query_embeddings,
# consistency_level="Strong", # Strong consistency ensures accurate results but may increase latency
output_fields=["text"],
limit=2,
)```
# Print search results
for i, query in enumerate(queries):
print(f"\nQuery: {query}")
for result in results[i]:
print(f" - {result['entity']['text']} (distance: {result['distance']:.4f})")
Для получения дополнительной информации обратитесь к нашей документации PyMilvus Embedding Model.
- Введение в snowflake-arctic-embed-m-v2.0
- Как создавать эмбеддинги с помощью snowflake-arctic-embed-m-v2.0
Контент
Беспрерывные AI рабочие процессы
От встраиваний до масштабируемого AI поиска—Zilliz Cloud позволяет вам хранить, индексировать и извлекать встраивания с непревзойденной скоростью и эффективностью.
Попробуйте Zilliz Cloud Бесплатно
