Nomic / nomic-embed-vision-v1.5
Milvus Integrated
Задача: Встраивание
Модальность: Изображение
Метрика сходства: Косинус
Лицензия: Apache 2.0
Размерности: 768
Максимальное количество входных токенов:
Цена: Бесплатно
Введение в nomic-embed-vision-v1.5
Модель nomic-embed-vision-v1.5 — это полностью воспроизводимая модель визуальных эмбеддингов, согласованная с латентным пространством nomic-embed-text-v1.5, что делает все текстовые эмбеддинги мультимодальными и напрямую совместимыми с эмбеддингами изображений. Ее визуальный энкодер с 92 млн параметров обеспечивает создание эмбеддингов изображений и текста, унимодальный семантический поиск и мультимодальный поиск по обоим типам данных.
Как создавать эмбеддинги с помощью nomic-embed-vision-v1.5
Существует два основных способа генерации векторных эмбеддингов:
- PyMilvus: Python SDK для Milvus, который бесшовно интегрирует модель
nomic-embed-vision-v1.5. - Модуль
embedв Nomic Python SDK предоставляет функциональность эмбеддингов с использованием Nomic Embedding API.
После генерации векторные эмбеддинги можно хранить в Zilliz Cloud (полностью управляемом сервисе векторной базы данных на базе Milvus) и использовать для поиска по семантическому сходству. Вот четыре ключевых шага:
- Зарегистрируйтесь для получения бесплатной учетной записи Zilliz Cloud.
- Настройте serverless-кластер и получите Public Endpoint и API Key.
- Создайте векторную коллекцию и вставьте свои векторные эмбеддинги.
- Выполните семантический поиск по сохраненным эмбеддингам.
Создание эмбеддингов через PyMilvus и вставка их в Zilliz Cloud для семантического поиска
from pymilvus import MilvusClient
from nomic import embed
# Prepare images (can be local paths or URLs)
images = ["path/to/image1.jpg", "path/to/image2.jpg", "path/to/image3.jpg"]
# Generate embeddings for images using nomic-embed-vision-v1.5
image_embeddings = embed.image(images=images, model="nomic-embed-vision-v1.5")[
"embeddings"
]
# Prepare query image
query_images = ["path/to/query_image.jpg"]
# Generate embeddings for query
query_embeddings = embed.image(images=query_images, model="nomic-embed-vision-v1.5")[
"embeddings"
]
# Connect to Zilliz Cloud with Public Endpoint and API Key
client = MilvusClient(uri=ZILLIZ_PUBLIC_ENDPOINT, token=ZILLIZ_API_KEY)
COLLECTION = "nomic_vision_v1_5_images"
# Drop collection if it exists
if client.has_collection(collection_name=COLLECTION):
client.drop_collection(collection_name=COLLECTION)
# Create collection with dimension 768 (nomic-embed-vision-v1.5 output dimension)
client.create_collection(collection_name=COLLECTION, dimension=768, auto_id=True)
# Insert images with embeddings
for image, embedding in zip(images, image_embeddings):
client.insert(COLLECTION, {"image_path": image, "vector": embedding})
# Search for similar images
results = client.search(
collection_name=COLLECTION,
data=query_embeddings,
# consistency_level="Strong", # Strong consistency ensures accurate results but may increase latency
output_fields=["image_path"],
limit=3,
)
# Print search results
print("Similar images found:")
for result in results[0]:
print(f" - {result['entity']['image_path']} (distance: {result['distance']:.4f})")
Для получения дополнительной информации обратитесь к нашей документации по PyMilvus Embedding Model.
Беспрерывные AI рабочие процессы
От встраиваний до масштабируемого AI поиска—Zilliz Cloud позволяет вам хранить, индексировать и извлекать встраивания с непревзойденной скоростью и эффективностью.
Попробуйте Zilliz Cloud Бесплатно
