Nomic / nomic-embed-vision-v1
Milvus Integrated
Tarea: Incrustación
Modalidad: Imagen
Métrica de Similitud: Coseno
Licencia: Apache 2.0
Dimensiones: 768
Tokens de Entrada Máximos:
Precio: Gratis
Introducción a nomic-embed-vision-v1
El modelo nomic-embed-vision-v1 es un modelo de embeddings de visión totalmente replicable que comparte el mismo espacio latente que nomic-embed-text-v1, lo que permite un uso multimodal en el que los embeddings de texto e imagen pueden consultarse entre sí directamente. Con un codificador de visión de 92M parámetros, admite embeddings de imagen y texto, búsqueda unimodal dentro de cada modalidad y búsqueda multimodal en ambas.
Cómo crear embeddings con nomic-embed-vision-v1
Hay dos formas principales de generar embeddings vectoriales:
- PyMilvus: el SDK de Python para Milvus que integra sin problemas el modelo
nomic-embed-vision-v1. - El módulo
embeden el SDK de Python de Nomic proporciona funcionalidad de embeddings utilizando la API de Embeddings de Nomic.
Una vez generados los embeddings vectoriales, pueden almacenarse en Zilliz Cloud (un servicio de base de datos vectorial totalmente gestionado impulsado por Milvus) y utilizarse para búsqueda de similitud semántica. Estos son cuatro pasos clave:
- Regístrate para obtener una cuenta gratuita de Zilliz Cloud.
- Configura un clúster serverless y obtén el Endpoint público y la clave API.
- Crea una colección vectorial e inserta tus embeddings vectoriales.
- Ejecuta una búsqueda semántica en los embeddings almacenados.
Crear embeddings mediante PyMilvus e insertarlos en Zilliz Cloud para búsqueda semántica
from pymilvus import MilvusClient
from nomic import embed
# Prepare images (can be local paths or URLs)
images = ["path/to/image1.jpg", "path/to/image2.jpg", "path/to/image3.jpg"]
# Generate embeddings for images using nomic-embed-vision-v1
image_embeddings = embed.image(images=images, model="nomic-embed-vision-v1")[
"embeddings"
]
# Prepare query image
query_images = ["path/to/query_image.jpg"]
# Generate embeddings for query
query_embeddings = embed.image(images=query_images, model="nomic-embed-vision-v1")[
"embeddings"
]
# Connect to Zilliz Cloud with Public Endpoint and API Key
client = MilvusClient(uri=ZILLIZ_PUBLIC_ENDPOINT, token=ZILLIZ_API_KEY)
COLLECTION = "nomic_vision_v1_images"
# Drop collection if it exists
if client.has_collection(collection_name=COLLECTION):
client.drop_collection(collection_name=COLLECTION)
# Create collection with dimension 768 (nomic-embed-vision-v1 output dimension)
client.create_collection(collection_name=COLLECTION, dimension=768, auto_id=True)
# Insert images with embeddings
for image, embedding in zip(images, image_embeddings):
client.insert(COLLECTION, {"image_path": image, "vector": embedding})
# Search for similar images
results = client.search(
collection_name=COLLECTION,
data=query_embeddings,
# consistency_level="Strong", # Strong consistency ensures accurate results but may increase latency
output_fields=["image_path"],
limit=3,
)
# Print search results
print("Similar images found:")
for result in results[0]:
print(f" - {result['entity']['image_path']} (distance: {result['distance']:.4f})")
Para obtener más información, consulta nuestra documentación del modelo de embeddings de PyMilvus.
Flujos de trabajo de IA sin interrupciones
Desde incrustaciones hasta búsqueda de IA escalable—Zilliz Cloud te permite almacenar, indexar y recuperar incrustaciones con una velocidad y eficiencia inigualables.
Prueba Zilliz Cloud Gratis
