Nomic

Nomic / nomic-embed-vision-v1

Un modelo de embeddings visuales de 92M parámetros, compatible con búsqueda unimodal y multimodal en combinación con nomic-embed-text-v1

Introducción a nomic-embed-vision-v1

El modelo nomic-embed-vision-v1 es un modelo de embeddings de visión totalmente replicable que comparte el mismo espacio latente que nomic-embed-text-v1, lo que permite un uso multimodal en el que los embeddings de texto e imagen pueden consultarse entre sí directamente. Con un codificador de visión de 92M parámetros, admite embeddings de imagen y texto, búsqueda unimodal dentro de cada modalidad y búsqueda multimodal en ambas.

Cómo crear embeddings con nomic-embed-vision-v1

Hay dos formas principales de generar embeddings vectoriales:

  • PyMilvus: el SDK de Python para Milvus que integra sin problemas el modelo nomic-embed-vision-v1.
  • El módulo embed en el SDK de Python de Nomic proporciona funcionalidad de embeddings utilizando la API de Embeddings de Nomic.

Una vez generados los embeddings vectoriales, pueden almacenarse en Zilliz Cloud (un servicio de base de datos vectorial totalmente gestionado impulsado por Milvus) y utilizarse para búsqueda de similitud semántica. Estos son cuatro pasos clave:

Crear embeddings mediante PyMilvus e insertarlos en Zilliz Cloud para búsqueda semántica

from pymilvus import MilvusClient
from nomic import embed

# Prepare images (can be local paths or URLs)
images = ["path/to/image1.jpg", "path/to/image2.jpg", "path/to/image3.jpg"]

# Generate embeddings for images using nomic-embed-vision-v1
image_embeddings = embed.image(images=images, model="nomic-embed-vision-v1")[
    "embeddings"
]

# Prepare query image
query_images = ["path/to/query_image.jpg"]

# Generate embeddings for query
query_embeddings = embed.image(images=query_images, model="nomic-embed-vision-v1")[
    "embeddings"
]

# Connect to Zilliz Cloud with Public Endpoint and API Key
client = MilvusClient(uri=ZILLIZ_PUBLIC_ENDPOINT, token=ZILLIZ_API_KEY)

COLLECTION = "nomic_vision_v1_images"

# Drop collection if it exists
if client.has_collection(collection_name=COLLECTION):
    client.drop_collection(collection_name=COLLECTION)

# Create collection with dimension 768 (nomic-embed-vision-v1 output dimension)
client.create_collection(collection_name=COLLECTION, dimension=768, auto_id=True)

# Insert images with embeddings
for image, embedding in zip(images, image_embeddings):
    client.insert(COLLECTION, {"image_path": image, "vector": embedding})

# Search for similar images
results = client.search(
    collection_name=COLLECTION,
    data=query_embeddings,
    # consistency_level="Strong",  # Strong consistency ensures accurate results but may increase latency
    output_fields=["image_path"],
    limit=3,
)

# Print search results
print("Similar images found:")
for result in results[0]:
    print(f"  - {result['entity']['image_path']} (distance: {result['distance']:.4f})")

Para obtener más información, consulta nuestra documentación del modelo de embeddings de PyMilvus.