Nomic

Nomic / nomic-embed-vision-v1

Un modèle d’intégration visuelle de 92 M de paramètres, prend en charge la recherche unimodale et multimodale en association avec nomic-embed-text-v1

Introduction à nomic-embed-vision-v1

Le modèle nomic-embed-vision-v1 est un modèle d’embedding visuel entièrement réplicable qui partage le même espace latent que nomic-embed-text-v1, permettant une utilisation multimodale où les embeddings de texte et d’image peuvent s’interroger directement les uns les autres. Avec un encodeur visuel de 92 M de paramètres, il prend en charge l’embedding d’images et de textes, la recherche unimodale au sein de chaque modalité, ainsi que la recherche multimodale entre les deux.

Comment créer des embeddings avec nomic-embed-vision-v1

Il existe deux façons principales de générer des embeddings vectoriels :

  • PyMilvus : le SDK Python pour Milvus qui intègre parfaitement le modèle nomic-embed-vision-v1.
  • Le module embed dans le SDK Python Nomic fournit des fonctionnalités d’embedding à l’aide de la Nomic Embedding API.

Une fois les embeddings vectoriels générés, ils peuvent être stockés dans Zilliz Cloud (un service de base de données vectorielle entièrement géré, propulsé par Milvus) et utilisés pour la recherche par similarité sémantique. Voici quatre étapes clés :

Créer des embeddings via PyMilvus et les insérer dans Zilliz Cloud pour la recherche sémantique

from pymilvus import MilvusClient
from nomic import embed

# Prepare images (can be local paths or URLs)
images = ["path/to/image1.jpg", "path/to/image2.jpg", "path/to/image3.jpg"]

# Generate embeddings for images using nomic-embed-vision-v1
image_embeddings = embed.image(images=images, model="nomic-embed-vision-v1")[
    "embeddings"
]

# Prepare query image
query_images = ["path/to/query_image.jpg"]

# Generate embeddings for query
query_embeddings = embed.image(images=query_images, model="nomic-embed-vision-v1")[
    "embeddings"
]

# Connect to Zilliz Cloud with Public Endpoint and API Key
client = MilvusClient(uri=ZILLIZ_PUBLIC_ENDPOINT, token=ZILLIZ_API_KEY)

COLLECTION = "nomic_vision_v1_images"

# Drop collection if it exists
if client.has_collection(collection_name=COLLECTION):
    client.drop_collection(collection_name=COLLECTION)

# Create collection with dimension 768 (nomic-embed-vision-v1 output dimension)
client.create_collection(collection_name=COLLECTION, dimension=768, auto_id=True)

# Insert images with embeddings
for image, embedding in zip(images, image_embeddings):
    client.insert(COLLECTION, {"image_path": image, "vector": embedding})

# Search for similar images
results = client.search(
    collection_name=COLLECTION,
    data=query_embeddings,
    # consistency_level="Strong",  # Strong consistency ensures accurate results but may increase latency
    output_fields=["image_path"],
    limit=3,
)

# Print search results
print("Similar images found:")
for result in results[0]:
    print(f"  - {result['entity']['image_path']} (distance: {result['distance']:.4f})")

Pour plus d’informations, consultez notre documentation du modèle d’embedding PyMilvus.