Nomic / nomic-embed-vision-v1
Milvus Integrated
Tâche: Intégration
Modalité: Image
Métrique de similarité: Cosinus
Licence: Apache 2.0
Dimensions: 768
Tokens d'entrée max:
Prix: Gratuit
Introduction à nomic-embed-vision-v1
Le modèle nomic-embed-vision-v1 est un modèle d’embedding visuel entièrement réplicable qui partage le même espace latent que nomic-embed-text-v1, permettant une utilisation multimodale où les embeddings de texte et d’image peuvent s’interroger directement les uns les autres. Avec un encodeur visuel de 92 M de paramètres, il prend en charge l’embedding d’images et de textes, la recherche unimodale au sein de chaque modalité, ainsi que la recherche multimodale entre les deux.
Comment créer des embeddings avec nomic-embed-vision-v1
Il existe deux façons principales de générer des embeddings vectoriels :
- PyMilvus : le SDK Python pour Milvus qui intègre parfaitement le modèle
nomic-embed-vision-v1. - Le module
embeddans le SDK Python Nomic fournit des fonctionnalités d’embedding à l’aide de la Nomic Embedding API.
Une fois les embeddings vectoriels générés, ils peuvent être stockés dans Zilliz Cloud (un service de base de données vectorielle entièrement géré, propulsé par Milvus) et utilisés pour la recherche par similarité sémantique. Voici quatre étapes clés :
- Inscrivez-vous gratuitement pour obtenir un compte Zilliz Cloud.
- Configurez un cluster serverless et obtenez le Public Endpoint et la API Key.
- Créez une collection vectorielle et insérez vos embeddings vectoriels.
- Exécutez une recherche sémantique sur les embeddings stockés.
Créer des embeddings via PyMilvus et les insérer dans Zilliz Cloud pour la recherche sémantique
from pymilvus import MilvusClient
from nomic import embed
# Prepare images (can be local paths or URLs)
images = ["path/to/image1.jpg", "path/to/image2.jpg", "path/to/image3.jpg"]
# Generate embeddings for images using nomic-embed-vision-v1
image_embeddings = embed.image(images=images, model="nomic-embed-vision-v1")[
"embeddings"
]
# Prepare query image
query_images = ["path/to/query_image.jpg"]
# Generate embeddings for query
query_embeddings = embed.image(images=query_images, model="nomic-embed-vision-v1")[
"embeddings"
]
# Connect to Zilliz Cloud with Public Endpoint and API Key
client = MilvusClient(uri=ZILLIZ_PUBLIC_ENDPOINT, token=ZILLIZ_API_KEY)
COLLECTION = "nomic_vision_v1_images"
# Drop collection if it exists
if client.has_collection(collection_name=COLLECTION):
client.drop_collection(collection_name=COLLECTION)
# Create collection with dimension 768 (nomic-embed-vision-v1 output dimension)
client.create_collection(collection_name=COLLECTION, dimension=768, auto_id=True)
# Insert images with embeddings
for image, embedding in zip(images, image_embeddings):
client.insert(COLLECTION, {"image_path": image, "vector": embedding})
# Search for similar images
results = client.search(
collection_name=COLLECTION,
data=query_embeddings,
# consistency_level="Strong", # Strong consistency ensures accurate results but may increase latency
output_fields=["image_path"],
limit=3,
)
# Print search results
print("Similar images found:")
for result in results[0]:
print(f" - {result['entity']['image_path']} (distance: {result['distance']:.4f})")
Pour plus d’informations, consultez notre documentation du modèle d’embedding PyMilvus.
Workflows IA fluides
Des embeddings à la recherche IA évolutive - Zilliz Cloud vous permet de stocker, indexer et récupérer des embeddings avec une vitesse et une efficacité inégalées.
Essayer Zilliz Cloud gratuitement
