OpenAI / clip-vit-base-patch32
Zilliz Cloud Integrated
Tâche: Intégration
Modalité: Multimodal
Métrique de similarité: Tous (normalisés)
Licence: Apache 2.0
Dimensions: 1536
Tokens d'entrée max: 77
Prix: Gratuit
Introduction à clip-vit-base-patch32
Le modèle CLIP, développé par l'OpenAI, vise à comprendre la robustesse des tâches de vision par ordinateur et à tester la capacité des modèles à se généraliser à de nouvelles tâches de classification d'images sans entraînement préalable. La variante clip-vit-base-patch32 utilise une architecture de transformateur ViT-B/32 pour l'encodage d'images et un transformateur d'auto-attention masqué pour l'encodage de texte. En entraînant ces encodeurs à maximiser la similarité des paires (image, texte) par la perte de contraste, le modèle apprend à associer les images aux descriptions textuelles correspondantes.
Comment créer des encastrements multimodaux avec clip-vit-base-patch32
Il existe deux manières principales de générer des encastrements vectoriels :
- Zilliz Cloud Pipelines : une fonctionnalité intégrée dans Zilliz Cloud (le Milvus géré) qui intègre de manière transparente le modèle
clip-vit-base-patch32. Elle fournit une solution prête à l'emploi qui simplifie la création et la récupération d'incorporations vectorielles de texte ou d'image. - SentenceTransformers : la bibliothèque Python pour les
sentence_transformers.
Une fois les encastrements vectoriels générés, ils peuvent être stockés dans [Zilliz Cloud] (https://zilliz.com/cloud) (un service de base de données vectorielles entièrement géré par Milvus) et utilisés pour [la recherche de similarité sémantique] (https://zilliz.com/glossary/semantic-search). Voici les quatre étapes clés :
- S'inscrire pour un compte Zilliz Cloud gratuit.
- Configurez un cluster sans serveur et obtenez le point final public et la clé API.
- Créer une collection de vecteurs et insérer vos embeddings vectoriels.
- Lancez une recherche sémantique sur les embeddings stockés.
Générer des embeddings vectoriels via Zilliz Cloud Pipelines et effectuer une recherche de similarité.
Consultez les ressources suivantes pour obtenir des instructions étape par étape.
- Documentation de Zilliz Cloud Pipelines](https://docs.zilliz.com/docs/building-a-rag-app-with-pipelines)
- Vidéo de démonstration de Zilliz Cloud Pipelines](https://zilliz.com/zilliz-cloud-pipelines)
Générer des embeddings vectoriels via SentenceTransformer et les insérer dans Zilliz Cloud pour la recherche de similarité
from PIL import Image
from sentence_transformers import SentenceTransformer
from pymilvus import MilvusClient
import requests
#Chargement du modèle CLIP
model = SentenceTransformer('clip-ViT-B-32')
# Générer des images intégrées
image_urls = [
"https://raw.githubusercontent.com/milvus-io/milvus-docs/v2.4.x/assets/milvus_logo.png",
]
images = [Image.open(requests.get(url, stream=True).raw) for url in image_urls]
image_embeddings = model.encode(images)
# Générer des embeddings de texte
queries = ["logo bleu"]
query_embeddings = model.encode(queries)
# Se connecter à Zilliz Cloud avec le point de terminaison public et la clé API
client = MilvusClient(
uri=ZILLIZ_PUBLIC_ENDPOINT,
token=ZILLIZ_API_KEY)
COLLECTION = "documents"
if client.has_collection(collection_name=COLLECTION) :
client.drop_collection(nom_de_la_collection=COLLECTION)
client.create_collection(
nom_de_la_collection=COLLECTION,
dimension=512,
auto_id=True)
pour image_url, embedding dans zip(image_url, image_embeddings) :
client.insert(COLLECTION, {"url" : image_url, "vector" : embedding})
results = client.search(
nom_de_la_collection=COLLECTION,
data=query_embeddings,
niveau de cohérence="Fort",
output_fields=["text"])
Pour plus d'informations, consultez [la page du modèle HuggingFace] (https://huggingface.co/sentence-transformers/clip-ViT-B-32).
- Introduction à clip-vit-base-patch32
- Comment créer des encastrements multimodaux avec clip-vit-base-patch32
Contenu
Workflows IA fluides
Des embeddings à la recherche IA évolutive - Zilliz Cloud vous permet de stocker, indexer et récupérer des embeddings avec une vitesse et une efficacité inégalées.
Essayer Zilliz Cloud gratuitement
