OpenAI / clip-vit-base-patch32
Zilliz Cloud Integrated
Tarea: Inserción
Modalidad: Multimodal
Métrica de Similitud: Cualquiera (Normalizado)
Licencia: Apache 2.0
Dimensiones: 1536
Tokens de Entrada Máximos: 77
Precio: Gratis
Introducción a clip-vit-base-patch32
El modelo CLIP, desarrollado por OpenAI, tiene como objetivo comprender la robustez en tareas de visión por ordenador y probar la capacidad de los modelos para generalizarse a nuevas tareas de clasificación de imágenes sin entrenamiento previo. La variante clip-vit-base-patch32 utiliza una arquitectura ViT-B/32 Transformer para la codificación de imágenes y un Transformer de autoatención enmascarada para la codificación de texto. Al entrenar estos codificadores para maximizar la similitud de los pares (imagen, texto) mediante pérdidas por contraste, el modelo aprende a asociar las imágenes con las descripciones textuales correspondientes.
Cómo crear incrustaciones multimodales con clip-vit-base-patch32
Hay dos formas principales de generar incrustaciones vectoriales:
- Zilliz Cloud Pipelines: una función incorporada en Zilliz Cloud (el Milvus gestionado) que integra perfectamente el modelo
clip-vit-base-patch32. Proporciona una solución lista para usar que simplifica la creación y recuperación de incrustaciones vectoriales de texto o imágenes. - SentenceTransformers: la biblioteca Python para
sentence_transformers.
Una vez generadas las incrustaciones vectoriales, pueden almacenarse en Zilliz Cloud (un servicio de base de datos vectorial totalmente gestionado e impulsado por Milvus) y utilizarse para semantic similarity search. He aquí cuatro pasos clave:
- Registrarse para obtener una cuenta de Zilliz Cloud de forma gratuita.
- Configura un clúster sin servidor y obtén el Public Endpoint and API Key.
- Crea una colección de vectores e inserta tus incrustaciones vectoriales.
- Ejecuta una búsqueda semántica en las incrustaciones almacenadas.
Generar incrustaciones vectoriales a través de Zilliz Cloud Pipelines y realizar una búsqueda de similitud.
Consulte los siguientes recursos para obtener instrucciones paso a paso.
- Documentación de Zilliz Cloud Pipelines](https://docs.zilliz.com/docs/building-a-rag-app-with-pipelines)
- Vídeo de demostración de Zilliz Cloud Pipelines](https://zilliz.com/zilliz-cloud-pipelines)
Generar incrustaciones vectoriales mediante SentenceTransformer e insertarlas en Zilliz Cloud para la búsqueda de similitudes.
from PIL import Imagen
from sentence_transformers import SentenceTransformer
from pymilvus import MilvusClient
importar peticiones
#Cargar modelo CLIP
model = SentenceTransformer('clip-ViT-B-32')
# Generar incrustaciones de imagen
urls_imagen = [
"https://raw.githubusercontent.com/milvus-io/milvus-docs/v2.4.x/assets/milvus_logo.png",
]
images = [Image.open(requests.get(url, stream=True).raw) for url in image_urls]
image_embeddings = model.encode(images)
# Generar incrustaciones de texto
consultas = ["logotipo azul"]
query_embeddings = model.encode(queries)
# Conectar a Zilliz Cloud con el punto final público y la clave API
client = MilvusClient(
uri=ZILLIZ_PUBLIC_ENDPOINT,
token=ZILLIZ_API_KEY)
COLECCIÓN = "documentos"
if client.has_collection(nombre_coleccion=COLECCION):
client.drop_collection(nombre_coleccion=COLECCION)
client.create_collection(
nombre_colección=COLECCIÓN,
dimensión=512,
auto_id=True)
for url_imagen, incrustación in zip(url_imagen, incrustación_imagen):
client.insert(COLLECTION, {"url": image_url, "vector": embedding})
resultados = client.search(
nombre_colección=COLECCIÓN,
data=consulta_embeddings,
consistency_level="Strong",
output_fields=["text"])
Para más información, consulte la página del modelo en HuggingFace.
- Introducción a clip-vit-base-patch32
- Cómo crear incrustaciones multimodales con clip-vit-base-patch32
Contenido
Flujos de trabajo de IA sin interrupciones
Desde incrustaciones hasta búsqueda de IA escalable—Zilliz Cloud te permite almacenar, indexar y recuperar incrustaciones con una velocidad y eficiencia inigualables.
Prueba Zilliz Cloud Gratis
