Laion

Laion / CLIP-ViT-B-32-laion2B-s34B-b79K

Un modelo de incrustación multimodal que puede utilizarse para la clasificación de imágenes de disparo cero, la recuperación imagen-texto y la segmentación de imágenes.

Visión general de CLIP-ViT-B-32-laion2B-s34B-b79K

El CLIP-ViT-B-32-laion2B-s34B-b79K es un modelo de incrustación multimodal desarrollado por LAION. Este modelo está entrenado para comprender las relaciones entre texto e imágenes utilizando el subconjunto inglés del conjunto de datos Laion-5B. Puede utilizarse para diversas tareas de visión por computador y recuperación, como la clasificación de imágenes sin disparo, que permite clasificar imágenes a partir de descripciones de texto sin entrenamiento adicional, la recuperación imagen-texto para encontrar imágenes o textos similares, y la segmentación de imágenes para identificar y segmentar objetos dentro de imágenes a partir de significados semánticos.

Cómo crear incrustaciones con CLIP-ViT-B-32-laion2B-s34B-b79K

Puede utilizar CLIP-ViT-B-32-laion2B-s34B-b79K para realizar incrustaciones a través de OpenCLIP.

Una vez creadas las incrustaciones vectoriales, pueden almacenarse en una base de datos vectorial como Zilliz Cloud (una base de datos vectorial totalmente gestionada por Milvus y utilizarse para la búsqueda de imágenes o la búsqueda multimodal.

He aquí cuatro pasos clave:

  • Regístrate](https://cloud.zilliz.com/signup) para obtener una cuenta gratuita de Zilliz Cloud.
  • Configura un clúster sin servidor](https://docs.zilliz.com/docs/create-cluster#set-up-a-free-cluster) y obtén el Public Endpoint and API Key.
  • Crea una colección de vectores e inserta tus incrustaciones vectoriales.
  • Ejecuta una búsqueda semántica en las incrustaciones almacenadas.

Crear incrustaciones mediante OpenCLIP e insertarlas en Zilliz Cloud para la búsqueda multimodal.

Una guía paso a paso: próximamente.

Más información

  • Cómo la recuperación multimodal transforma la búsqueda de imágenes](https://zilliz.com/blog/combine-image-and-text-how-multimodal-retrieval-transforms-search)
  • Cómo elegir el modelo de incrustación adecuado para sus datos](https://zilliz.com/blog/choosing-the-right-embedding-model-for-your-data)
  • Evaluación del modelo de incrustación](https://zilliz.com/learn/evaluating-your-embedding-model)
  • Entrenamiento de su propio modelo de incrustación de texto](https://zilliz.com/learn/training-your-own-text-embedding-model)
  • Guía para principiantes sobre fragmentación e incrustación de sitios web para sus aplicaciones RAG](https://zilliz.com/learn/beginner-guide-to-website-chunking-and-embedding-for-your-genai-applications)
  • ¿Qué es el GAR?](https://zilliz.com/learn/Retrieval-Augmented-Generation)