Laion / CLIP-ViT-B-32-laion2B-s34B-b79K
Un modèle d'intégration multimodale qui peut être utilisé pour la classification d'images sans prise de vue, la récupération d'images et de textes et la segmentation d'images.
Tâche: Intégration
Modalité: Multimodal
Métrique de similarité: Cosinus
Licence: Mit
Dimensions: 512
Tokens d'entrée max: 77
Prix: Gratuit
Aperçu de CLIP-ViT-B-32-laion2B-s34B-b79K
Le CLIP-ViT-B-32-laion2B-s34B-b79K est un modèle d'intégration multimodale développé par [LAION] (https://laion.ai/). Ce modèle est entraîné à comprendre les relations entre le texte et les images en utilisant le sous-ensemble anglais de l'ensemble de données Laion-5B. Il peut être utilisé pour diverses tâches de vision par ordinateur et de récupération, y compris la classification d'images, où il peut classer des images sur la base de descriptions textuelles sans entraînement supplémentaire, la récupération d'images et de textes pour trouver des images ou des textes similaires, et la segmentation d'images pour identifier et segmenter des objets dans des images sur la base de significations sémantiques.
Comment créer des embeddings avec CLIP-ViT-B-32-laion2B-s34B-b79K
Vous pouvez utiliser CLIP-ViT-B-32-laion2B-s34B-b79K pour l'intégration via OpenCLIP.
Une fois les encastrements vectoriels créés, ils peuvent être stockés dans une base de données vectorielle telle que Zilliz Cloud (une base de données vectorielles entièrement gérée et alimentée par Milvus et utilisés pour la recherche d'images ou la recherche multimodale.
Voici les quatre étapes clés :
- S'inscrire pour un compte Zilliz Cloud gratuit.
- Configurez un cluster sans serveur (https://docs.zilliz.com/docs/create-cluster#set-up-a-free-cluster) et obtenez le point de terminaison public et la clé API (https://docs.zilliz.com/docs/on-zilliz-cloud-console#free-cluster-details).
- Créez une collection de vecteurs et insérez vos embeddings vectoriels.
- Exécutez une recherche sémantique sur les encastrements stockés.
Créer des embeddings via OpenCLIP et les insérer dans Zilliz Cloud pour une recherche multimodale.
Un guide étape par étape : bientôt disponible.
Plus d'informations
- Comment la recherche multimodale transforme la recherche d'images
- Choisir le bon modèle d'intégration pour vos données
- Évaluer votre modèle d'intégration
- Entraînement de votre propre modèle d'intégration de texte
- Guide du débutant pour le regroupement et l'intégration de sites web dans vos applications RAG] (https://zilliz.com/learn/beginner-guide-to-website-chunking-and-embedding-for-your-genai-applications)
- [Qu'est-ce que RAG ?] (https://zilliz.com/learn/Retrieval-Augmented-Generation)
