Лайон / CLIP-ViT-B-32-laion2B-s34B-b79K
Мультимодальная модель встраивания, которая может быть использована для классификации изображений с нулевым снимком, поиска изображений по тексту и сегментации изображений.
Задача: Встраивание
Модальность: Мультимодальный
Метрика сходства: Косинус
Лицензия: Mit
Размерности: 512
Максимальное количество входных токенов: 77
Цена: Бесплатно
Обзор CLIP-ViT-B-32-laion2B-s34B-b79K
CLIP-ViT-B-32-laion2B-s34B-b79K - это модель мультимодального встраивания, разработанная LAION. Эта модель обучена понимать взаимосвязи между текстом и изображениями на английском подмножестве набора данных Laion-5B. Она может использоваться для решения различных задач компьютерного зрения и поиска, включая классификацию изображений с нулевого снимка (https://zilliz.com/learn/deep-residual-learning-for-image-recognition), где она может классифицировать изображения на основе текстовых описаний без дополнительного обучения, поиск изображений и текстов для поиска похожих изображений или текстов, а также сегментацию изображений для идентификации и сегментации объектов внутри изображений на основе семантических значений.
Как создавать вкрапления с помощью CLIP-ViT-B-32-laion2B-s34B-b79K
Вы можете использовать CLIP-ViT-B-32-laion2B-s34B-b79K для создания вкраплений через OpenCLIP.
После создания векторных вкраплений их можно сохранить в векторной базе данных, например Zilliz Cloud (полностью управляемая векторная база данных на базе Milvus), и использовать для поиска изображений или мультимодального поиска.
Вот четыре ключевых шага:
- Зарегистрируйтесь для бесплатной учетной записи Zilliz Cloud.
- Настройте бессерверный кластер и получите Публичную конечную точку и ключ API.
- Создайте коллекцию векторов и вставьте в нее свои векторные вкрапления.
- Запустите семантический поиск по сохраненным вкраплениям.
Создание вкраплений с помощью OpenCLIP и их вставка в Zilliz Cloud для мультимодального поиска
Пошаговое руководство: скоро будет.
