Laion / CLIP-ViT-B-32-laion2B-s34B-b79K

Descrição geral do CLIP-ViT-B-32-laion2B-s34B-b79K

O CLIP-ViT-B-32-laion2B-s34B-b79K é um modelo de incorporação multimodal desenvolvido pela LAION. Este modelo foi treinado para compreender as relações entre texto e imagens utilizando o subconjunto inglês do conjunto de dados Laion-5B. Pode ser utilizado para várias tarefas de visão computacional e de recuperação, incluindo a classificação de imagens, em que pode classificar imagens com base em descrições de texto sem formação adicional, recuperação de imagens-texto para encontrar imagens ou textos semelhantes e segmentação de imagens para identificar e segmentar objectos em imagens com base em significados semânticos.

Como criar embeddings usando CLIP-ViT-B-32-laion2B-s34B-b79K

Pode utilizar o CLIP-ViT-B-32-laion2B-s34B-b79K para fazer embeddings através do OpenCLIP.

Uma vez criados os embeddings vectoriais, podem ser armazenados numa base de dados vetorial como a Zilliz Cloud (uma base de dados vetorial totalmente gerida por Milvus e utilizada para pesquisa de imagens ou pesquisa multimodal.

Eis quatro passos fundamentais:

• Inscrever-se](https://cloud.zilliz.com/signup) numa conta Zilliz Cloud gratuitamente.
• Configurar um cluster sem servidor](https://docs.zilliz.com/docs/create-cluster#set-up-a-free-cluster) e obter o Ponto de extremidade público e chave de API.
• Crie uma coleção de vectores e insira os seus embeddings vectoriais.
• Execute uma pesquisa semântica nos embeddings armazenados.

Criar embeddings via OpenCLIP e inseri-los no Zilliz Cloud para pesquisa multimodal

Um guia passo-a-passo: em breve.

Leitura adicional

• Como a recuperação multimodal transforma a pesquisa de imagens
• Escolhendo o modelo de incorporação correto para seus dados
• Avaliando seu modelo de incorporação
• Treinando seu próprio modelo de incorporação de texto
• Guia para principiantes sobre fragmentação e incorporação de sítios Web para as suas aplicações RAG
• O que é o RAG?