らいおん / CLIP-ViT-B-32-laion2B-s34B-b79K

#CLIP-ViT-B-32-laion2B-s34B-b79Kの概要

CLIP-ViT-B-32-laion2B-s34B-b79Kは、LAIONによって開発されたマルチモーダル埋め込みモデル**です。このモデルは、Laion-5Bデータセットの英語サブセットを用いて、テキストと画像の関係を理解するように学習されている。このモデルは様々なコンピュータビジョンや検索タスクに利用可能であり、ゼロショット画像分類では追加学習なしでテキスト記述に基づいて画像を分類することができ、画像-テキスト検索では類似画像やテキストを検索することができ、画像セグメンテーションでは画像内のオブジェクトを意味に基づいて識別・分割することができる。

CLIP-ViT-B-32-laion2B-s34B-b79Kを使って埋め込みを作成する方法。

CLIP-ViT-B-32-laion2B-s34B-b79KはOpenCLIPを通してエンベッディングに使用することができます。

一度作成した埋め込みベクトルは、Zilliz Cloud（Milvusが提供するフルマネージドベクトルデータベース）のようなベクトルデータベースに格納し、画像検索やマルチモーダル検索に利用することができます。

以下は4つの重要なステップである：

• Zilliz Cloudアカウントに無料でサインアップ](https://cloud.zilliz.com/signup)する。
• サーバーレスクラスターをセットアップ](https://docs.zilliz.com/docs/create-cluster#set-up-a-free-cluster)し、パブリックエンドポイントとAPIキーを取得する。
• ベクトルコレクションを作成し、ベクトル埋め込みを挿入する。
• 保存された埋め込みに対してセマンティック検索を実行する。

エンベッディングをOpenCLIPで作成し、Zilliz Cloudに挿入する。

ステップバイステップガイド：近日公開。

##さらに読む

• マルチモーダル検索が画像検索をどう変えるか](https://zilliz.com/blog/combine-image-and-text-how-multimodal-retrieval-transforms-search)
• データに適した埋め込みモデルの選択](https://zilliz.com/blog/choosing-the-right-embedding-model-for-your-data)
• 埋め込みモデルの評価](https://zilliz.com/learn/evaluating-your-embedding-model)
• 独自のテキスト埋め込みモデルのトレーニング](https://zilliz.com/learn/training-your-own-text-embedding-model)
• RAGアプリケーションのためのウェブサイトチャンキングと埋め込み初心者ガイド](https://zilliz.com/learn/beginner-guide-to-website-chunking-and-embedding-for-your-genai-applications)
• RAGとは](https://zilliz.com/learn/Retrieval-Augmented-Generation)