オープンAI / text-embedding-ada-002

#テキスト埋め込み入門-ada-002

text-embedding-ada-002`はOpenAIのレガシーテキスト埋め込みモデルです。

text-embedding-ada-002`と新しくリリースされた他の2つの埋め込みモデルを比較します：

モデル	ディメンション	最大トークン数	モデル MIRACL 平均値	METB 平均値	値段
text-embedding-3-large｜3072｜8191｜54.9｜64.6｜0.13ドル｜1Mトークン
text-embedding-ada-002	1536	8191	31.4	61.0	$0.10 / 1M トークン
text-embedding-3-small｜1536｜8191｜44.0｜62.3｜0.02ドル/1Mトークン｜｜text-embedding-3-small｜1536｜8191｜44.0｜62.3｜0.02ドル/1Mトークン

text-embedding-ada-002でベクトル埋め込みを生成する方法

ベクトル埋め込みを生成するには、主に2つの方法があります：

1.PyMilvus: MilvusのPython SDKで、text-embedding-ada-002モデルとシームレスに統合されています。 2.OpenAI Library: OpenAIが提供するPython SDK。

ベクトル埋め込みが生成されると、Zilliz Cloud (Milvusによって提供されるフルマネージドベクトルデータベースサービス)に保存され、意味的類似性検索に使用することができる。以下は、4つの重要なステップである：

1.1.サインアップ Zilliz Cloudアカウントを無料で取得する。 2.サーバーレスクラスターのセットアップ](https://docs.zilliz.com/docs/create-cluster#set-up-a-free-cluster)とパブリックエンドポイントとAPIキーを取得する。 3.ベクター・コレクションを作成し、ベクター埋め込みを挿入する。 4.**セマンティック検索を実行する。

PyMilvusで埋め込みベクトルを生成し、Zilliz Cloudに挿入してセマンティック検索を行う。

from pymilvus.model.dense import OpenAIEmbeddingFunction
from pymilvus import MilvusClient

OPENAI_API_KEY = "your-openai-api-key"
ef = OpenAIEmbeddingFunction("text-embedding-ada-002", api_key=OPENAI_API_KEY)

docs = [
   「人工知能は1956年に学問分野として創設された、
   「アラン・チューリングは人工知能の実質的な研究を行った最初の人物である、
   「チューリングはロンドンのマイダ・ベイルで生まれ、イングランド南部で育った。
]

# ドキュメントの埋め込みを生成する
docs_embeddings = ef(docs)

queries = ["人工知能が創設されたのはいつですか？
          「アラン・チューリングはどこで生まれましたか？］

# クエリの埋め込みを生成する
query_embeddings = ef(queries)

# Public EndpointとAPI KeyでZilliz Cloudに接続する
client = MilvusClient(
    uri=ZILLIZ_PUBLIC_ENDPOINT、
    token=ZILLIZ_API_KEY)

COLLECTION = "documents"
if client.has_collection(collection_name=COLLECTION)：
    client.drop_collection(collection_name=COLLECTION)
client.create_collection(
    コレクション名=COLLECTION、
    dimension=ef.dim、
    auto_id=True)

for doc, embedding in zip(docs, docs_embeddings)：
    client.insert(COLLECTION, {"text": doc, "vector": embedding})
    
results = client.search(
    collection_name=COLLECTION、
    data=query_embeddings、
    consistency_level="Strong"、
    output_fields=["text"])

詳細はPyMilvus Embedding Model documentationを参照してください。

OpenAIのPython SDKを使ってベクトル埋め込みを生成し、Zilliz Cloudに挿入して意味検索を行う。

from openai import OpenAI
from pymilvus import MilvusClient

OPENAI_API_KEY = "your-openai-api-key"
クライアント = OpenAI(api_key=OPENAI_API_KEY)
ドキュメント = [
   「人工知能は1956年に学問分野として創設された、
   "アラン・チューリングはAIの実質的な研究を行った最初の人物である"、
   「チューリングはロンドンのマイダ・ベイルで生まれ、イングランド南部で育った。
]

# ドキュメントの埋め込みを生成
results = client.embeddings.create(input=docs, model="text-embedding-ada-002")
docs_embeddings = [data.embedding for data in results.data].

queries = ["人工知能が創設されたのはいつですか？
          「アラン・チューリングはどこで生まれましたか？］

# クエリの埋め込みを生成する
response = client.embeddings.create(input=queries, model="text-embedding-ada-002")
query_embeddings = [data.embedding for data in response.data].

# Public EndpointとAPI KeyでZilliz Cloudに接続する。
client = MilvusClient(
    uri=ZILLIZ_PUBLIC_ENDPOINT、
    token=ZILLIZ_API_KEY)

COLLECTION = "documents"
if client.has_collection(collection_name=COLLECTION)：
    client.drop_collection(collection_name=COLLECTION)
client.create_collection(
    コレクション名=COLLECTION、
    dimension=1536、
    auto_id=True)

for doc, embedding in zip(docs, docs_embeddings)：
    client.insert(COLLECTION, {"text": doc, "vector": embedding})
    
results = client.search(
    collection_name=COLLECTION、
    data=query_embeddings、
    consistency_level="Strong"、
    output_fields=["text"])

詳しくはOpenAI documentationを参照してください。