Nomic / nomic-embed-text-v1.5

nomic-embed-text-v1.5 の紹介

nomic-embed-text-v1.5 モデルは、8192 トークンの入力ウィンドウと可変埋め込みサイズのサポートを備えたテキスト埋め込みモデルです。Matryoshka Representation Learning でトレーニングされており、開発者は同じモデルからコンパクトな埋め込みまたはより高容量の埋め込みを生成できます。推奨サイズは 768、512、256、128、64 です。

Nomic-embed-text-v1.5 は、同じ埋め込み空間を共有する nomic-embed-vision-v1.5 によって現在マルチモーダルになっているため、テキスト埋め込みを画像埋め込みと直接併用できます。

nomic-embed-text-v1.5 で埋め込みを作成する方法

ベクトル埋め込みを生成する主な方法は 2 つあります。

• PyMilvus: nomic-embed-text-v1.5 モデルをシームレスに統合する Milvus 用の Python SDK。
• Nomic Python SDK の embed モジュールは、Nomic Embedding API を使用した埋め込み機能を提供します。

ベクトル埋め込みが生成されたら、それらを Zilliz Cloud（Milvus を基盤とするフルマネージドのベクトルデータベースサービス）に保存し、セマンティック類似性検索 に使用できます。主な手順は次の 4 つです。

• Zilliz Cloud アカウントに無料で サインアップ します。
• サーバーレスクラスターをセットアップ し、Public Endpoint と API Key を取得します。
• ベクトルコレクションを作成し、ベクトル埋め込みを挿入します。
• 保存された埋め込みに対してセマンティック検索を実行します。

PyMilvus 経由で埋め込みを作成し、セマンティック検索のために Zilliz Cloud に挿入する

from pymilvus import MilvusClient
from nomic import embed

# Prepare documents
docs = [
    "Artificial intelligence was founded as an academic discipline in 1956.",
    "Alan Turing was the first person to conduct substantial research in AI.",
    "Born in Maida Vale, London, Turing was raised in southern England.",
]

# Generate embeddings for documents using nomic-embed-text-v1.5
docs_embeddings = embed.text(
    texts=docs, model="nomic-embed-text-v1.5", task_type="search_document"
)["embeddings"]

# Prepare queries
queries = ["When was artificial intelligence founded", "Where was Alan Turing born?"]

# Generate embeddings for queries
query_embeddings = embed.text(
    texts=queries, model="nomic-embed-text-v1.5", task_type="search_query"
)["embeddings"]

# Connect to Zilliz Cloud with Public Endpoint and API Key
client = MilvusClient(uri=ZILLIZ_PUBLIC_ENDPOINT, token=ZILLIZ_API_KEY)

COLLECTION = "nomic_v1_5_documents"

# Drop collection if it exists
if client.has_collection(collection_name=COLLECTION):
    client.drop_collection(collection_name=COLLECTION)

# Create collection with dimension 768 (nomic-embed-text-v1.5 output dimension)
client.create_collection(collection_name=COLLECTION, dimension=768, auto_id=True)

# Insert documents with embeddings
for doc, embedding in zip(docs, docs_embeddings):
    client.insert(COLLECTION, {"text": doc, "vector": embedding})

# Search for similar documents
results = client.search(
    collection_name=COLLECTION,
    data=query_embeddings,
    # consistency_level="Strong",  # Strong consistency ensures accurate results but may increase latency
    output_fields=["text"],
    limit=2,
)

# Print search results
for i, query in enumerate(queries):
    print(f"\nQuery: {query}")
    for result in results[i]:
        print(f"  - {result['entity']['text']} (distance: {result['distance']:.4f})")

詳細については、当社の PyMilvus Embedding Model ドキュメント を参照してください。