nomic-embed-vision-v1.5 가이드

모든 모델
Nomic / nomic-embed-vision-v1.5

Nomic / nomic-embed-vision-v1.5

AI Model Milvus Integrated

작업: 임베딩

형태: 이미지

유사성 측정법: 코사인

라이선스: Apache 2.0

차원: 768

최대 입력 토큰:

가격: 무료

nomic-embed-vision-v1.5 소개

nomic-embed-vision-v1.5 모델은 nomic-embed-text-v1.5의 잠재 공간에 정렬된 완전히 복제 가능한 비전 임베딩 모델로, 모든 텍스트 임베딩을 멀티모달로 만들고 이미지 임베딩과 직접 호환되도록 합니다. 92M 파라미터 비전 인코더는 이미지 및 텍스트 임베딩, 유니모달 의미 검색, 두 데이터 유형 전반의 멀티모달 검색을 지원합니다.

nomic-embed-vision-v1.5로 임베딩을 생성하는 방법

벡터 임베딩을 생성하는 주요 방법은 두 가지입니다.

PyMilvus: nomic-embed-vision-v1.5 모델을 원활하게 통합하는 Milvus용 Python SDK입니다.
Nomic Python SDK의 embed 모듈은 Nomic Embedding API를 사용하여 임베딩 기능을 제공합니다.

벡터 임베딩이 생성되면, Zilliz Cloud(Milvus 기반의 완전 관리형 벡터 데이터베이스 서비스)에 저장하고 의미 유사도 검색에 사용할 수 있습니다. 다음은 네 가지 주요 단계입니다.

무료로 Zilliz Cloud 계정에 가입합니다.
서버리스 클러스터를 설정하고 Public Endpoint 및 API Key를 얻습니다.
벡터 컬렉션을 생성하고 벡터 임베딩을 삽입합니다.
저장된 임베딩에 대해 의미 검색을 실행합니다.

PyMilvus를 통해 임베딩을 생성하고 의미 검색을 위해 Zilliz Cloud에 삽입하기

from pymilvus import MilvusClient
from nomic import embed

# Prepare images (can be local paths or URLs)
images = ["path/to/image1.jpg", "path/to/image2.jpg", "path/to/image3.jpg"]

# Generate embeddings for images using nomic-embed-vision-v1.5
image_embeddings = embed.image(images=images, model="nomic-embed-vision-v1.5")[
    "embeddings"
]

# Prepare query image
query_images = ["path/to/query_image.jpg"]

# Generate embeddings for query
query_embeddings = embed.image(images=query_images, model="nomic-embed-vision-v1.5")[
    "embeddings"
]

# Connect to Zilliz Cloud with Public Endpoint and API Key
client = MilvusClient(uri=ZILLIZ_PUBLIC_ENDPOINT, token=ZILLIZ_API_KEY)

COLLECTION = "nomic_vision_v1_5_images"

# Drop collection if it exists
if client.has_collection(collection_name=COLLECTION):
    client.drop_collection(collection_name=COLLECTION)

# Create collection with dimension 768 (nomic-embed-vision-v1.5 output dimension)
client.create_collection(collection_name=COLLECTION, dimension=768, auto_id=True)

# Insert images with embeddings
for image, embedding in zip(images, image_embeddings):
    client.insert(COLLECTION, {"image_path": image, "vector": embedding})

# Search for similar images
results = client.search(
    collection_name=COLLECTION,
    data=query_embeddings,
    # consistency_level="Strong",  # Strong consistency ensures accurate results but may increase latency
    output_fields=["image_path"],
    limit=3,
)

# Print search results
print("Similar images found:")
for result in results[0]:
    print(f"  - {result['entity']['image_path']} (distance: {result['distance']:.4f})")