nomic-embed-vision-v1 가이드

모든 모델
Nomic / nomic-embed-vision-v1

Nomic / nomic-embed-vision-v1

AI Model Milvus Integrated

작업: 임베딩

형태: 이미지

유사성 측정법: 코사인

라이선스: Apache 2.0

차원: 768

최대 입력 토큰:

가격: 무료

nomic-embed-vision-v1 소개

nomic-embed-vision-v1 모델은 nomic-embed-text-v1과 동일한 잠재 공간을 공유하는 완전히 복제 가능한 비전 임베딩 모델로, 텍스트와 이미지 임베딩이 서로를 직접 쿼리할 수 있는 멀티모달 사용을 가능하게 합니다. 92M 파라미터 비전 인코더를 갖추고 있으며, 이미지 및 텍스트 임베딩, 각 모달리티 내 유니모달 검색, 그리고 두 모달리티 전반의 멀티모달 검색을 지원합니다.

nomic-embed-vision-v1로 임베딩을 생성하는 방법

벡터 임베딩을 생성하는 주요 방법은 두 가지입니다:

PyMilvus: nomic-embed-vision-v1 모델을 원활하게 통합하는 Milvus용 Python SDK입니다.
Nomic Python SDK의 embed 모듈은 Nomic Embedding API를 사용하여 임베딩 기능을 제공합니다.

벡터 임베딩이 생성되면 Zilliz Cloud(Milvus 기반의 완전 관리형 벡터 데이터베이스 서비스)에 저장하고 semantic similarity search에 사용할 수 있습니다. 다음은 네 가지 핵심 단계입니다:

Zilliz Cloud 계정에 무료로 가입하세요.
서버리스 클러스터를 설정하고 Public Endpoint 및 API Key를 받으세요.
벡터 컬렉션을 생성하고 벡터 임베딩을 삽입하세요.
저장된 임베딩에서 의미론적 검색을 실행하세요.

PyMilvus를 통해 임베딩을 생성하고 의미론적 검색을 위해 Zilliz Cloud에 삽입하기

from pymilvus import MilvusClient
from nomic import embed

# Prepare images (can be local paths or URLs)
images = ["path/to/image1.jpg", "path/to/image2.jpg", "path/to/image3.jpg"]

# Generate embeddings for images using nomic-embed-vision-v1
image_embeddings = embed.image(images=images, model="nomic-embed-vision-v1")[
    "embeddings"
]

# Prepare query image
query_images = ["path/to/query_image.jpg"]

# Generate embeddings for query
query_embeddings = embed.image(images=query_images, model="nomic-embed-vision-v1")[
    "embeddings"
]

# Connect to Zilliz Cloud with Public Endpoint and API Key
client = MilvusClient(uri=ZILLIZ_PUBLIC_ENDPOINT, token=ZILLIZ_API_KEY)

COLLECTION = "nomic_vision_v1_images"

# Drop collection if it exists
if client.has_collection(collection_name=COLLECTION):
    client.drop_collection(collection_name=COLLECTION)

# Create collection with dimension 768 (nomic-embed-vision-v1 output dimension)
client.create_collection(collection_name=COLLECTION, dimension=768, auto_id=True)

# Insert images with embeddings
for image, embedding in zip(images, image_embeddings):
    client.insert(COLLECTION, {"image_path": image, "vector": embedding})

# Search for similar images
results = client.search(
    collection_name=COLLECTION,
    data=query_embeddings,
    # consistency_level="Strong",  # Strong consistency ensures accurate results but may increase latency
    output_fields=["image_path"],
    limit=3,
)

# Print search results
print("Similar images found:")
for result in results[0]:
    print(f"  - {result['entity']['image_path']} (distance: {result['distance']:.4f})")