Nomic

Nomic / nomic-embed-vision-v1

9,200만 개의 파라미터를 가진 비전 임베딩 모델로, nomic-embed-text-v1과의 유니모달 및 멀티모달 검색 페어링을 모두 지원합니다

nomic-embed-vision-v1 소개

nomic-embed-vision-v1 모델은 nomic-embed-text-v1과 동일한 잠재 공간을 공유하는 완전히 복제 가능한 비전 임베딩 모델로, 텍스트와 이미지 임베딩이 서로를 직접 쿼리할 수 있는 멀티모달 사용을 가능하게 합니다. 92M 파라미터 비전 인코더를 갖추고 있으며, 이미지 및 텍스트 임베딩, 각 모달리티 내 유니모달 검색, 그리고 두 모달리티 전반의 멀티모달 검색을 지원합니다.

nomic-embed-vision-v1로 임베딩을 생성하는 방법

벡터 임베딩을 생성하는 주요 방법은 두 가지입니다:

  • PyMilvus: nomic-embed-vision-v1 모델을 원활하게 통합하는 Milvus용 Python SDK입니다.
  • Nomic Python SDK의 embed 모듈은 Nomic Embedding API를 사용하여 임베딩 기능을 제공합니다.

벡터 임베딩이 생성되면 Zilliz Cloud(Milvus 기반의 완전 관리형 벡터 데이터베이스 서비스)에 저장하고 semantic similarity search에 사용할 수 있습니다. 다음은 네 가지 핵심 단계입니다:

PyMilvus를 통해 임베딩을 생성하고 의미론적 검색을 위해 Zilliz Cloud에 삽입하기

from pymilvus import MilvusClient
from nomic import embed

# Prepare images (can be local paths or URLs)
images = ["path/to/image1.jpg", "path/to/image2.jpg", "path/to/image3.jpg"]

# Generate embeddings for images using nomic-embed-vision-v1
image_embeddings = embed.image(images=images, model="nomic-embed-vision-v1")[
    "embeddings"
]

# Prepare query image
query_images = ["path/to/query_image.jpg"]

# Generate embeddings for query
query_embeddings = embed.image(images=query_images, model="nomic-embed-vision-v1")[
    "embeddings"
]

# Connect to Zilliz Cloud with Public Endpoint and API Key
client = MilvusClient(uri=ZILLIZ_PUBLIC_ENDPOINT, token=ZILLIZ_API_KEY)

COLLECTION = "nomic_vision_v1_images"

# Drop collection if it exists
if client.has_collection(collection_name=COLLECTION):
    client.drop_collection(collection_name=COLLECTION)

# Create collection with dimension 768 (nomic-embed-vision-v1 output dimension)
client.create_collection(collection_name=COLLECTION, dimension=768, auto_id=True)

# Insert images with embeddings
for image, embedding in zip(images, image_embeddings):
    client.insert(COLLECTION, {"image_path": image, "vector": embedding})

# Search for similar images
results = client.search(
    collection_name=COLLECTION,
    data=query_embeddings,
    # consistency_level="Strong",  # Strong consistency ensures accurate results but may increase latency
    output_fields=["image_path"],
    limit=3,
)

# Print search results
print("Similar images found:")
for result in results[0]:
    print(f"  - {result['entity']['image_path']} (distance: {result['distance']:.4f})")

자세한 내용은 PyMilvus Embedding Model 문서를 참조하세요.