Nomic

Nomic / nomic-embed-text-v1

Un modelo de incrustación de texto con una longitud de contexto de 8192, especializado en recuperación, similitud, agrupamiento y clasificación

Introducción a nomic-embed-text-v1

El modelo nomic-embed-text-v1 es un modelo de embeddings de texto de código abierto y datos abiertos, con código de entrenamiento abierto, diseñado para ser completamente reproducible y auditable. Admite una ventana de contexto de 8192 tokens y está especializado en recuperación, similitud, agrupamiento y clasificación, ofreciendo un sólido rendimiento tanto en tareas de contexto corto como largo.

Nomic-embed-text-v1 ahora es multimodal mediante nomic-embed-vision-v1, que comparte el mismo espacio de embeddings, por lo que los embeddings de texto pueden usarse directamente junto con los embeddings de imágenes.

Cómo crear embeddings con nomic-embed-text-v1

Hay dos formas principales de generar embeddings vectoriales:

  • PyMilvus: el SDK de Python para Milvus que integra sin problemas el modelo nomic-embed-text-v1.
  • El módulo embed en el SDK de Python de Nomic proporciona funcionalidad de embeddings utilizando la API de Embeddings de Nomic.

Una vez generados los embeddings vectoriales, pueden almacenarse en Zilliz Cloud (un servicio de base de datos vectorial totalmente gestionado impulsado por Milvus) y usarse para búsqueda por similitud semántica. Estos son cuatro pasos clave:

Crear embeddings mediante PyMilvus e insertarlos en Zilliz Cloud para búsqueda semántica

from pymilvus import MilvusClient
from nomic import embed

# Prepare documents
docs = [
    "Artificial intelligence was founded as an academic discipline in 1956.",
    "Alan Turing was the first person to conduct substantial research in AI.",
    "Born in Maida Vale, London, Turing was raised in southern England.",
]

# Generate embeddings for documents using nomic-embed-text-v1.5
docs_embeddings = embed.text(
    texts=docs, model="nomic-embed-text-v1.5", task_type="search_document"
)["embeddings"]

# Prepare queries
queries = ["When was artificial intelligence founded", "Where was Alan Turing born?"]

# Generate embeddings for queries
query_embeddings = embed.text(
    texts=queries, model="nomic-embed-text-v1.5", task_type="search_query"
)["embeddings"]

# Connect to Zilliz Cloud with Public Endpoint and API Key
client = MilvusClient(uri=ZILLIZ_PUBLIC_ENDPOINT, token=ZILLIZ_API_KEY)

COLLECTION = "nomic_v1_5_documents"

# Drop collection if it exists
if client.has_collection(collection_name=COLLECTION):
    client.drop_collection(collection_name=COLLECTION)

# Create collection with dimension 768 (nomic-embed-text-v1.5 output dimension)
client.create_collection(collection_name=COLLECTION, dimension=768, auto_id=True)

# Insert documents with embeddings
for doc, embedding in zip(docs, docs_embeddings):
    client.insert(COLLECTION, {"text": doc, "vector": embedding})

# Search for similar documents
results = client.search(
    collection_name=COLLECTION,
    data=query_embeddings,
    # consistency_level="Strong",  # Strong consistency ensures accurate results but may increase latency
    output_fields=["text"],
    limit=2,
)

# Print search results
for i, query in enumerate(queries):
    print(f"\nQuery: {query}")
    for result in results[i]:
        print(f"  - {result['entity']['text']} (distance: {result['distance']:.4f})")

Para obtener más información, consulta nuestra documentación del Modelo de Embeddings de PyMilvus.