Jina AI / jina-embeddings-v2-small-en

Introduzione ai modelli Jina Embedding v2

I modelli Jina Embeddings v2 sono progettati per gestire documenti lunghi con una dimensione massima di input estesa a 8.192 token. A partire da ottobre 2024, Jina AI Embedding V2 ha le seguenti varianti, ognuna delle quali risponde a diverse esigenze di incorporazione:

• jina-embeddings-v2-small-en
• jina-embeddings-v2-base-en
• jina-embeddings-v2-base-zh
• jina-embeddings-v2-base-de
• jina-embeddings-v2-base-code

Introduzione a jina-embeddings-v2-small-it

jina-embeddings-v2-small-en è un modello di embedding monolingue inglese progettato per una lunghezza di sequenza fino a 8192 tokens. È la variante più piccola della famiglia Jina Embeddings v2, che è stata addestrata con 33 milioni di parametri e genera embeddings a 512 dimensioni.

Confronto tra jina-embeddings-v2-small-en e altri modelli di embedding Jina.

Modello	Dimensione dei parametri	Dimensione dell'embedding	Testo
jina-embeddings-v3	570M	dimensione di incorporamento flessibile (predefinita: 1024)	incorporazioni di testo multilingue; supporta 94 lingue in totale
jina-embeddings-v2-small-en	33M	512	incorporazioni monolingui in inglese
jina-embeddings-v2-base-en	137M	768	embeddings monolingue inglese
jina-embeddings-v2-base-zh	161M	768	Abbinamenti bilingue cinese-inglese
jina-embeddings-v2-base-de	161M	768	Embeddings bilingue tedesco-inglese
jina-embeddings-v2-base-code	161M	768	Inglese e linguaggi di programmazione

Come creare embeddings con jina-embeddings-v2-small-en

Esistono due modi principali per generare embeddings vettoriali:

• PyMilvus: l'SDK Python per Milvus che integra perfettamente il modello jina-embeddings-v2-small-en.
• Libreria SentenceTransformer: la libreria Python sentence-transformer.

Una volta generate le incorporazioni vettoriali, queste possono essere archiviate in Zilliz Cloud (un servizio di database vettoriale completamente gestito da Milvus) e utilizzate per la ricerca di similarità semantica. Ecco i quattro passaggi chiave:

• Iscriversi per un account Zilliz Cloud gratuito.
• Configurare un cluster serverless](https://docs.zilliz.com/docs/create-cluster#set-up-a-free-cluster) e ottenere Endpoint pubblico e chiave API.
• Creare una collezione di vettori e inserire gli embeddings vettoriali.
• Eseguire una ricerca semantica sugli embeddings memorizzati.

Creare embeddings tramite PyMilvus

da pymilvus.model.dense import SentenceTransformerEmbeddingFunction
da pymilvus import MilvusClient

ef = SentenceTransformerEmbeddingFunction("jinaai/jina-embeddings-v2-small-en", trust_remote_code=True)

docs = [
   "L'intelligenza artificiale è stata fondata come disciplina accademica nel 1956",
   "Alan Turing è stato il primo a condurre una ricerca sostanziale sull'intelligenza artificiale",
   "Nato a Maida Vale, Londra, Turing è cresciuto nel sud dell'Inghilterra".
]
# Generare le incorporazioni per i documenti
docs_embeddings = ef(docs)

queries = ["Quando è stata fondata l'intelligenza artificiale",
          "Dove è nato Alan Turing?"]
# Generare embeddings per le query
query_embeddings = ef(queries)

# Connettersi a Zilliz Cloud con l'endpoint pubblico e la chiave API
client = MilvusClient(
    uri=ZILLIZ_PUBLIC_ENDPOINT,
    token=ZILLIZ_API_KEY)

COLLEZIONE = "documenti"
if client.has_collection(collection_name=COLLECTION):
    client.drop_collection(nome_raccolta=COLLEZIONE)
client.create_collection(
    nome_collezione=COLLEZIONE,
    dimensione=ef.dim,
    auto_id=True)

per doc, embedding in zip(docs, docs_embeddings):
    client.insert(COLLECTION, {"text": doc, "vector": embedding})
    
risultati = client.search(
    nome_collezione=COLLEZIONE,
    dati=query_embeddings,
    consistency_level="Strong",
    output_fields=["text"])

Per ulteriori informazioni, consultare la nostra [documentazione sul modello di inclusione di PyMilvus] (https://milvus.io/docs/embeddings.md).

Creare le incorporazioni tramite il trasformatore di frasi

da sentence_transformers importare SentenceTransformer
da pymilvus import MilvusClient

model = SentenceTransformer("jinaai/jina-embeddings-v2-small-en", trust_remote_code=True)

docs = [
   "L'intelligenza artificiale è stata fondata come disciplina accademica nel 1956",
   "Alan Turing è stato il primo a condurre una ricerca sostanziale sull'intelligenza artificiale",
   "Nato a Maida Vale, Londra, Turing è cresciuto nel sud dell'Inghilterra".
]
# Generare le incorporazioni per i documenti
docs_embeddings = model.encode(docs, normalize_embeddings=True)

query = ["query: Quando è stata fondata l'intelligenza artificiale",
           "query: Wo wurde Alan Turing geboren?" ]
# Generare le incorporazioni per le query
query_embeddings = model.encode(queries, normalize_embeddings=True)

# Connettersi a Zilliz Cloud con l'endpoint pubblico e la chiave API
client = MilvusClient(
    uri=ZILLIZ_PUBLIC_ENDPOINT,
    token=ZILLIZ_API_KEY)

COLLEZIONE = "documenti"
if client.has_collection(collection_name=COLLECTION):
    client.drop_collection(nome_raccolta=COLLEZIONE)
client.create_collection(
    nome_collezione=COLLEZIONE,
    dimensione=512,
    auto_id=True)

per doc, embedding in zip(docs, docs_embeddings):
    client.insert(COLLECTION, {"text": doc, "vector": embedding})
    
risultati = client.search(
    nome_collezione=COLLEZIONE,
    dati=query_embeddings,
    consistency_level="Strong",
    output_fields=["text"])

Fare riferimento a Documentazione di Hugging Face per maggiori dettagli.