Viaggio AI / voyage-large-2

Introduzione al modello voyage-large-2

voyage-large-2" è il modello di incorporazione del testo di uso generale di Voyage AI, ottimizzato per la qualità del recupero (ad esempio, migliore di OpenAI V3 Large). È ideale anche per compiti come la sintesi, il clustering e la classificazione.

Confronto tra voyage-large-2 e altri modelli di incorporamento popolari di Voyage AI:

Modello	Lunghezza del contesto (token)	Dimensione di incorporamento	Descrizione
voyage-large-2-instruct	16000	1024	In cima alla classifica MTEB. Modello di incorporamento generale ottimizzato per il clustering, la classificazione e il recupero.
voyage-multilingual-2	32000	1024	Ottimizzato per il recupero multilingue e RAG.
voyage-code-2	16000	1536	Ottimizzato per il recupero di codici (17% migliore delle alternative).
voyage-large-2	16000	1536	Modello di incorporamento generico ottimizzato per la qualità del recupero (ad esempio, migliore di OpenAI V3 Large).
voyage-2	4000	1024	Modello di incorporamento generico ottimizzato per un equilibrio tra costi, latenza e qualità di recupero.

Come generare incorporazioni vettoriali con voyage-large-2

1. PyMilvus: l'SDK Python per Milvus che integra perfettamente il modello voyage-large-2.
2. Pacchetto Python di Voyage AI: l'SDK Python offerto da Voyage AI.

Una volta generate le incorporazioni vettoriali, queste possono essere archiviate in Zilliz Cloud (un servizio di database vettoriale completamente gestito da Milvus) e utilizzate per la ricerca di similarità semantica. Ecco i quattro passaggi chiave:

1. Iscriviti per un account Zilliz Cloud gratuito.
2. Configurare un cluster serverless e ottenere il Public Endpoint and API Key.
3. Creare una collezione di vettori e inserire i propri embeddings vettoriali.
4. Eseguire una ricerca semantica sugli embeddings memorizzati.

Generare embeddings vettoriali tramite PyMilvus e inserirli in Zilliz Cloud per la ricerca semantica.

da pymilvus import model, MilvusClient

ef = model.dense.VoyageEmbeddingFunction(
   model_name="voyage-large-2",
   api_key="your-voyage-api-key",
   )

# Generare le incorporazioni per i documenti
docs = [
   "L'intelligenza artificiale è stata fondata come disciplina accademica nel 1956",
   "Alan Turing è stato il primo a condurre una ricerca sostanziale sull'intelligenza artificiale",
   "Nato a Maida Vale, Londra, Turing è cresciuto nel sud dell'Inghilterra".
]

docs_embeddings = ef.encode_documents(docs)

# Generare embeddings per le query
query = ["Quando è stata fondata l'intelligenza artificiale",
          "Dove è nato Alan Turing?"]

query_embeddings = ef.encode_queries(queries)

# Connettersi a Zilliz Cloud con l'endpoint pubblico e la chiave API
client = MilvusClient(
    uri=ZILLIZ_PUBLIC_ENDPOINT,
    token=ZILLIZ_API_KEY)

COLLEZIONE = "documenti"
if client.has_collection(collection_name=COLLECTION):
    client.drop_collection(nome_raccolta=COLLEZIONE)
client.create_collection(
    nome_collezione=COLLEZIONE,
    dimensione=ef.dim,
    auto_id=True)

per doc, embedding in zip(docs, docs_embeddings):
    client.insert(COLLECTION, {"text": doc, "vector": embedding})
    
risultati = client.search(
    nome_collezione=COLLEZIONE,
    dati=query_embeddings,
    consistency_level="Strong",
    output_fields=["text"])

Per ulteriori informazioni, consultare la nostra [documentazione sul modello di inclusione di PyMilvus] (https://milvus.io/docs/embeddings.md).

Generare embeddings vettoriali con il pacchetto Python Voyage AI e inserirli in Zilliz Cloud per la ricerca semantica

importare voyageai
da pymilvus import MilvusClient

vo = voyageai.Client(api_key="your-voyage-api-key")

# Generare le incorporazioni per i documenti
docs = [
   "L'intelligenza artificiale è stata fondata come disciplina accademica nel 1956",
   "Alan Turing è stato il primo a condurre una ricerca sostanziale sull'intelligenza artificiale",
   "Nato a Maida Vale, Londra, Turing è cresciuto nel sud dell'Inghilterra".
]
doc_embeddings = vo.embed(docs, model="voyage-large-2", input_type="document").embeddings

# Generare embeddings per le query
query = ["Quando è stata fondata l'intelligenza artificiale",
          "Dove è nato Alan Turing?"]
query_embeddings = vo.embed(docs, model="voyage-large-2", input_type="query").embeddings

# Connettersi a Zilliz Cloud con l'endpoint pubblico e la chiave API
client = MilvusClient(
    uri=ZILLIZ_PUBLIC_ENDPOINT,
    token=ZILLIZ_API_KEY)

COLLEZIONE = "documenti"
if client.has_collection(collection_name=COLLECTION):
    client.drop_collection(nome_raccolta=COLLEZIONE)
client.create_collection(
    nome_collezione=COLLEZIONE,
    dimensione=1536,
    auto_id=True)

per doc, embedding in zip(docs, docs_embeddings):
    client.insert(COLLECTION, {"text": doc, "vector": embedding})
    
risultati = client.search(
    nome_collezione=COLLEZIONE,
    dati=query_embeddings,
    consistency_level="Strong",
    output_fields=["text"])

Per ulteriori informazioni, consultare Voyage AI Embedding Guide.