Le guide de all-mpnet-base-v2

Tous les modèles
Visage étreint / all-mpnet-base-v2

Visage étreint / all-mpnet-base-v2

AI Model Milvus Integrated

Tâche: Intégration

Modalité: Texte

Métrique de similarité: Tous (normalisés)

Licence: Apache 2.0

Dimensions: 768

Tokens d'entrée max: 384

Prix: Gratuit

Aperçu du modèle

Le modèle "all-mpnet-base-v2" est un codeur de phrases et de paragraphes courts qui transforme le texte d'entrée en un vecteur à 768 dimensions. Il s'agit d'une version raffinée du modèle microsoft/mpnet-base, affinée sur un ensemble de données d'un milliard de paires de phrases en utilisant un objectif d'apprentissage contrastif. all-mpnet-base-v2 est parfait pour des tâches telles que la recherche d'information, le clustering et la similarité des phrases.

Pour plus de détails, consultez cet article : [All-Mpnet-Base-V2 : Enhancing Sentence Embedding with AI] (https://zilliz.com/learn/all-mpnet-base-v2-enhancing-sentence-embedding-with-ai)

Comment créer des embeddings en utilisant all-mpnet-base-v2

Il y a deux façons principales de générer des embeddings vectoriels :

PyMilvus: le SDK Python pour Milvus qui intègre de manière transparente le modèle all-mpnet-base-v2.
SentenceTransformer library : la bibliothèque Python sentence-transformer.

Une fois les encastrements vectoriels créés, ils peuvent être stockés dans une base de données vectorielle comme [Zilliz Cloud] (https://zilliz.com/cloud) (une base de données vectorielle entièrement gérée par Milvus) et utilisés pour la [recherche de similarité sémantique] (https://zilliz.com/glossary/semantic-search).

Voici les quatre étapes clés :

S'inscrire pour un compte Zilliz Cloud gratuit.
Configurez un cluster sans serveur (https://docs.zilliz.com/docs/create-cluster#set-up-a-free-cluster) et obtenez le point de terminaison public et la clé API (https://docs.zilliz.com/docs/on-zilliz-cloud-console#free-cluster-details).
Créez une collection de vecteurs et insérez vos embeddings vectoriels.
Exécutez une recherche sémantique sur les encastrements stockés.

Créer des embeddings via PyMilvus et les insérer dans Zilliz Cloud pour la recherche sémantique.

from pymilvus.model.dense import SentenceTransformerEmbeddingFunction
from pymilvus import MilvusClient

ef = SentenceTransformerEmbeddingFunction("sentence-transformers/all-mpnet-base-v2")

docs = [
   "L'intelligence artificielle a été fondée en tant que discipline universitaire en 1956",
   "Alan Turing a été la première personne à mener des recherches substantielles sur l'IA,
   "Né à Maida Vale, Londres, Turing a grandi dans le sud de l'Angleterre."
]
# Générer des embeddings pour les documents
docs_embeddings = ef(docs)

queries = ["Quand l'intelligence artificielle a-t-elle été créée",
          "Où est né Alan Turing ?"]
# Génère des embeddings pour les requêtes
query_embeddings = ef(queries)

# Se connecter à Zilliz Cloud avec le point de terminaison public et la clé API
client = MilvusClient(
    uri=ZILLIZ_PUBLIC_ENDPOINT,
    token=ZILLIZ_API_KEY)

COLLECTION = "documents"
if client.has_collection(collection_name=COLLECTION) :
    client.drop_collection(nom_de_la_collection=COLLECTION)
client.create_collection(
    nom_de_la_collection=COLLECTION,
    dimension=ef.dim,
    auto_id=True)

for doc, embedding in zip(docs, docs_embeddings) :
    client.insert(COLLECTION, {"text" : doc, "vector" : embedding})
    
results = client.search(
    nom_de_la_collection=COLLECTION,
    data=query_embeddings,
    niveau de cohérence="Fort",
    output_fields=["text"])

Consultez cette documentation pour plus de détails sur [l'intégration de PyMilvus avec all-mpnet-base-v2] (https://milvus.io/docs/embed-with-sentence-transform.md).

Créer des embeddings via la bibliothèque SentenceTransformer et les insérer dans Zilliz Cloud pour la recherche sémantique

from sentence_transformers import SentenceTransformer
from pymilvus import MilvusClient

model = SentenceTransformer("sentence-transformers/all-mpnet-base-v2")

docs = [
   "L'intelligence artificielle a été fondée en tant que discipline universitaire en 1956",
   "Alan Turing a été la première personne à mener des recherches substantielles dans le domaine de l'IA,
   "Né à Maida Vale, Londres, Turing a grandi dans le sud de l'Angleterre."
]
# Générer des embeddings pour les documents
docs_embeddings = model.encode(docs, normalize_embeddings=True)


queries = ["Quand l'intelligence artificielle a-t-elle été fondée ?
          "Où est né Alan Turing ?"]
# Génère des embeddings pour les requêtes
query_embeddings = model.encode(queries, normalize_embeddings=True)

# Se connecter au nuage Zilliz avec le point de terminaison public et la clé API
client = MilvusClient(
    uri=ZILLIZ_PUBLIC_ENDPOINT,
    token=ZILLIZ_API_KEY)

COLLECTION = "documents"
if client.has_collection(collection_name=COLLECTION) :
    client.drop_collection(nom_de_la_collection=COLLECTION)
client.create_collection(
    nom_de_la_collection=COLLECTION,
    dimension=768,
    auto_id=True)

pour doc, embedding dans zip(docs, docs_embeddings) :
    client.insert(COLLECTION, {"text" : doc, "vector" : embedding})
    
results = client.search(
    nom_de_la_collection=COLLECTION,
    data=query_embeddings,
    niveau de cohérence="Fort",
    output_fields=["text"])

Lecture complémentaire

Choisir le bon modèle d'intégration pour vos données
Évaluer votre modèle d'incorporation
Formation de votre propre modèle d'incorporation de texte](https://zilliz.com/learn/training-your-own-text-embedding-model)
Guide du débutant pour le découpage et l'intégration de sites web dans vos applications RAG] (https://zilliz.com/learn/beginner-guide-to-website-chunking-and-embedding-for-your-genai-applications)
[Qu'est-ce que RAG ?] (https://zilliz.com/learn/Retrieval-Augmented-Generation)

Contenu

Workflows IA fluides

Des embeddings à la recherche IA évolutive - Zilliz Cloud vous permet de stocker, indexer et récupérer des embeddings avec une vitesse et une efficacité inégalées.

Essayer Zilliz Cloud gratuitement

Estimez rapidement votre coût d'embedding