Microsoft / e5-base-v2
Milvus Integrated
Tarea: Inserción
Modalidad: Texto
Métrica de Similitud: Cualquiera (Normalizado)
Licencia: Apache 2.0
Dimensiones: 768
Tokens de Entrada Máximos: 512
Precio: Gratis
Introducción a la incrustación e5-base-v2
e5-base-v2` es un modelo diseñado para generar incrustaciones de texto que pueden utilizarse en diversas tareas de procesamiento del lenguaje natural (NLP), como la búsqueda semántica, la generación aumentada de recuperación (RAG) y la agrupación. Este modelo se basa en un preentrenamiento contrastivo débilmente supervisado y resulta especialmente eficaz para manejar datos desordenados y consultas cortas que devuelven pasajes de texto de longitud media.
El modelo requiere que los textos de entrada lleven el prefijo "query: "para las consultas y "pasaje: "para los pasajes. Puede utilizarse a través de bibliotecas como Hugging Face's Transformers y Sentence Transformers, lo que facilita su integración en aplicaciones.
Comparación entre e5-large-v2 y e5-base-v2:
| Características/capacidades e5-base-v2 e5-large-v2 | ||
| Capas** 12 24 | ||
| Tamaño de la incrustación 768 1024 | ||
| Máximo de tokens 512 | ||
| Rendimiento: bueno para tareas generales de incrustación de texto. Buen rendimiento en pruebas como BEIR y MTEB, a menudo superando a modelos más pequeños. | ||
| Requisito de prefijo de entrada: "query: " para consultas, "pasaje: " para pasajes | "query: " para consultas, "pasaje: " para pasajes | |
| Enlace modelo** Cara abrazada E5-base-v2 Cara abrazada E5-large-v2 |
Cómo crear incrustaciones con e5-base-v2
Hay dos formas principales de crear incrustaciones vectoriales:
- SentenceTransformer library: la biblioteca de Python
sentence-transformer.
Una vez generadas las incrustaciones vectoriales, pueden almacenarse en Zilliz Cloud (un servicio de base de datos vectorial totalmente gestionado por Milvus) y utilizarse para semantic similarity search. He aquí cuatro pasos clave:
- Inscríbete para obtener una cuenta de Zilliz Cloud de forma gratuita.
- Configura un clúster sin servidor y obtén el Public Endpoint and API Key.
- Crea una colección de vectores e inserta tus incrustaciones vectoriales.
- Ejecuta una búsqueda semántica en las incrustaciones almacenadas.
Generar incrustaciones vectoriales a través de PyMilvus e insertarlas en Zilliz Cloud para la búsqueda semántica.
from pymilvus.model.dense import SentenceTransformerEmbeddingFunction
from pymilvus import MilvusClient
ef = SentenceTransformerEmbeddingFunction("intfloat/e5-base-v2")
docs = [
"La inteligencia artificial se fundó como disciplina académica en 1956",
"Alan Turing fue la primera persona en realizar una investigación sustancial en IA",
"Nacido en Maida Vale, Londres, Turing se crió en el sur de Inglaterra."
]
# Generar incrustaciones para documentos
docs_embeddings = ef(docs)
queries = ["¿Cuándo se fundó la inteligencia artificial?
"¿Dónde nació Alan Turing?"]
# Generar incrustaciones para las consultas
incrustaciones_consulta = ef(consultas)
# Conectarse a Zilliz Cloud con el punto final público y la clave API
client = MilvusClient(
uri=ZILLIZ_PUBLIC_ENDPOINT,
token=ZILLIZ_API_KEY)
COLECCIÓN = "documentos"
if client.has_collection(nombre_coleccion=COLECCION):
client.drop_collection(nombre_coleccion=COLECCION)
client.create_collection(
nombre_colección=COLECCIÓN,
dimensión=ef.dim,
auto_id=True)
for doc, embedding in zip(docs, docs_embeddings):
client.insert(COLLECTION, {"texto": doc, "vector": incrustación})
resultados = client.search(
nombre_colección=COLECCIÓN,
datos=consulta_incrustaciones,
consistency_level="Strong",
output_fields=["text"])
Para más información, consulte nuestra Documentación sobre el modelo de incrustación de PyMilvus.
Generar incrustaciones vectoriales mediante la biblioteca SentenceTransformer e insertarlas en Zilliz Cloud para la búsqueda semántica.
from sentence_transformers import SentenceTransformer
from pymilvus import MilvusClient
model = SentenceTransformer("intfloat/e5-base-v2")
docs = [
"La inteligencia artificial se fundó como disciplina académica en 1956",
"Alan Turing fue la primera persona en realizar una investigación sustancial en IA",
"Nacido en Maida Vale, Londres, Turing se crió en el sur de Inglaterra."
]
# Generar incrustaciones para documentos
docs_embeddings = model.encode(docs, normalize_embeddings=True)
queries = ["¿Cuándo se fundó la inteligencia artificial?
"¿Dónde nació Alan Turing?"]
# Generar incrustaciones para las consultas
query_embeddings = model.encode(queries, normalize_embeddings=True)
# Conectarse a Zilliz Cloud con el punto final público y la clave API
client = MilvusClient(
uri=ZILLIZ_PUBLIC_ENDPOINT,
token=ZILLIZ_API_KEY)
COLECCIÓN = "documentos"
if client.has_collection(nombre_coleccion=COLECCION):
client.drop_collection(nombre_coleccion=COLECCION)
client.create_collection(
nombre_colección=COLECCIÓN,
dimensión=768,
auto_id=True)
for doc, embedding in zip(docs, docs_embeddings):
client.insert(COLLECTION, {"texto": doc, "vector": incrustación})
resultados = client.search(
nombre_colección=COLECCIÓN,
datos=consulta_incrustaciones,
consistency_level="Strong",
output_fields=["text"])
Para más información, consulte la documentación de SentenceTransformer.
Flujos de trabajo de IA sin interrupciones
Desde incrustaciones hasta búsqueda de IA escalable—Zilliz Cloud te permite almacenar, indexar y recuperar incrustaciones con una velocidad y eficiencia inigualables.
Prueba Zilliz Cloud Gratis
