Мистраль ИИ / mistral-embed

Введение в mistral-embed

• Специализированная модель встраивания для текстовых данных с контекстным окном из 8 000 лексем.
• Оптимизирована для приложений семантический поиск и RAG.
• Оценка поиска по MTEB: 55,26.

Как создавать вкрапления с помощью mistral-embed

Для создания векторных вкраплений мы рекомендуем использовать Mistral AI Library, SDK для Python, предлагаемый компанией Mistral AI.

После создания векторных вкраплений их можно хранить в Zilliz Cloud (полностью управляемый сервис векторных баз данных, работающий на базе Milvus) и использовать для поиска семантического сходства. Вот четыре ключевых шага:

1. Зарегистрируйтесь для получения бесплатной учетной записи Zilliz Cloud.
2. Настройте бессерверный кластер и получите Публичную конечную точку и ключ API.
3. Создайте коллекцию векторов и вставьте в нее свои векторные вкрапления.
4. Запустите семантический поиск по сохраненным вкраплениям.

Генерировать векторные вкрапления с помощью SDK Mistral AI и вставлять их в Zilliz Cloud для семантического поиска

from pymilvus import MilvusClient
from mistralai import Mistral

MISTRALAI_API_KEY = "your-mistral-api-key"
client = Mistral(api_key=MISTRALAI_API_KEY)
документы = [
   "Искусственный интеллект был основан как академическая дисциплина в 1956 году",
   "Алан Тьюринг был первым человеком, который провел серьезные исследования в области искусственного интеллекта",
        "Тьюринг родился в Мейда-Вейл, Лондон, и вырос в южной Англии".
]
# Генерируем вкрапления для документов
results = client.embeddings.create(inputs=docs, model="mistral-embed")
docs_embeddings = [data.embedding for data in results.data]

запросы = ["Когда был основан искусственный интеллект",
          "Где родился Алан Тьюринг?"]
# Создание вкраплений для запросов
response = client.embeddings.create(inputs=queries, model="mistral-embed")
query_embeddings = [data.embedding for data in response.data]

# Подключение к облаку Zilliz с помощью публичной конечной точки и ключа API
client = MilvusClient(
    uri=ZILLIZ_PUBLIC_ENDPOINT,
    token=ZILLIZ_API_KEY)

КОЛЛЕКЦИЯ = "документы"
if client.has_collection(collection_name=COLLECTION):
    client.drop_collection(collection_name=COLLECTION)
client.create_collection(
    имя_коллекции=COLLECTION,
    dimension=1024,
    auto_id=True)

для doc, embedding в zip(docs, docs_embeddings):
    client.insert(COLLECTION, {"text": doc, "vector": embedding})
    
results = client.search(
    имя_коллекции=КОЛЛЕКЦИЯ,
    data=query_embeddings,
    consistency_level="Strong",
    output_fields=["text"])

Дополнительную информацию можно найти в Документация по ИИ Мистраль.