Вояж ИИ / voyage-large-2

Введение в модель voyage-large-2

voyage-large-2 - это модель встраивания текста общего назначения от Voyage AI, оптимизированная для качества поиска (например, лучше, чем OpenAI V3 Large). Она также идеально подходит для таких задач, как обобщение, кластеризация и классификация.

Сравнение voyage-large-2 с другими популярными моделями встраивания от Voyage AI:

Модель	Модель	Длина контекста (токены)	Размер встраивания	Описание
voyage-large-2-instruct	16000	1024	Top of MTEB leaderboard. Настроенная на инструкции модель встраивания общего назначения, оптимизированная для кластеризации, классификации и поиска.
	voyage-multilingual-2	32000	1024	Оптимизирована для многоязычного поиска и RAG.
	voyage-code-2	16000	1536	Оптимизирована для поиска по коду (на 17 % лучше, чем альтернативные варианты).
	voyage-large-2	16000	1536	Модель встраивания общего назначения, оптимизированная для качества поиска (например, лучше, чем OpenAI V3 Large).
	voyage-2	4000	1024	Модель встраивания общего назначения, оптимизированная для баланса между стоимостью, задержкой и качеством поиска.

Как генерировать векторные вкрапления с помощью voyage-large-2

1. PyMilvus: Python SDK для Milvus, в который легко интегрируется модель voyage-large-2.
2. Пакет Voyage AI Python: SDK для Python, предлагаемый Voyage AI.

После того как векторные вкрапления сгенерированы, их можно хранить в Zilliz Cloud (полностью управляемый сервис векторных баз данных на базе Milvus) и использовать для поиска семантического сходства. Вот четыре ключевых шага:

1. Зарегистрируйтесь для получения бесплатной учетной записи Zilliz Cloud.
2. Настройте бессерверный кластер и получите Публичную конечную точку и ключ API.
3. Создайте коллекцию векторов и вставьте в нее свои векторные вкрапления.
4. Запустите семантический поиск по сохраненным вкраплениям.

Генерировать векторные вкрапления с помощью PyMilvus и вставлять их в Zilliz Cloud для семантического поиска

из pymilvus import model, MilvusClient

ef = model.dense.VoyageEmbeddingFunction(
   model_name="voyage-large-2",
   api_key="your-voyage-api-key",
   )

# Генерируем вкрапления для документов
docs = [
   "Искусственный интеллект был основан как академическая дисциплина в 1956 году",
   "Алан Тьюринг был первым человеком, который провел серьезные исследования в области искусственного интеллекта",
   "Тьюринг родился в Майда-Вейл, Лондон, и вырос на юге Англии".
]

docs_embeddings = ef.encode_documents(docs)

# Генерируем вкрапления для запросов
запросы = ["Когда был основан искусственный интеллект",
          "Где родился Алан Тьюринг?"]

query_embeddings = ef.encode_queries(queries)

# Подключение к облаку Zilliz с помощью публичной конечной точки и ключа API
client = MilvusClient(
    uri=ZILLIZ_PUBLIC_ENDPOINT,
    token=ZILLIZ_API_KEY)

КОЛЛЕКЦИЯ = "документы"
if client.has_collection(collection_name=COLLECTION):
    client.drop_collection(collection_name=COLLECTION)
client.create_collection(
    имя_коллекции=COLLECTION,
    dimension=ef.dim,
    auto_id=True)

для doc, embedding в zip(docs, docs_embeddings):
    client.insert(COLLECTION, {"text": doc, "vector": embedding})
    
results = client.search(
    имя_коллекции=КОЛЛЕКЦИЯ,
    data=query_embeddings,
    consistency_level="Strong",
    output_fields=["text"])

Для получения дополнительной информации обратитесь к нашей документации PyMilvus Embedding Model.

Генерируем векторные вкрапления с помощью пакета Voyage AI Python и вставляем их в Zilliz Cloud для семантического поиска

import voyageai
from pymilvus import MilvusClient

vo = voyageai.Client(api_key="your-voyage-api-key")

# Генерируем вкрапления для документов
docs = [
   "Искусственный интеллект был основан как академическая дисциплина в 1956 году",
   "Алан Тьюринг был первым человеком, который провел серьезные исследования в области искусственного интеллекта",
   "Тьюринг родился в Майда-Вейл, Лондон, и вырос на юге Англии".
]
doc_embeddings = vo.embed(docs, model="voyage-large-2", input_type="document").embeddings

# Генерируем вкрапления для запросов
queries = ["Когда был основан искусственный интеллект",
          "Где родился Алан Тьюринг?"].
query_embeddings = vo.embed(docs, model="voyage-large-2", input_type="query").embeddings

# Подключение к облаку Zilliz с помощью публичной конечной точки и ключа API
client = MilvusClient(
    uri=ZILLIZ_PUBLIC_ENDPOINT,
    token=ZILLIZ_API_KEY)

КОЛЛЕКЦИЯ = "документы"
if client.has_collection(collection_name=COLLECTION):
    client.drop_collection(collection_name=COLLECTION)
client.create_collection(
    имя_коллекции=COLLECTION,
    dimension=1536,
    auto_id=True)

для doc, embedding в zip(docs, docs_embeddings):
    client.insert(COLLECTION, {"text": doc, "vector": embedding})
    
results = client.search(
    имя_коллекции=КОЛЛЕКЦИЯ,
    data=query_embeddings,
    consistency_level="Strong",
    output_fields=["text"])

Для получения дополнительной информации обратитесь к Voyage AI Embedding Guide.