Создание превосходного RAG для текстов с большим количеством кода с помощью Zilliz Cloud Pipelines и Voyage AI
Модель эмбеддингов лежит в основе Retrieval Augmented Generation (RAG), что в первую очередь влияет на возможности извлечения и имеет решающее значение для общего качества ответа. Обученные на огромных объемах корпусов данных, модели эмбеддингов могут извлекать числовые представления смысла из любого текста, что делает их подходящими для различных задач поиска информации. Однако обучение модели эмбеддингов, которая превосходно справляется с любой задачей, по-прежнему остается крайне сложной задачей. Доступны различные модели эмбеддингов, каждая из которых обладает уникальными сильными и слабыми сторонами и различающимися свойствами.
Zilliz Cloud Pipelines интегрирует лучшие доступные модели эмбеддингов как универсальное решение для извлечения. Такой гибкий выбор позволяет разработчикам исследовать и выбирать лучшие модели, адаптированные к их конкретным сценариям использования.
Сегодня мы рады объявить, что модели эмбеддингов от Voyage AI доступны в Zilliz Cloud Pipelines. Недавно выпущенные модели voyage-2 и voyage-code-2 продемонстрировали выдающееся качество в задачах извлечения, связанных с исходным кодом, технической документацией и общими задачами. Например, voyage-code-2, по сообщениям, на 14,52% лучше эмбеддингов OpenAI на наборах данных с высокой долей кода и на 3,03% лучше для общих целей.
Мы также сотрудничали с Voyage AI, чтобы оценить эффективность системы RAG, реализованной с различными моделями эмбеддингов для задач, связанных с кодом. Используемая языковая модель — GPT4. Мы протестировали систему на подмножестве наборов данных APPS и Codechef, которые содержат вопросы по программированию, и каждый вопрос имеет ровно один правильный ответ из корпуса. Мы измеряем качество извлечения с помощью "recall@k", что является вероятностью нахождения правильного результата среди top-k извлеченных документов. Кроме того, мы также оцениваем сквозное качество с помощью Ragas — популярного фреймворка оценки для RAG-конвейеров. Он имеет шесть метрик, описывающих различные аспекты RAG: от релевантности и точности извлеченных текстов до корректности и качества итогового ответа. Гармоническое среднее этих шести метрик, называемое "Ragas Score", измеряет общую производительность системы. Вы можете узнать больше о каждой метрике на странице документации Milvus.
Сравнение показателей извлечения и общих оценок популярных моделей эмбеддингов на наборах данных с кодом.
Две верхние диаграммы показывают, что модели voyages-2 и voyage-code-2 обладают значительно лучшими возможностями извлечения, чем другие модели. Показатель “Recall@k” указывает, что при извлечении top-k результатов существует вероятность того, что эталонный ответ будет включен в возвращенные k результатов. Например, с набором данных apps_1solution в 62% случаев voyage-code-2 получает эталонный ответ в top-4 результатах, тогда как bge-base-en-v1.5 достигает этого только в 2% случаев. Эти тесты показывают, что voyage-code-2 работает значительно лучше в задачах, связанных с кодом, чем модели эмбеддингов, не оптимизированные для них.
Когда речь идет о сквозных ответах RAG, улучшение полноты приводит к приросту более чем на десять процентных пунктов в Answer Correctness и Ragas Score по сравнению с лучшей альтернативой. В частности, Context Precision и Context Recall измеряют эффект этапа извлечения. Модели Voyage значительно превосходят другие варианты, особенно в Context Precision. В Faithfulness и Answer Relevancy, которые измеряют качество сгенерированных ответов, Voyage опережает различные модели более чем на пять процентных пунктов. Результаты показывают, что более высокое качество извлечения приводит к лучшей генерации в RAG-пайплайне. Answer Similarity и Answer Correctness относятся к оценке семантического сходства между сгенерированным ответом и эталонным ответом. В Answer Correctness RAG на основе Voyage снова имеет очевидные преимущества, превосходя остальные более чем на пять пунктов.
RAG стал преобладающим подходом для ботов вопросов и ответов по задачам программирования и разработки программного обеспечения. Эти приложения могут получить еще больше пользы от высококачественных моделей Voyage, которые превосходно справляются с задачами извлечения, связанными с кодом. Улучшенное качество извлечения означает более эффективный поиск релевантной информации в коде или технической документации, что приводит к более точным ответам и лучшему пользовательскому опыту.
В Zilliz Cloud Pipelines теперь можно выбрать voyages-2 и voyage-code-2 в качестве моделей эмбеддингов, чтобы добиться наивысшего качества извлечения в задачах, связанных с кодом, не беспокоясь о DevOps или управлении вашей ML-инфраструктурой. Самое приятное, что вы можете начать бесплатно, зарегистрировавшись на https://cloud.zilliz.com/signup, чтобы создавать свое RAG-приложение легко и точно!
Читать далее
Zilliz Cloud Audit Logs Goes GA: Security, Compliance, and Transparency at Scale
Zilliz Cloud Audit Logs are now GA, giving enterprises real-time visibility, compliance-ready trails, and stronger security across AWS, GCP, and Azure.
Zilliz Cloud Launches in AWS Australia, Expanding Global Reach to Australia and Neighboring Markets
We're thrilled to announce that Zilliz Cloud is now available in the AWS Sydney, Australia region (ap-southeast-2).
Vector Databases vs. Hierarchical Databases
Use a vector database for AI-powered similarity search; use a hierarchical database for organizing data in parent-child relationships with efficient top-down access patterns.