AI Hallucination
AI Hallucination
Что такое галлюцинации искусственного интеллекта?
ИИ-галлюцинации возникают, когда ответ, предоставленный языковой моделью (например, ChatGPT), кажется разумным, но является полностью ложным. Такие неточные ответы возникают не из-за того, что языковая модель намеренно лжет, а из-за того, что обучающие данные, используемые для модели, не содержат необходимой информации для правильного ответа. Например, все данные, созданные после сентября 2021 года, не были включены в обучение ChatGPT, поэтому ChatGPT не сможет дать точный ответ, если вы спросите о таких данных.
Хотя в некоторых случаях ChatGPT укажет, что у него нет ответа, есть случаи, когда он может выдать полностью сфабрикованный ответ.
.Проблема галлюцинаций ИИ объясняется
ИИ-галлюцинации возникают, когда модель ИИ генерирует неверную информацию, но преподносит ее так, как будто это факт. Такие галлюцинации часто являются результатом ограничений или предубеждений в обучающих данных и алгоритмах, что приводит к созданию неточного и потенциально вредного контента.
Почему ИИ галлюцинирует
Галлюцинации ИИ могут возникать по нескольким причинам, в том числе:
- Недостаточные, устаревшие или некачественные обучающие данные: Модель ИИ хороша лишь настолько, насколько хороши данные, на которых она обучена. Если инструмент искусственного интеллекта не понимает вашего запроса или не имеет достаточной информации, он может полагаться на ограниченный набор данных, на которых он был обучен, чтобы сгенерировать ответ, даже если он будет неточным.
- Переоценка: Модель ИИ, обученная на ограниченном наборе данных, может запомнить входы и соответствующие им выходы. В результате она может с трудом обобщать новые данные, что в итоге приводит к галлюцинациям ИИ.
Кроме того, галлюцинации ИИ могут быть вызваны и другими факторами, например использованием идиом или сленговых выражений, которым модель ИИ не обучалась, а также атаками противника, когда подсказки намеренно разрабатываются так, чтобы сбить ИИ с толку.
Примеры галлюцинаций ИИ
В качестве примера галлюцинаций ИИ можно привести пример работы с ChatGPT. Когда мы задали ChatGPT вопрос "Поддерживает ли Hugging Face OpenAI Whisper?", он признал свою ограниченность и дал нам точный ответ, что у него нет данных, но ответ действительно был бесполезен.
По состоянию на сентябрь 2021 года компания Hugging Face не объявила о поддержке OpenAI Whisper. Однако всегда есть вероятность, что они могут добавить поддержку в будущем. OpenAI Whisper - это новая языковая модель от OpenAI, и другим компаниям и разработчикам может потребоваться некоторое время, чтобы интегрировать ее в свои платформы и продукты.
Когда мы задаем тот же вопрос чатботу, который хранит актуальный контент (репо на Github, документацию, readmes и т. д.) в векторной базе данных, мы получаем совершенно другой и точный результат;
Да, Hugging Face поддерживает OpenAI Whisper. Класс FlaxWhisperModel доступен в библиотеке transformers, которая представляет собой обертку вокруг модели OpenAI Whisper. Вы можете использовать этот класс для загрузки предварительно обученной модели OpenAI Whisper и использовать ее для различных задач обработки естественного языка, таких как классификация текстов, ответы на вопросы и генерация текстов.
Как уменьшить количество галлюцинаций ИИ
Вы можете сделать несколько вещей, чтобы уменьшить или устранить ИИ-галлюцинации. Первое - дать LLM конкретные инструкции при поиске ответа. Например, вы можете попросить его отвечать только "да" или "нет", или попросить его предоставить ссылки, чтобы помочь вам обеспечить точность, или вы также можете поиграть с настройками температуры.
Кроме того, вы можете предоставить ему фактические данные для формулировки ответа. Это делается путем преобразования ваших данных в векторные вкрапления и хранения их в векторной базе данных. В большинстве случаев у чатбота есть фронт-энд, с которым взаимодействует пользователь. Пользователи задают свои вопросы; затем вопрос преобразуется в векторное вложение. Затем выполняется поиск приближенных ближайших соседей для нахождения семантически схожих элементов, после чего эти данные представляются LLM для генерации точного ответа.
Помогает ли Zilliz справиться с галлюцинациями ИИ?
Zilliz Cloud (и Milvus) помогает с ИИ-галлюцинациями, храня и запрашивая базу знаний, которая была преобразована в векторные вкрапления. OSSChat - пример приложения, демонстрирующий, как векторная база данных может быть использована для уменьшения этих галлюцинаций. Вот еще несколько ресурсов о том, как можно использовать Zilliz для уменьшения галлюцинаций:
- Что такое галлюцинации искусственного интеллекта?
- Проблема галлюцинаций ИИ объясняется
- Почему ИИ галлюцинирует
- Примеры галлюцинаций ИИ
- Как уменьшить количество галлюцинаций ИИ
- Помогает ли Zilliz справиться с галлюцинациями ИИ?
Контент
Начните бесплатно, масштабируйтесь легко
Попробуйте полностью управляемую векторную базу данных, созданную для ваших GenAI приложений.
Попробуйте Zilliz Cloud бесплатно