Блог
Роль LLM в современном туризме: возможности и будущие вызовы

Роль LLM в современном туризме: возможности и будущие вызовы

Oct 25, 20247 min read

Большие языковые модели (LLM) стали значимым драйвером инноваций в разных отраслях. Они позволяют системам понимать, генерировать естественный язык и взаимодействовать с ним подобно людям. GetYourGuide (GYC), онлайн-маркетплейс туристических впечатлений, использует LLM для развития новых направлений в туристическом секторе.

На недавнем Berlin Unstructured Data Meetup, организованном Zilliz, Meghna Satish, Machine Learning Engineer в GetYourGuide, поделилась инсайтами об их пути с LLM. Она рассказала о продуктах, которые они создали, трудностях, с которыми столкнулись, и о том, как LLM изменили туристические платформы, улучшив клиентский опыт и взаимодействие с пользователями.

В этом блоге мы кратко изложим ее ключевые мысли и рассмотрим, как LLM можно интегрировать с векторной базой данных Milvus, чтобы решать распространенные проблемы, такие как галлюцинации. Чтобы узнать больше, посмотрите полную запись ее выступления на YouTube.

Как GYG использует LLM для улучшения своих сервисов

LLM преобразили почти каждую отрасль, и туризм не исключение. GetYourGuide (GYG), онлайн-маркетплейс туристических услуг и впечатлений, признает силу LLM в улучшении клиентского опыта, оптимизации операций и предоставлении более эффективных сервисов.

Перевод и локализация контента

Одно из основных применений LLM в GYG — перевод и локализация контента. Устраняя языковые барьеры, LLM позволяют в реальном времени переводить туристическую информацию, включая статьи, описания отелей и отзывы, давая пользователям из разных регионов возможность понимать контент на своем родном языке. Такой локализованный подход повышает вовлеченность, предлагая каждому пользователю релевантную и доступную информацию.

GYG полагается на ChatGPT для выполнения переводов, поскольку он обеспечивает высококачественные переводы, соответствующие тону коммуникации GYG. Однако распределение обучающих данных ChatGPT сильно смещено в сторону английского: около 50% его источников — на английском, 6% — на испанском, 32% — на европейских и 18% — на азиатских языках. Чтобы противодействовать потенциальным искажениям и обеспечивать точность, GYG использует гибридный подход, сочетая переводы ChatGPT с дополнительными нейронными сетями глубокого обучения для постредактирования, достигая более сбалансированной и культурно чувствительной локализации.

Генерация контента и поддержка клиентов

GYG также использует LLM для оптимизации создания контента — от описаний туров с помощью AI до подробных гидов по направлениям и туристических блогов. Автоматизируя генерацию контента, LLM помогают поддерживать платформу GYG свежей и интересной, предоставляя путешественникам актуальную информацию и одновременно освобождая ценное время команды контента.

Помимо генерации контента, LLM поддерживают обслуживание клиентов, обрабатывая большие объемы запросов через автоматизированные FAQ и многоходовые диалоги. Это снижает нагрузку на команды поддержки, позволяя им сосредоточиться на более сложных случаях и одновременно снижая операционные расходы. Ответы на базе LLM гарантируют, что клиенты получают быстрые и точные ответы, улучшая общий пользовательский опыт.

Будущие возможности: персонализация

Хотя в GYG это еще не реализовано, LLM обладают большим потенциалом для персонализации. LLM могли бы создавать адаптированный контент для отдельных пользователей, используя пользовательские данные, такие как история поиска, модели бронирования и предпочтения взаимодействия. Это может включать персонализированные маршруты, рекомендации активностей и индивидуальные скидки, соответствующие уникальным туристическим интересам пользователя.

Проблемы использования LLM в GYG

После получения первоначальных переводов и сгенерированного контента команда столкнулась с несколькими проблемами при использовании LLM, особенно ChatGPT, для постредактирования локализованного контента:

Галлюцинации: Если ему не хватает конкретной информации о запросе, ChatGPT иногда генерирует неверные или вымышленные детали. Например, при переводе он может выдумывать имена, места или события, которых нет в исходном тексте, внося неточности, которые снижают качество перевода. ChatGPT также склонен отвечать на вопросы, а не строго следовать задаче перевода, что приводит к появлению непреднамеренного контента.
Утечка промпта: ChatGPT иногда добавляет лишние символы или информацию, отсутствующие в исходном промпте, что может приводить к ответам, отклоняющимся от предполагаемой цели, и делать промпт нерелевантным. Такая «утечка» нарушает ожидаемый результат, требуя дополнительных проверок и правок.
Согласованность роли: ChatGPT иногда не удается сохранять назначенную ему роль. Если промпт немного отклоняется от ожидаемого тона или содержания, ChatGPT может ответить комментариями о самой задаче, вместо того чтобы строго придерживаться инструкций. Это может мешать задачам, требующим согласованности, таким как перевод, где крайне важно сохранять фокус на задаче.

Для решения таких проблем необходим человеческий контроль, чтобы обеспечить точность и релевантность. Однако вмешательство человека может эффективно справляться с этими вопросами в приложениях малого и среднего масштаба. Ручной контроль просто непрактичен для крупных систем, скажем, с сотнями тысяч ежедневных пользователей.

Здесь мы предлагаем Retrieval-Augmented Generation (RAG) в качестве решения: предоставляя LLM внешние источники данных, RAG может уменьшать галлюцинации и устранять пробелы в знаниях, которые в противном случае потребовали бы участия человека. В следующих разделах рассматривается, как работает RAG и почему векторные базы данных делают этот подход масштабируемым и эффективным.

Retrieval-Augmented Generation (RAG) для уменьшения галлюцинаций LLM

RAG — это надежное решение для снижения галлюцинаций LLM, особенно когда запросы требуют специфических знаний за пределами обучающих данных модели. Например, если вы спросите LLM о проприетарных данных, она, скорее всего, вернет неточный ответ. RAG решает эту проблему, извлекая релевантный контекст и передавая его LLM, что позволяет ей отвечать более точно.

Стандартная конфигурация RAG сочетает LLM (например, ChatGPT), векторную базу данных (такую как Milvus или ее управляемую версию, Zilliz Cloud) и модель эмбеддингов. Разработчики могут создавать еще более продвинутые системы RAG, интегрируя дополнительные инструменты, такие как LlamaIndex, LangChain, DSPy или rerankers, каждый из которых предназначен для улучшения извлечения, повторного ранжирования или других специализированных задач ради более точных и релевантных результатов.

Figure- RAG workflow.png

Вот как работает RAG:

Векторизация: Вместо того чтобы отправлять входной запрос напрямую в LLM, модель эмбеддингов сначала кодирует запрос и любые дополнительные источники знаний в векторные эмбеддинги соответственно.
Векторное хранилище: Затем эти векторные эмбеддинги сохраняются в векторной базе данных, такой как Milvus или Zilliz Cloud, которая эффективно управляет большими объемами векторизованных данных для быстрого поиска.
Поиск по векторному сходству: Векторная база данных выполняет поиск по сходству, определяя top-k результатов, которые соответствуют контексту и семантике запроса пользователя.
Передача контекста в LLM: Результаты с наибольшим совпадением из векторного поиска передаются в LLM вместе с исходным запросом. Это предоставляет LLM релевантную, актуальную информацию, помогая уменьшить галлюцинации и повысить точность ответов.
Генерация итогового ответа: LLM объединяет свои предварительно обученные знания с извлеченным контекстом, чтобы сформировать более точный, хорошо обоснованный ответ.

Этот подход позволяет LLM эффективно обрабатывать сложные или специфические вопросы, даже если у нее нет прямого обучения по этой теме.

RAG против дообучения модели

RAG и дообучение оба улучшают LLM, но разными способами. RAG обогащает ответы, подтягивая релевантную, актуальную информацию из внешних источников в реальном времени, что делает его идеальным для случаев, когда информация часто меняется или охватывает широкий спектр тем. Этот подход позволяет LLM обрабатывать разнообразные или динамические запросы без обширного переобучения, сохраняя релевантность и снижая затраты. В отличие от этого, дообучение постоянно обновляет знания модели, корректируя ее веса на конкретном наборе данных, что делает его хорошо подходящим для приложений, требующих глубокой экспертизы в стабильной предметной области. Однако дообучение требует значительных ресурсов и менее адаптивно к быстро меняющейся информации.

В конечном итоге RAG оптимален для масштабируемых, адаптивных задач, которым нужен немедленный доступ к внешним данным, тогда как дообучение лучше всего подходит для специализированных приложений, которые выигрывают от встроенной экспертизы. Для многих сценариев использования гибкость и экономическая эффективность RAG делают его привлекательным выбором по сравнению с традиционным дообучением.

Однако вместо того чтобы рассматривать RAG и дообучение как взаимоисключающие подходы, часто выгодно видеть в них взаимодополняющие стратегии. Комплексный подход может включать дообучение LLM для улучшения ее понимания предметно-специфического языка, обеспечивая генерацию результатов, которые соответствуют конкретным потребностям вашего приложения. Одновременно использование RAG может дополнительно повысить качество и релевантность ответов, предоставляя модели актуальную, контекстно подходящую информацию, полученную из внешних источников. Эта комбинированная стратегия позволяет использовать преимущества обеих техник, в результате чего получается более надежное и эффективное решение, соответствующее как общим, так и специализированным требованиям.

Резюме

LLM вызывают большие изменения в туристической индустрии, позволяя таким компаниям, как GetYourGuide (GYG), предоставлять эффективный клиентский опыт. Благодаря таким сценариям использования, как языковой перевод и генерация контента, GYG улучшает взаимодействие своей платформы с пользователями, делая свои услуги более доступными.

Хотя использование ChatGPT и нейронных сетей глубокого обучения отлично подходит для языкового перевода и множества других задач, оно имеет свои собственные проблемы, особенно галлюцинации. RAG — широко применяемый подход к решению таких проблем путем подключения внешних знаний из векторной базы данных, такой как Milvus, к LLM для получения более точного результата.

Читать далее

Why We Built Vector Lakebase: Rethinking Unstructured Data Architecture for AI

Vector Lakebase: a unified, lake-native data foundation for AI workloads — and an answer to what happens after vector databases succeed.

Zilliz Cloud Update: Tiered Storage, Business Critical Plan, Cross-Region Backup, and Pricing Changes

This release offers a rebuilt tiered storage with lower costs, a new Business Critical plan for enhanced security, and pricing updates, among other features.

Zilliz Cloud Update: Smarter Autoscaling for Cost Savings, Stronger Compliance with Audit Logs, and More

What's new in Zilliz Cloud? Smarter autoscaling with scale-down, audit logs GA, enhanced SSO, and Milvus 2.6 in Private Preview.