블로그
현대 여행에서 LLM의 역할: 앞으로의 기회와 과제

현대 여행에서 LLM의 역할: 앞으로의 기회와 과제

Oct 25, 20247 min read

대규모 언어 모델(LLMs)은 산업 전반에서 혁신을 이끄는 중요한 동력이 되었습니다. 이들은 시스템이 인간처럼 자연어를 이해하고, 생성하며, 상호작용할 수 있게 합니다. 여행 경험을 위한 온라인 마켓플레이스인 GetYourGuide(GYC)는 관광 부문의 새로운 발전을 추진하기 위해 LLMs를 사용해 왔습니다.

최근 Zilliz가 주최한 Berlin Unstructured Data Meetup에서 GetYourGuide의 머신러닝 엔지니어인 Meghna Satish는 LLMs와 함께한 여정에 대한 인사이트를 공유했습니다. 그녀는 그들이 구축한 제품, 직면한 과제, 그리고 LLMs가 고객 경험과 사용자 상호작용을 개선함으로써 여행 플랫폼을 어떻게 재편했는지에 대해 논의했습니다.

이 블로그에서는 그녀의 핵심 내용을 요약하고, 환각과 같은 일반적인 문제를 해결하기 위해 LLMs를 Milvus 벡터 데이터베이스와 통합하는 방법을 살펴보겠습니다. 자세한 내용은 YouTube에서 그녀의 발표 전체 다시 보기를 시청하세요.

GYG가 서비스를 개선하기 위해 LLMs를 사용하는 방법

LLMs는 거의 모든 산업을 변화시켰으며, 관광도 예외는 아닙니다. 여행 서비스와 경험을 위한 온라인 마켓플레이스인 GetYourGuide(GYG)는 고객 경험을 향상하고, 운영을 간소화하며, 더 효율적인 서비스를 제공하는 데 있어 LLMs의 힘을 인식하고 있습니다.

콘텐츠 번역 및 현지화

GYG에서 LLMs의 주요 활용 사례 중 하나는 콘텐츠 번역 및 현지화입니다. 언어 장벽을 허물어 LLMs는 기사, 호텔 설명, 리뷰를 포함한 여행 정보의 실시간 번역을 가능하게 하여, 다양한 지역의 사용자가 자신의 모국어로 콘텐츠를 이해할 수 있도록 합니다. 이러한 현지화 접근 방식은 각 사용자에게 관련성 있고 접근 가능한 정보를 제공함으로써 참여를 촉진합니다.

GYG는 GYG의 어조에 부합하는 고품질 번역을 제공하기 때문에 번역 수행에 ChatGPT를 활용합니다. 그러나 ChatGPT의 학습 데이터 분포는 영어에 크게 치우쳐 있으며, 출처의 약 50%가 영어, 6%가 스페인어, 32%가 유럽 언어, 18%가 아시아 언어입니다. 잠재적 편향에 대응하고 정확성을 보장하기 위해 GYG는 ChatGPT 번역과 후편집을 위한 추가 딥러닝 신경망을 결합하는 하이브리드 접근 방식을 사용하여, 더 균형 잡히고 문화적으로 민감한 현지화를 달성합니다.

콘텐츠 생성 및 고객 지원

GYG는 AI 지원 투어 설명부터 포괄적인 목적지 가이드와 여행 블로그에 이르기까지 콘텐츠 제작을 간소화하는 데에도 LLMs를 사용합니다. 콘텐츠 생성을 자동화함으로써 LLMs는 GYG 플랫폼을 신선하고 매력적으로 유지하도록 돕고, 콘텐츠 팀의 소중한 시간을 확보하는 동시에 여행자에게 최신 정보를 제공합니다.

콘텐츠 생성 외에도 LLMs는 자동화된 FAQ와 다중 턴 대화를 통해 대량의 문의를 처리함으로써 고객 서비스를 지원합니다. 이는 인간 지원 팀에 대한 수요를 줄여, 운영 비용을 낮추는 동시에 더 복잡한 사례에 집중할 수 있도록 합니다. LLM 기반 응답은 고객이 신속하고 정확한 답변을 받을 수 있게 하여 전반적인 사용자 경험을 향상합니다.

미래 가능성: 개인화

아직 GYG에 구현되지는 않았지만, LLM은 개인화에 큰 잠재력을 가지고 있습니다. LLM은 검색 기록, 예약 패턴, 상호작용 선호도와 같은 사용자 데이터를 활용하여 개별 사용자에게 맞춤형 콘텐츠를 생성할 수 있습니다. 여기에는 사용자의 고유한 여행 관심사에 맞춘 개인화된 일정, 활동 추천, 맞춤형 할인 등이 포함될 수 있습니다.

GYG에서 LLM을 사용할 때의 과제

초기 번역 및 콘텐츠 생성을 얻은 후, 팀은 LLM, 특히 ChatGPT를 포스트에디팅 현지화 콘텐츠에 사용할 때 여러 과제에 직면했습니다.

환각: 쿼리에 대한 특정 정보가 부족한 경우, ChatGPT는 때때로 부정확하거나 조작된 세부 정보를 생성합니다. 예를 들어, 번역을 수행할 때 원문에 없는 이름, 장소 또는 사건을 지어내어 번역 품질을 저해하는 부정확성을 초래할 수 있습니다. 또한 ChatGPT는 번역 작업을 엄격히 따르기보다는 질문에 답하려는 경향이 있어 의도치 않은 콘텐츠로 이어질 수 있습니다.
프롬프트 누출: ChatGPT는 때때로 원래 프롬프트에 없는 추가 문자나 정보를 덧붙이며, 이는 의도한 목적에서 벗어난 응답으로 이어지고 프롬프트를 무의미하게 만들 수 있습니다. 이러한 "누출"은 의도한 출력을 방해하여 추가적인 확인과 편집을 필요로 합니다.
역할 일관성: ChatGPT는 때때로 부여된 역할을 유지하지 못합니다. 프롬프트가 예상된 어조나 내용에서 조금만 벗어나도, ChatGPT는 지침을 엄격히 따르기보다는 작업 자체에 대한 논평으로 응답할 수 있습니다. 이는 번역처럼 작업에 대한 집중을 유지하는 것이 필수적인, 일관성을 요구하는 작업을 방해할 수 있습니다.

이러한 과제를 해결하려면 정확성과 관련성을 보장하기 위한 사람의 감독이 필요합니다. 그러나 소규모에서 중간 규모의 애플리케이션에서는 사람의 개입으로 이러한 문제를 효과적으로 관리할 수 있을지 모릅니다. 매일 수십만 명의 사용자가 있는 대규모 시스템에서는 수동 감독이 전혀 실현 가능하지 않습니다.

여기서 우리는 해결책으로 검색 증강 생성(Retrieval-Augmented Generation, RAG)을 제안합니다. LLM에 외부 데이터 소스를 제공함으로써, RAG는 환각을 완화하고 그렇지 않으면 사람의 입력이 필요했을 지식 격차를 메울 수 있습니다. 다음 섹션에서는 RAG가 어떻게 작동하는지, 그리고 왜 벡터 데이터베이스가 이 접근 방식을 확장 가능하고 효과적으로 만드는지 설명합니다.

LLM 환각 완화를 위한 검색 증강 생성(RAG)

RAG는 특히 쿼리가 모델의 학습 데이터 밖에 있는 특정 지식을 요구할 때 LLM 환각을 줄이는 강력한 솔루션입니다. 예를 들어, LLM에게 독점 데이터에 대해 질문하면 부정확한 응답을 반환할 가능성이 높습니다. RAG는 관련 맥락을 검색해 LLM에 제공함으로써 이 문제를 해결하고, LLM이 더 정확하게 답변할 수 있도록 합니다.

표준 RAG 구성은 LLM(예: ChatGPT), 벡터 데이터베이스(예: Milvus 또는 그 관리형 버전인 Zilliz Cloud), 그리고 임베딩 모델을 결합합니다. 개발자는 LlamaIndex, LangChain, DSPy, 또는 리랭커와 같은 추가 도구를 통합하여 더욱 고급 RAG 시스템을 구축할 수 있으며, 각각은 더 정확하고 관련성 높은 출력을 위해 검색, 재순위화 또는 기타 전문 작업을 향상하도록 맞춤화됩니다.

Figure- RAG workflow.png

RAG가 작동하는 방식은 다음과 같습니다.

벡터화: 입력 쿼리를 LLM에 직접 보내는 대신, 임베딩 모델이 먼저 쿼리와 추가 지식 소스를 각각 벡터 임베딩으로 인코딩합니다.
벡터 저장: 그런 다음 이러한 벡터 임베딩은 Milvus 또는 Zilliz Cloud와 같은 벡터 데이터베이스에 저장되며, 이는 빠른 검색을 위해 대량의 벡터화된 데이터를 효율적으로 관리합니다.
벡터 유사도 검색: 벡터 데이터베이스는 유사도 검색을 수행하여 사용자의 쿼리의 문맥과 의미에 맞는 상위 k개 결과를 식별합니다.
LLM에 컨텍스트 전달: 벡터 검색에서 나온 최상위 일치 결과가 원래 쿼리와 함께 LLM에 입력됩니다. 이를 통해 LLM에 관련성 있고 최신의 정보를 제공하여 환각을 줄이고 응답 정확도를 향상하는 데 도움이 됩니다.
최종 응답 생성: LLM은 사전 학습된 지식과 검색된 컨텍스트를 결합하여 더 정확하고 정보에 기반한 응답을 생성합니다.

이 접근 방식은 LLM이 해당 주제에 대해 직접 학습한 적이 없더라도 복잡하거나 구체적인 질문을 효과적으로 처리할 수 있게 합니다.

RAG vs. 모델 Fine tuning

RAG와 fine-tuning은 모두 LLM을 개선하지만 서로 다른 방식으로 작동합니다. RAG는 외부 소스에서 관련성 있고 최신의 정보를 실시간으로 가져와 응답을 풍부하게 하므로, 정보가 자주 변경되거나 광범위한 주제를 포괄하는 경우에 이상적입니다. 이 접근 방식은 LLM이 광범위한 재학습 없이도 다양한 또는 동적인 쿼리를 처리할 수 있게 하며, 관련성을 유지하고 비용을 줄입니다. 반면, fine-tuning은 특정 데이터셋에 대해 가중치를 조정하여 모델의 지식을 영구적으로 업데이트하므로, 안정적인 도메인에서 깊은 전문성이 필요한 애플리케이션에 적합합니다. 그러나 fine-tuning은 리소스 집약적이며 빠르게 변화하는 정보에 대한 적응력이 낮습니다.

궁극적으로 RAG는 외부 데이터에 즉시 접근해야 하는 확장 가능하고 적응력 있는 작업에 최적이며, fine-tuning은 내재된 전문성의 이점을 얻는 특화된 애플리케이션에 가장 적합합니다. 많은 사용 사례에서 RAG의 유연성과 비용 효율성은 전통적인 fine-tuning보다 매력적인 선택지가 됩니다.

그러나 RAG와 fine-tuning을 상호 배타적인 것으로 보기보다는, 상호 보완적인 전략으로 보는 것이 유리한 경우가 많습니다. 균형 잡힌 접근 방식은 도메인별 언어에 대한 이해를 향상하기 위해 LLM을 fine-tuning하여 애플리케이션의 특정 요구 사항을 충족하는 출력을 생성하도록 보장하는 것을 포함할 수 있습니다. 동시에 RAG를 사용하면 외부 소스에서 가져온 최신의 문맥적으로 적절한 정보를 모델에 제공하여 응답의 품질과 관련성을 더욱 높일 수 있습니다. 이 결합 전략을 통해 두 기법의 강점을 활용할 수 있으며, 일반적인 요구 사항과 특화된 요구 사항을 모두 충족하는 더 견고하고 효과적인 솔루션을 만들 수 있습니다.

요약

LLM은 여행 산업에 큰 변화를 가져오고 있으며, GetYourGuide (GYG)와 같은 회사가 효율적인 고객 경험을 제공할 수 있게 합니다. 언어 번역 및 콘텐츠 생성과 같은 사용 사례를 통해 GYG는 플랫폼이 사용자와 상호작용하는 방식을 향상하여 서비스를 더 접근 가능하게 만듭니다.

ChatGPT와 딥러닝 신경망을 사용하는 것은 언어 번역과 그 외 많은 작업에 매우 효과적이지만, 특히 환각과 같은 자체적인 과제를 동반합니다. RAG는 Milvus와 같은 벡터 데이터베이스의 외부 지식을 LLM에 연결하여 더 정확한 출력을 얻음으로써 이러한 문제를 해결하기 위해 널리 채택된 접근 방식입니다.

계속 읽기

Why Teams Are Migrating from Weaviate to Zilliz Cloud — and How to Do It Seamlessly

Explore how Milvus scales for large datasets and complex queries with advanced features, and discover how to migrate from Weaviate to Zilliz Cloud.

Expanding Our Global Reach: Zilliz Cloud Launches in Azure Central India

Zilliz Cloud expands to Azure Central India. This new region helps customers meet compliance, reduce latency, and optimize cloud costs when building AI applications.

How to Use Anthropic MCP Server with Milvus

MCP + Milvus: Streamline AI agent development with standardized data access, eliminating integration hassles while enhancing context and flexibility.