Die Rolle von LLMs im modernen Reisen: Chancen und Herausforderungen voraus
Large Language Models (LLMs) sind zu einem bedeutenden Treiber für Innovationen in allen Branchen geworden. Sie ermöglichen es Systemen, natürliche Sprache wie Menschen zu verstehen, zu generieren und mit ihr zu interagieren. GetYourGuide (GYC), ein Online-Marktplatz für Reiseerlebnisse, nutzt LLMs, um neue Entwicklungen im Tourismussektor voranzutreiben.
Bei einem kürzlich von Zilliz veranstalteten Berlin Unstructured Data Meetup teilte Meghna Satish, Machine Learning Engineer bei GetYourGuide, Einblicke in ihren Weg mit LLMs. Sie sprach über die Produkte, die sie entwickelt haben, ihre Herausforderungen und darüber, wie LLMs Reiseplattformen verändert haben, indem sie Kundenerlebnisse und Nutzerinteraktionen verbessern.
In diesem Blog fassen wir ihre wichtigsten Punkte zusammen und untersuchen, wie LLMs mit der Milvus-Vektordatenbank integriert werden können, um häufige Probleme wie Halluzinationen anzugehen. Weitere Details finden Sie in der vollständigen Aufzeichnung ihres Vortrags auf YouTube.
Wie GYG LLMs nutzt, um seine Services zu verbessern
LLMs haben nahezu jede Branche verändert, und der Tourismus ist keine Ausnahme. GetYourGuide (GYG), ein Online-Marktplatz für Reisedienstleistungen und Erlebnisse, erkennt die Leistungsfähigkeit von LLMs, um Kundenerlebnisse zu verbessern, Abläufe zu optimieren und effizientere Services bereitzustellen.
Inhaltsübersetzung und Lokalisierung
Eine der wichtigsten Anwendungen von LLMs bei GYG ist die Inhaltsübersetzung und Lokalisierung. Durch den Abbau von Sprachbarrieren ermöglichen LLMs die Echtzeitübersetzung von Reiseinformationen, einschließlich Artikeln, Hotelbeschreibungen und Bewertungen, sodass Nutzer in verschiedenen Regionen Inhalte in ihrer Muttersprache verstehen können. Dieser lokalisierte Ansatz fördert das Engagement, indem jedem Nutzer relevante, zugängliche Informationen angeboten werden.
GYG setzt für Übersetzungen auf ChatGPT, da es hochwertige Übersetzungen liefert, die mit der Tonalität von GYG übereinstimmen. Allerdings ist die Verteilung der Trainingsdaten von ChatGPT stark auf Englisch ausgerichtet, mit rund 50 % seiner Quellen auf Englisch, 6 % auf Spanisch, 32 % in europäischen und 18 % in asiatischen Sprachen. Um potenziellen Verzerrungen entgegenzuwirken und Genauigkeit sicherzustellen, verfolgt GYG einen hybriden Ansatz, bei dem ChatGPT-Übersetzungen mit zusätzlichen neuronalen Deep-Learning-Netzwerken für das Post-Editing kombiniert werden, wodurch eine ausgewogenere, kulturell sensible Lokalisierung erreicht wird.
Inhaltserstellung und Kundensupport
GYG nutzt LLMs auch, um die Inhaltserstellung zu optimieren, von KI-gestützten Tourbeschreibungen bis hin zu umfassenden Reiseführern für Reiseziele und Reiseblogs. Durch die Automatisierung der Inhaltserstellung helfen LLMs dabei, die Plattform von GYG aktuell und ansprechend zu halten, indem sie Reisenden aktuelle Informationen bereitstellen und gleichzeitig dem Content-Team wertvolle Zeit verschaffen.
Zusätzlich zur Erstellung von Inhalten unterstützen LLMs den Kundenservice, indem sie große Mengen an Anfragen über automatisierte FAQs und mehrstufige Konversationen bearbeiten. Dies reduziert den Bedarf an menschlichen Support-Teams, sodass sie sich auf komplexere Fälle konzentrieren können, während die Betriebskosten sinken. LLM-gestützte Antworten stellen sicher, dass Kunden schnelle, präzise Antworten erhalten, und verbessern so das gesamte Nutzererlebnis.
Zukünftige Möglichkeiten: Personalisierung
Obwohl sie bei GYG noch nicht implementiert sind, haben LLMs großes Potenzial für Personalisierung. LLMs könnten maßgeschneiderte Inhalte für einzelne Nutzer erstellen, indem sie Nutzerdaten wie Suchverlauf, Buchungsmuster und Interaktionspräferenzen nutzen. Dazu könnten personalisierte Reisepläne, Aktivitätsempfehlungen und individuell angepasste Rabatte gehören, die auf die einzigartigen Reiseinteressen eines Nutzers abgestimmt sind.
Herausforderungen bei der Nutzung von LLMs bei GYG
Nach den ersten Übersetzungen und der Content-Generierung stieß das Team bei der Nutzung von LLMs, insbesondere ChatGPT, für die Nachbearbeitung von Lokalisierungsinhalten auf mehrere Herausforderungen:
Halluzination: Wenn ChatGPT spezifische Informationen zur Anfrage fehlen, generiert es manchmal falsche oder erfundene Details. Beispielsweise kann es bei der Übersetzung Namen, Orte oder Ereignisse erfinden, die im Originaltext nicht vorkommen, wodurch Ungenauigkeiten entstehen, die die Übersetzungsqualität beeinträchtigen. ChatGPT neigt außerdem dazu, Fragen zu beantworten, anstatt sich strikt an die Übersetzungsaufgabe zu halten, was zu unbeabsichtigten Inhalten führt.
Prompt Leakage: ChatGPT fügt gelegentlich zusätzliche Zeichen oder Informationen hinzu, die im ursprünglichen Prompt nicht vorhanden sind. Dies kann zu Antworten führen, die vom beabsichtigten Zweck abweichen und den Prompt irrelevant machen. Dieses „Leakage“ stört die beabsichtigte Ausgabe und erfordert zusätzliche Prüfungen und Bearbeitungen.
Rollenkonsistenz: ChatGPT gelingt es manchmal nicht, seine zugewiesene Rolle beizubehalten. Wenn ein Prompt leicht vom erwarteten Ton oder Inhalt abweicht, kann ChatGPT mit Kommentaren zur Aufgabe selbst reagieren, anstatt sich strikt an die Anweisungen zu halten. Dies kann Aufgaben beeinträchtigen, die Konsistenz erfordern, wie etwa Übersetzungen, bei denen die Konzentration auf die Aufgabe entscheidend ist.
Um solche Herausforderungen zu bewältigen, ist menschliche Aufsicht erforderlich, um Genauigkeit und Relevanz sicherzustellen. Allerdings kann menschliches Eingreifen diese Probleme bei kleinen bis mittelgroßen Anwendungen möglicherweise effektiv bewältigen. Manuelle Aufsicht ist für große Systeme, etwa mit Hunderttausenden täglichen Nutzern, schlicht nicht praktikabel.
Hier bieten wir Retrieval-Augmented Generation (RAG) als Lösung an: Durch die Einspeisung externer Datenquellen in das LLM kann RAG Halluzinationen mindern und Wissenslücken schließen, die andernfalls menschliche Eingaben erfordern würden. In den folgenden Abschnitten wird erläutert, wie RAG funktioniert und warum Vektordatenbanken diesen Ansatz skalierbar und effektiv machen.
Retrieval-Augmented Generation (RAG) zur Minderung von LLM-Halluzinationen
RAG ist eine robuste Lösung zur Reduzierung von LLM-Halluzinationen, insbesondere wenn Anfragen spezifisches Wissen außerhalb der Trainingsdaten des Modells erfordern. Wenn Sie ein LLM beispielsweise nach proprietären Daten fragen, wird es wahrscheinlich eine ungenaue Antwort zurückgeben. RAG löst dieses Problem, indem es relevanten Kontext abruft und an das LLM weitergibt, sodass es genauer antworten kann.
Ein standardmäßiges RAG-Setup kombiniert ein LLM (wie ChatGPT), eine Vektordatenbank (wie Milvus oder dessen verwaltete Version, Zilliz Cloud) und ein Einbettungsmodell. Entwickler können noch fortschrittlichere RAG-Systeme entwickeln, indem sie zusätzliche Tools wie LlamaIndex, LangChain, DSPy oder Reranker integrieren, die jeweils darauf zugeschnitten sind, Retrieval, Re-Ranking oder andere spezialisierte Aufgaben für genauere und relevantere Ausgaben zu verbessern.
Figure- RAG workflow.png
So funktioniert RAG:
Vektorisierung: Anstatt die Eingabeabfrage direkt an das LLM zu senden, kodiert ein Embedding-Modell zunächst die Abfrage bzw. alle zusätzlichen Wissensquellen in Vektor-Embeddings.
Vektorspeicherung: Diese Vektor-Embeddings werden dann in einer Vektordatenbank wie Milvus oder Zilliz Cloud gespeichert, die große Mengen vektorisierter Daten effizient verwaltet, um einen schnellen Abruf zu ermöglichen.
Vektorähnlichkeitssuche: Die Vektordatenbank führt eine Ähnlichkeitssuche durch und identifiziert die Top-k-Ergebnisse, die zum Kontext und zur Semantik der Benutzerabfrage passen.
Übergabe des Kontexts an das LLM: Die am besten passenden Ergebnisse aus der Vektorsuche werden zusammen mit der ursprünglichen Abfrage in das LLM eingespeist. Dadurch erhält das LLM relevante, aktuelle Informationen, was dazu beiträgt, Halluzinationen zu reduzieren und die Antwortgenauigkeit zu verbessern.
Generierung der finalen Antwort: Das LLM kombiniert sein vortrainiertes Wissen mit dem abgerufenen Kontext, um eine genauere, fundiertere Antwort zu erzeugen.
Dieser Ansatz ermöglicht es dem LLM, komplexe oder spezifische Fragen effektiv zu bearbeiten, selbst wenn es nicht direkt zu dem Thema trainiert wurde.
RAG vs. Fine-Tuning eines Modells
RAG und Fine-Tuning verbessern beide LLMs, jedoch auf unterschiedliche Weise. RAG bereichert Antworten, indem relevante, aktuelle Informationen aus externen Quellen in Echtzeit herangezogen werden, wodurch es sich ideal für Fälle eignet, in denen sich Informationen häufig ändern oder ein breites Themenspektrum abdecken. Dieser Ansatz ermöglicht es dem LLM, vielfältige oder dynamische Abfragen ohne umfangreiches erneutes Training zu bearbeiten, dabei relevant zu bleiben und Kosten zu senken. Im Gegensatz dazu aktualisiert Fine-Tuning das Wissen des Modells dauerhaft, indem seine Gewichte anhand eines bestimmten Datensatzes angepasst werden, wodurch es sich gut für Anwendungen eignet, die tiefgehende Expertise in einem stabilen Bereich erfordern. Allerdings ist Fine-Tuning ressourcenintensiv und weniger anpassungsfähig an sich schnell ändernde Informationen.
Letztendlich ist RAG optimal für skalierbare, anpassungsfähige Aufgaben, die sofortigen Zugriff auf externe Daten benötigen, während Fine-Tuning am besten für spezialisierte Anwendungen geeignet ist, die von eingebetteter Expertise profitieren. Für viele Anwendungsfälle machen die Flexibilität und Kosteneffizienz von RAG es zu einer attraktiven Wahl gegenüber traditionellem Fine-Tuning.
Anstatt RAG und Fine-Tuning jedoch als sich gegenseitig ausschließende Optionen zu betrachten, ist es oft vorteilhaft, sie als komplementäre Strategien zu sehen. Ein ausgewogener Ansatz könnte darin bestehen, das LLM feinzujustieren, um sein Verständnis domänenspezifischer Sprache zu verbessern und sicherzustellen, dass es Ausgaben erzeugt, die den besonderen Anforderungen Ihrer Anwendung entsprechen. Gleichzeitig kann der Einsatz von RAG die Qualität und Relevanz der Antworten weiter steigern, indem dem Modell aktuelle, kontextuell passende Informationen aus externen Quellen bereitgestellt werden. Diese kombinierte Strategie ermöglicht es Ihnen, die Stärken beider Techniken zu nutzen, was zu einer robusteren und effektiveren Lösung führt, die sowohl allgemeine als auch spezialisierte Anforderungen erfüllt.
Zusammenfassung
LLMs bewirken einen großen Wandel in der Reisebranche und ermöglichen es Unternehmen wie GetYourGuide (GYG), effiziente Kundenerlebnisse bereitzustellen. Durch Anwendungsfälle wie Sprachübersetzung und Content-Erstellung verbessert GYG die Art und Weise, wie seine Plattform mit ihren Nutzern interagiert, und macht seine Dienste zugänglicher.
Obwohl der Einsatz von ChatGPT und neuronalen Deep-Learning-Netzwerken hervorragend für Sprachübersetzung und viele andere Aufgaben funktioniert, bringt er eigene Herausforderungen mit sich, insbesondere Halluzinationen. RAG ist ein weit verbreiteter Ansatz zur Bewältigung solcher Probleme, indem externes Wissen aus einer Vektordatenbank wie Milvus mit dem LLM verbunden wird, um genauere Ausgaben zu erzielen.
Empfohlene Ressourcen
Weiterlesen

Zilliz Named "Highest Performer" and "Easiest to Use" in G2's Summer 2025 Grid® Report for Vector Databases
Zilliz shines in G2's Summer 2025 Grid® Report as both "Highest Performer" and "Easiest to Use," solving the performance-usability dilemma.

Why AI Databases Don't Need SQL
Whether you like it or not, here's the truth: SQL is destined for decline in the era of AI.

DeepRAG: Thinking to Retrieval Step by Step for Large Language Models
Discover DeepRAG, an advanced retrieval-augmented generation (RAG) model that improves LLM accuracy by retrieving only essential data through step-by-step reasoning.



