Full RAG: Eine moderne Architektur für Hyperpersonalisierung
Personalisierung ist für viele nutzerzentrierte Produkte der Schlüssel zur langfristigen Kundenbindung. Beispielsweise können Netflix oder Disney die Nutzerzufriedenheit durch personalisierte Filmempfehlungen sicherstellen; Essensliefer-Apps können Restaurants und Gerichte basierend auf früheren Bestellungen vorschlagen usw. Künstliche Intelligenz bietet verschiedene Techniken, um die historischen Daten des Kunden zu nutzen und Personalisierung in Produkten bereitzustellen.
Mike Del Balso, CEO und Mitgründer von Tecton, hielt kürzlich beim Unstructured Data Meetup, das von Zilliz veranstaltet wurde, einen Vortrag über die Nutzung der RAG-Architektur zur Verbesserung der Personalisierung von KI-Empfehlungsmaschinen.
Mike teilte eine interessante Tatsache, die er in einem Beratungsbericht gelesen hatte: “Durch KI-gestützte Personalisierung werden dem globalen BIP voraussichtlich 5 Billionen Dollar an Wert hinzugefügt.” Er stellte außerdem eine Architektur basierend auf Retrieval Augmented Generation(RAG) vor, um Hyper-Personalisierung zu erreichen.
Dieser Beitrag fasst seine wichtigsten Erkenntnisse zu KI-gestützter Personalisierung zusammen und zeigt, wie Unternehmen ihre Produkte mit künstlicher Intelligenz stärken können.
Sieh dir die Aufzeichnung von Mikes Vortrag an
Personalisierung mit generativen KI-Modellen
Mike beginnt mit einem Anwendungsbeispiel: dem Aufbau eines Produkts ähnlich wie Booking.com oder MakeMyTrip, jedoch mit hyperpersonalisierten Reiseempfehlungen.
Large Language Models (LLMs) wie GPT werden auf riesigen Textkorpora trainiert und können Reiseempfehlungen generieren. Wenn wir beispielsweise ein LLM fragen: „Wohin sollte ich diesen Sommer reisen ?“, erhalten wir Antworten basierend auf den beliebtesten Sommerzielen, wie Paris oder Tokio. Aber wir brauchen eine Möglichkeit, diese Empfehlungen auf einzelne Kunden zuzuschneiden.
Zwei Techniken stehen zur Verfügung, um Ihr Empfehlungsmodell zu verbessern: Fine-Tuning und Prompt Engineering.
Während diese Techniken die Antwort des Modells basierend auf den verfügbaren Trainingsdaten relevanter machen können, bieten sie keine Möglichkeit, die Eingabedaten des Kunden einzubeziehen. Full-RAG ist eine Methode, die dieses Problem lösen kann. Bevor wir verstehen, was Full-RAG ist und wie es funktioniert, fassen wir noch einmal zusammen, wie traditionelles RAG funktioniert.
Einführung in RAG
Retrieval Augmented Generation (RAG) ist eine Technik, die die Antwort großer Sprachmodelle hinsichtlich Qualität und Relevanz verbessert. Eine RAG Engine besteht in der Regel aus zwei Schlüsselkomponenten: einem Retriever und einem Generator. Ein Retriever kombiniert ein Embedding-Modell und eine Vektordatenbank wie Milvus oder Zilliz Cloud, und ein Generator ist das LLM.
In der Retrieval-Phase durchsuchen wir die Vektordatenbank, die alle Dokumente speichert, und wählen die relevantesten aus. Die Top-K-Dokumente oder -Kandidaten werden ausgewählt und dann als Eingabe an das generative KI-Modell übergeben. Das Modell generiert mithilfe der Anfrage und der Top-K-Kandidaten eine kohärente Antwort.
Die folgende RAG-Pipeline erklärt, wie traditionelles RAG funktioniert.
Alle Dokumente werden in Vektoreinbettungen umgewandelt und in einer Vektordatenbank gespeichert.
Die Nutzeranfrage wird ebenfalls in eine Vektoreinbettung umgewandelt.
Wir verwenden diesen Vektor, um die ähnlichsten Kandidaten aus der Vektordatenbank abzurufen.
Diese Top-Kandidaten, wie Paris und Tokio, werden an ein LLM gesendet, das die Antwort generiert.
Die hier abgerufenen Top-Kandidaten haben jedoch keinen Kontext zu den Vorlieben und Abneigungen des jeweiligen Nutzers, daher sind sie „Unkontextualisierte Kandidaten“.
Full-RAG: Kontext in der Retrieval-Pipeline hinzufügen
Da die abgerufenen Kandidaten in einer einfachen RAG-Pipeline unkontextualisiert sind, müssen wir diesen Kontext hinzufügen, um bessere Antworten zu erhalten. Ziel ist es, eine Engine mit hohem Kontext und hoher Expertise aufzubauen.
Mike betont, wie die Bereitstellung von Kontext abgerufene Informationen anreichern kann: „_Kontext sind die relevanten Informationen, die KI-Modelle nutzen, um eine Situation zu verstehen und Entscheidungen zu treffen.“
Im vorherigen Anwendungsfallbeispiel zum Aufbau eines KI-Reiseagenten können wir dem Modell auf zwei Arten Kontext hinzufügen:
1: Kontext der Kandidaten (Orte) hinzufügen: Bei der Empfehlung einer Stadt sollte sich das Modell der Details der Dynamik bewusst sein. Zum Beispiel des aktuellen Wetters, der Art der Aktivitäten, berühmter lokaler Küchen, eines ungefähren Budgets, historischer oder kultureller Sehenswürdigkeiten, die besucht werden können, usw. Diese Informationen helfen Nutzern, ihren Urlaub zu planen.
- Personalisierter Nutzerkontext: Dies bezieht sich darauf, Informationen darüber bereitzustellen, wer der Nutzer ist und welche Präferenzen und Einschränkungen er hat. Diese Informationen reichern die abgerufenen Top-Kandidaten mit Informationen auf Nutzerebene an. Zum Beispiel durch Kontext zu Fragen wie:
Interessiert sich der Nutzer für Geschichte?
Welches Klima würde der Nutzer bevorzugen?
Wird der Nutzer an Abenteuersportaktivitäten interessiert sein?
Welche Art von Unterkunft bevorzugt er?
Mit Kontext dazu, was eine Stadt bietet und was der Nutzer möchte, kann das KI-Modell das passende Reiseziel besser zuordnen. Darüber hinaus kann es Aktivitäten, Veranstaltungen und Unterkunftsoptionen vorschlagen, die auf die Präferenzen des Nutzers zugeschnitten sind.
Wie können wir mit Tecton großartige personalisierte Kontexte erstellen?
Tecton hat eine Feature-Plattform entwickelt, um verschiedene Geschäftsdatenquellen zu integrieren. Sie können den personalisierten Kontext, den wir dem Empfehlungsalgorithmus bereitstellen müssen, einfach erstellen und verwalten. Die Feature-Plattform nimmt den Kandidaten und relevante Nutzerdaten und ruft kontextualisierte Kandidaten aus einer Vektordatenbank wie Milvus ab.
Die personalisierten Kontexte können auf vier allgemeinen Ebenen aufgebaut und verwaltet werden.
Ebene 0: Basis
Dies ist die Basisschicht oder der Ausgangspunkt, ohne zusätzliche Informationen. Das folgende Diagramm zeigt, wie ein RAG mit null Kontextinformationen funktioniert.
Ebene 1: Batch-Kontext
Die nächste Ebene stellt historische Daten bereit, wie z. B. Reisehistorie, Lieblingsaktivitäten usw. Die Implementierung dieser Ebene ist herausfordernd, da Sie Pipelines erstellen müssen, um Daten aus verschiedenen Warehouses oder Data Lakes abzurufen und zu verknüpfen. Außerdem müssten Sie historische Evaluierungsdatensätze für Benchmarking und Entwicklung erstellen.
Tectons Feature-Plattform vereinfacht den Prozess der Erstellung von Batch-Kontext. Sie können mit einer einfachen Kontextdefinition beginnen, wie „Welche fünf Orte hat dieser Nutzer zuletzt besucht?“. Die Plattform bietet außerdem ein Python SDK, um Ihre Definition zu programmieren, und unterstützt das Lesen und Auswerten der Daten in Echtzeit.
In dieser Phase kann Ihr Empfehlungs-LLM Erkenntnisse aus historischem Kontext ziehen und Vorschläge machen. Wenn der Nutzer beispielsweise in der Vergangenheit viele historische Stätten besucht hat, würde es einen Besuch der Tempel der antiken Stadt Kyoto vorschlagen.
Ebene 2: Batch- + Streaming-Datenkontext
Das Hinzufügen von Streaming-Informationen über den Nutzer, wie etwa die Filme, Videos und Blogs, die er ansieht und liest, kann unserem Modell helfen, seine aktuellen Interessen zu verstehen. Diese Streaming-Informationen können die Suchdaten, Kaufdaten oder Sitzungsinteraktionen des Nutzers auf Webseiten umfassen.
Die Herausforderung besteht hier darin, Streaming-Datenpipelines zu integrieren und produktionsreif zu machen. Bei der Implementierung im großen Maßstab können die Kosten sowohl für den Modellaufbau als auch für die Echtzeit-Inferenz höher sein.
Tecton vereinfacht den Aufbau von Streaming-Kontext. Zum Beispiel beginnt es mit einer einfachen Kontextdefinition: „Über welche Themen hat der Nutzer in der vergangenen Stunde ein Video angesehen?“. Dies kann in das Python SDK der Plattform codiert werden. Wir können es testen, in die Produktion bereitstellen und in Echtzeit nutzen. Die Empfehlung in dieser Phase ist deutlich besser als die vorherige. Wenn der Nutzer beispielsweise nach Flügen nach Japan gesucht hat und gehobene Küche liebt, wird das LLM ein kulinarisches Erlebnis in Japan kuratieren.
Level 3: Batch + Streaming-Daten + Echtzeit-Kontext
Die nächste Phase besteht darin, Echtzeitdaten für ein hochwertiges Signal einzubringen. Dieser Kontext kann Ihrem Modell helfen, die Nutzerabsicht besser zu verstehen. Diese Daten umfassen die Suchanfragen des Nutzers und das Nachschlagen von Daten aus anderen Anwendungen in Echtzeit. Zum Beispiel müssen wir Echtzeit-Flugpreise abrufen, um die günstigste Option vorzuschlagen.
Die größte Herausforderung besteht darin, die Echtzeit-Datenquellen von Drittanbietern zu integrieren und den Kompromiss zwischen Geschwindigkeit und Kosten zu steuern. Mit personalisierten Empfehlungen in Echtzeit werden Nutzer dies als sehr wertvoll empfinden, da es ihnen Zeit spart, statt selbst zu recherchieren.
Sie könnten darüber hinaus auch einen Feedback-Level-Kontext hinzufügen. Das Feedback des Nutzers zur bereitgestellten Empfehlung kann dem Modell helfen, in die richtige Richtung zu steuern.
Fazit
Kontext kann die KI-Personalisierung in zahlreichen Fällen verbessern, etwa bei maßgeschneiderten Einkaufserlebnissen, dem Aufbau von Chatbots, der Bereitstellung persönlicher Finanzberatung oder der Empfehlung neuer Filme. Höhere Personalisierungsgrade verbessern das Produkterlebnis, aber die Schwierigkeit des Aufbaus steigt parallel dazu.
RAG ist eine wichtige Technik, um LLMs mit zusätzlichen domänenspezifischen Informationen für bessere und relevantere Informationen zu versorgen. Sie ist außerdem der Schlüssel zur langfristigen Kundenbindung für viele nutzerzentrierte GenAI-Produkte.
Ein standardmäßiges RAG umfasst einen durch eine Vektordatenbank unterstützten Retriever und einen LLM-Generator. Alle zusätzlichen Informationen werden in einer Vektordatenbank wie Milvus gespeichert, und das LLM generiert Antworten auf Grundlage der abgerufenen Informationen, die für die Nutzeranfragen relevant sind.
Obwohl ein standardmäßiges RAG-System wirksam gegen Halluzinationen ist, stößt es bei Anwendungsfällen wie der Bereitstellung hyperpersonalisierter Empfehlungen an Grenzen. Das liegt daran, dass die abgerufenen Top-k-Kandidaten möglicherweise keinen stärker personalisierten Kontext zu den Vorlieben und Abneigungen des jeweiligen Nutzers enthalten.
Tecton bietet eine Lösung, die den personalisierten Kontext für LLMs zusammenstellt und den Prozess für Unternehmen vereinfacht. Es bleiben jedoch erhebliche Herausforderungen bestehen, wie Versionskontrolle, Modell-Governance und Debugging zur Ermittlung der Ursache.
Weitere Informationen zu diesem Thema finden Sie in Mikes Meetup-Videoaufzeichnung.
Weiterlesen
How to Choose the Best Embedding Model for RAG in 2026: 10 Models Benchmarked
We benchmarked 10 embedding models on cross-modal, cross-lingual, long-document, and dimension compression tasks. See which one fits your RAG pipeline.
Introducing Business Critical Plan: Enterprise-Grade Security and Compliance for Mission-Critical AI Applications
Discover Zilliz Cloud’s Business Critical Plan—offering advanced security, compliance, and uptime for mission-critical AI and vector database workloads.
Zilliz Cloud Delivers Better Performance and Lower Costs with Arm Neoverse-based AWS Graviton
Zilliz Cloud adopts Arm-based AWS Graviton3 CPUs to cut costs, speed up AI vector search, and power billion-scale RAG and semantic search workloads.