Il ruolo degli LLM nei viaggi moderni: opportunità e sfide future
Large Language Models (LLM) sono diventati un importante motore di innovazione in tutti i settori. Consentono ai sistemi di comprendere, generare e interagire con il linguaggio naturale come gli esseri umani. GetYourGuide (GYC), un marketplace online per esperienze di viaggio, utilizza gli LLM per promuovere nuovi sviluppi nel settore del turismo.
In un recente Berlin Unstructured Data Meetup ospitato da Zilliz, Meghna Satish, Machine Learning Engineer presso GetYourGuide, ha condiviso approfondimenti sul loro percorso con gli LLM. Ha discusso dei prodotti che hanno sviluppato, delle sfide affrontate e di come gli LLM abbiano rimodellato le piattaforme di viaggio migliorando le esperienze dei clienti e le interazioni con gli utenti.
In questo blog, riepilogheremo i suoi punti chiave ed esploreremo come gli LLM possano essere integrati con il database vettoriale Milvus per affrontare problemi comuni come le allucinazioni. Per maggiori dettagli, guarda la registrazione completa del suo intervento su YouTube.
Come GYG utilizza gli LLM per migliorare i propri servizi
Gli LLM hanno trasformato quasi ogni settore, e il turismo non fa eccezione. GetYourGuide (GYG), un marketplace online per servizi ed esperienze di viaggio, riconosce il potere degli LLM nel migliorare le esperienze dei clienti, semplificare le operazioni e fornire servizi più efficienti.
Traduzione e localizzazione dei contenuti
Una delle principali applicazioni degli LLM in GYG è la traduzione e localizzazione dei contenuti. Abbattendo le barriere linguistiche, gli LLM consentono la traduzione in tempo reale delle informazioni di viaggio, inclusi articoli, descrizioni di hotel e recensioni, permettendo agli utenti di diverse regioni di comprendere i contenuti nella propria lingua madre. Questo approccio localizzato favorisce il coinvolgimento offrendo a ciascun utente informazioni pertinenti e accessibili.
GYG si affida a ChatGPT per eseguire le traduzioni, poiché fornisce traduzioni di alta qualità in linea con il tono di voce di GYG. Tuttavia, la distribuzione dei dati di addestramento di ChatGPT è fortemente orientata verso l’inglese, con circa il 50% delle sue fonti in inglese, il 6% in spagnolo, il 32% in lingue europee e il 18% in lingue asiatiche. Per contrastare potenziali bias e garantire l’accuratezza, GYG adotta un approccio ibrido, combinando le traduzioni di ChatGPT con ulteriori reti neurali di deep-learning per la post-editing, ottenendo una localizzazione più equilibrata e culturalmente sensibile.
Generazione di contenuti e assistenza clienti
GYG utilizza inoltre gli LLM per semplificare la creazione di contenuti, dalle descrizioni dei tour assistite dall’IA a guide complete sulle destinazioni e blog di viaggio. Automatizzando la generazione di contenuti, gli LLM aiutano a mantenere la piattaforma di GYG aggiornata e coinvolgente, fornendo ai viaggiatori informazioni attuali e liberando al contempo tempo prezioso per il team dei contenuti.
Oltre a generare contenuti, gli LLM supportano il servizio clienti gestendo elevati volumi di richieste tramite FAQ automatizzate e conversazioni multi-turno. Questo riduce la richiesta di team di supporto umani, consentendo loro di concentrarsi sui casi più complessi e riducendo al contempo i costi operativi. Le risposte basate su LLM garantiscono che i clienti ricevano risposte rapide e accurate, migliorando l’esperienza utente complessiva.
Possibilità future: personalizzazione
Sebbene non ancora implementati in GYG, gli LLM hanno un grande potenziale per la personalizzazione. Gli LLM potrebbero creare contenuti su misura per singoli utenti sfruttando dati utente come la cronologia delle ricerche, i modelli di prenotazione e le preferenze di interazione. Ciò potrebbe includere itinerari personalizzati, consigli sulle attività e sconti personalizzati allineati agli interessi di viaggio unici di un utente.
Sfide dell’utilizzo degli LLM in GYG
Dopo aver ottenuto le traduzioni iniziali e la generazione di contenuti, il team ha incontrato diverse sfide nell’utilizzo degli LLM, in particolare ChatGPT, per la post-editing dei contenuti di localizzazione:
Allucinazione: Se non dispone di informazioni specifiche sulla query, ChatGPT a volte genera dettagli errati o inventati. Ad esempio, può inventare nomi, luoghi o eventi non presenti nel testo originale quando esegue la traduzione, introducendo imprecisioni che compromettono la qualità della traduzione. ChatGPT tende anche a rispondere alle domande invece di seguire rigorosamente il compito di traduzione, portando a contenuti non intenzionali.
Prompt Leakage: ChatGPT occasionalmente aggiunge caratteri o informazioni extra non presenti nel prompt originale, il che può portare a risposte che si discostano dallo scopo previsto e rendono il prompt irrilevante. Questa "leakage" interrompe l’output previsto, richiedendo controlli e modifiche aggiuntivi.
Coerenza del ruolo: ChatGPT a volte non riesce a mantenere il ruolo assegnato. Se un prompt si discosta leggermente dal tono o dal contenuto atteso, ChatGPT può rispondere con commenti sul compito stesso invece di attenersi rigorosamente alle istruzioni. Ciò può interferire con attività che richiedono coerenza, come la traduzione, in cui mantenere l’attenzione sul compito è essenziale.
Per affrontare tali sfide, è necessaria la supervisione umana per garantire accuratezza e pertinenza. Tuttavia, l’intervento umano può essere in grado di gestire efficacemente questi problemi per applicazioni di piccola e media scala. La supervisione manuale semplicemente non è fattibile per sistemi di grandi dimensioni, ad esempio con centinaia di migliaia di utenti giornalieri.
Qui proponiamo la Retrieval-Augmented Generation (RAG) come soluzione: fornendo all’LLM fonti di dati esterne, la RAG può mitigare le allucinazioni e colmare lacune di conoscenza che altrimenti richiederebbero input umano. Le sezioni seguenti discutono come funziona la RAG e perché i database vettoriali rendono questo approccio scalabile ed efficace.
Retrieval-Augmented Generation (RAG) per mitigare le allucinazioni degli LLM
La RAG è una soluzione solida per ridurre le allucinazioni degli LLM, soprattutto quando le query richiedono conoscenze specifiche al di fuori dei dati di addestramento del modello. Ad esempio, se chiedi a un LLM informazioni su dati proprietari, è probabile che restituisca una risposta inaccurata. La RAG affronta questo problema recuperando contesto pertinente e fornendolo all’LLM, permettendogli di rispondere in modo più accurato.
Una configurazione RAG standard combina un LLM (come ChatGPT), un database vettoriale (come Milvus o la sua versione gestita, Zilliz Cloud) e un modello di embedding. Gli sviluppatori possono costruire sistemi RAG ancora più avanzati integrando strumenti aggiuntivi come LlamaIndex, LangChain, DSPy o reranker, ciascuno progettato per migliorare il recupero, il riordinamento o altri compiti specializzati per output più accurati e pertinenti.
Figure- RAG workflow.png
Ecco come funziona la RAG:
Vettorizzazione: Invece di inviare la query di input direttamente all'LLM, un modello di embedding codifica prima rispettivamente la query e qualsiasi fonte di conoscenza aggiuntiva in embedding vettoriali.
Archiviazione vettoriale: Questi embedding vettoriali vengono quindi archiviati in un database vettoriale come Milvus o Zilliz Cloud, che gestisce in modo efficiente grandi volumi di dati vettorizzati per un recupero rapido.
Ricerca di similarità vettoriale: Il database vettoriale esegue una ricerca di similarità, identificando i primi k risultati che corrispondono al contesto e alla semantica della query dell'utente.
Passaggio del contesto all'LLM: I risultati più pertinenti della ricerca vettoriale vengono forniti all'LLM insieme alla query originale. Questo fornisce all'LLM informazioni pertinenti e aggiornate, contribuendo a ridurre le allucinazioni e a migliorare l'accuratezza della risposta.
Generazione della risposta finale: L'LLM combina la sua conoscenza pre-addestrata con il contesto recuperato per produrre una risposta più accurata e ben informata.
Questo approccio consente all'LLM di gestire efficacemente domande complesse o specifiche, anche quando non dispone di un addestramento diretto sull'argomento.
RAG vs. Fine tuning di un modello
RAG e fine-tuning migliorano entrambi gli LLM, ma in modi distinti. RAG arricchisce le risposte recuperando in tempo reale informazioni pertinenti e aggiornate da fonti esterne, rendendolo ideale per i casi in cui le informazioni cambiano frequentemente o coprono un'ampia gamma di argomenti. Questo approccio consente all'LLM di gestire query diverse o dinamiche senza un riaddestramento esteso, mantenendo la pertinenza e riducendo i costi. Al contrario, il fine-tuning aggiorna permanentemente la conoscenza del modello regolando i suoi pesi su un dataset specifico, rendendolo adatto ad applicazioni che richiedono una profonda competenza in un dominio stabile. Tuttavia, il fine-tuning richiede molte risorse ed è meno adattabile a informazioni che cambiano rapidamente.
In definitiva, RAG è ottimale per attività scalabili e adattabili che richiedono accesso immediato a dati esterni, mentre il fine-tuning è migliore per applicazioni specializzate che beneficiano di competenze incorporate. Per molti casi d'uso, la flessibilità e l'efficienza dei costi di RAG lo rendono una scelta interessante rispetto al fine-tuning tradizionale.
Tuttavia, invece di considerare RAG e fine-tuning come mutuamente esclusivi, spesso è vantaggioso vederli come strategie complementari. Un approccio completo potrebbe prevedere il fine-tuning dell'LLM per migliorarne la comprensione del linguaggio specifico del dominio, assicurando che produca output che soddisfino le esigenze particolari della tua applicazione. Allo stesso tempo, l'uso di RAG può migliorare ulteriormente la qualità e la pertinenza delle risposte fornendo al modello informazioni aggiornate e contestualmente appropriate tratte da fonti esterne. Questa strategia combinata consente di sfruttare i punti di forza di entrambe le tecniche, ottenendo una soluzione più solida ed efficace che soddisfa sia requisiti generali sia specializzati.
Riepilogo
Gli LLM stanno portando un grande cambiamento nel settore dei viaggi, consentendo ad aziende come GetYourGuide (GYG) di fornire esperienze cliente efficienti. Attraverso casi d'uso come la traduzione linguistica e la generazione di contenuti, GYG migliora il modo in cui la sua piattaforma interagisce con i suoi utenti, rendendo i suoi servizi più accessibili.
Sebbene l'uso di ChatGPT e delle reti neurali di deep learning funzioni molto bene per la traduzione linguistica e molte altre attività, comporta le sue sfide, in particolare le allucinazioni. RAG è un approccio ampiamente adottato per affrontare tali problemi collegando la conoscenza esterna da un database vettoriale come Milvus all'LLM per ottenere un output più accurato.
Risorse consigliate
Continua a leggere

Build Multimodal Search for 3D Assets with Tripo and Zilliz Cloud
Generate 3D assets with Tripo, then search them by text, image, and metadata with multimodal embeddings and Zilliz Cloud.

Zilliz Skills Breakdown: How AI Agents Master Vector Databases
Zilliz's Milvus Skill (pymilvus, 7 files) and Zilliz Cloud Skill (zilliz-cli, 14 modules) bring vector-DB dev and ops into one Claude Code session.

Milvus 2.6.x Now Generally Available on Zilliz Cloud, Making Vector Search Faster, Smarter, and More Cost-Efficient for Production AI
Milvus 2.6.x is now GA on Zilliz Cloud, delivering faster vector search, smarter hybrid queries, and lower costs for production RAG and AI applications.



