El papel de los LLM en los viajes modernos: oportunidades y desafíos futuros
Los modelos de lenguaje grandes (LLMs) se han convertido en un importante impulsor de la innovación en todos los sectores. Permiten que los sistemas comprendan, generen e interactúen con el lenguaje natural como los humanos. GetYourGuide (GYC), un marketplace online de experiencias de viaje, ha estado utilizando LLMs para impulsar nuevos desarrollos en el sector turístico.
En un reciente Berlin Unstructured Data Meetup organizado por Zilliz, Meghna Satish, Machine Learning Engineer en GetYourGuide, compartió conocimientos sobre su recorrido con los LLMs. Habló sobre los productos que han creado, sus desafíos y cómo los LLMs han remodelado las plataformas de viaje al mejorar las experiencias de los clientes y las interacciones de los usuarios.
En este blog, recapitularemos sus puntos clave y exploraremos cómo los LLMs pueden integrarse con la base de datos vectorial Milvus para abordar problemas comunes como las alucinaciones. Para obtener más detalles, mira la repetición completa de su charla en YouTube.
Cómo GYG usa LLMs para mejorar sus servicios
Los LLMs han transformado casi todos los sectores, y el turismo no es una excepción. GetYourGuide (GYG), un marketplace online de servicios y experiencias de viaje, reconoce el poder de los LLMs para mejorar las experiencias de los clientes, agilizar las operaciones y proporcionar servicios más eficientes.
Traducción y localización de contenido
Una de las principales aplicaciones de los LLMs en GYG es la traducción y localización de contenido. Al eliminar las barreras lingüísticas, los LLMs permiten la traducción en tiempo real de información de viajes, incluidos artículos, descripciones de hoteles y reseñas, lo que permite a usuarios de diferentes regiones comprender el contenido en su idioma nativo. Este enfoque localizado impulsa la interacción al ofrecer a cada usuario información relevante y accesible.
GYG confía en ChatGPT para realizar traducciones, ya que proporciona traducciones de alta calidad que se alinean con el tono de voz de GYG. Sin embargo, la distribución de los datos de entrenamiento de ChatGPT se inclina marcadamente hacia el inglés, con alrededor del 50% de sus fuentes en inglés, el 6% en español, el 32% en idiomas europeos y el 18% en idiomas asiáticos. Para contrarrestar posibles sesgos y garantizar la precisión, GYG emplea un enfoque híbrido, combinando traducciones de ChatGPT con redes neuronales adicionales de aprendizaje profundo para la posedición, logrando una localización más equilibrada y culturalmente sensible.
Generación de contenido y atención al cliente
GYG también utiliza LLMs para agilizar la creación de contenido, desde descripciones de tours asistidas por IA hasta guías completas de destinos y blogs de viajes. Al automatizar la generación de contenido, los LLMs ayudan a mantener la plataforma de GYG actualizada y atractiva, proporcionando a los viajeros información al día mientras liberan tiempo valioso para el equipo de contenido.
Además de generar contenido, los LLMs apoyan el servicio al cliente al gestionar grandes volúmenes de consultas mediante preguntas frecuentes automatizadas y conversaciones de varios turnos. Esto reduce la demanda sobre los equipos de soporte humano, permitiéndoles centrarse en casos más complejos a la vez que disminuye los costos operativos. Las respuestas impulsadas por LLMs garantizan que los clientes reciban respuestas rápidas y precisas, mejorando la experiencia general del usuario.
Posibilidades futuras: personalización
Aunque aún no se ha implementado en GYG, los LLM tienen un gran potencial para la personalización. Los LLM podrían crear contenido adaptado para usuarios individuales aprovechando datos de usuario como el historial de búsqueda, los patrones de reserva y las preferencias de interacción. Esto podría incluir itinerarios personalizados, recomendaciones de actividades y descuentos personalizados alineados con los intereses de viaje únicos de un usuario.
Desafíos del uso de LLM en GYG
Después de obtener las traducciones iniciales y la generación de contenido, el equipo se encontró con varios desafíos al usar LLM, en particular ChatGPT, para la posedición de contenido de localización:
Alucinación: Si carece de información específica sobre la consulta, ChatGPT a veces genera detalles incorrectos o inventados. Por ejemplo, puede inventar nombres, lugares o eventos que no están presentes en el texto original cuando realiza la traducción, introduciendo imprecisiones que comprometen la calidad de la traducción. ChatGPT también tiende a responder preguntas en lugar de seguir estrictamente la tarea de traducción, lo que conduce a contenido no intencionado.
Fuga de instrucciones: ChatGPT ocasionalmente añade caracteres o información adicionales que no se encuentran en el prompt original, lo que puede dar lugar a respuestas que se desvían del propósito previsto y hacen que el prompt sea irrelevante. Esta "fuga" interrumpe el resultado previsto, requiriendo comprobaciones y ediciones adicionales.
Coherencia de rol: ChatGPT a veces no logra mantener su rol asignado. Si un prompt se desvía ligeramente del tono o contenido esperado, ChatGPT puede responder con comentarios sobre la tarea en sí en lugar de adherirse estrictamente a las instrucciones. Esto puede interferir con tareas que exigen coherencia, como la traducción, donde mantener el foco en la tarea es esencial.
Para abordar estos desafíos, es necesaria la supervisión humana para garantizar la precisión y la relevancia. Sin embargo, la intervención humana puede ser capaz de gestionar estos problemas de manera eficaz en aplicaciones de pequeña a mediana escala. La supervisión manual simplemente no es viable para sistemas grandes, por ejemplo, con cientos de miles de usuarios diarios.
Aquí, ofrecemos Generación Aumentada por Recuperación (RAG) como solución: al proporcionar al LLM fuentes de datos externas, RAG puede mitigar las alucinaciones y cubrir lagunas de conocimiento que, de otro modo, requerirían intervención humana. Las siguientes secciones analizan cómo funciona RAG y por qué las bases de datos vectoriales hacen que este enfoque sea escalable y eficaz.
Generación Aumentada por Recuperación (RAG) para mitigar las alucinaciones de los LLM
RAG es una solución robusta para reducir las alucinaciones de los LLM, especialmente cuando las consultas requieren conocimientos específicos fuera de los datos de entrenamiento del modelo. Por ejemplo, si le preguntas a un LLM sobre datos propietarios, es probable que devuelva una respuesta inexacta. RAG aborda este problema recuperando contexto relevante y proporcionándoselo al LLM, lo que le permite responder con mayor precisión.
Una configuración estándar de RAG combina un LLM (como ChatGPT), una base de datos vectorial (como Milvus o su versión gestionada, Zilliz Cloud) y un modelo de embeddings. Los desarrolladores pueden crear sistemas RAG aún más avanzados integrando herramientas adicionales como LlamaIndex, LangChain, DSPy o rerankers, cada una adaptada para mejorar la recuperación, la reordenación u otras tareas especializadas para obtener resultados más precisos y relevantes.
Figure- RAG workflow.png
Así es como funciona RAG:
Vectorización: En lugar de enviar la consulta de entrada directamente al LLM, un modelo de embeddings primero codifica la consulta y cualquier fuente de conocimiento adicional en embeddings vectoriales, respectivamente.
Almacenamiento vectorial: Estos embeddings vectoriales se almacenan luego en una base de datos vectorial como Milvus o Zilliz Cloud, que gestiona eficientemente grandes volúmenes de datos vectorizados para una recuperación rápida.
Búsqueda de similitud vectorial: La base de datos vectorial realiza una búsqueda de similitud, identificando los top-k resultados que coinciden con el contexto y la semántica de la consulta del usuario.
Pasar contexto al LLM: Los resultados con mayor coincidencia de la búsqueda vectorial se introducen en el LLM junto con la consulta original. Esto proporciona al LLM información relevante y actualizada, lo que ayuda a reducir las alucinaciones y mejorar la precisión de las respuestas.
Generar la respuesta final: El LLM combina su conocimiento preentrenado con el contexto recuperado para producir una respuesta más precisa y mejor informada.
Este enfoque permite que el LLM gestione preguntas complejas o específicas de manera eficaz, incluso cuando carece de entrenamiento directo sobre el tema.
RAG vs. ajuste fino de un modelo
RAG y el ajuste fino mejoran los LLM, pero de formas distintas. RAG enriquece las respuestas incorporando información relevante y actualizada de fuentes externas en tiempo real, lo que lo hace ideal para casos en los que la información cambia con frecuencia o abarca una amplia variedad de temas. Este enfoque permite que el LLM gestione consultas diversas o dinámicas sin un reentrenamiento extenso, manteniendo la relevancia y reduciendo costos. En contraste, el ajuste fino actualiza permanentemente el conocimiento del modelo ajustando sus pesos sobre un conjunto de datos específico, lo que lo hace muy adecuado para aplicaciones que requieren experiencia profunda en un dominio estable. Sin embargo, el ajuste fino requiere muchos recursos y es menos adaptable a información que cambia rápidamente.
En última instancia, RAG es óptimo para tareas escalables y adaptables que necesitan acceso inmediato a datos externos, mientras que el ajuste fino es mejor para aplicaciones especializadas que se benefician de experiencia incorporada. Para muchos casos de uso, la flexibilidad y eficiencia de costos de RAG lo convierten en una opción atractiva frente al ajuste fino tradicional.
Sin embargo, en lugar de ver RAG y el ajuste fino como mutuamente excluyentes, a menudo es ventajoso considerarlos estrategias complementarias. Un enfoque integral podría implicar ajustar finamente el LLM para mejorar su comprensión del lenguaje específico del dominio, asegurando que produzca resultados que satisfagan las necesidades particulares de tu aplicación. Simultáneamente, usar RAG puede mejorar aún más la calidad y relevancia de las respuestas al proporcionar al modelo información actualizada y contextualmente apropiada extraída de fuentes externas. Esta estrategia combinada te permite aprovechar las fortalezas de ambas técnicas, dando como resultado una solución más robusta y eficaz que satisface tanto requisitos generales como especializados.
Resumen
Los LLM están impulsando un gran cambio en la industria de los viajes, permitiendo que empresas como GetYourGuide (GYG) proporcionen experiencias de cliente eficientes. A través de casos de uso como la traducción de idiomas y la generación de contenido, GYG mejora la forma en que su plataforma interactúa con sus usuarios, haciendo que sus servicios sean más accesibles.
Aunque usar ChatGPT y redes neuronales de aprendizaje profundo funciona muy bien para la traducción de idiomas y muchas otras tareas, conlleva sus propios desafíos, particularmente las alucinaciones. RAG es un enfoque ampliamente adoptado para abordar estos problemas conectando conocimiento externo desde una base de datos vectorial como Milvus al LLM para obtener una salida más precisa.
Recursos recomendados
Sigue leyendo

Why Teams Are Migrating from Weaviate to Zilliz Cloud — and How to Do It Seamlessly
Explore how Milvus scales for large datasets and complex queries with advanced features, and discover how to migrate from Weaviate to Zilliz Cloud.

Zilliz Cloud Audit Logs Goes GA: Security, Compliance, and Transparency at Scale
Zilliz Cloud Audit Logs are now GA, giving enterprises real-time visibility, compliance-ready trails, and stronger security across AWS, GCP, and Azure.

Creating Collections in Zilliz Cloud Just Got Way Easier
We've enhanced the entire collection creation experience to bring advanced capabilities directly into the interface, making it faster and easier to build production-ready schemas without switching tools.



