Le chemin vers la production : évaluations et observabilité des applications LLM
Alors que de nombreuses équipes de machine learning se préparent à déployer des grands modèles de langage (LLMs)) en production, elles font face à des défis importants, tels que la gestion des hallucinations et la garantie d’un déploiement responsable. Avant de s’attaquer à ces problèmes, il est crucial de les évaluer et de les identifier efficacement.
Récemment, lors du Unstructured Data Meetup, Hakan Tekgul, ML Solutions Architect chez Arize AI, a partagé des stratégies éclairantes pour réaliser des évaluations de LLM rapides et précises. Ces approches maintiennent des normes élevées de qualité et de fiabilité des réponses et garantissent la production d’une valeur métier tangible.
Regardez le replay de la présentation de Hakan Tekgul
Si vous avez manqué l’événement, ne vous inquiétez pas ! Voici une analyse détaillée de la présentation de Hakan.
Passer des démos GenAI à la production est difficile !
Créer des applications GenAI peut sembler simple au départ, en particulier avec des outils conviviaux comme LangChain et LlamaIndex, qui facilitent la création d’applications de démonstration. Cependant, passer à des produits complets capables de générer une valeur métier tangible est difficile. L’enjeu central consiste à garantir que ces applications fournissent systématiquement des résultats fiables et de haute qualité dans un environnement de production.
À quoi ressemble le passage d’une démo Twitter à un produit réel
Illustrons ce défi avec l’exemple d’un chatbot e-commerce. Les utilisateurs interagissent avec ce chatbot pour planifier leurs vacances.
L’interface du chatbot e-commerce
Même si l’application peut sembler simple du point de vue de l’utilisateur, les workflows en coulisses sont complexes. Voici les étapes clés de ce workflow :
Initiation du chat : Les utilisateurs initient la session en interagissant avec le chatbot.
Extraction des paramètres : Le LLM extrait des paramètres structurés à partir de la saisie de l’utilisateur.
Classement/Recommandation : Le modèle génère une liste de destinations de vacances potentielles en fonction des paramètres extraits.
Recherche et récupération d’embeddings : Le système affine la liste en effectuant une recherche vectorielle pour obtenir des informations plus pertinentes.
Génération de réponse : Le LLM génère une réponse personnalisée à partir des données récupérées.
Les étapes clés du workflow du chatbot et les stratégies potentielles de dépannage
Chaque étape de ce workflow peut rencontrer des problèmes spécifiques. Un dépannage efficace est essentiel pour garantir une expérience utilisateur fluide et des performances optimales. Par exemple, vous devrez peut-être :
Assurer le bon fonctionnement d’outils comme LangChain et LlamaIndex sans erreurs.
Concevoir et affiner les prompts afin d’extraire avec précision les données à partir des saisies des utilisateurs.
Évaluer et optimiser en continu le système de recommandation.
Améliorer la précision et la pertinence des informations récupérées.
Dépanner l’ensemble du système ainsi que chaque composant individuellement.
Utiliser les retours pour affiner et améliorer continuellement le système.
L’observabilité des LLM vient à la rescousse !
Pour relever les défis décrits précédemment, il est crucial de tirer parti d’outils d’évaluation pour une observabilité fluide des LLM. Cinq facettes principales de l’observabilité des LLM nécessitent une attention particulière afin de garantir une visibilité complète de vos applications. En menant habilement ces évaluations, les équipes peuvent obtenir une observation holistique de leurs applications, garantissant fiabilité et performances optimales.
| Cinq piliers de l’observabilité des LLM | ||
| Pilier | Description | Problèmes courants |
| Évaluation | Évaluation systématique des sorties des LLM à l’aide d’un LLM d’évaluation distinct | Qualité et alignement des sorties |
| Spans et traces | Visibilité détaillée sur les décompositions des workflows | Identification des points de défaillance spécifiques |
| Ingénierie des prompts | Amélioration itérative des modèles de prompts pour de meilleurs résultats | Amélioration de la précision et de la pertinence des réponses |
| Recherche et récupération | Localiser et améliorer le contexte récupéré | Amélioration de la précision de la récupération |
| Fine-tuning | Réentraînement des LLM sur des données spécifiques pour des performances adaptées | Alignement sur les besoins spécifiques à l’entreprise |
Dans les sections suivantes, nous explorerons plus en détail les catégories Évaluation des LLM et Spans et traces des LLM afin de souligner leur importance dans l’optimisation de l’observabilité des LLM.
Évaluations des LLM
Les évaluations des LLM (LLM Evals) désignent l’évaluation systématique des sorties de votre application GenAI à l’aide d’un LLM distinct comme « juge ». Des évaluations régulières garantissent que le contenu généré respecte les normes de qualité et répond aux attentes des utilisateurs. Par exemple, un service de suggestions de vacances utilise un LLM d’évaluation pour examiner régulièrement les recommandations. Ce système d’évaluation déclenche un processus de révision visant à mettre à jour les données d’entraînement si les recommandations deviennent obsolètes ou non pertinentes.
Évaluations de modèles vs évaluations des LLM
Avant d’entrer dans les détails, comparons deux concepts similaires : les évaluations de modèles et les évaluations des LLM.
Évaluations de modèles vous aident à sélectionner le modèle fondamental pour votre application et à vous assurer qu’il s’aligne sur les cas d’utilisation généraux.
Évaluations des LLM mesurent les performances de tâches et de composants spécifiques au sein de votre application basée sur les LLM. Les évaluations des LLM incluent l’évaluation de la récupération, des hallucinations, de la frustration des utilisateurs, des questions-réponses, de la synthèse et de la génération de code, comme illustré dans l’image ci-dessous.
Production LLM Evals- Task Performance Measurement | Arize
Fonctionnement des évaluations des LLM
Évaluer les performances des grands modèles de langage (LLM) à l’aide d’un LLM juge peut sembler complexe, mais cela devient beaucoup plus facile à gérer avec les bons outils et les bonnes méthodologies. La bibliothèque Phoenix LLM Evals est un outil open source conçu pour faciliter des évaluations de LLM rapides et simples. Cette bibliothèque intègre un LLM juge, des modèles d’évaluation et des paramètres de modèle dans un cadre cohérent.
Comment ce processus fonctionne-t-il ? Vos données d’entrée sont transmises à la bibliothèque Phoenix avec les données de sortie générées par votre application LLM. Le LLM juge au sein de la bibliothèque utilise ensuite ces données d’entrée et de sortie, ainsi qu’un modèle de prompt, pour évaluer les performances de votre système sur une tâche spécifique.
LLM Evals- How They Work in General
Examinons le processus d’évaluation. Considérons une application de génération augmentée par récupération (RAG) qui récupère le contexte depuis une base de données vectorielle comme Milvus, puis génère des réponses en fonction de la question de l’utilisateur et du contexte récupéré.
Lors de la mesure des performances dans une tâche de récupération RAG, les données d’entrée (la question de l’utilisateur) et les données de sortie (texte de référence) sont transmises à la bibliothèque Phoenix. Le Judge LLM utilise l’Eval Template pour évaluer dans quelle mesure le texte de référence répond à la question de l’utilisateur. Par exemple, si la question de l’utilisateur est « Trouver des recettes françaises traditionnelles » et que le texte de référence fournit une recette de soupe au pain et aux oignons caramélisés, l’Eval Template comparera les deux afin d’évaluer leur pertinence.
LLM Evals- Comment elles fonctionnent dans un cas d’utilisation RAG
Comparer vos résultats d’évaluation LLM
Nous avons vu comment fonctionne le processus d’évaluation LLM, mais comment pouvez-vous être sûr qu’il sera efficace pour votre cas d’utilisation spécifique ? La réponse réside dans la comparaison de vos résultats d’évaluation.
Voici les principales étapes que nous suivons pour comparer les résultats.
Tout d’abord, nous utilisons des jeux de données publics qui incluent des réponses annotées par des humains. Ces jeux de données se composent de questions d’utilisateurs et de textes de référence, avec des annotations indiquant leur pertinence. Grâce à ces jeux de données bien établis, nous créons une base solide pour la comparaison.
Ensuite, nous comparons les performances de nos modèles de prompts aux réponses fournies par des humains dans ces jeux de données publics. Cette étape nous permet d’évaluer dans quelle mesure nos modèles identifient les réponses pertinentes, en utilisant le jugement humain comme référence.
Enfin, nous calculons les scores de précision et de rappel afin de quantifier les performances de nos modèles de prompts. La précision mesure l’exactitude des résultats pertinents renvoyés par le système RAG, tandis que le rappel mesure la capacité du système à récupérer toutes les instances pertinentes.
Ces scores de précision et de rappel indiquent l’efficacité de nos modèles de prompts sur un large éventail d’exemples annotés par des humains. Ce processus de comparaison garantit que l’évaluation et les modèles de prompts sont fiables et peuvent être utilisés en toute confiance pour évaluer les performances de vos applications LLM.
Après ces mesures, déterminez quel modèle utiliser pour votre Judge LLM. Différentes tâches peuvent nécessiter différents modèles juges. Par exemple, GPT-3.5-turbo-instruct peut ne pas être performant pour une évaluation de l’exactitude en Q&A, mais être excellent pour l’évaluation de la récupération. Vous devrez peut-être changer de modèles de fondation si vous évaluez autre chose. C’est pourquoi la comparaison est cruciale.
Après ces mesures, l’étape suivante consiste à déterminer quel modèle utiliser pour votre Judge LLM. Différentes tâches peuvent nécessiter différents modèles juges. Par exemple, GPT-3.5-turbo-instruct peut ne pas être performant pour une évaluation de l’exactitude en Q&A, mais excelle dans les évaluations de récupération. Vous devrez peut-être changer de modèles fondateurs pour évaluer un autre aspect. Cette flexibilité explique pourquoi la comparaison est cruciale.
Spans et traces LLM
Nous avons maintenant appris à évaluer vos applications LLM dans leur ensemble. Mais comment évaluer l’interaction de votre application composant par composant ? Considérons une chaîne complète de systèmes de récupération construits sur des frameworks comme LamaIndex ou LangChain. Si une évaluation Q&A indique une mauvaise réponse, vous savez simplement que l’interaction a échoué, mais vous devez encore déterminer où. C’est là qu’intervient le concept de Spans et de traces LLM.
Différents types d’évaluations de Span peuvent aider à identifier précisément l’échec. Par exemple, vous pouvez utiliser :
Une évaluation de la frustration utilisateur pour vérifier l’interaction avec le chatbot
Une évaluation de classification lors de l’extraction d’attributs
Une évaluation de récupération pour évaluer le composant de récupération
Une évaluation de classification pour le processus de classification
Évaluations sur les Spans LLM
S’il y a un problème avec l’évaluation de la récupération, cela a un impact direct sur l’exactitude des Q&A. LLM Spans and Traces aide à visualiser et à diagnostiquer ces problèmes au sein de votre application.
Hakan a également partagé une démo montrant comment fonctionne LLM Spans and Traces. Regardez la rediffusion de sa présentation sur YouTube pour voir plus de détails sur la démo.
Conclusion
En réfléchissant à la présentation de Hakan Tekgul, il est clair que déployer des LLM en production n’est pas une mince affaire. Le passage d’une démo soignée à une application fiable, prête pour l’entreprise, est semé de défis qui exigent une grande attention aux détails et un cadre d’observabilité robuste.
Hakan a partagé deux principales stratégies d’évaluation des LLM, la LLM Evaluation et les LLM Spans and Traces, et a expliqué leur fonctionnement à l’aide d’exemples détaillés. Ces stratégies évaluent systématiquement les applications LLM, garantissant leur fiabilité et leur efficacité dans des cas d’utilisation réels.
Continuer à lire
Zilliz Cloud Now Available in AWS Europe (Ireland)
Zilliz Cloud launches in AWS eu-west-1 (Ireland) — bringing low-latency vector search, EU data residency, and full GDPR-ready infrastructure to European AI teams. Now live across 30 regions on five cloud providers.
Zilliz Cloud Delivers Better Performance and Lower Costs with Arm Neoverse-based AWS Graviton
Zilliz Cloud adopts Arm-based AWS Graviton3 CPUs to cut costs, speed up AI vector search, and power billion-scale RAG and semantic search workloads.
VidTok: Rethinking Video Processing with Compact Tokenization
VidTok tokenizes videos to reduce redundancy while preserving spatial and temporal details for efficient processing.