Techniques et défis pour évaluer vos applications GenAI à l’aide d’un LLM comme juge
L’IA évolue rapidement, avec les grands modèles de langage (LLM) désormais adoptés dans divers secteurs et environnements de production. À mesure que ces applications alimentées par des LLM se généralisent, nous devons nous assurer que leurs sorties sont exactes, fiables et impartiales. Les méthodes traditionnelles d’évaluation humaine sont souvent insuffisantes, car elles sont trop chronophages et incohérentes pour gérer la complexité et l’échelle des LLM modernes.
Une approche prometteuse face à ce défi consiste à utiliser les LLM comme juges pour évaluer leurs sorties. En tirant parti de leurs vastes données d’entraînement et de leur compréhension contextuelle, les LLM peuvent fournir des évaluations automatisées, évolutives et cohérentes.
En avril 2024, Sourabh Agrawal, cofondateur de UpTrain AI, est intervenu lors du Unstructured Data Meetup organisé par Zilliz au sujet des difficultés concrètes de mise en œuvre des techniques de LLM-as-a-judge. Il a présenté les stratégies clés utilisées à la fois dans l’industrie et le monde universitaire pour rendre ces évaluations efficaces, et a démontré comment UpTrain AI évalue les applications GenAI.
Dans ce blog, nous récapitulerons les points clés de Sourabh et explorerons les aspects pratiques de l’utilisation des LLM pour l’évaluation. Si vous souhaitez approfondir le sujet, nous vous recommandons de regarder la présentation de Sourabh sur YouTube.
Évaluation des LLM - Pourquoi est-ce important ?
Les LLM ont transformé la façon dont nous générons du contenu et créons des applications. Cependant, malgré leur puissance, ils peuvent parfois produire des réponses hallucinatoires en raison de leurs connaissances préentraînées limitées. Une technique populaire pour atténuer ce problème est la Retrieval Augmented Generation (RAG), qui améliore les LLM en fournissant des données externes comme contexte à l’aide d’une base de données vectorielle comme Milvus et Zilliz Cloud (le Milvus managé).
Bien que la RAG remédie efficacement à certaines limites des LLM, le déploiement de ces applications dans des environnements de production afin de générer une valeur commerciale tangible reste complexe. Il nécessite d’intégrer davantage de technologies dans le workflow à diverses fins, ce qui ajoute de la complexité aux applications et crée des défis potentiels pour générer les réponses les plus exactes et pertinentes. Par conséquent, nous devons évaluer les sorties des applications alimentées par des LLM et nous assurer qu’elles sont correctes, exactes et de haute qualité.
Quelles métriques devriez-vous utiliser pour évaluer vos applications GenAI
Lors de l’évaluation des performances des LLM, il est important de se concentrer sur des métriques clés qui offrent des informations précieuses sur leurs capacités. Ces métriques servent de références pour mesurer l’efficacité et orienter les améliorations. Pendant le meetup, Sourabh Agrawal a mis en avant quatre métriques principales pour évaluer les performances des LLM et a discuté des méthodologies permettant de les évaluer.
Qualité de la réponse : Une bonne réponse doit répondre directement aux questions de l’utilisateur, être concise sans informations inutiles et couvrir tous les aspects de la question. Pour évaluer la qualité des réponses de vos applications LLM, vous devez vérifier si la sortie est pertinente par rapport au prompt, concise et complète. Pour aller plus loin, vérifiez si votre application LLM comporte des citations correctes ou suit des instructions personnalisées.
La conscience du contexte est essentielle pour les applications LLM qui s’appuient sur des sources de données externes, également connues sous le nom d’applications de génération augmentée par récupération (RAG). Pour évaluer les applications RAG, vous devez vérifier si les informations récupérées depuis la base de données vectorielle sont exactes, pertinentes et utilisées de manière optimale sans hallucination ; et si le LLM comprend et utilise correctement le contexte récupéré pour générer des réponses. Pour approfondir cette métrique, vous pouvez également vérifier si le modèle d’embedding au sein du pipeline RAG est bien ajusté.
Qualité conversationnelle : les applications LLM doivent maintenir la cohérence et la constance dans toutes les interactions au cours de conversations à plusieurs tours. Les évaluations de cette catégorie vérifient si la requête de l’utilisateur est résolue et si le LLM conserve correctement le contexte des tours précédents, répond de manière logique et reste dans le sujet tout au long de la conversation afin de garantir une expérience de dialogue fluide et naturelle. Les méthodes d’évaluation avancées évaluent la cohérence dans des contenus longs tels que des articles ou des conversations à plusieurs tours. Par exemple, Sourabh a mentionné que le LLM ne devrait pas confondre « football » avec « soccer » si le contexte est le football américain.
Sécurité : les évaluations de sécurité vérifient si le LLM est vulnérable aux jailbreaks ou aux injections de prompt susceptibles de manipuler son comportement. Les évaluations de sécurité garantissent également que les sorties du modèle sont appropriées et que le système n’est pas utilisé à mauvais escient.
Utiliser les LLM comme juges pour évaluer vos applications GenAI
Aujourd’hui, divers outils et techniques d’évaluation sont disponibles pour évaluer les sorties de vos applications GenAI, notamment les revues humaines, les méthodologies LLM-as-a-judge, les systèmes de notation automatisés, et plus encore. Bien que les revues humaines soient fiables, elles manquent souvent d’évolutivité et peuvent être incohérentes en raison de biais subjectifs. En revanche, les systèmes de notation automatisés offrent de la constance, mais peuvent ne pas saisir la compréhension nuancée requise pour certains types de contenu.
L’approche LLM-as-a-judge évalue systématiquement la pertinence, l’exactitude et la qualité globale des sorties de votre application LLM en utilisant le LLM lui-même ou un LLM distinct comme « juge ». Les LLM peuvent fournir des évaluations automatisées, évolutives et cohérentes en exploitant leurs vastes données d’entraînement et leur compréhension contextuelle. Cette méthodologie permet aux développeurs de standardiser le processus d’évaluation, d’identifier rapidement les axes d’amélioration, de fine-tune leurs modèles et de garantir des performances de haute qualité tout en minimisant les biais humains.
Lors du meetup, Sourabh a abordé deux techniques principales pour mettre en œuvre des évaluations LLM-as-a-judge, notamment les méthodes basées sur les prompts et celles basées sur l’ajustement.
Évaluations basées sur les prompts
Les évaluations basées sur les prompts sont faciles à démarrer et s’appuient généralement sur des API LLM à source fermée. Cette approche exige que vous fournissiez au LLM juge un prompt avec des critères spécifiques pour l’évaluation des réponses. Voici les quatre principales méthodes de mise en œuvre des évaluations basées sur les prompts.
Évaluations basées sur le score : dans les évaluations basées sur le score, le LLM juge reçoit un prompt lui demandant de fournir un score entre 1 et 10 pour des aspects spécifiques d’une réponse, tels que la pertinence ou l’exhaustivité. Bien que facile à mettre en œuvre, cette méthode peut être incohérente en raison des biais inhérents aux LLM.
Évaluations basées sur la classification : les évaluations basées sur la classification transforment la notation en catégories : bonne, moyenne ou mauvaise. Cette approche réduit la variabilité et améliore la fiabilité en fournissant des critères clairs pour chaque catégorie.
Comparaison par paires : la comparaison par paires présente au LLM juge deux réponses et lui demande de choisir la meilleure. Cette méthode est utile pour les comparaisons directes, mais peut introduire un biais de position, où l’ordre des réponses influence l’évaluation.
Techniques d’ensemble: Les techniques d’ensemble utilisent plusieurs LLM juges ou plusieurs méthodes d’évaluation pour évaluer les réponses. L’agrégation des résultats provenant de différents modèles peut atténuer les biais individuels et améliorer la précision. Des techniques comme le vote majoritaire ou le prompting par chaîne de pensée sont courantes dans les évaluations d’ensemble.
Évaluations basées sur le réglage fin
Les évaluations basées sur le réglage fin exploitent des LLM open source, tels que ceux de HuggingFace, comme juge et les affinent pour des tâches d’évaluation spécifiques. Cette méthode permet un contrôle et une personnalisation accrus, la rendant plus rentable et adaptée à des cas d’utilisation spécifiques. En affinant les modèles pour qu’ils agissent comme évaluateurs, les développeurs peuvent s’assurer que les modèles sont bien adaptés aux exigences uniques de leurs applications.
Défis associés à l’utilisation des LLM comme juges
Construire des évaluations fiables pour les applications LLM est tout aussi difficile que développer ces applications. Si l’utilisation de LLM comme juges pour évaluer les sorties de vos applications offre évolutivité et cohérence, elle entraîne également des défis et des complexités qui nécessitent une gestion attentive.
Biais dans les évaluations par LLM
Biais d’ordre : Les LLM peuvent être influencés par l’ordre dans lequel les informations sont présentées. Par exemple, si une réponse est affichée en haut et une autre en bas, le modèle pourrait favoriser celle du haut. Ce biais peut conduire à des évaluations injustes.
Biais égocentrique : Les LLM ont souvent tendance à favoriser leurs propres sorties générées. Lorsqu’on leur demande de juger des réponses, ils pourraient attribuer une note plus élevée à leurs propres réponses qu’à celles d’autres modèles. Ce traitement préférentiel envers soi-même peut fausser les résultats et réduire l’équité de l’évaluation.
Biais de longueur : Certains modèles préfèrent des réponses plus longues et plus détaillées, tandis que d’autres préfèrent des réponses concises. Cette préférence peut influencer la qualité perçue de la réponse, indépendamment de sa pertinence ou de son exactitude.
Problèmes de cohérence
Garantir que les évaluations sont cohérentes sur plusieurs exécutions est l’un des principaux défis. En raison de leur variabilité inhérente, les LLM peuvent produire des scores différents pour la même réponse lors de différentes exécutions.
Manque de connaissances propres au domaine
Pour fournir des évaluations précises, les LLM doivent comprendre le domaine spécifique qu’ils évaluent, y compris la terminologie, le contexte et les nuances du domaine. Sans ces connaissances, les évaluations pourraient passer à côté d’aspects critiques de la réponse.
Les évaluations par LLM doivent être adaptables à différents contextes et personas utilisateur. Une réponse appropriée dans un contexte peut ne pas l’être dans un autre. Adapter les évaluations afin de correspondre aux exigences et aux attentes spécifiques de différents groupes d’utilisateurs est essentiel pour des évaluations précises.
Évaluation des réponses complexes
Pour garantir une évaluation approfondie et précise, il est essentiel de décomposer les réponses complexes en composants plus petits et plus faciles à gérer. Cette approche permet une évaluation détaillée de chaque partie, améliorant ainsi le processus d’évaluation global. Cependant, elle augmente également la complexité de l’évaluation elle-même.
L’évaluation de conversations à plusieurs tours introduit une couche supplémentaire de difficulté. Le LLM juge doit conserver le contexte des interactions précédentes et maintenir la cohérence tout au long du dialogue. Relever ce défi nécessite des techniques d’évaluation sophistiquées qui gèrent efficacement la rétention du contexte et garantissent un déroulement fluide de la conversation.
Préoccupations en matière de sûreté et de sécurité
Les LLM peuvent être vulnérables aux injections de prompts et aux jailbreaks, où des entrées malveillantes manipulent le comportement du modèle. Détecter et atténuer ces menaces de sécurité est crucial pour des évaluations sûres et fiables.
Coût des évaluations
L’évaluation des sorties de LLM peut être gourmande en ressources. Équilibrer le coût des évaluations avec le besoin de précision est un défi important.
Comment faire face à ces limites ?
Étant donné que l’utilisation des LLM comme juges pour évaluer vos applications LLM présente des limites, comment pouvons-nous y remédier ? Sourabh a partagé ses stratégies lors de l’Unstructured Data Meetup.
Évaluations objectives
Les évaluations doivent être aussi objectives que possible. Cette stratégie aide à réduire les biais et fournit une base cohérente pour juger les sorties des LLM. Les développeurs peuvent créer une référence standard qui fournit des jugements cohérents et fiables en établissant des critères d’évaluation clairs et mesurables.
Vérification de la concision
Pour évaluer la concision, décomposez les réponses en sous-parties significatives. Chaque partie doit être vérifiée individuellement pour voir si elle répond directement à la requête de l’utilisateur. Le score final est ensuite calculé comme le ratio des parties pertinentes divisé par le total des parties, garantissant une évaluation approfondie et précise.
Stratégie de notation
Sourabh a également recommandé d’utiliser un système de notation avec les options « YES, NO, MAYBE ». Cette approche fournit une évaluation plus claire et plus nuancée qu’un simple choix binaire, en traitant les cas limites où les réponses ne se situent pas aux extrêmes.
Évaluations rentables
Pour gérer les coûts, exploitez autant que possible des LLM moins chers. Les développeurs peuvent maintenir l’efficacité des coûts sans compromettre la qualité de l’évaluation en utilisant des modèles moins coûteux pour les évaluations initiales et en réservant les modèles à coût élevé aux cas critiques ou ambigus.
Ajustement fin spécifique au domaine
L’ajustement fin de votre LLM juge fonctionne mieux que l’utilisation d’un modèle général pour des domaines spécifiques. L’ajustement fin de modèles pour des domaines particuliers, tels que le juridique ou le médical, garantit que les évaluations sont plus précises et pertinentes pour le contexte spécifique.
Utiliser les évaluations pour favoriser l’amélioration : post-production
Les évaluations des LLM sont importantes pour identifier les cas d’échec et les angles morts dans les applications LLM, en particulier une fois qu’elles sont en production. Sourabh a fourni des bonnes pratiques pour utiliser les évaluations afin de favoriser une amélioration continue après la mise en production.
Exécutez les évaluations clés pour surveiller les performances, car les coûts d’évaluation peuvent augmenter à grande échelle.
Sélectionnez des cas d’échec et effectuez une analyse des causes profondes sur ceux-ci. Cette approche vous aide à comprendre pourquoi certaines réponses échouent et ce qui peut être amélioré.
Déterminez si le problème est lié à la récupération, à l’utilisation, à la citation ou à des requêtes utilisateur peu claires. Cette analyse détaillée permet des améliorations ciblées, garantissant que vos applications LLM deviennent plus robustes et fiables au fil du temps.
Comment utiliser UpTrain AI pour évaluer vos applications LLM
À la fin, Sourabh a présenté UpTrain AI, un framework open source pour l’évaluation des applications LLM. À l’aide de pip, les développeurs peuvent installer UpTrain et définir des modèles d’évaluation en utilisant des clés API d’OpenAI ou de Hugging Face.
Le processus d’évaluation avec UpTrain AI comprend la définition d’ensembles de données avec des questions, du contexte et des réponses, puis l’exécution d’évaluations portant sur l’exactitude, l’exhaustivité, la concision et la qualité de la conversation. UpTrain fournit des scores et des explications, en décomposant les longues réponses en sous-parties et en évaluant chacune d’elles afin d’obtenir une mesure plus objective de la concision.
Le tableau de bord UpTrain consigne toutes les données, permettant de comparer les modèles et les prompts, ainsi que de surveiller les performances. Il aide à identifier les cas d’échec et à analyser les causes profondes afin de repérer les problèmes de récupération, d’utilisation ou de citation.
L’interface du tableau de bord UpTrain
L’interface du tableau de bord UpTrain
Pour en savoir plus sur UpTrain, vous pouvez consulter son projet GitHub. Vous pouvez également regarder la rediffusion de la conférence de Sourabh sur YouTube et suivre l’approche étape par étape qu’il a démontrée lors de l’Unstructured Data Meetup.
Conclusion
Développer des applications LLM fiables et efficaces n’est pas facile et comporte de nombreux défis, notamment les biais, la cohérence et le manque de connaissances propres à un domaine. Affiner votre LLM pour des tâches spécifiques ou exploiter une base de données vectorielle comme Milvus afin de fournir à votre LLM des connaissances externes sont des méthodes populaires pour résoudre ces problèmes.
Cependant, il est également essentiel d’employer des techniques et des outils d’évaluation efficaces pour s’assurer que les sorties des LLM sont précises et pertinentes, et pour affiner les applications LLM en fonction des résultats d’évaluation. L’approche LLM-as-a-judge est une technique populaire qui peut remplir ce rôle, offrant évolutivité et cohérence. Des outils comme UpTrain AI et de nombreux autres frameworks comme TruLens jouent également un rôle crucial dans l’amélioration des évaluations des LLM, rendant le processus plus efficace et fiable.
Lectures complémentaires
Consultez les ressources suivantes si vous souhaitez approfondir les évaluations des LLM.
La conférence de Sourabh Agrawal sur YouTube.
Évaluations pour la génération augmentée par récupération : TruLens + Milvus
Explorer la génération augmentée par récupération (RAG) : Chunking, LLMs et évaluations
Le chemin vers la production : évaluations et observabilité des applications LLM
Comment évaluer les applications de génération augmentée par récupération (RAG)
Évaluer les performances des bases de données vectorielles : techniques et perspectives
Continuer à lire
Stop Building AI Data Infra for the Wrong Stage
Learn how AI data infrastructure should evolve from prototype to enterprise scale, and when Vector Lakebase becomes the right architecture for AI apps.
Demystifying the Milvus Sizing Tool
Explore how to use the Sizing Tool to select the optimal configuration for your Milvus deployment.
Why Deepseek is Waking up AI Giants Like OpenAI And Why You Should Care
Discover how DeepSeek R1's open-source AI model with superior reasoning capabilities and lower costs is disrupting the AI landscape and challenging tech giants like OpenAI.