Améliorer la fiabilité de l’IA grâce à la détection et à la correction fine des hallucinations avec FAVA
Imaginez que vous vous appuyez sur un outil d’IA pour rédiger un rapport. Vous lui demandez des détails sur les missions Apollo, et il vous affirme avec assurance que Neil Armstrong a atterri sur la Lune en 1965. Sans vérifier cette information, vous incluez l’erreur dans votre rapport. C’est un exemple d’hallucination, où l’IA génère des informations plausibles mais incorrectes ou invérifiables.
Les hallucinations remettent en question la fiabilité de l’IA, en particulier dans des domaines comme la santé, l’éducation et le journalisme, où même de légères inexactitudes peuvent entraîner de graves conséquences. Les erreurs peuvent aller de simples erreurs factuelles à des entités ou événements entièrement fabriqués, nécessitant plus qu’une classification de base entre factuel et non factuel. Pour relever ce défi, FAVA, un modèle de langage augmenté par la récupération pour détecter et corriger les hallucinations, a été présenté dans l’article Fine-Grained Hallucination Detection and Editing for Language Models. Cette approche comprend également une taxonomie fine pour catégoriser les erreurs et un jeu de données de référence appelé FAVABENCH pour évaluer les performances des modèles. Ensemble, ces outils améliorent la fiabilité de l’IA dans des contextes à forts enjeux.
Dans ce blog, nous explorerons la nature des hallucinations, la taxonomie qui fournit un cadre pour les catégoriser, le jeu de données FAVABENCH conçu pour l’évaluation, ainsi que la manière dont FAVA détecte et corrige les erreurs.
Pourquoi les méthodes existantes peinent à détecter les erreurs de l’IA
La plupart des systèmes permettant d’identifier les erreurs dans les sorties de l’IA traitent la tâche comme une simple décision, en classant une affirmation comme factuelle ou non. Bien que cette approche binaire soit simple, elle échoue souvent à traiter la complexité des erreurs générées par l’IA. Par exemple, identifier une mauvaise date peut sembler simple, mais reconnaître une entité fabriquée ou corriger une subtile erreur relationnelle nécessite une compréhension plus approfondie du contenu et du contexte.
Une approche plus détaillée est nécessaire pour aller au-delà de l’étiquetage de déclarations entières comme incorrectes. Considérez la phrase, Messi est un joueur de football à Barcelone. Il est connu pour le film de 2017 The Messi Diaries. Un système binaire pourrait signaler l’affirmation comme fausse sans expliquer pourquoi. La détection fine, en revanche, repère les problèmes spécifiques : le lieu incorrect (Barcelone devrait être Miami) et l’affirmation inventée à propos d’un film inexistant.
Figure : Une comparaison entre la détection binaire et la détection fine des hallucinations, démontrant comment les méthodes fines identifient des types spécifiques d’erreurs au sein d’une affirmation.
En identifiant la nature spécifique des erreurs, comme des détails inexacts ou des affirmations fabriquées, la détection fine apporte de la clarté et permet des corrections ciblées. Cette approche dépasse les limites de la classification binaire, offrant une solution plus nuancée et exploitable pour traiter efficacement les erreurs de l’IA.
Comprendre les catégories d’hallucinations
Les erreurs générées par les systèmes d’IA ne sont pas toutes identiques. Certaines impliquent de simples inexactitudes factuelles, comme une date mal indiquée, tandis que d’autres fabriquent des entités entièrement nouvelles ou des affirmations invérifiables. Pour répondre à cette diversité, une taxonomie fine catégorise les hallucinations en six types distincts. Cette structure apporte de la clarté sur la nature des erreurs et permet des corrections précises.
Le processus de catégorisation des hallucinations commence par l’analyse des informations par rapport aux preuves disponibles. L’arbre de décision ci-dessous montre comment différents types d’hallucinations sont identifiés étape par étape. Par exemple, les erreurs peuvent provenir de faits contradictoires, d’affirmations invérifiables ou d’entités entièrement inventées. En suivant cette approche structurée, la taxonomie offre une méthode systématique pour évaluer et traiter les hallucinations.
Figure : Arbre de décision expliquant la taxonomie et la manière dont les erreurs sont classées en six types, avec des exemples.
Les six catégories d’hallucinations sont les suivantes :
Erreurs d’entitéCelles-ci impliquent des détails incorrects tels que des noms, des dates ou des lieux. Par exemple, affirmer que Neil Armstrong a atterri sur la Lune en 1965 au lieu de 1969 est une erreur d’entité. Ces erreurs sont souvent simples à détecter et à corriger à l’aide de sources bien documentées.
Erreurs de relationLes erreurs de relation se produisent lorsque la relation entre deux entités est mal représentée. Par exemple, déclarer que Lionel Messi a été acquis par le PSG au lieu d’avoir rejoint le PSG modifie le sens de la relation. La correction de ces erreurs nécessite de comprendre le contexte des entités concernées.
Erreurs de phraseIl s’agit de phrases entières qui contredisent des preuves factuelles. Par exemple, l’énoncé : Messi n’a jamais été le capitaine de l’équipe de football d’Argentine est en conflit avec des faits bien établis. Les erreurs au niveau de la phrase nécessitent souvent davantage de contexte pour être identifiées et corrigées.
Informations inventéesLes erreurs de cette catégorie impliquent des fabrications d’entités ou de concepts qui n’existent pas. Par exemple, affirmer que Messi est connu pour son célèbre coup de pied d’avion crée une action entièrement fictive. Ces erreurs peuvent être plus difficiles à détecter, car elles peuvent sembler plausibles mais n’ont aucun fondement dans la réalité.
Énoncés subjectifsLes énoncés subjectifs se produisent lorsque des opinions sont présentées comme des affirmations factuelles. Par exemple, dire que Messi est le meilleur joueur de football au monde est subjectif et ne peut pas être vérifié universellement. Bien que les opinions soient valables dans des contextes informels, les présenter comme des faits peut entraîner des malentendus.
Affirmations invérifiablesCelles-ci impliquent des énoncés qui manquent de preuves suffisantes pour confirmer ou infirmer leur validité. Par exemple, une affirmation comme Messi aime chanter pour sa famille pendant son temps libre est invérifiable sans preuve spécifique ni corroboration directe.
Chaque catégorie met en évidence les diverses manières dont les hallucinations se manifestent, démontrant qu’une approche universelle de détection et de correction des erreurs est insuffisante. En répartissant les erreurs dans ces catégories, la taxonomie fournit la clarté nécessaire pour traiter les hallucinations avec précision.
Évaluer les performances de l’IA avec FAVABENCH
La taxonomie fournit une manière structurée de comprendre les hallucinations, mais évaluer dans quelle mesure les modèles d’IA traitent ces erreurs nécessite un cadre de test fiable. FAVABENCH, un jeu de données de référence, a été créé pour analyser les sorties de l’IA et évaluer leur capacité à détecter et corriger des types d’erreurs spécifiques.
FAVABENCH comprend des réponses annotées provenant de large language models tels que ChatGPT et Llama2-Chat, couvrant une gamme de tâches. Chaque réponse est analysée au niveau des segments, des parties spécifiques du texte étant signalées selon les six catégories d’hallucinations.
Le jeu de données révèle également des tendances dans les types d’erreurs générées par les modèles. Le graphique ci-dessous illustre la manière dont les hallucinations sont réparties entre différents modèles et jeux de données. Les erreurs d’entité sont courantes dans tous les modèles, tandis que les erreurs telles que les informations fabriquées ou les affirmations invérifiables montrent davantage de variabilité.
Figure : Graphique montrant la répartition des types d’hallucinations entre les modèles d’IA et les jeux de données
Pour illustrer davantage les types d’erreurs capturées par FAVABENCH, le tableau ci-dessous présente des exemples pour chaque catégorie, ainsi que leur prévalence dans différents modèles. Ces exemples mettent en évidence des problèmes récurrents, tels que les erreurs d’entité fréquentes, ainsi que des problèmes moins courants mais importants comme les informations inventées.
Figure : Exemples de types d’hallucinations avec leur prévalence selon les modèles
FAVABENCH aide à identifier des schémas dans la manière dont les systèmes d’IA gèrent les hallucinations en offrant des annotations détaillées et une répartition claire des performances des modèles. Il relie le cadre théorique de la taxonomie à l’évaluation pratique, nous permettant de déterminer précisément les domaines à améliorer dans les modèles d’IA.
Comment FAVA détecte et corrige les hallucinations
Détecter et corriger les hallucinations dans les sorties de l’IA nécessite à la fois d’identifier les erreurs et de vérifier les affirmations à l’aide de preuves externes fiables. FAVA (Fact Verification and Augmentation) emploie un processus en deux étapes combinant récupération et édition pour traiter efficacement un large éventail de types d’hallucinations. L’entraînement du modèle sur un jeu de données diversifié d’erreurs synthétiques joue un rôle clé dans ses capacités.
Entraîner FAVA avec des données synthétiques
Pour préparer FAVA à identifier et corriger les hallucinations, un jeu de données synthétique a été créé, adapté aux six types d’erreurs définis dans la taxonomie. Ce processus a commencé par des passages factuellement exacts provenant de documents fiables comme Wikipedia. Ces passages ont ensuite été systématiquement modifiés afin d’introduire des erreurs, garantissant que le jeu de données reflète la variété et la complexité des hallucinations du monde réel. Des modèles ajustés par instructions tels que Chatgpt ont été utilisés pour insérer des erreurs dans les passages, telles que :
Remplacer des détails factuels comme des dates, des noms ou des lieux afin de générer des erreurs d’entité.
Ajouter des informations entièrement fabriquées pour simuler des affirmations inventées.
Introduire des déclarations invérifiables pour représenter des assertions ambiguës ou non étayées.
Chaque passage modifié a été associé à sa version originale non altérée, permettant à FAVA d’apprendre à la fois comment détecter les erreurs et comment les corriger en fonction du contexte et des preuves. La nature systématique du processus de génération du jeu de données a garanti que FAVA pouvait bien généraliser à des erreurs inédites lors d’applications dans le monde réel.
Figure : Illustration du processus de génération de données synthétiques, montrant comment du contenu exact a été modifié pour inclure divers types d’hallucinations à des fins d’entraînement
Ce jeu de données d’entraînement diversifié a permis à FAVA de reconnaître des schémas dans les hallucinations et l’a doté de la capacité à catégoriser et résoudre les erreurs avec précision.
Récupérer des preuves et corriger les erreurs
Une fois entraîné, FAVA fonctionne en deux étapes clés : la récupération et l’édition.
Récupérer des preuvesLorsqu’une déclaration lui est présentée, FAVA commence par rechercher dans des sources externes, telles que Wikipedia, des informations pertinentes. Cette étape garantit que le modèle a accès à des données factuelles pour vérifier le texte d’entrée. Par exemple, si l’entrée indique Messi est né à Miami, le composant de récupération recherche des documents fournissant des preuves sur le lieu de naissance de Messi. Ces documents servent de fondement à l’étape suivante du processus.
Détecter et corriger les erreursÀ l’aide des preuves récupérées, FAVA identifie des hallucinations spécifiques dans le texte d’entrée. Il catégorise ces erreurs selon la taxonomie, en les signalant notamment comme des erreurs d’entité, des affirmations inventées ou des déclarations invérifiables. Le composant d’édition propose ensuite des corrections éclairées par les preuves récupérées. Par exemple, dans l’exemple précédent, FAVA détecterait que Miami est incorrect et le remplacerait par le fait vérifié, Rosario, Argentine.
Ce processus structuré permet à FAVA de traiter les erreurs aux niveaux de l’identification et de la correction, garantissant que les sorties sont non seulement exactes, mais aussi fondées sur des informations vérifiables.
Évaluer les performances de FAVA
Pour mesurer l’efficacité avec laquelle FAVA et d’autres modèles détectent et corrigent les hallucinations, des métriques clés comme la précision, le rappel et le score F1 sont utilisées. Ces métriques fournissent un aperçu de la fiabilité, de l’exhaustivité et des performances globales du modèle.
Précision
La précision mesure la proportion de prédictions effectuées par le modèle pour un type d’erreur spécifique qui sont correctes. Elle évalue la fiabilité du modèle lorsqu’il identifie des hallucinations, en se concentrant sur l’évitement des faux positifs. Dans la formule de la précision, Pₜ, le numérateur représente la somme des prédictions correctes pour le type d’erreur t sur l’ensemble des phrases, tandis que le dénominateur correspond au nombre total de prédictions effectuées par le modèle pour ce type d’erreur. Une valeur de précision plus élevée indique que le modèle fait moins de prédictions incorrectes lorsqu’il identifie des erreurs spécifiques.
Formule : Pₜ = Σᵢ∈ᴸ [eₜ,ᵢ = eₜ,ᵢ*] ÷ Σᵢ∈ᴸ [eₜ,ᵢ = TRUE]
Rappel
Le rappel reflète la proportion d’instances réelles d’un type d’erreur spécifique que le modèle identifie avec succès. Cette métrique met en évidence l’exhaustivité du modèle dans la capture de tous les cas pertinents pour chaque type d’erreur. Dans la formule du rappel, Rₜ, le numérateur représente la somme des instances correctement identifiées du type d’erreur t, tandis que le dénominateur correspond au nombre total d’instances réelles de ce type d’erreur sur l’ensemble des phrases. Une valeur de rappel plus élevée signifie que le modèle capture un plus grand nombre d’erreurs réelles, minimisant les risques de manquer des instances pertinentes.
Formule : Rₜ = Σᵢ∈ᴸ [eₜ,ᵢ = eₜ,ᵢ] ÷ Σᵢ∈ᴸ [eₜ,ᵢ = TRUE]
Score F1
Le score F1 équilibre la précision et le rappel, offrant une moyenne harmonique qui reflète à la fois l’exactitude et l’exhaustivité. Ce score est particulièrement utile lorsque la précision et le rappel présentent des compromis. La formule du F1 moyenne les scores sur l’ensemble des types d’erreurs, en utilisant P_t et R_t pour représenter la précision et le rappel pour un type d’erreur spécifique. Un score F1 plus élevé indique que le modèle est performant à la fois pour identifier correctement les erreurs et pour s’assurer que la plupart des erreurs sont détectées.
Formule : F1 = (1 ÷ |E|) × Σₜ∈ᴱ [2 × Pₜ × Rₜ ÷ (Pₜ + Rₜ)]
En combinant la récupération de preuves avec une édition fine, FAVA fournit un cadre robuste pour améliorer l’exactitude factuelle du contenu généré par l’IA. Son recours à des sources externes garantit que les détections et les corrections sont fondées sur des preuves fiables, tandis que son entraînement sur divers types d’erreurs lui permet de traiter un large éventail d’hallucinations. Les performances de FAVA ont été évaluées par rapport à des systèmes de référence, notamment ChatGPT augmenté par récupération et GPT-4, en utilisant les scores F1 comme mesure de la détection fine sur différents types d’hallucinations. Le tableau ci-dessous met en évidence la capacité de FAVA à surpasser ses homologues dans l’identification des erreurs à travers des catégories telles que les erreurs d’entités, les informations inventées et les phrases contradictoires.
Figure : Résultats sur la détection fine (métrique : F1)
Les résultats, basés sur les scores F1, indiquent que l’approche de FAVA consistant à combiner récupération et édition surpasse nettement ses homologues sur différents types d’hallucinations. Par exemple, FAVA atteint un score F1 moyen de 48.1 lors de l’édition de sorties générées par ChatGPT et de 47.2 pour les sorties de Llama2-Chat 70B, dépassant tous les modèles de référence dans les deux cas. Son recours à des preuves externes et son entraînement sur divers types d’erreurs lui permettent d’identifier les erreurs avec précision, lui donnant un avantage clair pour améliorer la fiabilité des sorties de l’IA.
Applications et implications de FAVA
La capacité à identifier et à corriger les hallucinations rend FAVA particulièrement précieux dans les scénarios où les sorties de l’IA doivent répondre à des normes élevées d’exactitude. Son approche de catégorisation des erreurs et d’ancrage des corrections dans des preuves fiables le positionne comme un outil pratique dans plusieurs domaines.
Santé
Dans le domaine de la santé, la précision est primordiale. Les systèmes d’IA sont de plus en plus utilisés pour rédiger des synthèses de soins aux patients, suggérer des traitements ou analyser des articles de recherche. Les erreurs dans ces sorties, même mineures, peuvent avoir des conséquences importantes. En validant les affirmations et en corrigeant les inexactitudes, FAVA garantit que les informations médicales générées par l’IA s’alignent sur les connaissances établies, rendant ces outils plus sûrs et plus efficaces.
Éducation
Les étudiants et les enseignants s’appuient sur l’IA pour des explications, des synthèses et une aide à la recherche. Les hallucinations dans le contenu éducatif peuvent introduire de la désinformation, entraînant des malentendus. L’accent mis par FAVA sur l’identification de types spécifiques d’erreurs contribue à améliorer la qualité des supports pédagogiques, en veillant à ce que les apprenants aient accès à des informations exactes et vérifiables.
Journalisme et création de contenu
Pour les journalistes et les créateurs de contenu, les erreurs factuelles dans les brouillons générés par l’IA peuvent nuire à la crédibilité. Qu’il s’agisse de générer des synthèses, des rapports ou des articles, les sorties doivent respecter des faits vérifiables. La capacité de FAVA à détecter et à traiter les affirmations fabriquées ou les déclarations invérifiables garantit que le contenu reste fiable, même lorsqu’il est produit à grande échelle.
Applications sensibles
Des domaines tels que l’analyse juridique, gouvernementale et financière déploient souvent l’IA pour traiter de grandes quantités de texte ou générer des rapports. Dans ces domaines, les erreurs peuvent avoir des implications considérables. La capacité de FAVA à corriger les erreurs avant que les sorties ne soient finalisées garantit que ces systèmes peuvent fonctionner avec la fiabilité exigée dans des environnements à fort enjeu.
En affinant le contenu généré par l’IA pour en assurer l’exactitude et la crédibilité, FAVA ouvre de nouvelles perspectives pour une utilisation responsable de l’IA dans des domaines critiques. Son approche de la correction des erreurs répond à des défis spécifiques rencontrés dans les applications réelles, renforçant la valeur pratique de l’IA dans les domaines professionnels et sensibles.
Limites et orientations futures pour FAVA
Bien que FAVA marque un progrès dans la prise en charge des hallucinations dans les sorties de l’IA, certaines limites restreignent ses capacités actuelles.
Limites
Dépendance à la récupérationLa dépendance de FAVA à des sources externes pour les preuves restreint sa capacité à traiter les affirmations lorsque des informations pertinentes ou exactes ne sont pas facilement disponibles. Limiter le modèle aux cinq principaux documents récupérés peut réduire son efficacité pour traiter des affirmations complexes nécessitant une base de preuves plus large.
Performance sur les erreurs complexesFAVA est plus efficace pour gérer les erreurs simples comme les entités incorrectes et les phrases contradictoires, mais rencontre des difficultés avec les types d’erreurs complexes tels que les déclarations inventées ou les affirmations invérifiables. Celles-ci nécessitent une vérification contextuelle plus approfondie que l’approche actuelle ne prend pas entièrement en charge.
Subjectivité dans l’annotationLa taxonomie repose sur des annotations humaines subjectives pour la catégorisation des erreurs, en particulier pour les catégories ambiguës comme les déclarations subjectives ou les affirmations invérifiables. Cela introduit de l’incohérence, car les interprétations peuvent varier d’un annotateur à l’autre.
Limites des données synthétiquesLe jeu de données synthétique utilisé pour l’entraînement, bien que diversifié et contrôlé, peut ne pas saisir pleinement la subtilité ou la complexité des hallucinations du monde réel. Cela peut limiter la capacité de FAVA à généraliser à des entrées du monde réel qui diffèrent de ses scénarios d’entraînement.
Ces défis offrent des possibilités d’affinement et de développement futur.
Orientations futures
Amélioration des mécanismes de récupérationL’amélioration des processus de récupération afin d’intégrer un éventail plus large de sources de preuves et d’affiner la sélection des documents pourrait renforcer la capacité de FAVA à vérifier des affirmations complexes. L’intégration de bases de données propres à un domaine ou de la récupération d’informations en temps réel pourrait encore améliorer son exactitude.
Élargissement de la taxonomieÉtendre la taxonomie afin d’inclure des types d’erreurs supplémentaires, tels que les incohérences logiques, les inexactitudes numériques ou les décalages contextuels, permettrait à FAVA de traiter un plus large éventail d’hallucinations. Une taxonomie plus complète bénéficierait également aux applications au-delà des scénarios de recherche d’information.
Génération de données évolutive et efficaceDévelopper des méthodes pour générer des données d’entraînement de haute qualité à grande échelle est essentiel pour réduire les coûts et améliorer le réalisme. Tirer parti d’approches semi-automatisées ou de modèles avancés pour créer des instances d’entraînement diversifiées pourrait répondre aux limites des jeux de données synthétiques.
Amélioration des benchmarks d’évaluationÉlargir la taille et la diversité des jeux de données d’évaluation comme FAVABENCH fournirait une mesure plus précise des performances des modèles. L’intégration de scénarios issus de domaines variés, y compris les textes longs et les défis propres à certains domaines, pourrait mieux refléter les cas d’utilisation réels.
En abordant ces aspects, FAVA peut évoluer vers un outil plus robuste, capable de gérer des scénarios divers et complexes.
Conclusion
FAVA répond au défi critique des hallucinations dans l’IA en combinant la récupération de preuves avec la détection et la correction fines des erreurs. Sa taxonomie détaillée, son benchmark d’évaluation et son entraînement sur divers types d’erreurs améliorent l’exactitude factuelle des sorties de l’IA, ce qui en fait un outil précieux pour les applications réelles. Bien que des limites telles que la dépendance à la récupération et les difficultés liées aux affirmations complexes subsistent, de futures améliorations des processus de récupération, de la génération de données et de l’élargissement de la taxonomie renforceront davantage les capacités de FAVA. Alors que l’IA continue de façonner des secteurs comme la santé, l’éducation et le journalisme, des outils comme FAVA sont essentiels pour garantir la fiabilité et la confiance dans les systèmes d’IA.
Continuer à lire
Migrating Self-Managed Milvus to Zilliz Cloud for >99% Latency Reduction
Step-by-step guide to migrating 50M vectors from self-managed Milvus to Zilliz Cloud using milvus-backup. Achieve >99% query latency reduction with zero data loss.
The Real Bottlenecks in Autonomous Driving — And How AI Infrastructure Can Solve Them
Autonomous driving faces a data bottleneck. Learn how AI-native vector databases like Zilliz solve scale, cost, and insight challenges across AV pipelines.
Bringing AI to Legal Tech: The Role of Vector Databases in Enhancing LLM Guardrails
Discover how vector databases enhance AI reliability in legal tech, ensuring accurate, compliant, and trustworthy AI-powered legal solutions.