Aprimorando a confiabilidade da IA por meio da detecção e correção refinadas de alucinações com FAVA
Imagine depender de uma ferramenta de IA para redigir um relatório. Você pede detalhes sobre as missões Apollo, e ela afirma com confiança que Neil Armstrong pousou na lua em 1965. Sem verificar isso, você inclui o erro no seu relatório. Este é um exemplo de alucinação, em que a IA gera informações plausíveis, mas incorretas ou não verificáveis.
As alucinações desafiam a confiabilidade da IA, especialmente em áreas como saúde, educação e jornalismo, onde até pequenas imprecisões podem levar a consequências graves. Os erros podem variar de simples equívocos factuais a entidades ou eventos inteiramente fabricados, exigindo mais do que uma classificação básica de factual ou não. Para enfrentar esse desafio, o FAVA, um modelo de linguagem aumentado por recuperação para detectar e corrigir alucinações, foi apresentado no artigo Fine-Grained Hallucination Detection and Editing for Language Models. Essa abordagem também inclui uma taxonomia refinada para categorizar erros e um conjunto de dados de benchmark chamado FAVABENCH para avaliar o desempenho do modelo. Juntas, essas ferramentas melhoram a confiabilidade da IA em contextos de alto risco.
Neste blog, exploraremos a natureza das alucinações, a taxonomia que fornece uma estrutura para categorizá-las, o conjunto de dados FAVABENCH projetado para avaliação e como o FAVA detecta e corrige erros.
Por que os métodos existentes têm dificuldade em detectar erros de IA
A maioria dos sistemas para identificar erros em saídas de IA trata a tarefa como uma decisão simples, classificando uma afirmação como factual ou não. Embora essa abordagem binária seja direta, ela frequentemente não consegue lidar com a complexidade dos erros gerados por IA. Por exemplo, identificar uma data errada pode parecer simples, mas reconhecer uma entidade fabricada ou corrigir um erro relacional sutil exige uma compreensão mais profunda do conteúdo e do contexto.
É necessária uma abordagem mais detalhada para ir além de rotular afirmações inteiras como incorretas. Considere a frase: Messi é um jogador de futebol em Barcelona. Ele é conhecido pelo filme de 2017 The Messi Diaries. Um sistema binário poderia marcar a afirmação como falsa sem explicar o motivo. A detecção refinada, por outro lado, identifica problemas específicos: a localização incorreta (Barcelona deveria ser Miami) e a alegação inventada sobre um filme inexistente.
Figura: Uma comparação entre a detecção binária e refinada de alucinações, demonstrando como métodos refinados identificam tipos específicos de erros dentro de uma afirmação.
Ao identificar a natureza específica dos erros, como detalhes imprecisos ou alegações fabricadas, a detecção refinada fornece clareza e permite correções direcionadas. Essa abordagem supera as limitações da classificação binária, oferecendo uma solução mais matizada e acionável para lidar com erros de IA de forma eficaz.
Compreendendo as categorias de alucinações
Os erros gerados por sistemas de IA não são todos iguais. Alguns envolvem simples imprecisões factuais, como informar uma data incorretamente, enquanto outros fabricam entidades totalmente novas ou alegações não verificáveis. Para abordar essa diversidade, uma taxonomia refinada categoriza as alucinações em seis tipos distintos. Essa estrutura fornece clareza sobre a natureza dos erros e permite correções precisas.
O processo de categorização de alucinações começa com a análise das informações em relação às evidências disponíveis. A árvore de decisão abaixo mostra como diferentes tipos de alucinações são identificados passo a passo. Por exemplo, erros podem surgir de fatos contraditórios, afirmações não verificáveis ou entidades inteiramente inventadas. Ao seguir essa abordagem estruturada, a taxonomia oferece uma maneira sistemática de avaliar e lidar com alucinações.
Figura: Árvore de decisão explicando a taxonomia e como os erros são categorizados em seis tipos, com exemplos.
As seis categorias de alucinações são as seguintes:
Erros de EntidadeEnvolvem detalhes incorretos como nomes, datas ou locais. Por exemplo, afirmar que Neil Armstrong pousou na Lua em 1965 em vez de 1969 é um erro de entidade. Esses erros costumam ser fáceis de detectar e corrigir usando fontes bem documentadas.
Erros de RelaçãoErros de relação ocorrem quando a relação entre duas entidades é representada de forma incorreta. Por exemplo, afirmar que Lionel Messi foi adquirido pelo PSG em vez de ingressar no PSG altera o significado da relação. Corrigir esses erros requer compreender o contexto das entidades envolvidas.
Erros de SentençaSão frases inteiras que contradizem evidências factuais. Por exemplo, a afirmação: Messi nunca foi capitão da seleção argentina de futebol entra em conflito com fatos bem estabelecidos. Erros no nível da sentença geralmente exigem mais contexto para serem identificados e corrigidos.
Informação InventadaErros nesta categoria envolvem fabricações de entidades ou conceitos que não existem. Por exemplo, afirmar que Messi é conhecido por seu famoso chute de avião cria uma ação inteiramente fictícia. Esses erros podem ser mais difíceis de detectar porque podem parecer plausíveis, mas não têm base na realidade.
Declarações SubjetivasDeclarações subjetivas ocorrem quando opiniões são apresentadas como afirmações factuais. Por exemplo, dizer Messi é o melhor jogador de futebol do mundo é subjetivo e não pode ser verificado universalmente. Embora opiniões sejam válidas em contextos informais, apresentá-las como fatos pode levar a mal-entendidos.
Afirmações InverificáveisEnvolvem declarações que carecem de evidências suficientes para confirmar ou negar sua validade. Por exemplo, uma afirmação como Messi gosta de cantar para sua família em seu tempo livre é inverificável sem evidências específicas ou corroboração direta.
Cada categoria destaca as diversas formas pelas quais as alucinações se manifestam, demonstrando que uma abordagem única para detectar e corrigir erros é insuficiente. Ao dividir os erros nessas categorias, a taxonomia fornece a clareza necessária para abordar alucinações com precisão.
Avaliando o Desempenho de IA com FAVABENCH
A taxonomia fornece uma forma estruturada de compreender alucinações, mas avaliar quão bem os modelos de IA lidam com esses erros requer uma estrutura de testes confiável. FAVABENCH, um conjunto de dados de benchmark, foi criado para analisar saídas de IA e avaliar sua capacidade de detectar e corrigir tipos específicos de erros.
FAVABENCH inclui respostas anotadas de large language models como ChatGPT e Llama2-Chat, abrangendo uma variedade de tarefas. Cada resposta é analisada no nível de trecho, com partes específicas do texto sinalizadas com base nas seis categorias de alucinações.
O conjunto de dados também revela tendências nos tipos de erros que os modelos geram. O gráfico abaixo ilustra como as alucinações são distribuídas entre diferentes modelos e conjuntos de dados. Erros de entidade são comuns em todos os modelos, enquanto erros como informação fabricada ou afirmações inverificáveis mostram mais variabilidade.
Figura: Gráfico mostrando a distribuição dos tipos de alucinação entre modelos e conjuntos de dados de IA
Para ilustrar melhor os tipos de erros capturados pelo FAVABENCH, a tabela abaixo apresenta exemplos para cada categoria, juntamente com sua prevalência em diferentes modelos. Esses exemplos destacam problemas recorrentes, como erros de entidade frequentes, bem como problemas menos comuns, mas significativos, como informação inventada.
Figura: Exemplos de tipos de alucinação com sua prevalência entre modelos
O FAVABENCH ajuda a identificar padrões em como os sistemas de IA lidam com alucinações, oferecendo anotações detalhadas e uma divisão clara do desempenho dos modelos. Ele conecta a estrutura teórica da taxonomia com a avaliação prática, permitindo-nos identificar áreas para melhoria nos modelos de IA.
Como o FAVA Detecta e Corrige Alucinações
Detectar e corrigir alucinações em saídas de IA requer tanto identificar erros quanto verificar afirmações usando evidências externas confiáveis. FAVA (Verificação e Aumento de Fatos) emprega um processo em duas etapas que combina recuperação e edição para lidar efetivamente com uma ampla variedade de tipos de alucinação. O treinamento do modelo em um conjunto de dados diverso de erros sintéticos desempenha um papel fundamental em suas capacidades.
Treinando o FAVA com Dados Sintéticos
Para preparar o FAVA para identificar e corrigir alucinações, foi criado um conjunto de dados sintético adaptado aos seis tipos de erros definidos na taxonomia. Esse processo começou com passagens factualmente precisas obtidas de documentos confiáveis como a Wikipedia. Essas passagens foram então modificadas sistematicamente para introduzir erros, garantindo que o conjunto de dados refletisse a variedade e a complexidade das alucinações do mundo real. Modelos ajustados por instrução, como o Chatgpt, foram usados para inserir erros nas passagens, como:
Substituir detalhes factuais como datas, nomes ou locais para gerar erros de entidade.
Adicionar informações completamente fabricadas para simular alegações inventadas.
Introduzir declarações não verificáveis para representar afirmações ambíguas ou sem suporte.
Cada passagem modificada foi pareada com sua versão original, inalterada, permitindo que o FAVA aprendesse tanto como detectar os erros quanto como corrigi-los com base no contexto e nas evidências. A natureza sistemática do processo de geração do conjunto de dados garantiu que o FAVA pudesse generalizar bem para erros não vistos durante aplicações no mundo real.
Figura: Ilustração do processo de geração de dados sintéticos, mostrando como o conteúdo preciso foi modificado para incluir vários tipos de alucinações para fins de treinamento
Esse conjunto de dados de treinamento diverso permitiu que o FAVA reconhecesse padrões em alucinações e o equipou com a capacidade de categorizar e resolver erros com precisão.
Recuperando Evidências e Corrigindo Erros
Uma vez treinado, o FAVA opera em duas etapas principais: recuperação e edição.
Recuperando EvidênciasQuando apresentado a uma declaração, o FAVA começa pesquisando fontes externas, como a Wikipedia, em busca de informações relevantes. Essa etapa garante que o modelo tenha acesso a dados factuais para verificar o texto de entrada. Por exemplo, se a entrada afirma Messi nasceu em Miami, o componente de recuperação pesquisa documentos que forneçam evidências sobre o local de nascimento de Messi. Esses documentos servem como base para a próxima etapa do processo.
Detectando e Corrigindo ErrosUsando as evidências recuperadas, o FAVA identifica alucinações específicas no texto de entrada. Ele categoriza esses erros com base na taxonomia, sinalizando-os como erros de entidade, alegações inventadas ou declarações não verificáveis, entre outros. O componente de edição então propõe correções informadas pelas evidências recuperadas. Por exemplo, no exemplo anterior, o FAVA detectaria que Miami está incorreto e o substituiria pelo fato verificado, Rosário, Argentina.
Esse processo estruturado permite que o FAVA trate erros tanto nos níveis de identificação quanto de correção, garantindo que as saídas não sejam apenas precisas, mas também fundamentadas em informações verificáveis.
Avaliando o Desempenho do FAVA
Para medir a eficácia com que o FAVA e outros modelos detectam e corrigem alucinações, são usadas métricas-chave como precisão, recall e pontuação F1. Essas métricas fornecem insights sobre a confiabilidade, a abrangência e o desempenho geral do modelo.
Precisão
A precisão mede a proporção de previsões feitas pelo modelo para um tipo específico de erro que estão corretas. Ela avalia a confiabilidade do modelo ao identificar alucinações, com foco em evitar falsos positivos. Na fórmula da precisão, Pₜ, o numerador representa a soma das previsões corretas para o tipo de erro t em todas as frases, enquanto o denominador é o número total de previsões que o modelo fez para esse tipo de erro. Um valor de precisão mais alto indica que o modelo faz menos previsões incorretas ao identificar erros específicos.
Fórmula: Pₜ = Σᵢ∈ᴸ [eₜ,ᵢ = eₜ,ᵢ*] ÷ Σᵢ∈ᴸ [eₜ,ᵢ = TRUE]
Recall
O recall reflete a proporção de instâncias verdadeiras de um tipo específico de erro que o modelo identifica com sucesso. Essa métrica destaca a abrangência do modelo ao capturar todos os casos relevantes para cada tipo de erro. Na fórmula do recall, Rₜ, o numerador representa a soma das instâncias corretamente identificadas do tipo de erro t, enquanto o denominador é o número total de instâncias verdadeiras desse tipo de erro em todas as frases. Um valor de recall mais alto significa que o modelo captura um número maior de erros reais, minimizando as chances de deixar passar instâncias relevantes.
Fórmula: Rₜ = Σᵢ∈ᴸ [eₜ,ᵢ = eₜ,ᵢ] ÷ Σᵢ∈ᴸ [eₜ,ᵢ = TRUE]
Pontuação F1
A pontuação F1 equilibra precisão e recall, oferecendo uma média harmônica que reflete tanto a exatidão quanto a abrangência. Essa pontuação é particularmente útil quando precisão e recall apresentam trade-offs. A fórmula F1 calcula a média das pontuações em todos os tipos de erro, usando P_t e R_t para representar a precisão e o recall de um tipo específico de erro. Uma pontuação F1 mais alta indica que o modelo tem bom desempenho tanto na identificação correta de erros quanto na garantia de que a maioria dos erros seja detectada.
Fórmula: F1 = (1 ÷ |E|) × Σₜ∈ᴱ [2 × Pₜ × Rₜ ÷ (Pₜ + Rₜ)]
Ao combinar recuperação de evidências com edição de granularidade fina, o FAVA fornece uma estrutura robusta para melhorar a precisão factual do conteúdo gerado por IA. Sua dependência de fontes externas garante que detecções e correções sejam fundamentadas em evidências confiáveis, enquanto seu treinamento em diversos tipos de erro o capacita a lidar com uma ampla gama de alucinações. O desempenho do FAVA foi avaliado em comparação com sistemas de referência, incluindo ChatGPT aumentado por recuperação e GPT-4, usando pontuações F1 como medida de detecção de granularidade fina em vários tipos de alucinação. A tabela abaixo destaca a capacidade do FAVA de superar seus equivalentes na identificação de erros em categorias como erros de entidade, informações inventadas e frases contraditórias.
Figura: Resultados na detecção de granularidade fina (métrica: F1)
Os resultados, com base nas pontuações F1, indicam que a abordagem do FAVA de combinar recuperação e edição supera significativamente seus equivalentes em vários tipos de alucinação. Por exemplo, o FAVA alcança uma pontuação F1 média de 48,1 ao editar saídas geradas pelo ChatGPT e 47,2 para saídas do Llama2-Chat 70B, superando todos os modelos de referência em ambos os casos. Sua dependência de evidências externas e seu treinamento em diversos tipos de erro o capacitam a identificar erros com precisão, dando-lhe uma vantagem clara na melhoria da confiabilidade das saídas de IA.
Aplicações e Implicações do FAVA
A capacidade de identificar e corrigir alucinações torna o FAVA particularmente valioso em cenários em que as saídas de IA devem atender a altos padrões de precisão. Sua abordagem para categorizar erros e fundamentar correções em evidências confiáveis o posiciona como uma ferramenta prática em vários domínios.
Saúde
Na área da saúde, a precisão é fundamental. Sistemas de IA são cada vez mais usados para redigir resumos de cuidados ao paciente, sugerir tratamentos ou analisar artigos de pesquisa. Erros nesses resultados, mesmo os menores, podem ter consequências significativas. Ao validar afirmações e corrigir imprecisões, a FAVA garante que informações médicas geradas por IA estejam alinhadas com o conhecimento estabelecido, tornando essas ferramentas mais seguras e eficazes.
Educação
Estudantes e educadores dependem da IA para explicações, resumos e assistência em pesquisas. Alucinações em conteúdos educacionais podem introduzir desinformação, levando a mal-entendidos. O foco da FAVA em identificar tipos específicos de erros ajuda a melhorar a qualidade dos materiais educacionais, garantindo que os aprendizes tenham acesso a informações precisas e verificáveis.
Jornalismo e Criação de Conteúdo
Para jornalistas e criadores de conteúdo, erros factuais em rascunhos gerados por IA podem prejudicar a credibilidade. Seja gerando resumos, relatórios ou artigos, os resultados devem aderir a fatos verificáveis. A capacidade da FAVA de detectar e abordar afirmações fabricadas ou declarações não verificáveis garante que o conteúdo permaneça confiável, mesmo quando produzido em escala.
Aplicações Sensíveis
Áreas como análise jurídica, governamental e financeira frequentemente empregam IA para processar grandes volumes de texto ou gerar relatórios. Nesses domínios, erros podem ter implicações de longo alcance. A capacidade da FAVA de corrigir erros antes que os resultados sejam finalizados garante que esses sistemas possam operar com a confiabilidade exigida em ambientes de alto risco.
Ao refinar conteúdos gerados por IA quanto à precisão e credibilidade, a FAVA abre novas oportunidades para o uso responsável da IA em áreas críticas. Sua abordagem para correção de erros trata desafios específicos enfrentados em aplicações do mundo real, aumentando o valor prático da IA em domínios profissionais e sensíveis.
Limitações e Direções Futuras para a FAVA
Embora a FAVA represente progresso no enfrentamento de alucinações em resultados de IA, certas limitações restringem suas capacidades atuais.
Limitações
Dependência de RecuperaçãoA dependência da FAVA de fontes externas para evidências restringe sua capacidade de lidar com afirmações quando informações relevantes ou precisas não estão prontamente disponíveis. Limitar o modelo aos cinco principais documentos recuperados pode reduzir sua eficácia ao abordar afirmações complexas que exigem uma base de evidências mais ampla.
Desempenho em Erros ComplexosA FAVA é mais eficaz ao lidar com erros diretos, como entidades incorretas e frases contraditórias, mas enfrenta desafios com tipos de erro complexos, como declarações inventadas ou afirmações não verificáveis. Estes exigem uma verificação contextual mais profunda que a abordagem atual não aborda plenamente.
Subjetividade na AnotaçãoA taxonomia depende de anotações humanas subjetivas para a categorização de erros, particularmente para categorias ambíguas como declarações subjetivas ou afirmações não verificáveis. Isso introduz inconsistência, pois as interpretações podem variar entre anotadores.
Limitações de Dados SintéticosO conjunto de dados sintéticos usado para treinamento, embora diverso e controlado, pode não capturar plenamente a sutileza ou a complexidade das alucinações do mundo real. Isso pode limitar a capacidade da FAVA de generalizar para entradas do mundo real que diferem de seus cenários de treinamento.
Esses desafios oferecem oportunidades para refinamento e desenvolvimento futuro.
Direções Futuras
Aprimoramento dos Mecanismos de RecuperaçãoMelhorar os processos de recuperação para incorporar uma gama mais ampla de fontes de evidências e refinar a seleção de documentos poderia fortalecer a capacidade da FAVA de verificar afirmações complexas. Incorporar bancos de dados específicos de domínio ou recuperação de informações em tempo real pode aprimorar ainda mais sua precisão.
Expandindo a TaxonomiaEstender a taxonomia para incluir tipos adicionais de erros, como inconsistências lógicas, imprecisões numéricas ou incompatibilidades contextuais, permitiria que o FAVA abordasse uma gama mais ampla de alucinações. Uma taxonomia mais abrangente também beneficiaria aplicações além dos cenários de busca de informações.
Geração de Dados Escalável e EficienteDesenvolver métodos para gerar dados de treinamento de alta qualidade em escala é essencial para reduzir custos e melhorar o realismo. Aproveitar abordagens semiautomatizadas ou modelos avançados para criar instâncias de treinamento diversas poderia resolver as limitações dos conjuntos de dados sintéticos.
Melhorando os Benchmarks de AvaliaçãoExpandir o tamanho e a diversidade de conjuntos de dados de avaliação como o FAVABENCH forneceria uma medida mais precisa do desempenho do modelo. Incorporar cenários de domínios variados, incluindo textos longos e desafios específicos de domínio, poderia refletir melhor os casos de uso do mundo real.
Ao abordar essas áreas, o FAVA pode evoluir para uma ferramenta mais robusta, capaz de lidar com cenários diversos e complexos.
Conclusão
O FAVA aborda o desafio crítico das alucinações em IA ao combinar a recuperação de evidências com a detecção e correção refinadas de erros. Sua taxonomia detalhada, benchmark de avaliação e treinamento em diversos tipos de erro aumentam a precisão factual das saídas de IA, tornando-o uma ferramenta valiosa para aplicações do mundo real. Embora limitações como a dependência de recuperação e desafios com alegações complexas permaneçam, melhorias futuras nos processos de recuperação, na geração de dados e na expansão da taxonomia fortalecerão ainda mais as capacidades do FAVA. À medida que a IA continua a moldar setores como saúde, educação e jornalismo, ferramentas como o FAVA são cruciais para garantir confiabilidade e confiança nos sistemas de IA.
Continue lendo
VDBBench Adds Cost-Aware Benchmarking for Vector Databases
Compare Zilliz Cloud, Pinecone, and turbopuffer with VDBBench cost-aware vector database benchmarks across latency, freshness, multitenancy, and cold starts.
Zilliz Cloud BYOC Now Available Across AWS, GCP, and Azure
Zilliz Cloud BYOC is now generally available on all three major clouds. Deploy fully managed vector search in your own AWS, GCP, or Azure account — your data never leaves your VPC.
Why Deepseek is Waking up AI Giants Like OpenAI And Why You Should Care
Discover how DeepSeek R1's open-source AI model with superior reasoning capabilities and lower costs is disrupting the AI landscape and challenging tech giants like OpenAI.