Injeção de Conhecimento em LLMs: Ajuste Fino e RAG
Modelos de Linguagem Grandes (LLMs) são impressionantes em sua capacidade de armazenar e gerar vasto conhecimento. Eles se baseiam em enormes conjuntos de dados durante o pré-treinamento, tornando-se especialistas em vários tópicos. Mas eles têm seus limites. Primeiro, seu conhecimento é estático, pois não é atualizado com o passar do tempo. Além disso, embora se destaquem em conhecimento geral, frequentemente ficam aquém ao fornecer a expertise profunda necessária para áreas especializadas como saúde, finanças ou direito.
Métodos de injeção de conhecimento, como Fine-Tuning e Retrieval-Augmented Generation (RAG), são utilizados para lidar com essas limitações. O fine-tuning envolve ajustar os pesos de um modelo com dados específicos da tarefa, enquanto o RAG incorpora conhecimento externo durante a inferência, permitindo que o modelo recupere informações relevantes quando necessário. Neste estudo, essas duas abordagens são comparadas em várias tarefas intensivas em conhecimento para avaliar sua eficácia na expansão e no refinamento do conhecimento factual dos LLMs.
O RAG superou consistentemente o fine-tuning em tarefas intensivas em conhecimento, demonstrando sua capacidade superior de integrar informações externas. Embora o fine-tuning tenha melhorado o desempenho em relação ao modelo base, ele não foi tão competitivo quanto o RAG. Além disso, a ampliação de dados mostrou-se benéfica para o fine-tuning, pois expor os modelos a múltiplas variações do mesmo fato durante o treinamento melhorou a retenção de conhecimento.
Pipeline metodológico de Fine-Tuning e RAG
Vamos analisar mais de perto os dois métodos e explorar como eles se comparam quando se trata de melhorar o conhecimento de um LLM. Para colocar as coisas em perspectiva, imagine três estudantes fazendo uma prova sobre um tema que não estudaram. Um tinha o livro didático apenas durante a prova, outro estudou antes da prova, e o terceiro não tinha acesso a materiais depois que a prova começou. Quem você acha que teria o melhor desempenho?
Vamos descobrir!
Consulte o seguinte artigo para uma compreensão detalhada.
Por Que os LLMs Geram Erros Factuais?
Apesar de sua notável fluência e versatilidade, os LLMs são inerentemente propensos a erros factuais devido a vários fatores críticos, incluindo déficits de conhecimento de domínio, dados de treinamento desatualizados e limitações de raciocínio.
- Déficit de Conhecimento de Domínio: Os LLMs podem não ter expertise profunda em domínios específicos que foram sub-representados durante o treinamento. Por exemplo, um modelo treinado predominantemente em fontes de notícias gerais pode ter dificuldade com áreas altamente especializadas, como medicina ou direito, se não tiver sido ajustado com fine-tuning em dados específicos do domínio.
- Informações Desatualizadas: Os LLMs são restringidos pela data de corte de seus conjuntos de dados de treinamento. Quaisquer eventos, avanços científicos ou mudanças culturais que ocorram após esse corte não serão incorporados, levando a respostas desatualizadas. Isso é especialmente problemático em áreas dinâmicas como saúde, onde um modelo treinado antes da pandemia de COVID-19 não teria informações sobre protocolos de saúde relacionados à pandemia e desenvolvimentos de vacinas.
- Imemorização: Alguns conhecimentos aprendidos pelo modelo durante o treinamento podem não ser retidos, particularmente quando envolvem fatos raros ou padrões vistos com menos frequência nos dados de treinamento. Esse problema pode prejudicar a capacidade do modelo de recordar consistentemente informações menos comuns em diferentes tarefas ou entradas.
- Esquecimento: O esquecimento catastrófico ocorre durante o fine-tuning quando um modelo esquece informações aprendidas anteriormente, especialmente fatos menos enfatizados do treinamento original. Esse é um problema comum com LLMs e pode afetar a retenção de conhecimento a longo prazo.
- Falhas de raciocínio: LLMs às vezes falham em aplicar corretamente seu conhecimento, particularmente em tarefas complexas de raciocínio em várias etapas. Por exemplo, LLMs podem produzir respostas incorretas ou incompletas quando solicitados a resolver problemas avançados de matemática ou deduções lógicas em múltiplos estágios. Essas falhas geralmente estão ligadas à dificuldade do modelo em manter a coerência lógica ao longo de sequências de pensamento mais longas.
Esses problemas decorrem principalmente da fase de treinamento do modelo, com o esquecimento catastrófico sendo a exceção notável que surge após o treinamento durante o ajuste fino.
Injetando Conhecimento em Modelos de Linguagem
Erros factuais em Grandes Modelos de Linguagem (LLMs) são frequentemente resultado de lacunas na base de conhecimento do modelo. Para lidar com isso, a injeção de conhecimento é uma técnica importante que ajuda a refinar e expandir a capacidade do modelo de fornecer respostas precisas.
A injeção de conhecimento refere-se ao processo de modificar ou ampliar um modelo de linguagem com informações adicionais. Em vez de aprender fatos inteiramente novos, ela enviesada as previsões do modelo em direção a um domínio de conhecimento específico, melhorando seu desempenho em tarefas intensivas em conhecimento.
Formulação Matemática
Vamos agora explorar a formulação matemática por trás da injeção de conhecimento e como ela leva a uma melhoria na precisão do modelo.
Problema
A pesquisa se concentra no conhecimento factual. Se um modelo sabe algo, ele consegue responder consistentemente a perguntas relacionadas corretamente e distinguir afirmações verdadeiras de falsas.
Veja como isso funciona matematicamente:
Q = {qn}n=1N seja um conjunto de N perguntas factuais
Cada pergunta qn tem L respostas possíveis e C = {cn}n=1N é o conjunto de respostas corretas para essas perguntas.
M representa o modelo, que prevê uma resposta para cada pergunta. A resposta prevista pelo modelo para uma pergunta qn é denotada como M(qn) ∈ {an1 , . . . , anL } , e pertence a um conjunto de respostas possíveis.
Podemos avaliar o conhecimento do modelo calculando sua pontuação de conhecimento (precisão), que é a porcentagem de respostas corretas que o modelo fornece em relação a todas as perguntas:
LM,Q := #{qn| M(qn) = cn} N .
Nesta equação:
LM,Q é a pontuação de conhecimento do modelo.
O numerador conta quantas vezes a resposta do modelo M(qn) corresponde à resposta correta cn para cada pergunta qn.
O denominador é o número total de perguntas N.
Injeção de Conhecimento
O pré-treinamento geral por si só não é suficiente para muitas tarefas intensivas em conhecimento. Para melhorar o desempenho, precisamos de injeção de conhecimento.
Isso pode ser representado matematicamente da seguinte forma: dado um modelo pré-treinado M, um conjunto de perguntas Q e uma base de conhecimento auxiliar BQ, buscamos encontrar uma função para injeção de conhecimento F tal que:
M′ := F(M, BQ) s.t. LM',Q > LM,Q.
Em termos simples, buscamos criar um novo modelo M′ aplicando F, que incorpora a base de conhecimento BQ ao modelo original M. O objetivo é que o novo modelo tenha melhor desempenho ao responder mais perguntas corretamente.
Ganho de Precisão
Para ver o quanto a injeção de conhecimento (como ajuste fino ou RAG) melhorou o modelo, comparamos a precisão antes e depois de adicionar o conhecimento extra. A melhoria é calculada usando esta fórmula:
(LM`,Q-LM,Q) / LM,Q
Onde:
LM,Q é a precisão do modelo antes de adicionar novo conhecimento.
LM`,Qé a precisão do modelo após adicionar novo conhecimento.
Esta fórmula mostra o ganho relativo de precisão e o quanto o modelo melhorou depois de incorporar novas informações.
Frameworks para Injeção de Conhecimento
Dois frameworks comuns para injeção de conhecimento são ajuste fino (FT) e geração aumentada por recuperação (RAG). O ajuste fino adapta o modelo treinando-o com dados específicos do domínio, enquanto RAG aprimora o modelo recuperando informações relevantes de uma base de conhecimento externa durante a inferência.
Ajuste Fino
O fine-tuning é uma técnica amplamente utilizada para injeção de conhecimento. Nessa técnica, um LLM pré-treinado é treinado adicionalmente em um conjunto de dados especializado para internalizar conhecimento específico ou melhorar seu desempenho em tarefas específicas. Esse processo permite que o modelo "adapte" seu conhecimento aprendido anteriormente para incorporar novos fatos, termos específicos de domínio e padrões de raciocínio.
Tipos de Fine-Tuning
- Fine-Tuning Supervisionado: O fine-tuning supervisionado (SFT) requer conjuntos de pares entrada-saída rotulados. Um método comum de SFT é o ajuste por instruções, em que a entrada é uma descrição de tarefa em linguagem natural, e a saída é um exemplo do comportamento desejado. Muitos LLMs de última geração passam por ajuste por instruções após sua fase de pré-treinamento. O ajuste por instruções melhora a qualidade geral do modelo, com foco particular em capacidades de zero-shot e raciocínio. No entanto, o ajuste por instruções não ensina novos conhecimentos ao modelo e não é suficiente para a injeção de conhecimento por si só.
Fine-Tuning por Aprendizado por Reforço: Técnicas de fine-tuning baseadas em aprendizado por reforço (RL) otimizam modelos recompensando respostas corretas e penalizando as incorretas. Exemplos incluem aprendizado por reforço a partir de feedback humano (RLHF), otimização direta de preferências (DPO) e otimização de política proximal (PPO). Esses métodos são úteis para melhorar a qualidade geral das respostas e do comportamento. No entanto, assim como o ajuste por instruções, o fine-tuning por RL não aborda necessariamente a amplitude de conhecimento necessária para a injeção de conhecimento.
Fine-Tuning Não Supervisionado: O fine-tuning não supervisionado não requer dados rotulados. Um método comum é o pré-treinamento contínuo ou fine-tuning não estruturado, em que o processo é visto como uma continuação do pré-treinamento. O modelo é treinado de maneira autorregressiva causal, prevendo o próximo token. Uma taxa de aprendizado mais baixa é normalmente usada para evitar o esquecimento catastrófico. Essa abordagem é eficaz para injetar novos conhecimentos no modelo, pois se baseia no conhecimento armazenado durante a fase de pré-treinamento. Este trabalho usa fine-tuning não supervisionado para aprimorar a capacidade do modelo de aprender novas informações.
Geração Aumentada por Recuperação (RAG)
A Geração Aumentada por Recuperação (RAG) é uma forma de aprendizado em contexto que vai além do conhecimento estático incorporado aos LLMs, permitindo que os modelos recuperem informações relevantes de fontes externas antes de gerar uma resposta. Diferentemente do fine-tuning tradicional, que modifica os pesos internos do modelo, a RAG depende de bases de conhecimento externas para fundamentar as saídas do modelo em dados em tempo real. Essa abordagem tem a vantagem de fornecer acesso a informações atualizadas, específicas de domínio e autorizadas, garantindo que o texto gerado permaneça preciso e relevante.
Os modelos RAG consistem em dois componentes principais:
- Componente de Recuperação: Esta parte do modelo é responsável por pesquisar em bancos de dados externos, repositórios de documentos ou até mesmo na web por informações relevantes com base em uma consulta do usuário. Antes da recuperação, os documentos são convertidos em embeddings vetoriais usando modelos de embedding e armazenados em um banco de dados vetorial. Durante a recuperação, a consulta é convertida em um embedding e comparada com embeddings armazenados no banco de dados vetorial para recuperar as informações mais relevantes. Bancos de dados vetoriais comuns como Milvus permitem busca eficiente em grandes conjuntos de dados.
- Componente de Geração: Uma vez que os documentos ou conhecimentos relevantes são recuperados, o componente de geração sintetiza as informações recuperadas em uma resposta coerente e contextualmente apropriada. Isso permite que o modelo integre informações em tempo real e responda a perguntas com maior precisão, especialmente para tópicos que exigem o conhecimento mais recente.
Configuração Experimental
Esta seção descreve a configuração do experimento, detalhando a base de conhecimento, a seleção de modelos, a configuração de treinamento e os métodos de avaliação usados para avaliar o desempenho dos modelos.
Base de Conhecimento
A avaliação é baseada em três componentes principais: o Benchmark MMLU, a Tarefa de Eventos Atuais e as tarefas de Geração de Paráfrases.
Benchmark MMLU
Quatro tarefas do benchmark Massively Multilingual Language Understanding (MMLU) foram selecionadas para avaliar as capacidades dos LLMs em tarefas intensivas em conhecimento. Essas tarefas abrangem disciplinas como anatomia, astronomia, biologia, química e pré-história. A seleção foi baseada em sua ênfase no conhecimento factual, com dependência mínima de raciocínio.
O MMLU foi escolhido como benchmark devido à sua ampla cobertura de perguntas factuais de múltipla escolha em vários domínios, fornecendo um teste diverso e objetivo da compreensão factual de um modelo. Tarefas de pré-história foram incluídas para avaliar a capacidade do modelo de processar informações factuais da história não moderna. Essa abordagem testa a proficiência do modelo em compreender e manipular conhecimento isoladamente dos processos de raciocínio.
Tarefa de Eventos Atuais
Um novo conjunto de dados foi criado com foco em perguntas de múltipla escolha sobre eventos que ocorreram após o limite dos dados de treinamento dos modelos. Especificamente, a tarefa foi centrada em "eventos atuais" dos EUA, cobrindo de agosto a novembro de 2023 e extraída dos índices relevantes da Wikipedia.
Essa abordagem garante que os modelos não tenham sido expostos a esses fatos durante seu treinamento, permitindo um teste direto de suas capacidades de injeção de conhecimento e de sua capacidade de lidar com informações factuais atualizadas.
Geração de Paráfrases
O GPT-4 foi usado para gerar aumentações fornecendo versões parafraseadas dos dados de entrada após a criação do conjunto de dados. O modelo foi instruído a manter o significado original enquanto reformulava as frases. Cada iteração de paráfrase usou uma semente diferente para garantir diversidade nas versões geradas.
Para cada tarefa do MMLU, 240 fragmentos foram selecionados aleatoriamente, e duas paráfrases foram criadas por fragmento, sendo reservadas para validação durante o ajuste de hiperparâmetros. Dez paráfrases foram geradas para cada fragmento usado no processo de fine-tuning para o conjunto de dados de eventos atuais.
Seleção de Modelos
Llama2-7B, Mistral-7B e Orca2-7B foram escolhidos para avaliar o desempenho de inferência em diferentes abordagens de modelagem. Esse conjunto inclui uma mistura de modelos-base open-source amplamente usados e um modelo ajustado por instruções, oferecendo uma base bem equilibrada para comparação.
Além disso, bge-large-en foi selecionado como o modelo de embeddings para o componente RAG. Esse modelo de embeddings era o estado da arte entre as opções open-source, de acordo com o ranking MTEB da Hugging Face.
Configuração de Treinamento
O processo de treinamento inclui os seguintes componentes principais:
- Procedimento: Todos os modelos foram ajustados usando um método de treinamento não supervisionado. O conjunto de dados de treinamento foi dividido em fragmentos, garantindo que cada fragmento não excedesse um tamanho de 256 tokens. Tokens especiais
e foram usados para marcar o início e o fim de cada fragmento.
- Hardware: Os modelos foram treinados em 4 GPUs NVIDIA A-100, garantindo que os recursos computacionais necessários estivessem disponíveis para fine-tuning em larga escala.
Hiperparâmetros:
As taxas de aprendizado foram testadas no seguinte intervalo: 1 × 10-6 a 5 × 10-5.
Os modelos foram treinados por um máximo de 5 épocas com um tamanho de batch de 64, selecionado com base na otimização de hiperparâmetros.
Avaliação
A avaliação foi conduzida usando o framework LM-Evaluation-Harness, uma ferramenta popular para avaliar o desempenho de LLMs. Esse framework fornece uma abordagem padronizada para a avaliação de modelos, garantindo consistência entre tarefas e métodos. Os modelos foram avaliados em termos de sua capacidade de prever as respostas corretas para perguntas factuais.
Para o experimento, essas abordagens de avaliação são:
- Modelo Base: O desempenho bruto do modelo sem qualquer injeção adicional de conhecimento.
- Ajuste Fino (FT): O modelo é ajustado finamente com dados específicos da tarefa para melhorar seu desempenho em perguntas baseadas em conhecimento factual.
- Geração Aumentada por Recuperação (RAG): Este método usa uma base de conhecimento externa e recupera informações relevantes para aumentar as respostas do modelo.
- Ajuste Fino + RAG (FT+RAG): Uma abordagem híbrida que combina ajuste fino com geração aumentada por recuperação, visando melhorar o desempenho ao aproveitar tanto a adaptação de conhecimento quanto a recuperação.
Além de comparar essas quatro abordagens, o desempenho foi avaliado em dois cenários diferentes:
- 0-shot: O modelo é testado sem quaisquer exemplos prévios, dependendo exclusivamente do conhecimento que aprendeu durante o pré-treinamento e de qualquer injeção de conhecimento (ajuste fino ou RAG).
- 5-shot: O modelo recebe cinco exemplos para cada tarefa, fornecendo um contexto para fazer previsões. Este cenário testa a capacidade do modelo de generalizar a partir de exemplos em um cenário mais prático e real.
Comparar a precisão e o desempenho dos modelos nessas quatro abordagens revelou o impacto da injeção de conhecimento, do ajuste fino e da geração aumentada por recuperação na capacidade dos LLMs de lidar com tarefas intensivas em conhecimento.
Resultados do Experimento
Agora, vamos nos aprofundar nos resultados experimentais em diferentes bases de conhecimento, ou seja, o benchmark MMLU e dados de eventos atuais, explorando como cada abordagem se saiu em tarefas intensivas em conhecimento
Resultados do MMLU
Em todas as tarefas, o RAG superou consistentemente os modelos base, como visto em termos de precisão de verossimilhança logarítmica para todas as tarefas e cenários.
Resultados para os conjuntos de dados MMLU em termos de precisão de verossimilhança logarítmica | Fonte
Usar RAG com o modelo base como gerador mostrou-se superior ao ajuste fino sozinho. Em alguns casos, substituir o modelo base por um modelo ajustado finamente no pipeline RAG melhorou ainda mais os resultados. No entanto, o efeito foi inconsistente e destacou a instabilidade inerente do ajuste fino. Além disso, o prompting 5-shot proporcionou um aumento pequeno, mas consistente, em todos os métodos.
O ganho relativo de precisão para cada método de injeção de conhecimento, calculado como média (por coluna) em todos os experimentos no conjunto de dados MMLU | Fonte
Resultados de Eventos Atuais
O RAG apresentou desempenho excepcional na Tarefa de Eventos Atuais graças ao alinhamento preciso entre as perguntas e o conjunto de dados auxiliar. Embora o ajuste fino tenha se mostrado benéfico, ficou aquém da eficácia do RAG. No entanto, ampliar o ajuste fino (FT-par) com múltiplas paráfrases melhorou significativamente os resultados em relação à abordagem de referência (FT-reg).
Resultados de eventos atuais. Modelos que foram ajustados finamente no conjunto de dados original são rotulados como FT-reg, enquanto aqueles treinados no conjunto de dados com múltiplas paráfrases são rotulados como FT-par | Fonte
Ajuste Fino vs. RAG
Os resultados das tarefas MMLU e Eventos Atuais confirmam a superioridade do RAG em relação ao ajuste fino. Embora o ajuste fino tenha aumentado a precisão em comparação com o modelo base, ele não conseguiu igualar os ganhos de desempenho obtidos pela recuperação.
Vários fatores contribuem para essa tendência:
- Acesso a Conhecimento Contextual: Ao contrário do ajuste fino, o RAG recupera dinamicamente informações relevantes, garantindo que as respostas sejam fundamentadas contextualmente.
- Esquecimento Catastrófico: O ajuste fino corre o risco de sobrescrever conhecimentos aprendidos anteriormente, potencialmente diminuindo as capacidades gerais do modelo.
- Problemas de alinhamento: Modelos ajustados finamente podem exigir ajuste fino supervisionado adicional ou aprendizado por reforço (RLHF) para alcançar desempenho ideal
Principais descobertas
- RAG supera modelos base: RAG (Geração Aumentada por Recuperação) superou consistentemente os modelos base, melhorando significativamente a precisão, especialmente para tarefas intensivas em conhecimento, ao ampliar o modelo com dados externos.
- RAG vs. ajuste fino (FT): RAG superou consistentemente o ajuste fino (FT). A combinação de RAG e FT mostrou alguma melhoria ao usar um modelo ajustado finamente como gerador no pipeline de RAG. Ainda assim, os resultados foram inconsistentes, indicando a instabilidade inerente do ajuste fino em comparação com RAG.
- Impulso com 5-shot: A transição de 0-shot para 5-shot gerou uma melhoria pequena, mas consistente, no desempenho, com RAG se beneficiando mais do contexto adicional.
- Aumento de dados melhora a retenção de conhecimento: Os experimentos mostram que o aumento de dados baseado em paráfrases leva a um aumento monotônico na precisão do modelo em tarefas de injeção de conhecimento. Os modelos compreendem e generalizam melhor novos conhecimentos ao reformular informações de várias maneiras. À medida que o número de paráfrases aumentou, a precisão do modelo continuou a melhorar de forma constante.
Precisão do modelo na tarefa de eventos atuais em função do número de paráfrases | Fonte
RAG e bancos de dados vetoriais
RAG (Geração Aumentada por Recuperação) aprimora grandes modelos de linguagem integrando dados recuperados às respostas, melhorando a precisão factual e a relevância contextual.
O papel dos bancos de dados vetoriais no RAG
Bancos de dados vetoriais desempenham um papel crucial na Geração Aumentada por Recuperação (RAG), permitindo o armazenamento e a recuperação eficientes de embeddings de alta dimensionalidade. Em um sistema RAG, a fase de recuperação depende da identificação das informações semanticamente mais relevantes de uma vasta base de conhecimento, que é onde os bancos de dados vetoriais se destacam.
Esses bancos de dados indexam dados textuais ou multimodais como embeddings vetoriais densos, permitindo buscas por similaridade rápidas e precisas usando métodos como busca aproximada de vizinhos mais próximos (ANN). Quando uma consulta é gerada, o banco de dados vetorial recupera os embeddings correspondentes mais próximos com base na similaridade de cosseno ou em outras métricas de distância. Isso garante que apenas as informações mais contextualmente relevantes sejam passadas ao modelo de geração, melhorando a precisão factual e reduzindo alucinações.
Bancos de dados vetoriais são particularmente valiosos na recuperação de conhecimento em tempo real para aplicações como sistemas de perguntas e respostas, chatbots, busca empresarial e mecanismos de recomendação.
Milvus/Zilliz como banco de dados vetorial/plataforma em nuvem
Milvus, um banco de dados vetorial de código aberto desenvolvido pela Zilliz, é uma solução poderosa para gerenciar e consultar embeddings de alta dimensionalidade em sistemas de Geração Aumentada por Recuperação (RAG). RAG depende de busca eficiente por similaridade para recuperar conhecimento relevante antes de gerar respostas, e o Milvus é otimizado para tarefas de recuperação em tempo real e em larga escala.
Enriquecendo o conhecimento de LLM com Zilliz cloud para respostas mais precisas | Fonte
Milvus permite o armazenamento e a indexação de milhões ou até bilhões de embeddings vetoriais, permitindo que modelos RAG realizem buscas semânticas rápidas em vastas bases de conhecimento. Milvus garante recuperação de baixa latência ao oferecer suporte a vários algoritmos de indexação. Isso é essencial para aplicações em que informações em tempo real são fundamentais, como chatbots, mecanismos de busca e sistemas de IA empresarial.
A Zilliz estende o Milvus com soluções baseadas em nuvem, tornando mais fácil para as empresas implantar e escalar a busca vetorial para RAG sem gerenciar infraestrutura. Essa abordagem nativa da nuvem garante integração perfeita com LLMs. Ela permite que as organizações aprimorem seus modelos com recuperação dinâmica de conhecimento, mantendo desempenho e escalabilidade.
Possíveis Direções Futuras de Pesquisa
Modelos de Linguagem de Grande Escala (LLMs) possuem vastas quantidades de conhecimento, mas sua capacidade de se adaptar a informações novas, especializadas ou inéditas continua sendo um desafio. O ajuste fino e a geração aumentada por recuperação (RAG) são duas abordagens proeminentes para injeção de conhecimento. Embora o ajuste fino possa ser útil para muitas aplicações, o RAG provou ser uma escolha mais confiável para integrar conhecimento externo.
Várias áreas-chave merecem investigação adicional para aprimorar nossa compreensão da injeção de conhecimento em LLMs:
- Integração Híbrida de Conhecimento: Pesquisar combinações de ajuste fino, RAG e outras técnicas para melhorar a adaptabilidade. Entender como essas abordagens se complementam pode levar a uma injeção de conhecimento mais eficiente.
- Combinando Métodos de Ajuste Fino: Pesquisas futuras devem explorar a integração do ajuste por instruções e do ajuste fino baseado em aprendizado por reforço (RL) com o ajuste fino não supervisionado. Isso poderia melhorar a adaptação e a retenção de conhecimento.
- Avaliando a Representação de Conhecimento em LLMs: Investigar como os LLMs armazenam e recuperam internamente o conhecimento injetado a partir de uma perspectiva teórica. Uma compreensão mais clara poderia levar a modelos mais interpretáveis e eficientes.
- Medindo Conhecimento em LLMs: Desenvolver novos frameworks de avaliação além das abordagens empíricas para avaliar melhor a retenção de conhecimento. Estabelecer benchmarks padronizados poderia melhorar a comparabilidade de diferentes modelos.
Pesquisas adicionais nessas áreas ajudarão a refinar estratégias de injeção de conhecimento, melhorando a eficiência e a confiabilidade dos LLMs na adaptação a novas informações.
Recursos Adicionais
Continue lendo
Vector Lakebase: End the AI Data Silo
Learn how Vector Lakebase unifies vector search, data lakes, and AI data operations so teams can serve RAG and agents without copy-and-sync pipelines.
Zilliz Cloud Just Landed in Claude Code
The Zilliz Cloud Plugin brings the full power of Zilliz Cloud directly into your Claude Code terminal as natural-language conversations.
Why I’m Against Claude Code’s Grep-Only Retrieval? It Just Burns Too Many Tokens
Learn how vector-based code retrieval cuts Claude Code token consumption by 40%. Open-source solution with easy MCP integration. Try claude-context today.