Injection de connaissances dans les LLM : fine-tuning et RAG
Les grands modèles de langage (LLMs) sont impressionnants par leur capacité à stocker et à générer de vastes connaissances. Ils s’appuient sur d’immenses jeux de données lors du pré-entraînement, ce qui en fait des experts sur divers sujets. Mais ils ont bel et bien leurs limites. D’une part, leurs connaissances sont statiques, car elles ne sont pas mises à jour au fil du temps. De plus, bien qu’ils excellent dans les connaissances générales, ils sont souvent insuffisants pour fournir l’expertise approfondie requise dans des domaines spécialisés comme la santé, la finance ou le droit.
Des méthodes d’injection de connaissances telles que le Fine-Tuning et la Retrieval-Augmented Generation (RAG) sont utilisées pour remédier à ces limites. Le fine-tuning consiste à ajuster les poids d’un modèle avec des données spécifiques à une tâche, tandis que la RAG fait intervenir des connaissances externes pendant l’inférence, permettant au modèle d’extraire des informations pertinentes lorsque c’est nécessaire. Dans cette étude, ces deux approches sont comparées sur diverses tâches à forte intensité de connaissances afin d’évaluer leur efficacité pour étendre et affiner les connaissances factuelles des LLMs.
La RAG a systématiquement surpassé le fine-tuning dans les tâches à forte intensité de connaissances, démontrant sa capacité supérieure à intégrer des informations externes. Bien que le fine-tuning ait amélioré les performances par rapport au modèle de base, il n’était pas aussi compétitif que la RAG. De plus, l’augmentation des données s’est révélée bénéfique pour le fine-tuning, car le fait d’exposer les modèles à plusieurs variations du même fait pendant l’entraînement a renforcé la rétention des connaissances.
Pipeline méthodologique du Fine-Tuning et de la RAG
Examinons de plus près les deux méthodes et voyons comment elles se comparent lorsqu’il s’agit d’améliorer les connaissances d’un LLM. Pour mettre les choses en perspective, imaginez trois étudiants qui passent un test sur un sujet qu’ils n’ont pas étudié. L’un avait le manuel uniquement pendant le test, un autre a étudié avant le test, et le troisième n’avait plus accès à aucun support une fois le test commencé. Selon vous, lequel obtiendrait les meilleurs résultats ?
Découvrons-le !
Veuillez consulter l’article suivant pour une compréhension détaillée.
Pourquoi les LLMs génèrent-ils des erreurs factuelles ?
Malgré leur fluidité et leur polyvalence remarquables, les LLMs sont intrinsèquement sujets aux erreurs factuelles en raison de plusieurs facteurs critiques, notamment des lacunes en connaissances de domaine, des données d’entraînement obsolètes et des limites de raisonnement.
- Lacune en connaissances de domaine : Les LLMs peuvent manquer d’expertise approfondie dans des domaines spécifiques qui étaient sous-représentés pendant l’entraînement. Par exemple, un modèle entraîné principalement sur des sources d’actualités générales peut éprouver des difficultés dans des domaines hautement spécialisés comme la médecine ou le droit s’il n’a pas été affiné sur des données spécifiques au domaine.
- Informations obsolètes : Les LLMs sont limités par la date limite des jeux de données utilisés pour leur entraînement. Tout événement, progrès scientifique ou changement culturel survenant après cette date limite ne sera pas intégré, ce qui entraîne des réponses obsolètes. Cela est particulièrement problématique dans des domaines dynamiques comme la santé, où un modèle entraîné avant la pandémie de COVID-19 manquerait d’informations sur les protocoles sanitaires liés à la pandémie et les développements de vaccins.
- Non-mémorisation : Certaines connaissances apprises par le modèle pendant l’entraînement peuvent ne pas être retenues, en particulier lorsqu’il s’agit de faits rares ou de schémas moins fréquemment observés dans les données d’entraînement. Ce problème peut entraver la capacité du modèle à rappeler de manière cohérente des informations moins courantes dans différentes tâches ou entrées.
- Oubli : L’oubli catastrophique survient pendant le fine-tuning lorsqu’un modèle oublie des informations précédemment apprises, en particulier des faits moins mis en avant lors de l’entraînement initial. C’est un problème courant avec les LLMs et cela peut affecter la rétention des connaissances à long terme.
- Échecs de raisonnement : Les LLM échouent parfois à appliquer correctement leurs connaissances, en particulier dans des tâches de raisonnement complexes et en plusieurs étapes. Par exemple, les LLM peuvent produire des réponses incorrectes ou incomplètes lorsqu’on leur demande de résoudre des problèmes de mathématiques avancées ou des déductions logiques en plusieurs étapes. Ces échecs sont souvent liés à la difficulté du modèle à maintenir une cohérence logique sur de plus longues séquences de pensée.
Ces problèmes proviennent principalement de la phase d’entraînement du modèle, l’oubli catastrophique étant l’exception notable qui survient après l’entraînement, lors du fine-tuning.
Injection de connaissances dans les modèles de langage
Les erreurs factuelles dans les grands modèles de langage (LLM) résultent souvent de lacunes dans la base de connaissances du modèle. Pour y remédier, l’injection de connaissances est une technique importante qui aide à affiner et à étendre la capacité du modèle à fournir des réponses exactes.
L’injection de connaissances désigne le processus de modification ou d’augmentation d’un modèle de langage avec des informations supplémentaires. Plutôt que d’apprendre des faits entièrement nouveaux, elle oriente les prédictions du modèle vers un domaine de connaissances spécifique, améliorant ainsi ses performances dans les tâches à forte intensité de connaissances.
Formulation mathématique
Explorons maintenant la formulation mathématique qui sous-tend l’injection de connaissances et la manière dont elle conduit à une amélioration de la précision du modèle.
Problème
La recherche se concentre sur les connaissances factuelles. Si un modèle sait quelque chose, il peut répondre correctement de manière cohérente aux questions associées et distinguer les affirmations vraies des affirmations fausses.
Voici comment cela fonctionne mathématiquement :
Q = {qn}n=1N est un ensemble de N questions factuelles
Chaque question qn a L réponses possibles et C = {cn}n=1N est l’ensemble des réponses correctes à ces questions.
M représente le modèle, qui prédit une réponse pour chaque question. La réponse prédite par le modèle pour une question qn est notée M(qn) ∈ {an1 , . . . , anL } , et elle appartient à un ensemble de réponses possibles.
Nous pouvons évaluer les connaissances du modèle en calculant son score de connaissances (précision), qui est le pourcentage de réponses correctes que le modèle donne sur l’ensemble des questions :
LM,Q := #{qn| M(qn) = cn} N .
Dans cette équation :
LM,Q est le score de connaissances du modèle.
Le numérateur compte combien de fois la réponse du modèle M(qn) correspond à la réponse correcte cn pour chaque question qn.
Le dénominateur est le nombre total de questions N.
Injection de connaissances
Le pré-entraînement général seul ne suffit pas pour de nombreuses tâches à forte intensité de connaissances. Pour améliorer les performances, nous avons besoin de l’injection de connaissances.
Cela peut être représenté mathématiquement comme suit : étant donné un modèle pré-entraîné M, un ensemble de questions Q et une base de connaissances auxiliaire BQ, nous cherchons à trouver une fonction d’injection de connaissances F telle que :
M′ := F(M, BQ) s.t. LM',Q > LM,Q.
En termes simples, nous cherchons à créer un nouveau modèle M′ en appliquant F, qui incorpore la base de connaissances BQ dans le modèle original M. L’objectif est que le nouveau modèle obtienne de meilleures performances en répondant correctement à davantage de questions.
Gain de précision
Pour voir dans quelle mesure l’injection de connaissances (comme le fine-tuning ou RAG) a amélioré le modèle, nous comparons la précision avant et après l’ajout des connaissances supplémentaires. L’amélioration est calculée à l’aide de cette formule :
(LM`,Q-LM,Q) / LM,Q
Où :
LM,Q est la précision du modèle avant l’ajout de nouvelles connaissances.
LM`,Qest la précision du modèle après l’ajout de nouvelles connaissances.
Cette formule montre le gain de précision relatif, et à quel point le modèle s’est amélioré après l’incorporation de nouvelles informations.
Cadres pour l’injection de connaissances
Deux cadres courants pour l’injection de connaissances sont le fine-tuning (FT) et la génération augmentée par récupération (RAG). Le fine-tuning adapte le modèle en l’entraînant sur des données propres à un domaine, tandis que RAG améliore le modèle en récupérant des informations pertinentes depuis une base de connaissances externe pendant l’inférence.
Fine-tuning
Le fine-tuning est une technique largement utilisée pour l’injection de connaissances. Dans cette technique, un LLM pré-entraîné est entraîné davantage sur un jeu de données spécialisé afin d’internaliser des connaissances spécifiques ou d’améliorer ses performances sur des tâches particulières. Ce processus permet au modèle d’« adapter » ses connaissances précédemment acquises pour intégrer de nouveaux faits, des termes propres à un domaine et des schémas de raisonnement.
Types de fine-tuning
- Fine-tuning supervisé : Le fine-tuning supervisé (SFT) nécessite des ensembles de paires entrée-sortie étiquetées. Une méthode SFT courante est l’instruction tuning, où l’entrée est une description de tâche en langage naturel, et la sortie est un exemple du comportement souhaité. De nombreux LLMs de pointe subissent un instruction tuning après leur phase de pré-entraînement. L’instruction tuning améliore la qualité globale du modèle, avec un accent particulier sur les capacités zero-shot et de raisonnement. Cependant, l’instruction tuning n’enseigne pas de nouvelles connaissances au modèle et ne suffit pas à lui seul pour l’injection de connaissances.
Fine-tuning par apprentissage par renforcement : Les techniques de fine-tuning basées sur l’apprentissage par renforcement (RL) optimisent les modèles en récompensant les réponses correctes et en pénalisant les réponses incorrectes. Les exemples incluent l’apprentissage par renforcement à partir de retours humains (RLHF), l’optimisation directe des préférences (DPO) et l’optimisation proximale de politique (PPO). Ces méthodes sont utiles pour améliorer la qualité globale des réponses et du comportement. Cependant, comme l’instruction tuning, le fine-tuning RL ne répond pas nécessairement à l’étendue des connaissances nécessaires à l’injection de connaissances.
Fine-tuning non supervisé : Le fine-tuning non supervisé ne nécessite pas de données étiquetées. Une méthode courante est le pré-entraînement continu ou le fine-tuning non structuré, où le processus est considéré comme une continuation du pré-entraînement. Le modèle est entraîné de manière causale autorégressive, en prédisant le token suivant. Un taux d’apprentissage plus faible est généralement utilisé pour éviter l’oubli catastrophique. Cette approche est efficace pour injecter de nouvelles connaissances dans le modèle, car elle s’appuie sur les connaissances stockées pendant la phase de pré-entraînement. Ce travail utilise le fine-tuning non supervisé pour renforcer la capacité du modèle à apprendre de nouvelles informations.
Génération augmentée par récupération (RAG)
La génération augmentée par récupération (RAG) est une forme d’apprentissage en contexte qui va au-delà des connaissances statiques intégrées dans les LLMs en permettant aux modèles de récupérer des informations pertinentes à partir de sources externes avant de générer une réponse. Contrairement au fine-tuning traditionnel, qui modifie les poids internes du modèle, RAG s’appuie sur des bases de connaissances externes pour ancrer les sorties du modèle dans des données en temps réel. Cette approche présente l’avantage de fournir un accès à des informations à jour, spécifiques à un domaine et faisant autorité, garantissant que le texte généré reste précis et pertinent.
Les modèles RAG se composent de deux composants principaux :
- Composant de récupération : Cette partie du modèle est chargée de rechercher dans des bases de données externes, des référentiels de documents, voire le web, des informations pertinentes en fonction d’une requête utilisateur. Avant la récupération, les documents sont convertis en embeddings vectoriels à l’aide de modèles d’embedding et stockés dans une base de données vectorielle. Pendant la récupération, la requête est convertie en embedding et comparée aux embeddings stockés dans la base de données vectorielle afin de récupérer les informations les plus pertinentes. Les bases de données vectorielles courantes comme Milvus permettent une recherche efficace dans de grands jeux de données.
- Composant de génération : Une fois les documents ou connaissances pertinents récupérés, le composant de génération synthétise les informations récupérées en une réponse cohérente et contextuellement appropriée. Cela permet au modèle d’intégrer des informations en temps réel et de répondre aux questions avec une plus grande précision, en particulier pour les sujets qui nécessitent les connaissances les plus récentes.
Configuration expérimentale
Cette section présente la configuration de l’expérience, en détaillant la base de connaissances, la sélection des modèles, la configuration d’entraînement et les méthodes d’évaluation utilisées pour évaluer les performances des modèles.
Base de connaissances
L’évaluation repose sur trois composantes clés : le benchmark MMLU, la tâche d’événements actuels et les tâches de génération de paraphrases.
Benchmark MMLU
Quatre tâches du benchmark Massively Multilingual Language Understanding (MMLU) ont été sélectionnées pour évaluer les capacités des LLM sur des tâches à forte intensité de connaissances. Ces tâches couvrent des sujets tels que l’anatomie, l’astronomie, la biologie, la chimie et la préhistoire. La sélection était fondée sur leur accent mis sur les connaissances factuelles, avec une dépendance minimale au raisonnement.
MMLU a été choisi comme benchmark en raison de sa large couverture de questions factuelles à choix multiples dans divers domaines, fournissant un test diversifié et objectif de la compréhension factuelle d’un modèle. Les tâches de préhistoire ont été incluses afin d’évaluer la capacité du modèle à traiter des informations factuelles issues de l’histoire non moderne. Cette approche teste la maîtrise du modèle dans la compréhension et la manipulation des connaissances indépendamment des processus de raisonnement.
Tâche d’événements actuels
Un nouveau jeu de données a été créé en se concentrant sur des questions à choix multiples concernant des événements survenus après la date limite des données d’entraînement des modèles. Plus précisément, la tâche était centrée sur les « événements actuels » aux États-Unis, couvrant la période d’août à novembre 2023 et tirés des index Wikipédia pertinents.
Cette approche garantit que les modèles n’ont pas été exposés à ces faits pendant leur entraînement, permettant ainsi un test direct de leurs capacités d’injection de connaissances et de leur aptitude à traiter des informations factuelles à jour.
Génération de paraphrases
GPT-4 a été utilisé pour générer des augmentations en fournissant des versions paraphrasées des données d’entrée après la création du jeu de données. Le modèle a reçu pour consigne de conserver le sens original tout en reformulant les phrases. Chaque itération de paraphrase a utilisé une graine différente afin de garantir la diversité des versions générées.
Pour chaque tâche MMLU, 240 segments ont été sélectionnés aléatoirement, et deux paraphrases ont été créées par segment, qui ont été mises de côté pour la validation lors du réglage des hyperparamètres. Dix paraphrases ont été générées pour chaque segment utilisé dans le processus de fine-tuning pour le jeu de données d’événements actuels.
Sélection des modèles
Llama2-7B, Mistral-7B et Orca2-7B ont été choisis pour évaluer les performances d’inférence selon différentes approches de modélisation. Cette sélection comprend un mélange de modèles de base open source largement utilisés et d’un modèle ajusté par instructions, offrant une base de comparaison équilibrée.
De plus, bge-large-en a été sélectionné comme modèle d’embedding pour le composant RAG. Ce modèle d’embedding était à l’état de l’art parmi les options open source, selon le classement Hugging Face MTEB.
Configuration d’entraînement
Le processus d’entraînement comprend les composantes clés suivantes :
- Procédure : Tous les modèles ont été fine-tunés à l’aide d’une méthode d’entraînement non supervisée. Le jeu de données d’entraînement a été divisé en segments, en veillant à ce que chaque segment ne dépasse pas une taille de 256 tokens. Les tokens spéciaux
et ont été utilisés pour marquer le début et la fin de chaque segment.
- Matériel : Les modèles ont été entraînés sur 4 GPU NVIDIA A-100, garantissant la disponibilité des ressources de calcul nécessaires pour un fine-tuning à grande échelle.
Hyperparamètres :
Les taux d’apprentissage ont été testés dans la plage suivante : 1 × 10-6 à 5 × 10-5.
Les modèles ont été entraînés pendant un maximum de 5 époques avec une taille de lot de 64, sélectionnée sur la base de l’optimisation des hyperparamètres.
Évaluation
L’évaluation a été menée à l’aide du framework LM-Evaluation-Harness, un outil populaire pour évaluer les performances des LLM. Ce framework fournit une approche standardisée de l’évaluation des modèles, garantissant la cohérence entre les tâches et les méthodes. Les modèles ont été évalués en fonction de leur capacité à prédire les bonnes réponses aux questions factuelles.
Pour l’expérience, ces approches d’évaluation sont :
- Modèle de base : Les performances brutes du modèle sans aucune injection de connaissances supplémentaire.
- Fine-Tuning (FT) : Le modèle est affiné sur des données spécifiques à la tâche afin d’améliorer ses performances sur des questions factuelles fondées sur les connaissances.
- Retrieval-Augmented Generation (RAG) : Cette méthode utilise une base de connaissances externe et récupère des informations pertinentes pour enrichir les réponses du modèle.
- Fine-Tuning + RAG (FT+RAG) : Une approche hybride qui combine le fine-tuning avec la génération augmentée par récupération, visant à améliorer les performances en tirant parti à la fois de l’adaptation des connaissances et de la récupération.
En plus de comparer ces quatre approches, les performances ont été évaluées dans deux configurations différentes :
- 0-shot : Le modèle est testé sans aucun exemple préalable, en s’appuyant uniquement sur les connaissances qu’il a acquises lors du pré-entraînement et sur toute injection de connaissances (fine-tuning ou RAG).
- 5-shot : Le modèle reçoit cinq exemples pour chaque tâche, fournissant un contexte pour effectuer des prédictions. Cette configuration teste la capacité du modèle à généraliser à partir d’exemples dans un scénario plus pratique et réel.
La comparaison de la précision et des performances des modèles à travers ces quatre approches a révélé l’impact de l’injection de connaissances, du fine-tuning et de la génération augmentée par récupération sur la capacité des LLM à gérer des tâches intensives en connaissances.
Résultats de l’expérience
Maintenant, examinons les résultats expérimentaux sur différentes bases de connaissances, c’est-à-dire le benchmark MMLU et les données d’actualité, en explorant les performances de chaque approche sur des tâches intensives en connaissances
Résultats MMLU
Sur l’ensemble des tâches, RAG a systématiquement surpassé les modèles de base, comme le montrent les résultats en termes de précision de log-vraisemblance pour toutes les tâches et configurations.
Résultats pour les jeux de données MMLU en termes de précision de log-vraisemblance | Source
L’utilisation de RAG avec le modèle de base comme générateur s’est révélée supérieure au fine-tuning seul. Dans certains cas, remplacer le modèle de base par un modèle affiné dans le pipeline RAG a encore amélioré les résultats. Cependant, l’effet était incohérent et a mis en évidence l’instabilité inhérente du fine-tuning. De plus, le prompting en five-shot a apporté une amélioration faible mais constante à toutes les méthodes.
Le gain relatif de précision pour chaque méthode d’injection de connaissances, moyenné (par colonne) sur toutes les expériences du jeu de données MMLU | Source
Résultats sur l’actualité
RAG a fourni des performances exceptionnelles dans la tâche d’actualité grâce à son alignement précis entre les questions et le jeu de données auxiliaire. Bien que le fine-tuning se soit avéré bénéfique, il est resté en deçà de l’efficacité de RAG. Cependant, l’augmentation du fine-tuning (FT-par) avec plusieurs paraphrases a considérablement amélioré les résultats par rapport à l’approche de référence (FT-reg).
Résultats sur l’actualité. Les modèles qui ont été affinés sur le jeu de données original sont étiquetés FT-reg, tandis que ceux entraînés sur le jeu de données avec plusieurs paraphrases sont étiquetés FT-par | Source
Fine-Tuning vs. RAG
Les résultats des tâches MMLU et d’actualité confirment la supériorité de RAG sur le fine-tuning. Bien que le fine-tuning ait amélioré la précision par rapport au modèle de base, il n’a pas pu égaler les gains de performance obtenus grâce à la récupération.
Plusieurs facteurs contribuent à cette tendance :
- Accès aux connaissances contextuelles : Contrairement au fine-tuning, RAG récupère dynamiquement les informations pertinentes, garantissant des réponses ancrées dans le contexte.
- Oubli catastrophique : Le fine-tuning risque d’écraser des connaissances précédemment acquises, ce qui peut potentiellement diminuer les capacités générales du modèle.
- Problèmes d’alignement : les modèles affinés peuvent nécessiter un affinage supervisé supplémentaire ou un apprentissage par renforcement (RLHF) pour atteindre des performances optimales
Principales conclusions
- RAG surpasse les modèles de base : RAG (Retrieval Augmented Generation) a constamment surpassé les modèles de base, améliorant considérablement la précision, en particulier pour les tâches intensives en connaissances, en augmentant le modèle avec des données externes.
- RAG vs. affinage (FT) : RAG a constamment surpassé l’affinage (FT). La combinaison de RAG et de FT a montré une certaine amélioration lors de l’utilisation d’un modèle affiné comme générateur dans le pipeline RAG. Toutefois, les résultats étaient incohérents, indiquant l’instabilité inhérente de l’affinage par rapport à RAG.
- Amélioration avec 5 exemples : Le passage de 0 exemple à 5 exemples a produit une amélioration faible mais constante des performances, RAG bénéficiant le plus du contexte ajouté.
- L’augmentation des données améliore la rétention des connaissances : Les expériences montrent que l’augmentation des données basée sur la paraphrase entraîne une augmentation monotone de la précision du modèle dans les tâches d’injection de connaissances. Les modèles comprennent et généralisent mieux les nouvelles connaissances en reformulant les informations de plusieurs façons. À mesure que le nombre de paraphrases augmentait, la précision du modèle continuait de s’améliorer régulièrement.
Précision du modèle sur la tâche d’événements actuels en fonction du nombre de paraphrases | Source
RAG et bases de données vectorielles
RAG (Retrieval Augmented Generation) améliore les grands modèles de langage en intégrant les données récupérées dans les réponses, améliorant ainsi l’exactitude factuelle et la pertinence contextuelle.
Le rôle des bases de données vectorielles dans RAG
Les bases de données vectorielles jouent un rôle crucial dans la génération augmentée par récupération (RAG) en permettant un stockage et une récupération efficaces des plongements de grande dimension. Dans un système RAG, la phase de récupération dépend de l’identification des informations les plus pertinentes sur le plan sémantique dans une vaste base de connaissances, domaine dans lequel les bases de données vectorielles excellent.
Ces bases de données indexent des données textuelles ou multimodales sous forme de plongements vectoriels denses, permettant des recherches de similarité rapides et précises à l’aide de méthodes comme la recherche de plus proches voisins approximatifs (ANN). Lorsqu’une requête est générée, la base de données vectorielle récupère les plongements correspondants les plus proches sur la base de la similarité cosinus ou d’autres métriques de distance. Cela garantit que seules les informations les plus pertinentes contextuellement sont transmises au modèle de génération, améliorant l’exactitude factuelle et réduisant les hallucinations.
Les bases de données vectorielles sont particulièrement précieuses pour la récupération de connaissances en temps réel dans des applications telles que les systèmes de questions-réponses, les chatbots, la recherche en entreprise et les moteurs de recommandation.
Milvus/Zilliz comme base de données vectorielle/plateforme cloud
Milvus, une base de données vectorielle open-source développée par Zilliz, est une solution puissante pour gérer et interroger des plongements de grande dimension dans les systèmes de génération augmentée par récupération (RAG). RAG repose sur une recherche de similarité efficace pour récupérer les connaissances pertinentes avant de générer des réponses, et Milvus est optimisé pour les tâches de récupération à grande échelle et en temps réel.
Enrichir les connaissances des LLM avec Zilliz cloud pour des réponses plus précises | Source
Milvus permet le stockage et l’indexation de millions, voire de milliards, de plongements vectoriels, permettant aux modèles RAG d’effectuer des recherches sémantiques rapides dans de vastes bases de connaissances. Milvus garantit une récupération à faible latence en prenant en charge plusieurs algorithmes d’indexation. Cela est essentiel pour les applications où l’information en temps réel est indispensable, telles que les chatbots, les moteurs de recherche et les systèmes d’IA d’entreprise.
Zilliz étend Milvus avec des solutions basées sur le cloud, ce qui permet aux entreprises de déployer et de faire évoluer plus facilement la recherche vectorielle pour le RAG sans gérer l’infrastructure. Cette approche cloud-native garantit une intégration transparente avec les LLM. Elle permet aux organisations d’améliorer leurs modèles grâce à une récupération dynamique des connaissances tout en maintenant les performances et l’évolutivité.
Orientations potentielles de recherche future
Les grands modèles de langage (LLM) possèdent d’immenses quantités de connaissances, mais leur capacité à s’adapter à des informations nouvelles, spécialisées ou inédites reste un défi. Le fine-tuning et la génération augmentée par récupération (RAG) sont deux approches majeures pour l’injection de connaissances. Bien que le fine-tuning puisse être utile pour de nombreuses applications, le RAG s’est avéré être un choix plus fiable pour intégrer des connaissances externes.
Plusieurs domaines clés méritent une investigation plus approfondie afin d’améliorer notre compréhension de l’injection de connaissances dans les LLM :
- Intégration hybride des connaissances : Rechercher des combinaisons de fine-tuning, de RAG et d’autres techniques afin d’améliorer l’adaptabilité. Comprendre comment ces approches se complètent peut conduire à une injection de connaissances plus efficace.
- Combiner les méthodes de fine-tuning : Les recherches futures devraient explorer l’intégration du réglage par instructions et du fine-tuning basé sur l’apprentissage par renforcement (RL) avec le fine-tuning non supervisé. Cela pourrait améliorer l’adaptation et la rétention des connaissances.
- Évaluer la représentation des connaissances dans les LLM : Étudier, d’un point de vue théorique, la manière dont les LLM stockent et récupèrent en interne les connaissances injectées. Une compréhension plus claire pourrait conduire à des modèles plus interprétables et plus efficaces.
- Mesurer les connaissances dans les LLM : Développer de nouveaux cadres d’évaluation au-delà des approches empiriques afin de mieux évaluer la rétention des connaissances. L’établissement de benchmarks standardisés pourrait améliorer la comparabilité des différents modèles.
Des recherches supplémentaires dans ces domaines aideront à affiner les stratégies d’injection de connaissances, améliorant ainsi l’efficacité et la fiabilité des LLM dans leur adaptation à de nouvelles informations.
Ressources supplémentaires
Continuer à lire
Expanding Our Global Reach: Zilliz Cloud Launches in Azure Central India
Zilliz Cloud expands to Azure Central India. This new region helps customers meet compliance, reduce latency, and optimize cloud costs when building AI applications.
Democratizing AI: Making Vector Search Powerful and Affordable
Zilliz democratizes AI vector search with Milvus 2.6 and Zilliz Cloud for powerful, affordable scalability, cutting costs in infrastructure, operations, and development.
How to Build RAG with Milvus, QwQ-32B and Ollama
Hands-on tutorial on how to create a streamlined, powerful RAG pipeline that balances efficiency, accuracy, and scalability using the QwQ-32B and Milvus.