AdaptLLM: Affiner les LLM par la Compréhension de Lecture

Ce document explore une nouvelle approche pour adapter les grands modèles linguistiques (LLM) à des domaines spécifiques sans compromettre leur capacité de “prompting” (réponse aux questions et instructions). La méthode proposée, appelée AdaptLLM, s’inspire de l’apprentissage humain par la compréhension de lecture, transformant les corpus bruts en textes enrichis de tâches de compréhension, et les mélangeant avec des instructions générales.

1. Le Défi de l’Adaptation des LLM aux Domaines Spécifiques

Traditionnellement, il existe trois approches pour créer des LLM spécifiques à un domaine :

• Entraînement à partir de zéro : Entraîner un modèle sur un mélange de corpus généraux et spécifiques au domaine (par exemple, BloombergGPT). C’est coûteux en calcul et en données.
• Fine-tuning par supervision : Affiner un LLM existant avec des ensembles de données supervisés. Bien que plus rentable, l’assimilation universelle des connaissances du domaine reste incertaine.
• Prompting avec connaissances récupérées : Utiliser des LLM généraux avec des connaissances de domaine récupérées. Il s’agit plus d’une application que d’une amélioration directe du LLM.

La pré-formation adaptative au domaine (DAPT), qui consiste à poursuivre l’entraînement sur des corpus bruts spécifiques au domaine, s’est avérée efficace pour doter les LLM de connaissances du domaine. Cependant, une découverte cruciale est que cette approche “nuit drastiquement à sa capacité de prompting pour la réponse aux questions”. Ce phénomène est attribué à la diversité limitée des schémas d’entrée-sortie dérivés des textes bruts au sein d’un domaine spécifique.

“Nous explorons comment la pré-formation continue sur des corpus spécifiques à un domaine influence les grands modèles linguistiques, révélant que l’entraînement sur les corpus bruts dote le modèle de connaissances du domaine, mais nuit drastiquement à sa capacité de prompting pour la réponse aux questions.” (Abstract)

“Des expériences préliminaires sur trois domaines – biomédecine, finance et droit – révèlent que la poursuite de l’entraînement sur les corpus bruts entraîne une chute drastique des performances de prompting.” (Introduction)

2. AdaptLLM : L’Approche par la Compréhension de Lecture

Inspiré par la manière dont les humains apprennent (la pratique après la lecture améliore la capacité à répondre aux questions), AdaptLLM propose de transformer les corpus bruts à grande échelle en “textes de compréhension de lecture”.

“Prenant inspiration de l’apprentissage humain via la compréhension de lecture — la pratique après la lecture améliore la capacité à répondre aux questions basées sur les connaissances acquises — nous proposons une méthode simple pour transformer des corpus bruts en textes de compréhension de lecture.” (Abstract)

Chaque texte brut est enrichi d’une série de tâches liées à son contenu. Ces tâches sont conçues pour maintenir la capacité du modèle à répondre aux questions en utilisant le langage naturel, basé sur le contexte du texte brut.

Création de textes de compréhension de lecture :

• Extraction de tâches intrinsèques : Des tâches sont extraites des corpus bruts à l’aide de “schémas de fouille” (regex-based patterns).
• Diversité des tâches : Les tâches incluent :
• Résumation : Le modèle génère un résumé concis du texte (ex: “Qu’est-ce qu’un résumé ?”).
• Mot-à-texte : Le modèle génère des phrases intégrant des mots spécifiques au domaine (ex: “Générez une phrase qui inclut ces mots-clés [carcinome, oropharyngien, papillomavirus] :”).
• Définition : Le modèle définit des concepts.
• Inférence en Langage Naturel (NLI) : Évalue la relation entre deux phrases (entaillement, neutre, contradiction) (ex: “La prémisse implique-t-elle l’hypothèse ?”).
• Raisonnement de Bon Sens : Identifie la logique de cause à effet (ex: “Quelle est la raison de ‘…’ ?”).
• Détection de Paraphrase : Demande de générer une phrase qui soutient ou contredit le sens d’une phrase donnée (ex: “Composez une phrase qui contredit le sens de ‘Historiquement, le carcinome glottique…'”).
• Complétion de Texte : Le modèle génère la section suivante d’un article (ex: “Comment compléteriez-vous l’article ?”).
• Augmentation avec des instructions générales : Pour une diversité accrue des schémas d’entrée-sortie et une amélioration continue de la capacité de prompting, les textes de compréhension de lecture sont mélangés avec des instructions générales.

3. Résultats et Performances d’AdaptLLM

AdaptLLM a été testé dans trois domaines : la biomédecine, la finance et le droit.

• Performances supérieures de prompting : AdaptLLM surpasse le LLM général et les modèles ayant subi une DAPT simple en termes de performance de prompting sur diverses tâches spécifiques au domaine.
• Sur des tâches spécifiques au domaine, l’utilisation de corpus bruts en DAPT nuit aux performances de prompting, tandis qu’AdaptLLM “parvient à contrecarrer cet effet, surpassant le modèle de langage général.” (Main Results)
• Compétitivité avec des modèles plus grands : Notamment, un modèle AdaptLLM-7B atteint des performances compétitives avec des modèles spécifiques au domaine de bien plus grande envergure, comme BloombergGPT-50B en finance.
• “AdaptLLM-7B atteint des performances compétitives avec lui [BloombergGPT-50B]. Cela souligne l’efficacité computationnelle et des données de notre approche par rapport à l’entraînement à partir de zéro.” (Main Results)
• Acquisition de connaissances du domaine : Les évaluations de fine-tuning et de sondage des connaissances confirment qu’AdaptLLM acquiert efficacement des connaissances du domaine.
• “Les améliorations de fine-tuning et de sondage des connaissances (détaillées dans l’Annexe A) fournissent des preuves empiriques que les textes de compréhension de lecture imprègnent effectivement le modèle général de connaissances du domaine.” (Analysis of Domain Knowledge and Prompting Ability)
• Amélioration des performances générales : Fait remarquable, les textes de compréhension de lecture spécifiques au domaine peuvent même améliorer la performance du modèle sur des benchmarks généraux de LLM, suggérant un potentiel pour développer un modèle général à travers davantage de domaines.
• “Remarquablement, lorsqu’il est entraîné sur nos textes de compréhension de lecture spécifiques au domaine (sans l’inclusion d’instructions générales), nous obtenons des résultats encore meilleurs que le modèle de langage général sur la plupart des types de tâches.” (Analysis of Domain Knowledge and Prompting Ability)
• Ablation Studies : L’inclusion de tous les types de tâches de compréhension contribue positivement, avec les tâches Word-to-Text et Natural Language Inference montrant la plus grande efficacité sur les tâches spécifiques au domaine.
• “Nous constatons que Word-to-Text et Natural Language Inference présentent la plus grande efficacité sur les tâches spécifiques au domaine.” (Ablations on Training Data)
• “La suppression des tâches Word-to-Text, Summarization ou Text Completion entraîne une baisse notable des performances, ce qui correspond aux pourcentages élevés de ces tâches dans les exemples minés.” (Further Ablations on Comprehension Tasks)
• La diversité des verbalisateurs utilisés pour la fouille des tâches est également cruciale, un plus grand nombre de verbalisateurs menant à de meilleures performances.

4. Applicabilité à d’Autres Modèles

La méthode AdaptLLM est démontrée comme étant applicable à différents types de LLM, y compris les modèles plus petits (Pythia-70M), plus grands (LLaMA-13B) et ceux ayant subi un apprentissage par renforcement à partir de rétroaction humaine (RLHF) comme LLaMA-2-Chat-7B.

“Les résultats expérimentaux présentés dans le Tableau 17 démontrent les améliorations cohérentes obtenues par nos méthodes à travers divers modèles dans le domaine de la biomédecine.” (Applicability to Other Models)

5. Conclusion

L’approche AdaptLLM offre une solution simple mais efficace pour adapter les grands modèles linguistiques à des domaines spécifiques. En transformant les corpus bruts en textes de compréhension de lecture et en les mélangeant avec des instructions générales, le modèle est capable d’acquérir des connaissances de domaine tout en améliorant sa capacité de prompting. Cette méthode est à la fois efficace et généralisable, avec un potentiel pour inspirer de futures explorations dans l’adaptation des LLM.

“Nous proposons une méthode simple pour transformer de vastes corpus bruts spécifiques au domaine en textes de compréhension de lecture, permettant au modèle d’acquérir des connaissances de domaine à partir des textes bruts et d’améliorer sa capacité de prompting grâce aux tâches de compréhension.”