L’adoption de grands modèles de langage dans la recherche en économie

Estimated reading: 7 minutes 87 views

Points forts

Premières preuves quantitatives de l’adoption du LLM en économie grâce à l’analyse des modèles linguistiques.
La présence des LLM augmente de 4,76 points de pourcentage dans les articles d’économie au cours de l’année 2023-2024.
L’effet double, passant de 2,85 points en 2023 à 6,67 points en 2024, ce qui témoigne d’une adoption rapide.
La nouvelle méthode DiD utilise 50 mots répartis dans 25 revues pour détecter l’écriture assistée par LLM.
Les résultats, robustes à de multiples effets fixes , représentent probablement une limite inférieure de l’adoption réelle du LLM.

Abstrait

Cet article présente une méthodologie novatrice pour estimer l’adoption des grands modèles de langage (GML) dans la recherche économique, en exploitant leur empreinte linguistique spécifique. À l’aide d’un cadre d’analyse rigoureux de différences-en-différences, l’étude examine 25 revues économiques de référence sur une période de 24 ans (2001-2024), en analysant les fréquences différentielles entre les termes caractéristiques des GML et le langage économique conventionnel. Les résultats empiriques mettent en évidence une adoption significative et accélérée des GML suite à la publication de ChatGPT, avec une augmentation de 4,76 points de pourcentage des termes associés aux GML entre 2023 et 2024. Cet effet double presque, passant de 2,85 points de pourcentage en 2023 à 6,67 points de pourcentage en 2024, ce qui suggère une intégration rapide des modèles de langage dans la recherche économique. Ces résultats, robustes à travers de multiples spécifications à effets fixes , constituent la première preuve systématique de l’adoption des GML dans la recherche économique et établissent un cadre d’estimation des transitions technologiques dans la production de connaissances scientifiques.

Introduction

L’intégration de l’intelligence artificielle (IA) dans la recherche économique s’est imposée comme un phénomène transformateur, repoussant les frontières méthodologiques de la discipline. Ses applications couvrent un large éventail de domaines, allant de l’apprentissage profond pour l’extraction de données (Dell, 2024) à la tarification algorithmique (Calvano et al., 2020), en passant par la génération algorithmique d’hypothèses (Ludwig et Mullainathan, 2024), l’analyse du bien-être distributif (Corral et al., 2025), l’économie spatiale (Khachiyan et al., 2022), la modélisation d’agents hétérogènes (Azinovic et al., 2022) et la macroéconomie computationnelle (Kahou et al., 2024). Dans ce vaste paysage d’applications de l’IA, l’adoption des grands modèles de langage (LLM) représente une avancée particulièrement significative. Ces modèles, dont ChatGPT, Claude et Gemini sont des exemples, offrent des capacités sans précédent pour la réalisation d’analyses bibliographiques, l’analyse de données, la programmation et la rédaction d’articles scientifiques (Korinek, 2023).Alors que les économistes s’adaptent à cette transition technologique, Ludwig et al. (2025) établissent des lignes directrices fondamentales pour l’intégration des modèles linguistiques (ML) dans la recherche empirique. Bien que leurs travaux fassent progresser le cadre méthodologique de la mise en œuvre des ML, l’ampleur de leur adoption réelle dans la recherche économique demeure inconnue. Cet article comble cette lacune en développant une méthodologie novatrice, basée sur des indicateurs indirects, qui exploite les caractéristiques linguistiques des ML pour estimer leur adoption au sein de la discipline. Notre approche méthodologique répond spécifiquement à deux défis fondamentaux identifiés par Van Dis et al. (2023) : la détection du contenu généré par les modèles dans les articles scientifiques et la prise en compte de la sophistication croissante des résultats des ML. Ces défis, conjugués à l’hétérogénéité des exigences de divulgation des revues scientifiques (Dwivedi et al., 2023), soulignent la nécessité de disposer d’approches d’estimation systématiques permettant d’éclairer les politiques fondées sur des données probantes pour garantir l’intégrité de la recherche.En l’absence de mécanismes de détection établis, nous montrons que l’utilisation de logiciels de traduction automatique (LLM) laisse des traces subtiles mais détectables dans la rédaction académique, se manifestant par des variations systématiques dans le choix des mots et le style d’expression.

^Nous avons constitué deux ensembles de mots rigoureusement sélectionnés : un groupe expérimental reprenant ces caractéristiques linguistiques propres aux LLM, et un groupe témoin comprenant la terminologie économique fondamentale et ses usages historiquement stables. À l’aide d’une méthode de différence-en-différences (DiD), nous analysons les différences de fréquence entre ces groupes dans les principales revues d’économie, avant et après la généralisation de ChatGPT, fournissant ainsi la première preuve empirique systématique de l’adoption des LLM dans la recherche en économie.Cette étude apporte des contributions méthodologiques et empiriques à la compréhension de l’impact des modèles de langage sur la recherche académique. Grâce à une analyse des schémas linguistiques, elle fournit les premières preuves systématiques de l’adoption des modèles de langage dans la recherche en économie, dépassant ainsi les observations anecdotiques pour proposer une évaluation quantitative de la transition technologique dans la communication scientifique. Notre méthodologie s’attaque spécifiquement aux difficultés actuelles de détection de l’utilisation des modèles de langage dans la rédaction, tout en documentant les tendances de leur diffusion dans le milieu universitaire. Les résultats ont des implications importantes pour les acteurs de l’ensemble du paysage académique – chercheurs, rédacteurs de revues, établissements d’enseignement supérieur, comités d’éthique et décideurs politiques – en fournissant une base empirique pour l’élaboration de politiques et de normes de transparence concernant la recherche assistée par les modèles de langage.Données

Cette étude utilise un ensemble de données tridimensionnel (JournalMotL’ensemble de données (année) comprend 25 revues économiques de premier plan et 50 mots sur une période de 24 ans (2001-2024). Sa construction intègre plusieurs stratégies méthodologiques afin d’assurer une estimation précise des tendances d’adoption des LLM.Premièrement, la méthodologie utilise un comptage binaire au niveau de l’article, où un article contribue à une seule observation s’il contient un mot donné, quelle que soit la fréquence de ce mot dans cet article.

Méthode et résultats

Nous exploitons le lancement de ChatGPT comme une expérience naturelle pour identifier l’effet causal de la disponibilité du LLM sur les pratiques d’écriture académique. Cette identification repose sur un cadre d’analyse de différences (DiD) qui examine les fréquences différentielles entre la terminologie associée au LLM et les termes académiques conventionnels avant et après le lancement. La validité de cette stratégie d’identification repose sur une hypothèse centrale : l’exogénéité du moment du traitement. Deux caractéristiques institutionnelles renforcent cette hypothèse.

Conclusion

Cet article présente une méthodologie novatrice pour estimer l’adoption des modèles de langage (LLM) dans la recherche économique, à travers l’analyse des tendances linguistiques. Appliquée à 25 revues économiques de référence sur une période de 24 ans, l’analyse par différences-en-différences met en évidence une adoption significative et croissante des modèles de langage suite à la publication de ChatGPT. L’analyse révèle une augmentation de 4,76 points de pourcentage de la terminologie caractéristique des LLM entre 2023 et 2024, passant de 2,85 points de pourcentage en 2023 à 6,67 points de pourcentage en 2024.