Ce que l’IAG change au métier de chercheur isolé en Sciences Humaines et Sociales
- 11 juil.
- 7 min de lecture
L'usage de l'IAG par les chercheurs en SHS reste une boîte noire, surtout quand il ne s'inscrit pas dans l'activité officielle d'un laboratoire. Ce billet décrit un exemple concret. Il est la version académique d'un article paru dans www.scienceshumaines.com.
Petit à petit, l’intelligence artificielle générative (IAG) infuse la recherche en sciences sociales[1]. En raison d’abord de la diminution du coût d’apprentissage, puisqu’elle emploie le langage ordinaire. Mais également parce qu’elle ne se contente pas de perfectionner les instruments empiriques du chercheur et prend en charge des tâches qui relevaient jusqu’ici directement de son travail intellectuel[2]. De ce fait, il est urgent de rendre transparents ces usages et de les soumettre à l’examen de la communauté académique. Dans cet esprit, je propose d’aborder la mutation de mon travail de chercheur.
Si les fonctions de rédaction, de synthèse ou de traduction sont bien connues, je décrirai mon utilisation de Claude Opus 4.6 puis 4.7 pour une enquête en méthode mixte : l’analyse de 512 réponses ouvertes au questionnaire Militens[3] (versant qualitatif), confrontées de manière inductive aux réponses fermées pour aboutir à leur recodage et à donc des statistiques (versant quantitatif). L’objectif était de confronter le discours au profil du répondant, ce qui supposait de croiser les verbatim des réponses ouvertes avec 115 variables uniques, croisement impraticable à la main.
L’IA générative se prête à deux usages. Le premier, le plus tentant, est agentique : la machine se voit confier des chaînes de tâches qu’elle mène seule, sous une surveillance minimale. Cela suppose des moyens, une équipe et une pratique de la programmation dont le chercheur isolé est dépourvu, sans compter un accès au LLM par API (interface de programmation) permettant de l’adapter à ses besoins. Et déléguer l’interprétation à des agents trop autonomes ne revient-il pas à renoncer au métier de chercheur, l’analyse sociologique perdant ce qui fait sa valeur : la création[4] ? J’ai donc opté pour le second usage, dialogique, qui maintient le modèle dans la position d’assistant : il produit et met en forme, le chercheur juge et réoriente ; celui-ci pose le questionnement, le modèle le relance par ses propositions. Aucune décision n’est arrêtée sans validation, et le chercheur demeure le véritable auteur de l’analyse. Mais comment s’opère concrètement cette division du travail ?
Un système qui dépasse l'usage ponctuel du chercheur en SHS
Le travail avec mon modèle de langage (LLM) se distingue par l’accumulation dans le temps et la personnalisation du corpus. Un projet, espace dédié à une mission précise, réunit les données, dont les articles, un fichier d’exemples, un prompt analytique et un prompt de vérification. Le plus étonnant est la capacité de Claude à se représenter cette relation de travail : dans la mémoire du projet, une note du modèle relève que l’auteur fournit « des corrections directes et précises » et « souvent ses propres versions réécrites comme modèle d’autorité » quand les propositions manquent la cible.
Le prompt et les conversations sont les dépositaires de la méthode, avec une traçabilité supérieure à celle des analyses qualitatives, où le cheminement interprétatif reste peu visible. La conservation de l’intégralité des conversations et donc des méthodes réellement appliquées permet de suivre la sédimentation des choix opérés. Ainsi, j’ai constaté que les exemples fournis au LLM ne correspondaient plus à mes exigences, qui avaient insensiblement augmenté ! La formalisation du processus en accroît la maîtrise.
Travailler avec l'IA dans une relative incertitude
Cet aspect compte d’autant plus qu’un modèle de langage relève d’un régime probabiliste, non déterministe : à la différence d’un script, une même requête peut, d’une session à l’autre, produire des réponses différentes, sans compter les fameuses hallucinations. De là une double parade : vérifier, par un échantillon tiré au hasard mais aussi demander au modèle d’évaluer chacun de ses propres codages, les cas incertains étant systématiquement contrôlés par le chercheur[5].
Toutefois, le risque subsiste, car les LLM évoluent en permanence et la reproductibilité n’est jamais garantie, une version pouvant disparaître du jour au lendemain[6]. À l’échelle de l’enquête, les changements de version ont néanmoins apporté un progrès. Les erreurs factuelles et les contresens ont aussi reflué à mesure que le projet accumulait les données et les exemples. Cet environnement personnalisé restreint le champ des erreurs possibles, notamment parce que le LLM s’appuie sur les documents fournis plus que sur des données d’entraînement sans garantie de qualité.
Connaître le fonctionnement du LLM pour le maîtriser
Dans une boucle permanente de rétroaction, les prompts ont été réécrits plusieurs fois par le LLM sur mes instructions (5 fois actuellement pour le prompt initial), chaque version tentant de rectifier les erreurs de la précédente. Co-rédiger les prompts est essentiel, parce que le chercheur en SHS ne raisonne pas comme le LLM auquel les instructions sont destinées, et celui-ci peut de son côté mal interpréter les intentions du chercheur. Pour autant, le processus d’itération comporte un risque régressif : signaler une erreur ponctuelle peut conduire le modèle à simplifier toute l’analyse plutôt que le seul point visé. Il est donc essentiel de comprendre le fonctionnement du LLM.
Par exemple, pour mettre en forme un document de plus de deux cents pages, le modèle a, sept sessions durant, tenté d’écrire un programme corrigeant automatiquement les erreurs que j’avais repérées, alors que je lui demandais une lecture ligne à ligne. La logique de moindre effort de ce contournement est limpide... C’est en surveillant les étapes de raisonnement qu’affiche Claude en temps réel que j’ai découvert l’origine du dysfonctionnement. Depuis, j’ai proscrit explicitement ce raccourci (au risque que le LLM applique superficiellement un prompt devenu trop long)[7] et je vérifie comment la machine déclare procéder. Stimuler l’IAG s’avère nécessaire pour qu’elle ne se contente pas du travail minimum. Autre piège, la sycophancie[8] : le modèle abonde dans le sens de l’utilisateur, jusqu’à reproduire sa posture intellectuelle. Je privilégie le repérage des tensions, il s’est mis à proposer des paradoxes partout...
Au fond, cette façon de travailler modifie les opérations mentales du chercheur. L'effort ne disparaît pas, il migre de la production vers l'évaluation et la gestion des tâches[9]. Le travail se fait moins par lente imprégnation des données, comme le veut la tradition qualitative, et davantage par bonds et par explicitation. Car pour que le LLM soit opérationnel, il faut lui fournir des exemples et prescrire des règles qui, dans une recherche classique, restent tacites, enfouis dans les micro-arbitrages du praticien. Les défaillances du modèle imposent également cet effort d’explicitation. Ma demande était exigeante : dans un premier temps, produire des fiches pour chaque répondant avec une analyse précise fondée sur un choix de variables induit par le verbatim. Il a fallu l’objectiver pour combattre la pente tenace de l’IAG à produire un descriptif assorti d’une compilation de variables, toujours issues des mêmes questions. J’ai donc dû rédiger un guide des variable pour repérer leur usage et une grille de quatorze règles pour que l’IAG auto-corrige ses fiches. Dans un second temps, je lui demandais de catégoriser les fiches, afin de transformer les verbatim en une variable unique, j’ai donc dû apprendre au LLM à le faire au moyen d’un document recensant vingt principes de codage. Tous ces documents ont été co-rédigé avec lui bien entendu, et sont bien utiles pour mettre au jour ce qui se faisait sans être dit.
Conclusion
Au terme de l’expérience, ces garde-fous garantissent que le gain de temps considérable permis par le LLM n’altère pas la qualité du travail. Les documents conçus pour guider la machine forment un appareil méthodologique transférable et constituent une étape analytique. Même s’il doit prendre garde à ne pas trop externaliser, pour conserver son intuition sociologique[10], considérer le LLM comme un assistant contraint le chercheur à expliciter ses propres opérations interprétatives. Les suggestions de ce sparring-partner agissent comme des relances stimulantes, même en cas de désaccord. On pourrait qualifier le résultat de méthode qualitative augmentée, l’écart avec le quantitatif se resserrant. Cependant, si le coût d’entrée est faible, il reste nécessaire d’apprendre l’ingénierie du prompt : l’art de formuler les consignes et de choisir les exemples avec assez de précision pour guider ce qui reste une machine.
Laurent Frajerman, Chercheur HDR au Cerlis Université Paris Cité
[1] Christophe Hurlin et Chantal Marlats, L'IA générative va-t-elle transformer la recherche en économie ?, blog de l’Association Française de Science Economique, 2025.
[2] Korinek, Anton. 2023 (mis à jour en août 2025). "Generative AI for Economic Research: Use Cases and Implications for Economists." Journal of Economic Literature 61 (4) : 1281–1317.
[3] Enquête Militens dirigée par Laurent Frajerman, Institut de Recherches de la FSU et CERAPS (université de Lille). Échantillon aléatoire fourni par la DEPP du ministère de l’Éducation nationale. Administré en 2017, le questionnaire a recueilli 3 296 réponses d’enseignants du premier et du second degré et couvre les caractéristiques sociodémographiques, professionnelles, syndicales et politiques.
[4] ChatGPT y restitue les thèmes descriptifs mais échoue sur les thèmes interprétatifs subtils. David L. Morgan, « Exploring the Use of Artificial Intelligence for Qualitative Data Analysis: The Case of ChatGPT », International Journal of Qualitative Methods, vol. 22, 2023.
[5] Aucun des sept modèles testés n'atteint le seuil d'accord fort avec les codeurs humains ; les auteurs concluent à un modèle collaboratif : au LLM la vitesse et la constance, au chercheur la supervision interprétative. Atsushi Mizumoto et Mark Feng Teng, « Large language models fall short in classifying learners’ open-ended responses », Research Methods in Applied Linguistics, vol. 4, 2025, art. 100210.
[6] Arnault Chatelain, « L’IA générative est-elle un outil gagnant pour la recherche ? », 9 septembre 2025. https://www.polytechnique-insights.com/en/columns/digital/is-generative-ai-a-boon-for-research/
[7] La dégradation est maximale lorsque l’information pertinente se situe au milieu d’un contexte long. Nelson F. Liu, Kevin Lin, John Hewitt, Ashwin Paranjape, Michele Bevilacqua, Fabio Petroni, Percy Liang; Lost in the Middle: How Language Models Use Long Contexts. Transactions of the Association for Computational Linguistics 2024; 12 157–173. https://doi.org/10.1162/tacl_a_00638
[8] Mrinank Sharma, Meg Tong et al., « Towards Understanding Sycophancy in Language Models », actes de la conférence ICLR 2024, https://doi.org/10.48550/arXiv.2310.13548. Ce biais est hérité des préférences humaines utilisées lors de l’entraînement des LLM.
[9] Enquête sur 319 travailleurs du savoir. Lee, Hao-Ping, Sarkar, Advait, Tankelevitch, Lev, Drosos, Ian, Rintel, Sean, Banks, Richard, & Wilson, Nicholas. (2025). The impact of generative AI on critical thinking: Self-reported reductions in cognitive effort and confidence effects from a survey of knowledge workers. Dans 2025 CHI Conference on Human Factors in Computing Systems (Article 1121, pp. 1–22). Association for Computing Machinery. https://doi.org/10.1145/3706598.3713778
[10] Yizhou Fan, Luzhen Tang, Huixiao Le et al., « Beware of metacognitive laziness: Effects of generative artificial intelligence on learning motivation, processes, and performance », British Journal of Educational Technology, vol. 56, n° 2, 2025, p. 489-530, https://doi.org/10.1111/bjet.13544.
Commentaires