Avertissement : ce billet complète le post suivant : "Les enseignants et la réforme Attal. Hétérogénéité, redoublement, compétences..."
Sommaire : La magie du chiffre
De nombreux commentaires affirment que la science invalide le redoublement et les classes de niveaux, et s'interrogent sur l'incapacité des acteurs à le comprendre. Or le sociologue Romuald Normand s'élève dès 2003 contre :
« une conception objectiviste de l’éducation dont on commence à évaluer les effets pervers sur le management des écoles et les pratiques pédagogiques. En fait, cette confiance excessive dans les conclusions d’une expertise tend à confisquer le débat démocratique en empêchant une réflexion collective sur le projet politique de l’école. »
En effet, un débat traverse le champ scientifique, qui a tendance à être nié par les prises de position dominantes, qui ont tendance à confondre sciences dures et sciences sociales. Comme l'explique l'historien Guy Lapostolle :
"Une bipartition existe bien au sein du champ des sciences de l'éducation entre d'une part, les chercheurs qui sont au service d'une expertise susceptible de guider les politiques éducatives et d'autre part, des chercheurs qui sont davantage dans une posture de méfiance à l'égard de cette expertise. Quand les premiers s'accommodent volontiers du triomphe de cette valeur qu'est l'efficacité, de l'usage généralisé de la notion de compétence, les seconds se désolidarisent de cette demande d'expertise qui appelle à des évaluations chiffrées, à la mesure de l'efficacité des dispositifs qui sont mis au service des politiques ou encore de l'efficacité des enseignants, quelle que soit par ailleurs la subtilité avec laquelle les premiers la construisent."
Ainsi, une chercheuse belge, Sabine Kahn, a mené une belle étude de sociologie compréhensive sur le redoublement, en montrant la rationalité des acteurs et en appelant à "considérer les contraintes de la pratique enseignante". Le SNES-FSU s'était d'ailleurs élevé contre "l’approche scientiste" du ministère Blanquer et la prétention de son conseil scientifique, toujours en place, de dicter les pratiques enseignantes.
La magie du chiffre
Il me semble en effet que la recherche dominante, notamment celle d'économie de l'éducation, devrait adopter une posture plus modeste, dans la lignée du « Je sais que je ne sais rien » de Socrate. D'abord, parce que l'erreur est humaine, et les résultats unanimes rares. Ainsi, plusieurs études présentées comme des preuves indubitables se caractérisent par des méthodologies dont l'économiste Marion Oury affirme qu'elles font preuve de "fragilité scientifique". Le sociologue Hugues Draelants, après avoir examiné toutes les études sur le redoublement, considère qu'elles
"sont en réalité fort critiquables et fragiles d’un point de vue méthodologique et que le débat scientifique sur les effets du redoublement n’est pas tranché : il n’existe ni consensus scientifique ni résultats univoques à ce propos."
Ajoutons que certaines analyses illustrent le paradoxe de Simpson, lorsque des résultats statistiques sont faussés par l'oubli d'une variable explicative importante, qui joue à la fois sur la cause et sur la conséquence. Ce qu'on appelle un facteur de confusion peut être dans notre cas :
le climat scolaire, car l'effet du groupe de niveau ne sera pas le même si la classe est calme ou agitée,
le niveau de pression sociale sur les élèves, par exemple à Singapour l'investissement familial dans la réussite scolaire est très important, et les cours du soir fréquents,
les inégalités sociales,
des caractéristiques du système comme la différence public/privé en France, la formation des enseignants, les méthodes employées etc.
Le facteur de confusion appliqué au redoublement sur @ScienceEtonnante :
Ceci montre la nécessité de combiner recherches quantitatives et qualitatives, à l'image de celles du sociologue Stéphane Bonnéry quand il observait les élèves en échec scolaire. Car, en se fixant pour objectif d'évaluer une méthode, quel que soit le contexte et le nombre de facteurs en jeu, on risque de produire des résultats illusoires. Cette problématique est bien connue pour les études d'impact, qui ne sont pas toujours possibles, malgré les demandes pressantes des décideurs, obnubilés par la magie du chiffre. Selon l’économiste Etienne Wasmer : « Ne tenir compte que des études rigoureuses, mais partielles, à horizon court et au champ étroit, peut conduire à un effet lampadaire : n'étudier que ce qui est éclairé. » Il prône donc un " certain équilibre" dans les méthodes employées.
Qu'on ne se méprenne pas : j'apprécie les études quantitatives, notamment randomisées, je crois possible et nécessaire d'évaluer des aspects des politiques publiques. Simplement, cela confère une responsabilité aux scientifiques, qui doivent expliciter leurs manière d'atteindre un résultat et admettre sa contingence. Par exemple, l'épisode du Covid a montré à la fois la capacité des scientifiques à produire un vaccin en un temps record et leurs hésitations et controverses sur les décisions politiques à court terme (faut-il reconfiner ? etc.)
Toutes les publications et interviews de Laurent Frajerman sur les questions de politique éducative
Les méta-méta analyses
Aujourd'hui, la mode est à la méta-analyse. L'une d'elle, fréquemment citée, provient de John Hattie, professeur à l'université de Melbourne, qui s’appuie sur plus de 2 100 méta-analyses portant sur les résultats scolaires, provenant de plus de 130 000 études. Elles ont été réalisées avec la participation de plus de 400 millions de jeunes âgés de 3 à 25 ans, principalement dans les pays développés. A l'évidence, la quantité constitue un argument choc. Ces méta-analyses correspondent à la pêche au chalut : le chercheur récupère tous les travaux, quelle que soit leur qualité et les raisons pour lesquelles ils ont été menés. Implicitement, il espère que leur masse et leur réduction à quelques données chiffrées noiera ces défauts. Mais une erreur ne devient pas une vérité parce qu'elle est répétée 100 000 fois. Pire, ces analyses d'analyses d'analyses, finissent par devenir de purs artefacts, à force d'éliminer des facteurs. A chaque étape du processus, le chercheur opère des choix, aplatit la réalité pour pouvoir la quantifier. Ces simplifications successives altèrent le résultat.
Quand elles concernent des comparaisons internationales, l'écart entre les contextes devient très problématique. Ainsi, les économistes de l'éducation du consortium IDEE présentent le programme "Teaching At the Right Level" comme un exemple pour le système scolaire français. Développé par l'ONG indienne Pratham, promu par Esther Duflo, il s'adresse à des enfants illettrés, et n'a été mis en pratique dans aucun pays développé. Que cette expérience nous aide à réfléchir sur notre réalité, certainement, mais de là à en faire un modèle...
Les méta-analyses et études d'impact peuvent fonctionner sur des objets simples, comme le niveau en mathématiques (en admettant une marge d'erreur, et en omettant les controverses entre scientifiques), beaucoup moins sur des objets complexes comme les méthodes pédagogiques ou la gestion des flux d'élèves. On a pu le constater avec la question des effectifs de classe. Des années durant, les études internationales ont légitimé les économies budgétaires en affirmant que la taille des classes ne comptait pas. Puis d'autres études ont affirmé l'inverse...
Un cas : l’hétérogénéité des classes
Prenons un autre exemple, le principe d’hétérogénéité des classes (qui comportent des élèves de niveaux variés). Des économistes de l'éducation (dont Yann Algan, Julien Grenet et Marc Gurgand, membres du CSEN) ont reproché au ministre de dédaigner leurs conclusions, favorables aux seuls regroupements temporaires et basées sur ces méta analyses : "les regroupements permanents, tels que les classes de niveau, sont inefficaces, même s’ils sont limités à certains cours" (Le Monde, 4 décembre 2023). Or leur propre synthèse est beaucoup plus prudente :
Cela n'empêche pas cette équipe de prôner dans sa tribune "un investissement conséquent dans la formation initiale et continue des enseignants afin de les doter des compétences nécessaires" pour la différenciation pédagogique. Résumons : nous sommes certains que l'homogénéité ne marche pas, et si l’hétérogénéité n'a pas fonctionné non plus, alors c'est de la faute des enseignants !
Ajoutons que l’hétérogénéité, notion réifiée par ces chercheurs, est toujours relative. Autrement dit, on peut l’encourager au sein de classes préparatoires aux grandes écoles, tout en étant très loin d'un enseignement commun à tous.... Le sociologue Pierre Merle rappelle à juste titre les écarts considérables qui existent entre les établissements scolaires, du fait de la ségrégation sociale et de l'existence de l'école privée. Dans des contextes si différents, l’hétérogénéité ne revêt pas le même sens. Prétendre qu'une enquête disqualifie ad vitam aeternam des groupes d'élèves plus homogènes me paraît donc exagéré. Ainsi, une enquête de la DEPP citée à charge contre les classes de niveau porte seulement sur les élèves de lycée, pour lesquels une sélection a déjà eu lieu. Comme souvent quand les experts doivent présenter leurs résultats à la communauté scientifique, l'article multiplie alors les conditionnels, les précautions. Il faut dire que les résultats ne sont pas tranchés : « L’effet prédit d’une [harmonisation de] la composition des classes au sein d’un établissement et d’une série demeure cependant faible. »
Où mettre le curseur de la "bonne" hétérogénéité ? A quel âge ? Ainsi, sa version intégrale consiste à scolariser ensemble toute une classe d'âge, jeunes porteurs de handicap compris. Les théoriciens de l'inclusion, constatant que cette perspective n'est pas réaliste dans le système actuel, proposent donc de le redéfinir entièrement. Les autres réflexions se situent dans le cadre classique, mais avec de nombreuses nuances. On peut tout à fait défendre les classes hétérogènes au collège et soutenir qu'il est positif d'orienter les élèves dans trois voies différentes au lycée (générale, professionnelle et technologique). Un sociologue, Aziz Jellab, présente le lycée professionnel comme une institution "qui a consacré l’innovation ou l’invention pédagogique comme une nécessité permettant de lutter contre l’échec scolaire". Dans ce cas, la création d'une filière distincte ne stigmatiserait pas des élèves ayant, "pour beaucoup, connu des difficultés scolaires au collège, voire dès l’école primaire". C'est la thématique de la seconde chance. Mais justement, d'autres sociologues préconisent la fusion de ces filières, au nom de la démocratisation...
Cet exemple démontre que les recherches procèdent à de multiples choix, rarement explicités, alors qu'ils influent leurs résultats. D'autant que les différents intervenants dans ces débats n'ont pas toujours des objectifs concordants. L'essence du système scolaire est de transmettre le savoir et les outils pour apprendre, ses autres fonctions de socialisation peuvent être assumées par diverses institutions. En cohérence avec cela, ses agents, les enseignants, accordent de l’importance à la valeur Travail, au fait que tous les élèves, y compris les meilleurs, soient stimulés. Cela correspond d’ailleurs à un besoin essentiel pour une économie moderne. Or, de nombreux chercheurs mettent en avant d’autres valeurs, qu'ils mobilisent pour leur évaluation : la lutte contre les inégalités sociales, le bien-être, le civisme etc. Décider de l'objectif prioritaire relève du politique, d'un choix de société. Qu'il soit éclairé par la science est nécessaire, mais à condition d'admettre que celle-ci ne peut pas répondre à toutes les questions si facilement.