Des clés de lecture d’enjeux liés à la création de l’Institut National d’Excellence en Éducation.
Par Frédéric Saussez, professeur titulaire et membre régulier du CÉRTA.
Le projet de loi 23 porte sur les fonds baptismaux un Institut National d’Excellence en Éducation (INEÉ). Il est tout à fait regrettable que cette création opère au détriment du Conseil Supérieur de l’Éducation (CSÉ) alors que ces deux institutions incarnent deux visions de la Politique (symbolique et technologique) dont l’articulation est nécessaire à la vitalité du Politique et des débats démocratiques au sein de la société[1].
Une vision normative de la recherche et de la preuve
Ce projet d’institut concrétise les pressions intenses que subit le Ministre Drainville (comme ses prédécesseurs) pour se doter d’une technologie de régulation des pratiques pédagogiques. Il promeut l’idée que les politiques et pratiques éducatives devraient s’appuyer sur les meilleures preuves disponibles concernant l’efficacité d’un traitement (une méthode) et que la formation (initiale et continue) devrait inculquer aux praticiens le réflexe de consulter les données dites probantes pour soutenir leurs décisions. Cela semble rationnel et louable. Néanmoins, subrepticement, ce projet érige une vision normative de la recherche scientifique en éducation et fait courir le risque de mettre celle-ci sous la tutelle de ce que les zélateurs des données probantes considèrent comme la vraie science. En effet, il institue l’Essai Contrôlé Randomisé (ECR) comme la seule source scientifique légitime en matière de préconisation de pratiques pédagogiques.
Ainsi, tout résultat scientifique, même exprimé sous une forme quantitative, ne peut prétendre au titre de donnée probante. Lorsque des résultats sont obtenus par l’entremise de plans quasi expérimentaux, de recherches corrélationnelles ou d’étude de cas, ils sont appréciés en fonction d’une hiérarchie de la preuve – empruntée à la médecine basée sur des données probantes – au sommet de laquelle trône l’ECR. Celui-ci est considéré comme l’étalon or de la recherche expérimentale pour tester une relation de cause à effet entre deux variables. Il repose sur une assignation aléatoire des participants (individus, établissements, territoires, etc.) dans les groupes expérimental et contrôle. L’ECR minimise les menaces à la validité interne, c’est-à-dire qu’il permet de ne pas imputer indûment un effet Y à un traitement X.
Oui, ça a marché, mais cela marchera-t-il dans une autre situation ?
Toutefois, la question de la validité externe, c’est-à-dire la possibilité de généraliser les résultats obtenus au-delà de l’échantillon reste une question sensible. Tout d’abord, comme le souligne Goldacre[2], lorsque l’on veut utiliser les résultats d’un ECR, il est indispensable de vérifier si les participants à l’expérimentation sont les mêmes que ceux auxquels on veut appliquer le traitement. À l’aide de l’exemple du programme nurse partnership, il souligne combien la moindre différence entre les deux publics peut s’avérer dommageable. Autrement dit, dès que le public ciblé par un traitement déjà éprouvé manifeste des différences aux plans social, économique, linguistique, âge, niveau d’enseignement, etc., le traitement ne peut être adoptée sans autre forme de procès. Il doit faire l’objet d’une nouvelle expérimentation. Il s’agit d’une sérieuse limitation aux prétentions des zélateurs des données probantes.
Ensuite, les travaux de Cronbach en psychologie expérimentale marquent, dès les années 80, les limites des ECR en ce qui a trait à la possibilité de généraliser leurs résultats et à orienter de façon suffisamment rigoureuse les politiques. Enfin, la question de la généralisation des résultats dits probants est actuellement l’objet d’un vif débat en médecine et microéconomie. Celle-ci serait limitée au regard d’une conception circonstanciée de la causalité[3]. Deaton et Cartwright soulignent que, même si ce plan permet d’établir que quelque chose a marché, on ne peut présupposer que cela marchera dans une autre situation ! Ils invitent alors à considérer l’ECR comme une méthode parmi d’autres pour éclairer des questions formulées en termes d’efficacité. Ils démontrent la nécessité de recourir à d’autres formes de recherche pour analyser les conditions et les processus en jeu dans la situation. Autrement dit, il s’agit de redoubler de prudence en extrapolant des prescriptions pédagogiques à partir de données probantes. Ici encore, les zélateurs des données probantes devront apprendre à faire preuve d’humilité !
Comparaison et pratique exemplaire dans la gestion par la performance
La notion de données probantes subit une inflexion au Québec. En effet, elle est parfois utilisée en lien avec les résultats produits à la suite d’une évaluation comparative entre des organisations (benchmarking). Cette pratique consiste, comme le souligne Bruno[4] en une tentative d’objectiver de bonnes pratiques par la mise en nombres et la comparaison des résultats. Par exemple, une comparaison du taux de réussite au primaire entre les différents Centres de Services Scolaires (CSS) au Québec donne à penser que le CSS x fait mieux que les autres. Par conséquent, la CSS x doit probablement mettre en œuvre une pratique (par exemple inviter l’ensemble de son personnel enseignant à suivre une formation particulière) qui la distinguerait des autres CSS. Celle-ci est alors érigée en pratique exemplaire. Il s’agit d’un instrument clé du management par la performance. Il conduit à établir une norme en termes de pratique exemplaire (bien éloignée dans cet exemple fictif, d’une donnée probante puisqu’elle découle au mieux d’une co-occurrence au pire d’une simple coïncidence) et bien sûr, à encourager les autres organisations et leurs personnels à s’y conformer tout en discréditant toute forme de contestation.
L’INEÉ incarne la volonté de mettre en place une nouvelle forme de régulation des pratiques pédagogiques dans un contexte de gestion axée sur les résultats. Dans ce contexte, les données probantes, tout comme le benchmarking constituent des technologies de la régulation des pratiques. La première est inspirée d’une dérive qu’a connu la médecine basée sur des données probantes lorsque les gestionnaires et les politiques s’en sont emparés pour accroître leur contrôle sur la pratique médicale. La seconde est issue de la gestion par la performance où elle légitime des dispositifs de responsabilisation des personnes et d’évaluation de leur performance.
L’INEÉ sous le même toit que le Conseil Supérieur de l’éducation
Pour éviter les effets délétères sur les personnels enseignant et à terme sur l’école publique, il importe dès lors de se positionner comme un ami critique. Pour exercer cette fonction réflexive et critique à l’égard des données probantes et de leurs zélateurs qui, à n’en pas douter, vont s’emparer de l’INEÉ, le CSÉ devrait se voir confier un mandat élargi afin 1) d’intégrer l’INEÉ avec une fonction de transfert de connaissances, 2) de favoriser la participation citoyenne et contribuer de cette façon à revitaliser les espaces publics de délibération autour de questions d’éducation et 3) de créer des espaces/temps de délibération collective pour les personnels enseignant sur les façons de faire leur métier et ainsi contribuer à l’augmentation de leur puissance d’agir et de leur persévérance dans la carrière.
[1] https://dera.ioe.ac.uk/id/eprint/17530/7/ben%20goldacre%20paper_Redacted.pdf
[2] https://www.lesoleil.com/opinions/point-de-vue/2023/05/08/vers-un-troisieme-lien-en-education-Y427RATRUFFYDOJ6IYUPKZMWZI/
