Female teacher shows a primary female student a tablet deviceLa validité détermine si un outil (c.-à-d., un test de rendement ou un ensemble de questions de sondage) mesure ce qui doit être mesuré. Cette étape comporte la collecte de preuves de la correspondance entre le contenu des éléments de l’outil et les éléments théoriques, ainsi que la preuve que les pointages sur les éléments sont liés à des critères externes.

Par exemple, la validation d’un outil qui a pour but de mesurer les ‘relations enseignant-élèves’ exige une preuve que les questions de l’outil, et la stratégie de codification et de notation des réponses ont donné des pointages conformes à la définition théorique des relations enseignant-élèves. Il faut aussi recueillir des preuves pour savoir si les décisions prises, en fonction de l’outil, étaient liées à une intervention particulière. La récente réflexion au sujet de la validité nous oblige à tenir compte des types de décisions prises à partir de l’évaluation; un test est valide dans la mesure où les inférences issues des résultats sont appropriées, valables et utiles.

Ce processus d’évaluation comprend l’attribution de chiffres aux catégories d’observations du ‘monde réel’. Généralement, l’outil est une technique pour établir un lien entre ce que nous observons dans le monde réel et un élément latent ou non observé qui existe uniquement dans le cadre d’une théorie (Messick, 1989; Wilson, 2005). L’élément latent peut être un trait psychologique comme l’estime de soi ou une mesure du climat d’apprentissage en salle de classe. Le processus d’évaluation est habituellement appliqué parce que nous voulons prendre certaines décisions en fonction des pointages obtenus par les personnes pour l’élément sous-jacent.

shutterstock_73412134La première étape pour établir la validité d’une mesure NotreÉCOLE|Entendez-moi consiste à formuler une définition théorique de l’élément. On y arrive normalement par une analyse de la littérature, et par la recherche de l’avis d’experts. La prochaine étape consiste à cerner les questions qui reflètent l’élément défini. Ce processus exige des discussions approfondies avec les experts et avec les enseignants et les élèves dans des groupes de consultation, ainsi qu’une analyse d’autres outils.

Des données sont recueillies pour plusieurs questions potentielles au moyen de petites études pilotes (normalement de 50 à 100 élèves), et analysées à l’aide de deux techniques psychométriques : analyse factorielle et théorie de la réponse d’item. L’analyse indique jusqu’à quel point les questions conviennent pour fournir une mesure d’un seul élément unifié, et si chaque question contribue à la mesure fiable de l’élément.

Afin que nos mesures soient valides, il faut tenir compte de la façon dont les résultats sont interprétés et utilisés dans le milieu scolaire. Le sens des mesures des résultats de l’école ou des processus scolaires est établi par un des trois moyens suivants :

1) comparaison des résultats de l’école à une norme, comme la moyenne de l’État ou de la province;
2) comparaison des résultats de l’école à ceux d’autres écoles;
3) suivi du rendement de l’école sur une certaine période.

Dans le cas des rapports interactifs pour les sondages de l’élève NotreÉCOLE|Entendez-moi, on utilise les trois approches pour donner un sens aux mesures de l’engagement, du bien-être, et du climat de la salle de classe et de l’école. Les résultats d’une mesure peuvent être comparés au pointage national ou moyen des écoles primaires (6e à 8e année) ou des écoles secondaires. La moyenne canadienne ou le pointage moyen est habituellement désigné comme la ‘norme’. Une école peut utiliser l’information au sujet de la norme canadienne pour créer ses propres normes.

Dans certains États et certaines provinces, les pointages moyens sur les tests sont diffusés publiquement dans des ‘tableaux de classement’ qui classent les écoles selon leur rendement sans tenir compte de la capacité ou du milieu familial des élèves qui fréquentent l’école. Également, pour les nombreuses mesures de la scolarisation, les pointages moyens de la plupart des écoles se situent au milieu de la répartition. Même un changement mineur du rendement de l’école peut avoir des effets énormes sur le classement de cette même école. Ainsi, les comparaisons non rajustées ont tendance à être trompeuses et injustes pour les enseignants et les administrateurs de l’école.

The Learning Bar ne voit pas d’un bon oeil le classement des écoles, car c’est un processus qui favorise la compétition plutôt que les discussions sur les moyens à prendre pour améliorer les résultats des élèves.

Au lieu de classer les écoles, on compare les pointages NotreÉcole|Entendez-moi pour chaque école à une ‘École analogue’. Dès que l’élève a répondu au sondage, on estime le pointage d’un élève de l’École analogue à partir de la base de données canadienne. Pour ce faire, on fait la moyenne des pointages liés à la mesure pour tous les autres élèves dont le sexe, le niveau scolaire, la scolarité des parents, la structure familiale et le niveau des acquis éducatifs à la maison sont les mêmes. Si 600 élèves d’une école ont répondu aux questions pour une mesure, le pointage moyen de l’école pour cette mesure est comparé au pointage moyen des 600 élèves de l’École analogue. Cette méthode assure une comparaison plus juste, car elle tient compte de la composition de l’école.

Le suivi des changements dans le rendement de l’école est un moyen d’évaluer les effets des efforts de réforme de l’école qui visent à améliorer les résultats des élèves. Les rapports NotreÉCOLE|Entendez-moi peuvent indiquer des changements du début à la fin de l’année scolaire, ou d’une année à l’autre.

Nous essayons d’accroître la validité de nos mesures en offrant des ateliers et des webinaires aux clients afin de leur fournir les compétences requises pour bien interpréter et utiliser les données obtenues. Par exemple, une école ayant des pointages relativement faibles pour le climat d’apprentissage en salle de classe pourrait vouloir axer ses efforts de perfectionnement professionnel sur des stratégies afin d’améliorer la discipline dans la salle de classe.

On nous demande souvent si l’utilisation de NotreÉCOLE|Entendez-moi améliore les pointages sur les tests provinciaux. Comme dans le cas des programmes de suivi des données, le succès de NotreÉCOLE|Entendez-moi dépend de l’engagement du personnel de l’école envers les méthodes appliquées pour apporter des changements aux pratiques de la salle de classe et au climat de l’école. Les récents résultats de l’étude de l’Association canadienne d’éducation, Qu’as-tu fait à l’école aujourd’hui, révèlent que toutes les écoles qui utilisent NotreÉCOLE|Entendez-moi ont amélioré leurs niveaux d’engagement des élèves. Toutefois, l’importance des améliorations variait entre les écoles, la plupart des gains ayant été réalisés après la deuxième année de l’utilisation de NotreÉCOLE|Entendez-moi. Le succès de l’initiative est partiellement attribuable aux efforts de l’ACE, Galileo, et aux ateliers présentés par The Learning Bar pour aider les écoles à utiliser les données afin d’apporter des changements aux pratiques des enseignants en salle de classe.