Detroz Blais 2012

Les étudiants sont-ils compétents pour évaluer la qualité des enseignements ?

1. Références

• Référence complète APA : Detroz, P. & Blais, J. (2012). Les étudiants sont-ils compétents pour évaluer la qualité des enseignements ? Mesure et évaluation en éducation, 35(3), 5–30.

• Auteur(s) : Pascal Detroz et Jean-Guy Blais

• Revue : Mesure et évaluation en éducation

2. Copies

• Copie en ligne : https://www.erudit.org/fr/revues/mee/2012-v35-n3-mee01362/1024668ar.pdf

• Copie locale : Fichier:Detroz Blais 2012.pdf

• Copie physique :

3. Mots-clés

• évaluation de l'enseignement par les étudiants (fiabilité et validité)

4. Abstract

Cet article répond à cette question centrale : « Les étudiants sont-ils compétents pour évaluer la qualité des enseignements ? » en l’abordant selon deux angles distincts. Le premier a trait aux attitudes et représentations des différentes parties prenantes quant à cette question. Ces attitudes ne sont pas univoques bien qu’elles soient, en tendance, favorables à l’implication des étudiants dans les dispositifs d’évaluation des enseignements. Le second a trait à la validité de l’information ainsi récoltée. La plupart des recherches et les méta-analyses effectuées soutiennent plutôt la validité de l’EEE. Ce n’est cependant pas toujours le cas et cette validité est au moins partiellement en débat. Les auteurs plaident, dans les conclusions, pour que l’écologie locale et le contexte, notamment disciplinaire, soient pris en compte lors d’analyses de la validité qui devraient, selon eux, envisager des méthodologies plus naturalistes.

5. Résumé (facultatif)

Les perceptions, représentations et attitudes des parties prenantes

Les auteurs passent en revue différentes études sur les perceptions des enseignants, des étudiants et des administrateurs sur l'EEE.

L'avis des enseignants

• Une série d'études mais difficiles à comparer car avec des cadres variés.
• "les enseignants n’ont pas une attitude univoque lorsqu’il s’agit de considérer l’intérêt de l’EEE"
• "Ils sont aussi partagés sur le fait que les étudiants aient les compétences (ou aptitudes, connaissances) pour évaluer les enseignements"
• Selon Kogan, schoenfeld-tacher, et Hellyer (2010), "Les enseignantes exprimeraient plus d’émotions négatives face à une évaluation critique et seraient moins enclines à en utiliser les résultats à des fins de régulation (ces conclusions sont en phase avec l’étude de Nasser et Fresko (2002)).

L'avis des étudiants

• Quelques études seulement, dont certaines comparant perception des ens et des ét
• Younès_2007 "... compare les attitudes des étudiants, des enseignants et des autorités vis-à-vis de l’EEE. Elle précise que ces trois populations affirment de concert que l’EEE est importante, qu’elle devrait être régulière et qu’elle serait à encourager. Cependant, au-delà de ces positions de principes communes entre ces acteurs, elle relève des désaccords en ce qui concerne les modalités pratiques de mise en œuvre, par exemple l’institutionnalisation de la procédure d’EEE (partie prenante du programme ou non), les sources d’information utilisées (les étudiants uniquement ou l’usage de sources multiples), ou la diffusion des résultats."

L'avis des autorités académiques

• "les autorités académiques ont des attitudes ambivalentes, mais globalement soutenantes, à l’égard de l’EEE."

Conclusions sur les perceptions des acteurs

"Ces perceptions sont, la plupart du temps, bienveillantes par rapport au dispositif d’évaluation et les étudiants sont jugés assez souvent comme des évaluateurs fiables. Toutefois, on observe à travers toutes ces études ‒ quels que soient les méthodes, contextes géographiques, temporalités et acteurs interrogés ‒ un nombre relativement important de résistances face à cette idée."

La validité de l’EEE

• validité = "processus dont le but est d’accumuler des preuves démontrant le caractère approprié des inférences qui sont faites à partir des résultats d’un test donné" (American Educational Research Association

(Eara), l’American Psychological Association (APA) et le National Council on Measurement in Education, 1999)

• "un des premiers éléments marquants de cette définition est que la validité ne s’applique pas à un test décontextualisé mais bien en usage et que l’interprétation des résultats d’un test se fait en contexte."
• selon sireci (2009), cinq types de preuves doivent être recueillies: celles portant sur le contenu, sur le processus, sur le critère, sur la fidélité, sur la conséquence et sur la praticabilité.

Les preuves axées sur le contenu et le construit

• "La preuve axée sur le contenu se réfère à la manière dont les items d’un questionnaire EEE reflètent réellement les éléments importants en lien avec la qualité de l’enseignement (et seulement ceux-là). En d’autres termes, ces items doivent former un échantillon représentatif de tous les items auxquels on aurait théoriquement pu faire appel pour l’évaluation.
• "La preuve axée sur le construit exprime le fait que les données récoltées à l’aide d’un dispositif EEE sont réellement, et de manière adéquate, en rapport avec l’entité sous-jacente que l’on cherche à étudier: l’enseignement. Ainsi, il faut s’assurer que le « construit» théorique auquel on s’intéresse soit convenablement opérationnalisé par l’EEE."

Les preuves axées sur les critères externes

• "La preuve basée sur le critère externe s’intéresse à la relation entre les données issues de l’EEE et d’autres données reconnues comme étant en lien avec le même objet d’étude, à savoir l’enseignement. Par exemple, pour vérifier cet aspect de la validité d’un dispositif d’évaluation de l’enseignement par les étudiants, on observera les liens éventuels entre les données issues du dispositif et d’autres données issues d’autres méthodes, comme l’avis de pairs, l’analyse du portfolio de l’enseignant, etc."

Les preuves axées sur la fidélité

• "La preuve basée sur l’analyse de la fidélité d’un test peut se faire de quatre manières différentes. Il s’agit de :
  • "La fidélité test-retest: pour être fidèle, un questionnaire d’EEE administré à deux reprises, à deux moments différents, doit produire le même score.
  • "La fidélité entre formes parallèles: on compare deux questionnaires d’EEE créés à partir du même contenu (par exemple, en séparant aléatoirement les items d’un même test) et proposés en même temps aux mêmes étudiants. Les deux formes doivent fournir des données similaires en termes de moyenne et d’écart type pour que le questionnaire soit valide.
  • "La fidélité par cohérence interne : cette forme de fidélité est utilisée pour juger la consistance des résultats à travers l’analyse des items d’un questionnaire d’EEE, par exemple à l’aide de l’analyse du r.bis ou de l’alpha de Cronbach.
  • "La fidélité interjuges: ce type de fidélité est mesuré lorsque deux correcteurs

indépendants évaluent la même production."

Les preuves axées sur la conséquence

• "La preuve basée sur la conséquence évalue les effets (souhaités et non souhaités) de l’application d’un dispositif d’EEE. Plusieurs méthodologies permettent de récolter ce type de preuve: la mesure d’impact, l’observation du comportement des individus évalués (insatisfaction, déprime, etc.) ou toute autre information récoltée après le test. C’est également dans ce cadre que prennent place les débats sur les éventuels « effets pervers » des dispositifs EEE (diminuer les exigences du cours pour obtenir un meilleur score à l’évaluation par les étudiants, tendre à une uniformité des enseignements pour se conformer aux critères en vigueur dans les EEE, etc.)."

Conclusions

• Les principaux points à retenir de l'article sont :
  • Globalement, l'EEE est valide et acceptable
  • "Ce n’est pas parce que les métadonnées à disposition incitent à penser que globalement l’EEE est valide et acceptable qu’un dispositif local est forcément valide et acceptable" : appel à une validation locale et à une prise en compte du contexte