Effets de la concentration
Il est à noter que si l’on calcule la moyenne temporelle, on constate qu’après 25 questions la moyenne générale est maximale pour décroître régulièrement jusqu’à la dernière question. Il est probable qu’à partir de la question 25, les étudiants perdent de leur concentration. Cette observation s’est vérifiée pour la promotion 2013-2014 où la moyenne après 25 questions s’élève à 58,7 et à 53,3 au final. Pour la promotion 2014-2015, la moyenne après 25 questions (60,5) est également plus élevé qu’à la fin (55,8).
Pour être sûr que ce ne soit pas lié à une difficulté plus importante des dernières questions, l’ordre des questions sera modifié lors des prochaines évaluations.
Bilan de l’état des connaissances
Chacune des 40 questions est notée sur 2,5 points avec la prise en compte de points négatifs en cas de mauvaise réponse et avec une note minimale de 0 par question. Les résultats bruts sur l’ensemble de la promotion 2013-2014 et 2014-2015 indiquent une moyenne légèrement meilleure pour cette dernière : 53,3±9,6 contre 55,8±8,8 sur 100 pts. La différence n’est cependant pas statistiquement significative. Les résultats assez moyens de ce test peuvent s’expliquer soit par un niveau moyen de la promotion soit par une difficulté assez élevée du questionnaire. Il est possible également que la formulation de certaines questions ait pu gêner certains étudiants.
Que ce soit en 2013-2014 ou 2014-2015, les notions qui posent le plus de problèmes (<33% de réussite à la question) aux étudiants sont sensiblement les mêmes. Le palmarès des notions les moins bien assimilées comporte :
– l’analyse d’une courbe lors d’un dosage pH-métrique
– l’identification de fonctions chimiques
– le caractère amphotère de l’eau
– les unités
– la stéréochimie (Z/E, carbone asymétrique, …)
Pour cette dernière notion, il est à noter que comprendre la représentation d’une structure moléculaire est capital pour la réussite des questions liées à la stéréochimie. A ce propos, une question portait sur l’identification du nombre de carbones asymétriques dans une molécule (figure 1). Moins d’1/3 des étudiants ont répondu correctement. Pour vérifier d’où provenait le problème, une question subsidiaire leur a été posé lors de la séance de TD suivant le test : « Parmi les structures suivantes quelles sont celles qui sont identiques à la structure suivante ? ». A cette question, 40 % d’entre eux n’ont pas répondu correctement !Ceci explique déjà en grande partie le faible taux de réussite pour la question du test lié à la chiralité.
Contexte
Les étudiants de 1ère année de la filière Physique-Chimie de l’Université de Nice-Sophia Antipolis (promotion 2013-2014 et 2014-2015) ont été soumis à une évaluation de leurs connaissances dès leur première semaine à l’Université. Au total, 185 étudiants ont passé le test ; 92 en 2013-2014 et 93 en 2014-2015. Ce test fait écho à une première évaluation du même type qui a eu lieu l’année précédente, et dont vous pouvez lire le résumé.
Une série de 40 QCM de chimie issus du projet « banque de positionnement en chimie» a été choisie. Les 40 questions portent sur le programme officiel du lycée (2nde à la Terminale) et couvrent des domaines très variés de la chimie (équilibres acido-basiques, représentation des molécules, stéréochimie, équilibres redox, stœchiométrie, …). Les QCMs ont été placés sur la plateforme Moodle d’Unisciel par Fabien Fontaine-Vive (Univ. Nice – Sophia Antipolis). Un login spécifique a été attribué à chaque candidat, sur la base d’un fichier au format CSV contenant les noms et prénoms des étudiants ou des lycéens. La plateforme Moodle permet d’obtenir des statistiques détaillées à l’issue de ce test.
Effets des conditions d’évaluation (groupe stress vs groupe sans pression)
Lors du test effectué sur la promotion 2013-2014, sur les 92 étudiants issus des 4 groupes de travaux dirigés, 2 « attitudes » sont à distinguer. 2 groupes (47 étudiants) ont reçu un discours décontracté leur demandant de participer à un test pilote, sans conséquence pour leur diplôme. Dans la suite de l’analyse, ces étudiants sont regroupés dans un groupe « sans-pression ». 2 groupes (45 étudiants) ont été convoqués avec un discours plus formel leur demandant de réaliser un test dont la note aurait une influence sur leur note de chimie du 1er semestre. Dans la suite de l’analyse, ces étudiants seront regroupés dans un groupe «sous-pression ».
Avec un temps imparti de 45 min., les étudiants réalisent le test en 31 min. (±7 min.) en moyenne. De façon contre-intuitive le groupe sous-pression prend légèrement moins de temps (30 min. ±6 min.) que le groupe sans-pression (32 min. ±8min.). A noter que la promotion 2014-2015 réalise le test en moyenne en 26 min. (±6 min.) seulement ! La différence observée en 2013-2014 entre le groupe « sous-pression » et « sans-pression » n’est pas statistiquement significative.
Avec 2,5 points par question, la moyenne de la promotion 2013-2014 est de 53,3/100. Il est à noter que le groupe sous-pression obtient une meilleure moyenne (54,6±7,8) que le groupe sans pression (51,9±10,9). Cet effet que l’on imagine être dû à la concentration a déjà été relevé lors de la précédente série de QCM (promotion 2012-2013). L’écart-type plus grand pour les étudiants « moins concentrés » est certainement dû à la fois à l’absence de pression mais aussi à la présence d’un groupe légèrement plus faible que les autres où de nombreux redoublants sont présents. La distribution des notes est sensiblement gaussienne avec une trainée légèrement plus importante dans le domaine des mauvais résultats pour les étudiants sans-pression (figure 2, à droite) pour les mêmes raisons que celles précitées. Les étudiants sous-pression ont moins de scores faibles (figure 2, à gauche).
- Figure 2 : répartition des notes du groupe sous-pression (gauche) et sans-pression (droite).
- Figure 1: structure chimique d’une molécule (encadrée) tirée d’une question où l’on demande d’identifier le nombre de carbones asymétriques. Sont également représentées, 4 structures chimiques alternatives où il est question d’identifier les molécules identiques à la molécule précédente.
