Fig 1. Distributions des scores (sur 40) des étudiants de l’université de Nice (UNICE) en blanc et les lycéens du lycée Fenelon (FENELON), en gris.
Fig 2. Distribution des scores des étudiants du groupe «sous-pression » par rapport à la distribution des notes de l’ensemble des étudiants de l’université de Nice Sophia Antipolis
Contexte
Une série de 40 QCM de chimie issus du projet «banque de positionnement 2012 » a été choisie afin d’être testée par des étudiants (71 candidats) ayant subis 3 semaines de cours en début d’année et des lycéens à quelques semaines du bac (41 candidats).
Les étudiants sont issus des 4 groupes de la filière Physique-Chimie de l’Université de Nice – Sophia Antipolis (promotion 2012-2013). 3 groupes (56 étudiants au total) ont été soumis au test avec un discours décontracté leur demandant de participer à un test pilote, sans conséquence pour leur diplôme. Le 4e groupe (15 étudiants) a été convoqué par le professeur du cours magistral (Jérôme Golebiowski, Univ. Nice Sophia Antipolis) avec un discours plus formel leur demandant de réaliser un test dont la note aurait une influence sur leur note de chimie du 1er semestre.
Les lycéens sont 41 élèves de Terminale S de Pascal Steyer, enseignant au lycée privé Fénelon, situé à Grasse (promotion 2012-2013).
Les 40 questions portent sur le nouveau programme officiel et couvrent des domaines très variés de la chimie (équilibres acido-basiques, représentation des molécules, stéréochimie, équilibres redox, stœchiométrie, …). Les QCMs ont été placés sur la plateforme Moodle d’Unisciel par Fabien Fontaine-Vive (Univ. Nice – Sophia Antipolis). Un login spécifique à chaque candidat a été créé par Franck Rouzé (Univ. Lille I), sur la base d’un fichier au format CSV contenant les noms et prénoms des étudiants ou des lycéens. Le Moodle permet d’obtenir des statistiques détaillées à l’issue des tests.
Mise en place des tests
Les étudiants et les lycées réalisent le test dans un temps sensiblement équivalent : 37 min. (±11 min.) pour les universitaires contre 35 min. (±9 min.) pour les lycéens. Toutefois, parmi les étudiants, le groupe d’étudiants « sous-pression » prend davantage de temps et réalise le test en 46 min. (±7 min.).
Les scores du test (~50 % de réussite) suggèrent que le niveau de difficulté est relativement important, contrairement à l’avis des rédacteurs des QCM qui pensent avoir rédigés des questions très simples. La formulation de certaines questions a manifestement gêné certains élèves et nécessitera d’être réévaluée. La note est sur 40 points. Les étudiants réalisent un score moyen de 21.1/40 (±4.2), contre 22.7/40 (±3.6) pour les lycéens. Parmi les étudiants, le groupe « sous-pression » réalise un score de 23.1 (± 3.2).
L’écart-type plus important pour les étudiants plus décontractés est dû à la fois à l’absence de pression mais aussi à la présence de quelques étudiants étrangers ayant un niveau de français très faible. La distribution des notes est sensiblement gaussienne (figure 1), avec une trainée légèrement plus importante dans le domaine des mauvais résultats pour les étudiants pour les mêmes raisons que celles précitées. Les étudiants sous-pression ont moins de scores faibles (figure 2).
Analyse des résultats
L’analyse de la réussite par thème indique de manière contre-intuitive que les lycéens sont plus performants pour les questions portant sur la stéréochimie (isomèrie Z/E) et les modes de représentation des molécules. On notera que ces thèmes n’ont pas encore été traités en 3e semaine de cours de chimie de l’université et que ces souvenirs sont donc plus lointains pour les étudiants.
