Objectifs de l’évaluation
Améliorer la transition lycée-université à l’Université de Lille, Sciences et Technologies ;
Utiliser les outils du numérique pour évaluer les compétences en chimie des étudiants à l’entrée à l’université ;
Fournir à l’étudiant un état des lieux de ses compétences en chimie à l’entrée à l’université ;
Informer l’étudiant des compétences qui sont des pré-requis pour les UE de chimie du L1 de la licence SVTE ;
Proposer à l’étudiant un outil pour mettre à jour ses compétences de manière ciblée.
Liste des thèmes des QCM
Seconde
– Structure de l’atome.
– Classification périodique.
– Grandeurs caractérisant un système chimique.
– Transformation et réaction chimique.
Première S
– Structure, cohésion et transformation de la matière.
– Oxydoréduction.
Terminale S
– Dosages, mesures et incertitudes.
– Acido-basicité.
– Chimie organique.
Modalités de passage de l’évaluation
– Planning : séances programmées pendant les 2 premières semaines du semestre 1.
– Durée prévue : 2 h.
– Durée nécessaire à un étudiant pour réaliser l’évaluation : 1 h à 1 h 30.
– Lieu : centre de ressources multimédia géré par le SEMM.
– Encadrement : vacataire, doctorant contractuel, enseignant de l’équipe pédagogique de l’UE chimasn.
– Soutien technique : personnels du SEMM pour résoudre les problèmes liés à l’inscription sur Moodle.
Un bilan personnalisé (format papier) est fourni à l’étudiant à l’issue de l’évaluation. Les thèmes qui comportent des compétences qui sont des pré-requis pour certains chapitres de l’UE chimasn du S1 de la licence SVTE y sont mentionnés. Ce bilan est complété par l’étudiant durant l’évaluation ; celui-ci y reporte les notes obtenues à chaque thème. Ce bilan est ensuite analysé et commenté par l’encadrant de la séance en présence de l’étudiant. En fonction de la note obtenue à chaque thème, l’encadrant conseille l’étudiant sur les compétences à revoir ou à acquérir en utilisant les tests en mode « relecture ».
Contexte
Depuis 2008, les compétences en chimie des étudiants qui entrent à l’Université de Lille, Sciences et Technologies, en L1 de la licence Sciences de la Vie, Terre et Environnement (SVTE) sont évaluées lors des deux premières semaines du semestre.
Cette évaluation utilise des questions à choix multiples (QCM) qui testent des compétences en chimie qui devraient être maitrisées par un étudiant ayant suivi les enseignements de chimie de seconde, première S et terminale S. L’équipe pédagogique qui a élaboré les QCM est composée de Marc RIBAUCOUR, responsable d’Unités d’Enseignement (UE) de chimie du L1 de la licence SVTE, et de deux collègues membres des équipes pédagogiques de ces UE, Sébastien CANNEAUX et Odile ROBBE. Chaque année, environ 600 étudiants de la licence SVTE sont évalués.
En 2013, une nouvelle version de l’évaluation a été élaborée en raison de la réforme des programmes de l’enseignement secondaire mise en place en 2010 pour la seconde, 2011 pour la première et 2013 pour la terminale. Deux enseignants de physique-chimie du secondaire, Stéphane LESPINASSE du lycée Pasteur de Lille et Stéphane RAMSTEIN du lycée Queneau de Villeneuve d’Ascq, ont été impliqués dans l’élaboration de cette nouvelle version de l’évaluation. Ils ont eu pour tâche de lire et valider les compétences testées, les formulations des questions, des réponses et des explications proposées. Les QCM ont été créées dans le cadre d’un projet proposé en réponse à l’appel d’offre d’UNISCIEL « Banque nationale de tests de positionnement lors de la transition lycée-université » ayant pour objectif d’améliorer la transition lycée-université et de vérifier les acquis du lycée.
Soulignons que les programmes de l’UE « chimie appliquée aux sciences naturelles » (chimasn) du semestre 1 de la licence SVTE ont été amendés en 2013 pour tenir compte de la réforme des programmes de chimie du secondaire. Les pré-requis pour chaque chapitre de l’UE ont également été mis à jour en 2013.
Élaboration des QCM
La méthodologie employée pour élaborer les QCM a suivi les étapes ci-dessous.
– Identification des compétences exigibles en chimie après le lycée grâce à l’analyse des BO des programmes de physique-chimie du secondaire.
– Consultation de manuels de physique-chimie du secondaire.
– Sélection des compétences exigibles qui seront testées dans l’évaluation en fonction des programmes des UE de chimie du L1 de la licence SVTE.
– Rédaction d’un formulaire de saisie pour les QCM comportant 19 items afin de faciliter l’indexation et la saisie numérique des QCM.
– Rédaction de 80 QCM réparties dans 9 thèmes sur les 3 années du secondaire : 31 pour la seconde, 16 pour la première, 33 pour la terminale.
– Lecture, amendement puis validation des QCM par les enseignants du secondaire.
Rédaction des QCM
Les QCM ont été rédigés en respectant les critères ci-dessous.
– 4 réponses proposées pour chaque QCM avec au moins une bonne réponse ;
– Tester au maximum 2 compétences par QCM ;
– Fournir une explication générale pour chaque QCM et une explication spécifique pour les réponses fausses proposées ;
– Attribuer un titre à chaque QCM identifiant la compétence testée ;
– Décrire la ou les compétence(s) testée(s) par la question dans l’item « Compétences» du formulaire.
Numérisation des QCM
La numérisation des QCM a été réalisée par le Service d’Enseignement & Multimédia (SEMM) de l’Université de Lille, Sciences et Technologies en utilisant les outils et paramétrages ci-dessous.
– Saisie des QCM à l’aide de l’activité Test de la plate-forme pédagogique Moodle de l’Université de Lille, Sciences et Technologies.
– Ordres d’affichage des QCM et des réponses à chaque QCM choisis aléatoirement.
– 1 point attribué à chaque QCM : le point est réparti en % sur les réponses exactes.
– Affichage d’une appréciation en plus de la note du test.
– Implantation des activités Test dans une section du cours Moodle de l’UE chimasn.
L’appréciation affichée en fonction de la note obtenue au thème est la suivante :
– Note > ou égale à 15 : compétences du thème maitrisées.
– Note > ou égale à 10 ou note < 15 : compétences du thème partiellement maitrisées.
– Note < 10 : compétences du thème non maitrisées.
Résultats de l’évaluation de 2014
537 étudiants primo-entrants de la licence SVTE ont été évalués en 2014.
L’analyse des notes moyennes de l’évaluation pour l’effectif des 537 étudiants amène les commentaires suivants :
– La note globale de l’évaluation est égale à 10,4 ce qui indique une maitrise partielle des compétences testées.
– Les compétences des thèmes de seconde sont les mieux maitrisées avec une note égale à 11,5.
– Les compétences des thèmes de première S sont les moins bien maitrisées avec une note égale à 9,7.
– Les compétences les mieux maitrisées sont celles des thèmes « structure de l’atome (note égale à 13,5) et « classification périodique» (note égale à 12,1) du programme de seconde.
– Les compétences les moins bien maitrisées sont celle du thème « oxydoréduction» (note égale à 7,9) du programme de première S et celle du thème « acido-basicité » (note égale à 9,0) du programme de terminale S.
Retour à la présentation des Tests de Positionnement
//
Retour sur l’expérience menée en 2010
Contexte et élaboration des QCM
Depuis plusieurs années, Marc Ribaucour, responsable des équipes pédagogiques de deux unités d’enseignement (UE) de chimie du semestre 1 à l’Université Lille1, a mis en place de façon exemplaire un QCM de positionnement en chimie pour les étudiants entrant dans cette université. Les étudiants concernés passent ce QCM depuis 2008 en licence Sciences de la Vie, de la Terre et de l’Environnement (SVTE) et depuis 2010 en licence Sciences Exactes Sciences pour l’Ingénieur (SESI). A l’issue de l’année 2010, la taille de l’échantillon des étudiants évalués à l’aide du QCM atteint 2800 étudiants.
Le développement du QCM a été l’occasion pour Marc Ribaucour et ses deux collègues co-auteurs des questions du QCM, Sébastien Canneaux et Odile Robbe, d’étudier en détails les programmes de chimie de seconde, première et terminale S et d’identifier avec précision les compétences exigées pour les trois années du lycée. Ce travail a permis d’adapter le contenu des enseignements des UE et de faire figurer dans les documents de cours de chaque chapitre les compétences enseignées au lycée qui sont considérées comme des pré-requis.
Le QCM a pour but de fournir à l’étudiant un état des lieux de ses connaissances en chimie à l’issue du lycée et de l’informer des connaissances qui sont réinvesties dans les chapitres des UE de chimie du semestre 1 des licences SVTE et SESI grâce à un bilan personnalisé. Le QCM est composé de 80 questions couvrant les trois années du lycée et réparties au sein de 12 thèmes figurant dans les programmes du lycée.
En licence SVTE, le QCM est passé par un effectif de 600 à 700 étudiants, en licence SESI l’effectif est de 250 à 300 étudiants. Compte tenu de ces effectifs élevés, l’aspect organisationnel doit être parfaitement maîtrisé. Il faut établir le planning des séances, le diffuser aux étudiants, prévoir un nombre adéquat d’enseignants (attachés temporaires d’enseignement et de recherche et doctorants contractuels) pour encadrer les séances et les former à l’encadrement de ces séances.
Modalité de passage de l’évaluation
Les séances de passage du QCM se déroulent pendant deux semaines au début du premier semestre dans un centre de ressources multimédias géré par le Service Enseignement MultiMédia (SEMM) de l’université Lille1. Celles-ci sont placées dans les créneaux horaires des TP de chimie qui sont libres en début de semestre. La durée maximale prévue pour une séance est 2h. En moyenne il faut 1h15 à un étudiant pour passer le QCM. Le temps restant permet à l’encadrant de la séance de donner les consignes en début de séance et de commenter les résultats aux étudiants au travers d’un bilan personnalisé. Le SEMM apporte son soutien technique pour résoudre les problèmes techniques. Les étudiants rencontrant des difficultés pour l’inscription sur la plateforme pédagogique sont regroupés ensemble en début de séance et sont pris en charge par les personnels du SEMM. Cette modalité permet de ne pas retarder le début de la séance pour les autres étudiants et ne perturbe pas l’enseignant dans l’encadrement de la séance.
Le QCM a été implanté sur la plateforme pédagogique Moodle Lille1 dans des sections des cours des UE correspondantes. Il utilise l’outil Test de cette plateforme. 12 tests correspondant aux 12 thèmes du QCM ont été créés. Les questions sont organisées en catégories correspondant aux trois années du lycée. L’ordre des questions et celui des propositions de réponse sont choisis aléatoirement afin que des étudiants sur deux postes informatiques voisins ne soient pas tentés de répondre collectivement. Le système de notation plutôt avantageux, imposé par la plateforme Moodle, répartit le point attribué à la question sur les propositions de réponse exactes.
Au fur et à mesure qu’il termine un test, l’étudiant reporte sa note sur 20 points dans un tableau qui constitue un bilan personnalisé. Lorsqu’il a terminé tous les tests, l’étudiant présente ce bilan à l’encadrant qui lui délivre une analyse personnalisée en fonction de ses notes. La note moyenne pour l’effectif de la licence SVTE est relativement constante sur la période 2008-2010 : elle varie de 9,1 à 9,6 sur 20. Les histogrammes des résultats montrent que les connaissances du programme de seconde sont assez bien connues (note moyenne entre 11,1 et 11,4 sur 20 pour la période 2008-2010) mais qu’il existe des lacunes importantes dans trois thèmes du programme de première (note moyenne entre 8,2 et 8,6 sur 20 pour la période 2008-2010) et également dans trois thèmes du programme de terminale (note moyenne entre 8,5 et 8,7 sur 20 pour la période 2008-2010).
Résultats de l’évaluation
Même si ce résultat n’est pas pris en compte dans l’évaluation, la majorité des étudiants réalisent le QCM sérieusement. Les étudiants satisfaits d’obtenir leur note immédiatement sont souvent déçus de leur résultat et prétendent parfois que la note du QCM ne reflète pas leur véritable niveau. Ils apprécient le bilan personnalisé qui est commenté par l’encadrant.
Les résultats sont utilisés par l’équipe pédagogique pour identifier dès le début du semestre les étudiants qui risquent d’être en difficulté en raison d’un niveau de connaissances en chimie insuffisant. Un accompagnement est proposé à ces étudiants dans les premières semaines du semestre : il s’agit du dispositif Travail Personnel Encadré (TPE). Les objectifs de ce second dispositif sont d’identifier les difficultés que ces étudiants rencontrent dans l’assimilation des connaissances et savoir-faire des UE de chimie et de leur fournir des conseils méthodologiques pour une assimilation efficace des connaissances et des savoir-faire. Les séances de TPE sont réalisées en petit groupe (5 à 10 étudiants) afin d’individualiser le travail et sont encadrées par les enseignants des équipes pédagogiques. Au travers de ces séances les étudiants prennent bien souvent conscience qu’ils ont des méthodes de travail inefficaces et un volume horaire de travail personnel insuffisant pour assimiler correctement les connaissances et savoir-faire. Leur retour sur le dispositif TPE est positif mais l’efficacité de l’action dépend de leur investissement personnel.
La réforme des programmes du secondaire, mis en place en 2010 en seconde et qui concernera la terminale en 2013, nécessitera une mise à jour du QCM afin de l’adapter aux nouveaux programmes. La nouvelle version du QCM sera utilisée à la rentrée 2013. Elle sera conçue en réponse à l’appel d’offre UNISCIEL en collaboration avec des enseignants du lycée Beaupré d’Haubourdin qui identifieront plus précisément les compétences enseignées dans le secondaire. Ils joueront aussi le rôle de relecteur des questions. Les élèves des enseignants impliqués dans le projet pourront tester tout ou partie des questions du QCM durant leur cursus du secondaire. Le QCM sera disponible sur une plate-forme UNISCIEL nationale Moodle et pourra être utilisé par d’autres établissements.
Unisciel a soutenu le projet de création en 2008
Les questionnaires sont accessibles : QCM d’évaluation de connaissance de chimie du niveau secondaire
