Accompagnement de la cellule TICE
Le projet test de positionnement en L1 a été mis en place à l’université d’Angers pour deux raisons principales. Nous avions déjà mis à disposition aux enseignants de 1ère et 2e année la Pédagothèque Adaptée au Cursus pour le programme physique, chimie et mathématiques. De plus ce projet s’insérait parfaitement à celui de l’UFR Sciences qui souhaitait proposer aux étudiants en difficulté la possibilité de réaliser leur 1ère année en 2 ans.
Pour la cellule Tice, ce projet imposait de travailler avec la version 2.0 de Moodle. Donc parallèlement à la création et à la mise en ligne des tests, il a fallu gérer la mise en place d’une plateforme Moodle 2.0 accessible par les enseignants et les étudiants.
MISE EN LIGNE DES TESTS
Les étudiants de 1ère année ont passé des tests QCM pour les matières de physique, chimie et mathématiques. Les enseignants de physique et chimie ont choisi leurs questions dans la banque de questions UNISCIEL. L’enseignant de mathématiques a élaboré le test QCM à partir de ses propres questions. Il a aussi choisi de proposer une seule bonne réponse pour chaque question contrairement aux deux autres tests pour lesquels plusieurs réponses correctes étaient attendues. Les mauvaises réponses étant sanctionnées par des points négatifs.
Après une réunion de lancement au 1er mars, la cellule a fait parvenir aux enseignants les différents questionnaires proposés par Unisciel afin qu’ils construisent le leur ; il était entendu que les questionnaires parviennent au service pour le mois de juillet afin de tout médiatiser avant les vacances d’été.
Des tests ont été effectués sur les questionnaires et la plateforme Moodle 2.0 jusqu’à la 1ère semaine de septembre. De plus les salles réservées pour la passation des questionnaires étaient équipées d’ordinateurs laissant le choix aux étudiants de se connecter sous Windows ou linux ce qui ajoutait des incertitudes quand au bon déroulement des épreuves.
Contexte
Ce projet s’inscrit dans le cadre plus vaste de l’amélioration de la réussite en licence développé à la faculté des Sciences de l’Université d’Angers.
Partant du constat que le pourcentage des étudiants en échec en première année de licence scientifique est souvent lié à une mauvaise adéquation entre d’une part, les connaissances et les acquis des étudiants et d’autre part, les attentes des enseignants ainsi que du contenu des cours de première année, en particulier pour les étudiants dont les baccalauréats de l’année sont autres que ceux de la série S. L’équipe pédagogique de la faculté des Sciences d’Angers avec l’aide et la coordination du pôle E-pédagogie, a souhaité mener une action afin de palier à cet état de fait. Il s’est agit dans un premier temps d’identifier ces étudiants en difficulté et dans un deuxième temps de leur proposer un parcours mieux adapté : la licence en deux ans. Le public visé par cette licence concerne essentiellement les étudiants n’ayant pas acquis les bases scientifiques de la fin du secondaire et a pour vocation de leur permettre au bout de deux ans, d’intégrer dans de bonnes conditions la deuxième année en vue de l’obtention de la licence. La procédure retenue pour faciliter l’identification des futurs étudiants de cette formation s’est déroulée en deux phases, la première par la mise en place de tests de connaissance et d’acquis sur machine en temps limité. A l’issue des tests, la deuxième phase a consisté à analyser les différents résultats, puis en extraire les conseils d’orientation avec une proposition d’entretiens individuels.
Le test est composé de trois parties correspondant aux disciplines suivantes : les mathématiques, la physique et la chimie. Le nombre de question par discipline est respectivement de 20,15 et 15 pour une durée totale de l’épreuve de deux heures.
Mise en place du dispositif
Tous les étudiants devant s’inscrire en première année ont été convoqués le même jour et à la même heure afin qu’ils réalisent le test de manière simultanée tout en leur laissant la possibilité d’effectuer les trois parties du test dans l’ordre de leur choix, le temps imparti à chaque étudiant étant fixé par discipline (mathématiques : 1 h, physique : 30 mn, chimie : 30 mn). Le test de mathématiques a été élaboré de telle sorte qu’il n’y ait qu’une réponse juste parmi celles proposées (QCU) alors que pour ceux de physique et de chimie, l’option retenue était celle de plusieurs réponses justes par questions (QCM). Les questions ont été posées dans un ordre aléatoire car les postes de travail étant assez proches les uns des autres, il est très facile de cocher les réponses du voisin.
Mise en place de la plateforme Moodle 2.0
Les développeurs de la cellule ont mis en place une version de test de la plateforme Moodle 2.0 fin 2011 afin de finaliser son installation, de retravailler le graphisme au minimum et surtout de cassifier la plateforme. Il était indispensable que chaque étudiant se connecte nominativement à la plateforme afin que les enseignants puissent identifier le score des étudiants pour chaque questionnaire.
L’université d’Angers travaillait à cette époque avec une version 1.9 de Moodle ; aussi pour le passage du test de positionnement une deuxième plateforme Moodle, version 2.2, a été installée sur une machine virtuelle. La charge ayant été mal estimée, dès le début de l’expérimentation l’accès à Moodle a été ralenti et ne permettait plus aux étudiants de passer le test en simultanée.
La décision de laisser les étudiants passer les tests de positionnement en autonomie et à distance a finalement été prise. Les tests furent accessibles 24h au terme desquelles les ingénieurs pédagogiques ont fait parvenir les résultats bruts à l’équipe enseignante en charge de la L1.
Organisation et mise en œuvre
Gestion de la logistique : En relation avec la scolarité de l’UFR Sciences, 8 salles ont été réservées dès le mois de juin, dans 2 bâtiments différents afin de faire passer les tests de positionnement L1 à environ 150 étudiants. L’encadrement de l’expérimentation dans chaque bâtiment était sous la responsabilité des deux ingénieurs pédagogiques de la cellule Tice.
Les tests de positionnement ont été programmés pendant la semaine de rentrée des L1, la deuxième semaine de septembre, dès le mardi après midi. Chaque étudiant devait se connecter avec son propre compte universitaire à la plateforme. Ce point important était une difficulté, car beaucoup d’étudiants de première année ne valident pas leur compte informatique dans la foulée de leur inscription administrative. Des comptes génériques ont donc été prévus (login/mot de passe) pour les étudiants qui n’auraient pas fait cette validation. Les ingénieurs pédagogiques sont restés en contact régulier avec la responsable de la scolarité des licences pour se tenir informer du nombre d’étudiants administrativement inscrits et de ceux qui avaient validé leur compte.
Planning du projet
Une documentation à l’intention des étudiants, rappelant la procédure de validation, la date du test et l’adresse de la plateforme, a été rédigée par la cellule Tice. Elle a été distribuée à tous les étudiants par l’intermédiaire de la scolarité. De plus, lors de la journée de rentrée du lundi, les enseignants ont rappelé l’importance de l’étape de validation des comptes.
L’affichage de la répartition des étudiants dans les salles informatiques a été fait seulement le lundi en fin d’après midi. Les étudiants pour lesquels le compte n’était pas validé ont ainsi été rassemblés dans une même salle.
L’accompagnement des enseignants : L’équipe enseignante était composée des trois enseignants responsables des questionnaires et ceux responsables de la première année de licence et du projet de l’UFR Sciences L1 en deux ans, ainsi que de l’assesseur à la pédagogie et du responsable de l’UFR. Au cours du semestre, 3 réunions ont été programmées pour discuter des tests de positionnement et valider avec l’équipe les points clés du projet. Les ingénieurs pédagogiques ont ensuite travaillé plus précisément avec les enseignants auteurs des questionnaires.
La surveillance des tests de positionnement était assurée par les enseignants. La cellule Tice a rédigé une lettre de cadrage rappelant les numéros des salles et les surveillants ; cette note abordait surtout les différents points à préciser aux étudiants, tels que :
- La procédure de connexion à la plateforme Moodle 2.0
- Les clés d’inscription pour commencer les tests
- Les consignes des tests
- Attention les réponses fausses donnent lieux à des points négatifs. Pour les tests de physique et chimie, plusieurs réponses sont parfois attendues, pour le test de math une seule réponse est attendue par question. Un papier brouillon peut être nécessaire pour certaines réponses.
- Selon le test, vous pouvez avoir une ou plusieurs questions par page, vous pouvez à tout moment revenir sur une question et changer votre réponse.
- L’ordre des questions, ainsi que celui des réponses est différent d’une session à une autre !
- Pour valider le test, après la dernière question, cliquer sur suivant, vérifier le tableau récapitulatif et cliquer ensuite sur le bouton « Tout envoyer et terminer »
- Les tests se feront dans un temps imparti : à la fin du temps réglementaire les résultats sont automatiquement enregistrés
Conclusion
Nous avons pu comptabiliser 108 connexions dont une sans validation de résultat dans aucune discipline. Sur ces 107 résultats, d’une manière marginale, certains étudiants ont « choisis » d’effectuer le test de certaines disciplines et d’en omettre d’autres : 4 étudiants n’ont pas effectués le test de maths, autant en chimie et 7 physique.
Il est à noter que les étudiants doivent dès le premier semestre faire une première orientation entre les disciplines physique-chimie (PC) et le parcours mathématique-économie (ME). Par conséquent, il est possible de s’interroger par rapport au sérieux des réponses des étudiants en physique et en chimie se destinant à un parcours où ses disciplines sont absentes. Or il s’avère qu’en comparant à posteriori, les moyennes des étudiants en les triant par leur choix pédagogiques (PC et ME), que les moyennes sur les tests de physiques sont peu différentes entre les groupes PC et ME. Par contre, il existe une différence de 2 points sur la moyenne du test de mathématiques en faveur du groupe ME.
D’autre part pour mieux analyser les problèmes liés globalement à la formation des élèves provenant du secondaire, nous aurions souhaité avoir, pour chaque question, le pourcentage de ceux qui ont choisi chacune des réponses proposées (et pas simplement le pourcentage vrai/faux) ; par exemple, nous aurions aimé savoir quelle est la proportion d’élèves qui acceptent sans réfléchir qu’une probabilité soit supérieure à 1. Cela n’a pas été possible pour ce test.
Pour revenir au test de positionnement, il a donc répondu à nos principales attentes, c’est une expérience positive que nous souhaitons renouveler à la rentrée 2013, même si l’élaboration du test a demandé un travail important.
Par Nathalie Lusson- Université d’Angers
Test de mathématiques
Le test de mathématiques vise à vérifier un certains nombres de compétences exigibles à la sortie de l’enseignement secondaire en série S, et acquises tout au long du cursus secondaire. Il comprend donc des questions à la fois sur des notions acquises en terminale S, et sur des notions de base, acquises au collège. Les 32 questions se répartissent donc en 9 sur des notions de base (logique, calcul d’expressions algébriques, fractions), 2 sur les suites, 6 sur les fonctions d’une variable réelle (notion de fonction, dérivation, primitive), 3 sur les fonctions trigonométriques, 5 sur la géométrie et les systèmes d’équations, 4 sur les nombres complexes, 3 sur les probabilités.
Les exercices ont tous été écrits pour l’occasion, car il nous a semblé plus simple de réfléchir à un test, plutôt que de chercher à pêcher des exercices dans une base comme Unisciel. Ils cherchent à tester des savoir-faire plus que des connaissances ; il n’y a donc aucune question de cours.
Le format de questions choisi était : une seule réponse juste parmi 4 proposées, avec un barème de +1 pour une réponse juste, -0,5 pour une réponse fausse et 0 si on passe la question. Le barème a été choisi afin de dissuader les étudiants de répondre au hasard ; on a insisté oralement au début de l’épreuve sur ce point. En revanche, les résultats numériques obtenus avec ce barème sont peu interprétables, et on a finalement préféré, pour l’exploitation des résultats, se contenter de compter le nombre de réponses justes. Par ailleurs, il a fallu travailler sur la formulation de certaines questions du QCM, pour imposer à l’étudiant une démarche où il calcule la solution, plutôt que de juger de la plausibilité des différentes solutions proposées ; le problème s’est ainsi posé pour une question sur un système linéaire, où on souhaitait que l’étudiant résolve effectivement le système, et ne se contente pas de tester laquelle des solutions proposées était la bonne.
Afin de limiter la triche, le logiciel Moodle avait été paramétré pour proposer les différentes questions dans un ordre aléatoire pour chaque étudiant. A posteriori, ce fonctionnement ne semble pas très souhaitable, car il détruit la présentation ordonnée des questions suivant une progression pédagogique.
Le test de mathématiques a plutôt bien rempli les deux rôles qu’on souhaitait lui voir jouer :
- aider à orienter les étudiants en difficulté vers un cursus adapté,
- donner aux enseignants une vision globale des compétences acquises par les étudiants arrivant en L1.
Pour le premier point, le test a été très discriminant avec des notes assez bien réparties et étalées de -4 à 20, ce qui a permis de l’utiliser de façon efficace pour l’orientation, même si les étudiants n’ont pas toujours accepté de tenir compte des recommandations que nous leur avons faites à la suite du test.
Pour le deuxième point, il a permis d’identifier des faiblesses surprenantes dans certains domaines, partagées par l’ensemble des étudiants : logique (difficulté à nier une assertion), probabilités (des probabilités supérieures à 1 ne perturbent pas une bonne proportion des étudiants).
Test de physique – chimie
La formulation des questions choisies a été le QCM, et pour chaque question, plusieurs réponses parmi les 4 propositions étaient possibles. Pour un total de 15 questions, finalement l’étudiant devait réfléchir à 60 propositions. Une attention particulière a été portée dans les consignes écrites et orales pour expliquer aux étudiants que les mauvaises réponses dans chaque question entrainent des points négatifs. Ceci afin de dissuader les étudiants de répondre au hasard. Les questions ont été posées dans un ordre aléatoire car les postes de travail étant assez proches les uns des autres, il est très facile de cocher les réponses du voisin.
Test de physique
En ce qui concerne la partie physique, plusieurs domaines sont explorés dans ce test, la mécanique de manière prépondérante, l’électronique et l’optique de manière plus marginale, le tout complété par quelques questions sur les outils mathématiques non inclus dans le test de mathématiques. Les domaines choisis correspondent aux matières abordées et développées en première année de licence et le nombre de questions par matière correspond approximativement à la part de chaque matière étudiée en première année. Bien que l’électrostatique soit un enseignement important de la licence de première année de par son volume horaire et de sa continuité en deuxième année, cette matière n’a pas été retenue pour les questions car d’une part, l’accent a été mis sur les matières ayant lieu au premier semestre et d’autre part, cette matière ne nécessite au départ que des prérequis de mécanique. Les questions retenues ont été puisées dans la base Unisciel sauf les cinq questions en relation avec les outils mathématiques.
Résultat du test
Au vu des résultats obtenus par les étudiants, qui se sont avérés bien en dessous de ce qui était envisagé, la conclusion est que le test de physique tel qu’il a été conçu ne permet pas d’identifier clairement le public recherché. A cela plusieurs raisons ont été avancées, les plus importantes étant que certaines questions du test sont trop complexes pour être abordées correctement en un temps aussi limité. Le fait que les réponses justes soient multiples est aussi un facteur à prendre en compte car celui-ci peut s’avérer plus chronophage qu’une question à réponse vrai unique. Par conséquent, après discussion avec l’équipe pédagogique, il est envisagé de modifier les questions de physique afin les simplifier et de ne proposer parmi les réponses possibles, qu’une seule réponse juste par question posée. Bien que les résultats de ce premier test en physique ne soient pas arrivés au niveau escompté, ils nous ont permis d’avoir une vue d’ensemble des connaissances de base des étudiants participants et de pouvoir transmettre ces résultats aux intervenants du premier et second semestres de la licence afin de les prendre en compte dans les enseignements concernés.
Test de chimie
Le test de chimie a permis d’interroger les étudiants à la fois sur des notions fondamentales acquises pendant les trois années de Lycée et sur des savoir-faire ou raisonnements scientifiques nécessaires pour une poursuite d’études. On a ainsi évité les questions exclusivement de connaissances du cours de terminale S. Les matières de chimie enseignées en première année de Licence (semestre 1 et semestre 2) étant dans la stricte continuité du programme de Terminale S, les questions ont principalement concerné les mêmes domaines, à savoir, chimie générale et atomistique (5 questions), équilibre en solution aqueuse (7 questions) et chimie organique (3 questions). Certaines questions faisaient appel à un raisonnement scientifique sans calcul et d’autres au contraire nécessitaient à la fois une démarche scientifique et une résolution calculatoire.
Résultat du test
La majeure partie des étudiants a réalisé ce test consciencieusement, c’est-à-dire qu’ils ont répondu aux 15 questions et de manière réfléchie et cohérente. Dans ce cas, l’exploitation des résultats globaux et dans le détail est possible et intéressante. Par contre, certains étudiants, probablement peu intéressés par cette matière, n’ont répondu que partiellement aux 15 questions. Pour ces tests-là, seule une vision générale des résultats est exploitable. Globalement, on peut dire que 53 % des étudiants ont eu plus de 10/20 et 12% mois de 1/20. En considérant les notes obtenues aux tests, on a ainsi pu participer à orienter certains étudiants vers un cursus adapté (conseil L1 en deux ans, conseil L1 classique et mis en garde par rapport à certaines faiblesses). Ceci correspondait à un des objectifs du test.
L’autre objectif du test est de déceler (afin d’éventuellement y remédier) les difficultés des étudiants s’inscrivant en L1. Dans ce cas, il faut faire une analyse fine de chaque question et ainsi explorer chaque proposition (4 par questions). L’outil informatique utilisé ne nous a pas permis de le faire facilement. De plus, pour être le plus pertinent possible il faudrait considérer uniquement les tests supposés cohérents. Difficile aussi. Malgré ces difficultés, on a pu dégager quelques observations simples :
- pas ou peu de difficulté sur les notions d’atome, de stœchiométrie, de concentration et sur la loi des gaz parfaits,
- en revanche, des difficultés importantes sur l’écriture des molécules en chimie organique, sur la reconnaissance des fonctions chimiques et sur la notion d’équilibre.
Un autre point (peut-être évident) a pu être observé en réalisant d’autres tests dans l’année universitaire : tests autocorrectifs sur les schémas de Lewis, sur les calculs de pH, et tests d’évaluation (faisant partie des contrôles continus) sur la préparation d’un Travaux Pratiques et sur les calculs de pH. Plus les étudiants réalisent de tests de cette façon et plus ils « adhèrent » à ce type de travaux ou d’évaluation et plus ils en comprennent les intérêts et l’efficacité. On a pu constater un regain d’intérêt pour la discipline en milieu de second semestre et l’ensemble de ces tests ne sont probablement pas étrangers à ce déclic.
