Objectifs
– Disposer d’un outil de mesure complémentaire aux notes du bac et au dossier APB pour améliorer le processus d’orientation à l’entrée à l’université.
– Recueillir des données sur le niveau de compréhension du programme de lycée afin de mener des études statistiques sur la réussite en licence.
Évolution du test de positionnement pour 2015
Le prochain test en préparation pour 2015 comprendra plus de questions (22 au lieu de 17) afin de mieux cerner les difficultés liées à la logique et au raisonnement scientifique. De même, pour l’adapter au portail Sciences Naturelles (SN), ce test comprendra des questions optionnelles sur les sciences de la nature.
Statistiques du test de positionnement
Les graphiques suivants représentent l’histogramme des scores au test de positionnement, l’histogramme des temps de réponse, ainsi que la moyenne à chaque question du test, par discipline. À noter, le seuil d’alerte à partir duquel le dispositif Cap Réussite était proposé était fixé à 33%. Le score moyen des étudiants ayant mis au moins 15 minutes pour faire le test est de 49%, et de 40% pour ceux ayant répondu en moins de 15 minutes.
( CLIQUEZ SUR LES IMAGES POUR LES AGRANDIR )
Contexte
Le test de positionnement est effectué par les étudiants au moment de leur inscription à l’université (début juillet et fin aout/début septembre). Ce test consiste en un QCM de 17 questions regroupant des questions de math, physique et chimie. Il est réalisé en condition d’examen sur une durée maximale de 30 minutes, via la plateforme numérique moodle de l’université.
À la suite de ce test les étudiants sont reçus individuellement pour un entretien avec un enseignant référent qui valide l’inscription pédagogique et propose la formation la plus adaptée. Les résultats du test de positionnement sont un des éléments d’appréciation du niveau de l’étudiant. Si le résultat au test de positionnement est en dessous d’un certain seuil, le dossier de l’étudiant est étudié plus en détail (dossier APB) et un dispositif d’orientation active adapté nommé « Cap Réussite » est éventuellement proposé à l’étudiant. Ce dispositif permet de faire la L1 en deux ans (et donc la licence en 4 ans au lieu de 3 ans), avec une transition moins raide entre la terminale et la première année universitaire.
Bilan 2014
Environ 1700 étudiants ont passé ce test, soit la grande majorité des néo-inscrits en L1 dans les portails SN (Sciences Naturelles) et SFA (Sciences Fondamentales et Appliquées). Le temps moyen de réponse est de 20 minutes (voir figure ci-dessous) et les scores au test forment à peu près une gaussienne de moyenne 47% (voir encart ci-contre). Le taux de bonne réponse à chaque question est représenté sur la figure également visible dans l’encart ci-contre. La logistique de mise en œuvre du test a été relativement lourde (organisation, mise en place, coordination et personnels), mais les résultats sont très positifs. Les étudiants ont pu avoir une « mesure » de ce qu’on attend d’eux à l’entrée à l’université. Les enseignants référents ont été satisfaits, ayant pu disposer d’éléments objectifs et concrets pour conseiller leurs étudiants dans leur choix d’orientation et d’options, et ainsi leur proposer, en cas de difficulté, le dispositif Cap Réussite. Ce dispositif a d’ailleurs été choisi par environ 200 étudiants (sur un peu plus de 300 étudiants repérés en difficulté par le test), soit un peu plus de 10% des étudiants ayant passé le test.
Analyse statistique de la réussite des étudiants [*]
Cap réussite et test de positionnement
Les inscrits au parcours Cap Réussite sont pour les 2/3 des garçons et pour 60% des néo-bacheliers. Par ailleurs, 40% des étudiants de ce dispositif sont titulaires d’un bac technologique, 24% d’un bac professionnel et 23% d’un bac S (pour le reste il s’agit de bac ES, bac L et des équivalences). Parmi ces étudiants, la grande majorité (>80%) avaient choisi le L1 science en premier voeu sur APB. Ce chiffre est à comparer à la moyenne sur les étudiants des parcours « normaux » de L1, qui est de l’ordre de 50%.
Les étudiants de ce parcours ont une moyenne au test de positionnement de 30%, à comparer au 47% pour l’ensemble des étudiants. La partie chimie a été un peu mieux réussi que la partie math ou physique. Il n’y a pas de différence notable entre les provenance des étudiants (type de bac en particulier).
La réussite des étudiants de ce dispositif au premier semestre est corrélé à la partie math du test de positionnement. Ce résultat n’est pas étonnant car l’aspect mathématique est le principal frein à la réussite, même dans les UE de physique et/ou chimie.
[*] Données recueillies et traitées grâce au DEP (Département Evaluation et Pilotage).
Parcours SFA et test de positionnement
Pour les étudiants du parcours SFA, une analyse par régression linéaire de la réussite des étudiants dans l’UE de physique du premier semestre a montré deux choses (cf figure ci-dessous) : i) le score au test de positionnement est un prédicteur statistiquement significatif de la réussite à cette UE; ii) bien qu’étant un prédicteur moins fort que la note au bac, le test de positionnement n’est pas totalement correlé à la note au bac (ce ne sont pas les mêmes compétences qui sont testés), et donc permet d’affiner la prédiction de la réussite en L1 à partir d’une mesure d’un niveau initial.
Bilan des compétences
Les questions de physique étaient regroupées en 5 catégories : connaissances brutes, ordre de grandeur, exploiter une relation, compréhension conceptuelle et raisonnement scientifique. Les résultats dans ces différentes catégories sont représentés sur le diagramme en araignée ci-dessous.
La partie la plus difficile pour les étudiants est la compréhension conceptuelle (37% de réussite seulement) d’une part et la physique microscopique d’autre part (respectivement 20% et 30% de réussite dans les catégories ordres de grandeur et connaissances brutes lorsque la question concernait de la physique microscopique). En L1, un nouveau dispositif pédagogique, basé sur des amphis interactifs, a été mis en place pour améliorer la compréhension conceptuelle des étudiants. Ce dispositif a produit de bons résultats.
