Les ECN informatisées marquent des points

La qualité docimologique des questions des épreuves classantes nationales informatisées (ECNi) tests s'est améliorée, selon une étude du Pr André Quinton, membre du centre de recherche appliquée aux méthodes éducatives (CRAME) de Bordeaux et responsable d'un DU de pédagogie. L'an dernier, ce praticien à la retraite avait déjà réalisé une première étude des ECNi et du classement des 8 124 candidats. Il avait analysé la pertinence des dossiers cliniques progressifs (DCP), des questions isolées (QI) et des articles scientifiques (LCA) et formulé plusieurs propositions pour en améliorer la qualité.

Cette fois-ci, le chercheur s'est intéressé aux ECNi blanches de mars 2017, un test d'entraînement effectué dans des conditions réelles où les étudiants ont planché sur 18 DCP, 120 QI et 2 articles scientifiques. Il a constaté une évolution positive de la qualité des questions des dossiers cliniques et du raisonnement demandé aux candidats.

Encore quelques imprécisions

Plus précisément, sur les 258 questions des dossiers cliniques, 81 % étaient du niveau du second cycle et 19 % relevaient du 3^e cycle (contre respectivement 79 % et 21% en juin dernier). Autre point, 22 % des questions nécessitaient un raisonnement complexe contre 10 % aux ECNi de juin 2016. Néanmoins quelques imprécisions – des questions avec ambiguïtés – subsistent et gênent les étudiants, précise l'auteur de l'étude.

Sur l'épreuve des questions isolées, la plupart des questions sont adaptées au niveau de connaissances du second cycle. L'analyse montre qu'il y a deux fois plus de questions introduites par vignette (mini-cas clinique de trois ou quatre lignes) qu'en juin 2016. Le taux de questions sollicitant la mémoire seule est passé de 62 % à 48 % et celui nécessitant un raisonnement simple ou complexe de 38 % à 52 %. Dans les questions introduisant des vignettes, 47 % font appel à un raisonnement complexe. Le nombre d'ambiguïtés dans les questions à réponse unique ou multiple a été divisé par deux et atteint 16,6 %.

Dans ses conclusions, le Pr Quinton recommande de « veiller à ce que les questions soient du niveau du 2^e cycle ». L'universitaire appelle à diversifier les QCM en recourant à des « questionnaires sans leurre » ou « dont les propositions de choix sont de différents types, images, cycle, protocoles etc. ». Il suggère de réduire de 15 à 10 le nombre de questions dans un dossier clinique en compensant par l'ajout d'autres dossiers. Enfin, il propose d'introduire un maximum de vignettes dans les questions isolées, imposant « à l'étudiant de mener une réflexion ».