Une étude pionnière en France sur les ECOS pour analyser les facteurs de variabilité des notes
Les Examens Cliniques Objectifs et Structurés (ECOS) évaluent les compétences professionnelles des étudiants en milieu simulé. À la suite de leur intégration dans la réforme du 2e cycle des études médicales (R2C), cette modalité pédagogique a été implémentée en France. Le groupe ECOS de la Faculté* a étudié la variabilité des notes des étudiants aux ECOS ainsi que leur reproductibilité inter-évaluateurs et publie une étude novatrice.
Cette étude rétrospective a analysé plusieurs sessions d'ECOS réalisées entre janvier 2022 et juin 2023 à la Faculté de Médecine Jacques Lisfranc de l’Université Jean Monnet. Les données collectées comprenaient les caractéristiques des stations d'ECOS, le sexe et le statut professionnel des évaluateurs, ainsi que les notes des étudiants. Trois variables ont été identifiées pour analyser les circuits d’ECOS :
- Le facteur « station » : le domaine et le sujet de la station d’ECOS, la présence de patient standardisés
- Le facteur « évaluateur » : le sexe et le statut professionnel du binôme d’évaluateurs par station
- Le facteur « étudiant » : les notes de l’étudiant aux ECOS et dans les autres examens facultaires
À l’issue de l’étude, le groupe de chercheurs a constaté les points suivants :
- La variabilité des notes globales des étudiants est principalement expliquée par le facteur station (79,7%), suivi par le facteur étudiant (7,5%).
- Le facteur « évaluateur » est davantage prépondérant dans l’évaluation des compétences de communication et d’attitude.
- Le coefficient de corrélation intra-classe inter-évaluateurs indique une bonne reproductibilité des examens.
Dans un contexte de déploiement des ECOS au niveau national comme examen classant, cette première étude d’ampleur constitue un appui intéressant pour garantir des examens objectifs et reproductibles.
Ces conclusions suggèrent que la standardisation des circuits d'ECOS doit prendre en compte ces variabilités pour améliorer l'objectivité des évaluations et une amélioration continue des méthodes d'évaluation doit se poursuivre.
* Cette étude a été dirigée par le groupe ECOS, constitué des docteurs Édouard Ollier, Christian Boissier, Carole Pélissier, Sophie Perinel-Ragey et des professeurs Tipahine Barjat, Xavier Gocko, Philippe Berthelot et Claire Le Hello
Contact
Sophie Perinel-Ragey (Sophie.perinel.ragey @ univ-st-etienne.fr)
Maîtresse de conférence à la Faculté de Médecine de l'Université Jean Monnet
et praticien hospitalier au CHU Saint-Étienne
