Table Ronde: Modélisations de données d’épreuves à grande échelle (Guillaume Loignon, UdeM; Dan Thanh Duong Thi, UQAM)
1) Améliorer une épreuve de compréhension de texte grâce à l’analyse lexicale automatisée (Guillaume Loignon, UdeM)
Récemment, un article paru dans Mesure et Évaluation (Loye, 2018) faisait une synthèse du modèle evidence-centered (Mislevy, Almond, & Lukas, 2003) et du cadre de validité de Kane (2006). Nous introduisons une méthode dérivée de cette synthèse et visant spécifiquement les aspects linguistiques de l’épreuve. La méthode permet d’expliciter et vérifier divers postulats concernant notamment le niveau de difficulté des passages de texte, la fréquence d’occurrence des mots et les superpositions lexicales entre les choix de réponse et les passages de texte. On peut ainsi mieux contrôler pour la variance indésirable (Avenia-Tapper & Llosa, 2015), mais aussi inclure à l’épreuve des aspects linguistiques que nous souhaiterions mesurer (Buck & Tatsuoka, 1998). Dans la seconde partie de la présentation, nous introduisons ALAIN (pour Analyse Lexicale Automatisée sur Internet), une application Web crée afin d’automatiser partiellement l’application de la méthode proposée. ALAIN peut recevoir un texte ou un corpus de textes et les analyser à l’aide du système UDPipe (Straka, Hajic, & Strakova, 2016) et de quatre bases de données lexicales : EQOL, Lexique Film, Lexique Livre, et Manulex (Lété, 2004; New, Pallier, Ferrand, & Matos, 2001; Stanké et al., 2019). L’application produit, à des niveaux allant du mot au corpus de textes, diverses données, statistiques et indices standardisés qui sont pertinents lors de la création ou de l’amélioration d’une épreuve de compréhension de texte. Nous allons démontrer les fonctionnalités d’ALAIN à partir d’un cas d’application : une épreuve en cours de développement qui vise à dépister des lacunes au niveau de la littératie avancée chez les élèves faisant leur entrée au cégep. Nous discuterons finalement des limitations de l’approche, des ajouts possibles, et du potentiel pour assister la création d’épreuves dans des domaines autres que la compréhension de texte.
2) Modélisation à visée diagnostique des données du PIRLS 2011 (Dan Thanh Duong Thi, UQAM; Nathalie Loye, U. de Montréal)
L’objectif primordial de l’approche diagnostique cognitive (ADC) est de fournir des rétroactions fines et détaillées sur les forces et les faiblesses cognitives des élèves à travers des rapports compréhensibles et interprétables.Cependant, il existe très peu d’outils d’évaluation qui ont été initialement conçus à cet usage. De nombreuses recherches dans cette approche modélisent donc les résultats des épreuves à grande échelle pour faire sortir des profils détaillés sur la maitrise des habiletés des élèves, ce qui fait l’objet de la présentation dans les rapports diagnostiques.
Cette communication vise à présenter les résultats des modélisations à visée diagnostique des données de 4762 élèves canadiens ayant pris le livret 13 du PIRLS 2011. Elle propose également une synthèse des retombées du processus de l’élaboration des rapports diagnostiques avec un panel d’expertsà partir des résultats obtenus des modélisations et de l’évaluation de ces rapports auprès de 98 enseignants au primaire, des conseillers pédagogiques et des orthopédagogues. Cette étude établit le pont entre l’ADC et les résultats des évaluations à grande échelle et vise ultimement à soutenir des élèves en difficulté en lecture au primaire.