Quels sont les écarts entre la perception et le résultat d'un test de classement?

Nous venons de finir une séance d'évaluation en anglais pour une 50'aines d'employés d'une même entreprise. L'idée de cet article vient de cette expérience récente.

En quoi consistent nos tests de classement? Nous avons écrit un article qui informe sur nos tests .

Mais ici, nous allons voir les causes d'écart entre le résultat d'un test et la perception d'un apprenant quant à son niveau. Aussi, nous allons voir pourquoi nous gardons notre protocole.

Tout d'abord, une petite mise en situation. Lorsque j'explique notre test, je donne les informations suivantes :

Le test est relatif et non pas absolu.

Notre test est pratique et non pas théorique. Nous mesurons ce que les participants utilisent, pas ce qu'ils connaissent. La nuance est importante. Si une personne sait comment conjuguer un verbe au futur, mais lorsqu'il parle, seulement le présent est utilisé, nous le classerons dans un niveau ou le futur sera appris.

Le test sert à regrouper des apprenants dans un groupe relativement homogène. De plus, avec ce classement, nous voulons avoir des thèmes grammaticaux pour les premières leçons. Par la suite, le professeur sera en mesure de s'adapter.

Nous ne sommes pas en mesure de faire le travail que ferait un test comme " Cambridge " par exemple, qui dure quelques heures, en seulement 15-20min. Il nous manque le volet compréhension, la connaissance de la théorie, la compréhension de texte et la rédaction.

Le test est individuel, mais fait à distance. Selon la région de l'apprenant et du professeur, il peut être fait par téléphone ou par visioconférence.

S'il est fait par téléphone, il n'y aura donc pas de support visuel, élément qui peut sécuriser certains apprenants, mais qui n'affecte pas le résultat. Ceux qui utilisent le téléphone régulièrement seront très à l'aise avec cette approche.

Donc, dans ce contexte, quels sont les écarts possibles?

Notre test évalue le volet pratique (conversation et compréhension). Généralement, la conversation est plus faible que la lecture, la connaissance théorique et la compréhension. Donc, il arrive qu'un apprenant sente qu'il soit sous-évalué. Nous avons parfois des questions sur le classement avec des commentaires comme : je suis en mesure de voir des films et d'écoute la télévision en anglais. De plus, je parle avec mes collègues dans la langue cible. Alors pourquoi suis-je à ce niveau?

La compréhension auditive est généralement très forte pour l'anglais puisque nous sommes bombardés d'options: films, séries télévisées, articles, vidéos, etc. Donc, ce volet est souvent plus avancé.

Au niveau de la conversation, il y a une grande différence entre une personne ayant la confiance de s'exprimer dans la langue cible, mais avec des erreurs et la maîtrise des temps de verbes et des structures en contexte de conversation. Il nous arrive régulièrement d'évaluer des extroverties qui parlent avec aise, mais ils utilisent uniquement le présent. Donc, l'aisance n'est pas synonyme de maîtrise de la langue.

Pour plusieurs, nous avons besoin d'une période de transition pour passer dans notre langue cible. Bien que nous fassions un peu cette transition au début du test, pour certains, elle ne sera pas suffisamment longue. Ceci peut rendre certains participants moins habiles, autant au niveau de la compréhension que de la conversation. Il peut ainsi arriver que l'apprenant sente qu'il n'aura pas performé à la hauteur de ses attentes.

Certaines personnes sont nerveuses à l'idée de faire un test. Bien que notre test soit simplement pour établir un point de départ, déterminer les objectifs pédagogiques à voir et regrouper des apprenants en groupes le plus homogènes possible, il n'en demeure pas moins que certains sentent le besoin de bien faire et sont nerveux. Nos évaluateurs savent comment mettre les gens à l'aise rapidement. Donc, nous sommes en mesure de limiter les problèmes de ce côté, mais il peut quand même en avoir quelques-uns.

Bien que nous ayons dix niveaux dans notre pédagogie pour la plupart des langues, les participants ne " tombent " pas toujours dans un niveau d'une façon précise. Nous avons plusieurs cas qui chevauchent deux niveaux. De plus, nous avons certaines personnes qui peuvent utiliser des structures de niveaux avancés et avoir des problèmes pour les structures plus faibles. Que fait-on avec ces apprenants? Comment pouvons-nous les classer? Généralement, nous aurons tendance à les mettre dans le niveau le plus faible des options considérées pour chacun, mais pas toujours. Ceci dépendra du débit, de la précision, du vocabulaire, etc. Beaucoup d'éléments à considérer pour prendre une décision. Ce sont parfois avec ces gens que nous voyons des écarts. Ces cas qui ne sont pas exactement dans telle ou telle boite.

Il y aura aussi des aspects qui se retrouvent au niveau de l'évaluateur. He oui, nous n'en sommes pas à l'abri. Même si nous avons des évaluateurs d'expériences (dans certains cas, plus de 10ans avec nous). Est-ce que l'apprenant a bien prononcé son " ed " à la fin de son verbe? Est-ce que j'ai bien compris ce que l'apprenant voulait dire? Dans un environnement où le subjectif est très important, des problèmes de compréhension peuvent survenir. C'est pour cette raison que nos évaluateurs revisiteront un thème si la réponse n'a pas été comprise. Ainsi, ils réduiront les chances d'écarts. Mais, il demeure possible. D'autres facteurs qui peuvent influencer la compréhension de l'évaluateur; un fort accent ou un accent qui est moins courant, une mauvaise ligne téléphonique ou une mauvaise connexion Internet, un faible volume audio ou tout simplement par quelqu'un qui ne parle pas très fort ou qui est timide.

Voici les sources d'écarts que nous voyons le plus souvent.

Mais avec tous ces écarts possibles, pourquoi gardons-nous notre format de test? Pour plusieurs raisons.

Bien que le sujet de l'article soit sur les écarts, le test lui-même est très performant. Bien qu'aucun test ne soit infaillible, il n'en reste pas moins qu'il est excellent pour la très grande majorité des cas.

Notre pédagogie est adaptée. Si nous commettons un écart d'un niveau, par exemple, le professeur s'adapte en passant au prochain niveau. Il nous avise et voilà, nous ne sommes pas emprisonnés d'une structure qui doit être maintenue coute que coute.

Initialement, nos tests étaient plus longs par personne pour augmenter la précision. Puis, les entreprises nous demandaient de faire des regroupements entre différents niveaux. Donc, la plus grande précision devenait pratiquement inutile.

Dans les programmes de formation pour les entreprises ayant plusieurs groupes de différents niveaux, la mobilité est relativement simple. Si le niveau d'un apprenant n'est pas celui qui devrait être, il peut passer à un groupe qui sera plus proche de son niveau. Bien que rares, ces situations existent. En fait, la mobilité est plus souvent observée pour les apprenants qui vont plus rapidement.

Qui sont les apprenants qui vont rapidement? Il y a ceux qui apprennent une deuxième ou troisième langue seconde, ceux qui sont très habiles dans l'acquisition d'une langue, ceux qui font du travail à l'extérieur des heures de cours, ceux qui ne craignent pas de pratiquer avec collègues, amis et voisinage et ceux qui apprennent une langue de la même racine (l'espagnol pour les francophones, par exemple). Il y a plusieurs raisons qui font en sorte que le groupe homogène à la première heure ne l'est plus à la 10e heure. Donc dans ce contexte, il devient contreproductif de mettre plus d'effort pour une plus grande précision.

Donc pour toutes ces raisons, notre test est rendu à l'étape ou il est rendu aujourd'hui. Avons-nous cessé de l'affiner? Absolument pas. Nous révisons régulièrement notre façon de faire pour améliorer le processus.

Si vous avez des questions ou des commentaires, n'hésitez pas.

langages@langages.ca