vendredi 14 août 2020

TraAM - L'évaluation comme outil de formation.

L'évaluation comme outil de formation.

 

Dans la perspective de l'évaluation positive qui valorise les acquis et envisage les manques en termes de marges de progrès, l’équipe TraAM de l’académie de Strasbourg s'est intéressée à l'évaluation comme outil de formation. Au-delà de la traditionnelle évaluation par l’enseignant, elle a réfléchi à l’apport de l’auto-évaluation et de l’évaluation par les pairs et s'est intéressée à la plus-value que le numérique pourrait apporter au regard des diverses modalités d'évaluation envisagées.

 

Les documents proposés ici sont le résultat des travaux du groupe encadré par l'IA-IPR référent Catherine Bossert-Weider, IA-IPR d’anglais, et composé de 9 enseignants:

          Estelle Dubruque-Blavy

          Julien Audebert

          Jean-François Fabacher

          Sophie Guebel

          Anne Hatterer

          Sandrine Krempper

          Elodie Ramm

          Nathalie Sosnowski

          Mélanie Stephan

De nombreux outils ont été testés pendant cette année d'expérimentation; sept d'entre eux ont paru pertinents:

- l'atelier de Moodle

- Class Dojo

- Framapad

- les Learning Apps

- Plickers

- Survey Monkey

- Word.

Les avantages et les limites de chaque outil sont détaillés, et des activités ou séquences sont à chaque fois proposées afin de donner des pistes de mise en oeuvre pédagogique.

Utiliser l'atelier Moodle pour l'évaluation par les pairs

Points positifs

Les élèves évaluateurs sont actifs pendant les prestations: ils portent un regard critique et constructif sur leur camarade, en utilisant la langue cible, ce qui constitue un entraînement à l’expression écrite et peut être valorisé par le biais d'une note attribuée par l'enseignant.
Ils apprennent à justifier leur point de vue et à expliciter leurs attentes afin de devenir des spectateurs 'actifs'. Ils réalisent ainsi l'ensemble des exigences d'une évaluation et la nécessité de prendre en compte tous les critères demandés.

Les élèves évalués ont un retour sur leur production qui leur permettra d’améliorer leurs prochaines productions. 


Points négatifs
La mise en route de l’atelier, lorsqu’il est utilisé pour la première fois, peut désarçonner l'enseignant, mais aussi les élèves qui peuvent avoir des difficultés à y déposer leurs documents. Il vaut mieux éviter de fixer une date limite de dépôt des productions et relancer les éventuels retardataires oralement.
S'il s'agit d'un travail fait à la maison, il faut motiver les élèves, à l'aide d'une note ou d'un bonus, et les relancer afin que les travaux et le feedback soient déposés à temps.
Il est souhaitable de limiter les critères d’évaluation afin de ne pas décourager les classes les plus faibles: par exemple limiter à 5 critères maximum les points à faire évaluer par les élèves et réserver les autres à l'enseignant.

Exemple de séquence 1

Le public visé est une classe de première .
Pour la tâche finale, les élèves doivent produire une émission musicale ( vidéo, jeu de rôle, mélange des deux,....) dans laquelle ils présentent une chanson de contestation "Protest Song", l’artiste et son engagement, le genre musical et le contexte historique dans lequel cette chanson a été réalisée et son impact sur la société. Ils doivent également produire une analyse littéraire de la chanson et rédiger  leur propre chanson. Pour rendre leur émission plus vivante, ils proposent une activité interactive avec leur public.
Les élèves utilisent un atelier Moodle pour évaluer leurs camarades en s’assurant que tous  les critères mentionnés ci-avant ont été respectés, et donner une 'feedback' sur la prononciation, la richesse de la langue, et leurs impressions sur le produit final en tant que spectateur.

Voir le tutoriel pour la création de l'atelier.

Voir un exemple de production d'élève corrigé avec l'atelier de Moodle.

Exemple de séquence 2

Voir la séquence.

Exemple de séquence 3

Voir la séquence et des exemples de productions d'élèves.

Lien vers la page du site officiel de Moodle présentant un tutoriel général pour l'atelier.

Utiliser Class Dojo pour l'auto-évaluation et l'évaluation par les pairs

Points positifs

Class Dojo motive les élèves tout d'abord pour son visuel coloré et attractif. Les petits avatars qui représentent les élèves font l'unanimité. 
Un autre point positif est la rapidité et la facilité d'exécution que permet le tactile. Une fois l'application paramétrée, il est très facile de donner des bonus et des malus aux différents membres du groupe. Le feedback quant à lui est immédiat et peut même être projeté.

Points négatifs

Le logiciel Class Dojo n'est cependant pas exempt de défauts, le plus important étant le caractère chronophage de la phase de préparation nécessaire pour rentrer la liste des élèves (soit manuellement soit par le biais d'un import excel), créer les groupes et définir les compétences qui seront évaluées. 
De plus, toutes les tablettes utilisant de façon simultanée le même compte professeur, il est difficile d'avoir un contrôle total sur ce que font les élèves.

Exemple de séquence

- 5 tablettes
- 5 Tables en ilôts
- Logiciel/app Class Dojo

Matériel utilisé

La séquence est destinée à une classe de 4eme. Elle s'articule autour du concept de Student Council et de sa présidence. La tâche finale sera un débat en îlots où chaque élève devra se présenter et défendre sa candidature pour la présidence d'un Student Council.
Outre des documents, plusieurs jalons seront posés dans les séances qui précèdent la tâche finale afin de permettre aux élèves de défendre leur candidature: 
- Adjectifs de personnalité et adverbes d'intensité pour décrire sa personnalité.
- Comparatif et superlatif pour se comparer aux autres et essayer de tirer son épingle du jeu.
- Will et going to pour indiquer ce que le candidat va changer dans son établissement.

Tâche finale:

La moitié de l'îlot prend part au débat pendant que l'autre moitié dispose de la tablette pour évaluer les productions orales. Chaque élève tente de convaincre l'auditoire de sa légitimité en tant que candidat à la présidence d'un class council. Il doit se présenter, donner des arguments, faire part d'idées pour améliorer son école, et poser des questions sur les projets des autres candidats.
A chaque fois qu'un élève prend la parole. Les évaluateurs utilisent la tablette tactile pour ajouter des points positifs (a parlé de lui, a posé une question, a parlé de l'école) ou des points négatifs (a parlé en français).
Les critères évalués ici ne sont qu'un exemple et peuvent être modifiés en fonction du niveau et de la tâche finale. Il convient cependant de limiter le nombre d'items pour ne pas rendre l'évaluation trop laborieuse. (4-5 items maximum)

Tutoriel pour utiliser Classe Dojo.

Utiliser Framapad pour l'auto-évaluation et l'évaluation par les pairs

Points positifs

La phase d'écriture collaborative permet aux élèves de tester et de mettre en commun leurs connaissances et compétences pour produire quelque chose de concret (donner du sens à partir du besoin).
La capacité des élèves à s'inter-évaluer nécessite une maîtrise des savoirs qui est une forme d'auto-évaluation.
Un travail synchrone ET asynchrone sont possibles .
L'utilisation du traitement de texte permet aux élèves de développer leurs compétences informatiques.
L'outil facilite l'écriture (cas des élèves dys),  mais également la lecture des productions des camarades.
Les élèves sont motivés par le feedback apporté par leurs pairs, ce qui permet au professeur de se mettre en retrait.

Points négatifs

La prise en main initiale peut être perturbante pour les élèves en raison de  l'écriture simultanée.
Il est nécessaire de générer les "murs Framapad" en amont , de distribuer les adresses correspondantes (ou les QR codes si tablettes) aux élèves et éventuellement de créer des groupes d'élèves précis.
Cette activité nécessite d'avoir un ordinateur ou une tablette par élève. 
Il n'est pas possible d'insérer un tableau dans framapad, ce qui est dommage car les tableaux sont pratiques pour s'auto-évaluer ou s'inter-évaluer.


Exemple d'activité

Au cous de cette séquence intitulée CALIFORNIA VS. FLORIDA et proposée à des élèves de 5e (cycle 4), les élèves ont découvert, puis comparé les spécificités de ces 2 états.

Cliquez ici pour accéder à la séquence.

Utiliser les Learning Apps pour l'auto-évaluation

Points positifs

Grâce à la variété des applications disponibles, il est possible de créer des exercices portant sur des points divers (lexicaux, grammaticaux, culturels, etc.) et ce pour tous les niveaux et à tout moment dans le déroulement d'une séquence. Les applications créées sur LearningApps sont accessibles en classe et à la maison. Elles sont compatibles avec tous les types de terminaux numériques (TBI, PC , tablettes, etc). Il n'y a pas d'installation préalable,  il suffit de disposer d'une connexion internet.
Le site permet de créer une grande variété d'activités différentes et de proposer bien plus que les traditionnels exercices d'appariement, évitant ainsi la lassitude des élèves.
Une fois que l'enseignant dispose d'un compte, il lui est facile de créer de nouvelles applications à partir des modèles existants. Il est possible d'intégrer des textes, des images, des documents audio et vidéo dans les applications. Le site est doté d'un outil de synthèse vocal performant et simple à utiliser.
Les élèves sont en général demandeurs d'applications sur LearningApps.

Points négatifs

Lorsqu'un élève est connecté au site avec un compte personnel (créé par l'élève lui-même ou fourni par son professeur), il lui est facilement possible de "tricher" en cliquant sur le bouton "Créer une appli similaire",  ce qui lui permet d'afficher les bonnes réponses.
Les documents audio et vidéo que l'on souhaite faire figurer dans les applis doivent impérativement être hébergés sur la plateforme Youtube.

Exemple de séquence


 "CSI, murder investigation" (basée sur le chapitre 4 "Murder investigation" de Piece of Cake 4e, éditions Le Livre Scolaire 2012). 
Public visé: élèves de 4e.
En salle informatique (car ne disposant pas encore de tablettes) les élèves se sont appuyés sur les applications LearningApps pour remplir leurs fiches papier en accomplissant les différentes tâches dans le but de mener jusqu'à son terme une enquête policière. Les élèves ont fait les exercices jusqu'à ce que toutes leurs réponses soient justes. Le but n'était pas d'obtenir un score (d'ailleurs LearningApps n'en affiche que pour l'activité "QCM") mais de parvenir à la bonne solution en autonomie.

Voir les activités créées.

Utiliser Plickers pour l'évaluation par les pairs

Points positifs

Les élèves n'ont pas besoin de terminal numérique, seul l'enseignant  doit disposer d'une tablette ou d'un smartphone pour utiliser Plickers.
Les élèves ont un feedback immédiat ou quasi immédiat sur leur prestation orale par leurs pairs:  le tableau de résultats s'affiche instantanément sur l'écran.

Points négatifs

Le professeur doit utiliser son smartphone personnel en cours. Il a besoin d'une bonne couverture de réseau et de se connecter
 en 3G/4G. Il peut y avoir des déconnections intempestives suivant le réseau.
Lors des premières évaluations de leurs pairs, les élèves éprouvent quelques difficultés à tenir le document correctement et lisiblement .
Il est impératif de bien réfléchir à la formulation des questions posées et aux réponses possibles.
Les premières fois, les élèves éprouvent des difficultés à procéder à une évaluation objective et attribuent facilement des notes ou remarques positives aux camarades dont ils sont le plus proches.

Exemple d'activité 1
Plickers a été utilisé lors de la tâche finale PPI en cycle 3 en début d'année scolaire: les élèves écoutent leurs pairs et répondent à la question: X a-t-il/elle "parlé" comme un anglais? 


Exemple d'activité 2
En cycle 4, niveau 3ème, les élèves ont présenté oralement un Afro-Américain qui a joué un rôle dans la lutte pour les droits civiques pendant les années 60 aux Etats-Unis. (Rosa Parks, Roby Bridges, Martin Luther King).
Après la présentation à l'oral, les camarades de la classe ont donné leur avis. La classe a été divisée en deux groupes car c'est un groupe très hétérogène: un groupe se concentre sur la manière dont les informations ont été présentées et répondent à la questions: "Did  your friend speak clearly?" selon une grille critériée mise à leur disposition.
Les réponses possibles étaient  "Yes, very clearly/ Yes, quite clearly/ It was not very clear/ I didn't understand anything".
Le deuxième groupe devait  se concentrer sur le contenu culturel de la présentation: "Did you learn something new?"
Réponses proposées: "Yes, I learned quite a few things. / Yes, I learned a little. / I didn't learn much. / I didn't understand anything."
Malgré les explications concernant la nécessité de se montrer impartial dans le cadre d'une évaluation, les premiers élèves n'ont pas été évalués objectivement. Après une rapide mise au point, les élèves-évaluateurs ont joué le jeu et les élèves évalués ont apprécié le retour d'informations sur leur prestation orale.

Utiliser Survey Monkey pour l'évaluation par les pairs

Points positifs

L'inscription au site Survey Monkey est très rapide pour le professeur et la création d'un sondage est très intuitive également. De plus, les résultats des sondages sont automatiquement sauvegardés sur votre compte et l'on peut tranquillement reporter les résultats chez soi ultérieurement.
Les élèves ne sont pas de simples spectateurs mais se sentent engagés dans l'écoute et l'évaluation de leurs camarades. L'exercice peut se réaliser sur 2 séances au total si l'on parvient à imposer un rythme soutenu. Les élèves lisent les productions de leurs camarades exposées dans la salle de classe avec beaucoup d'intérêt. Ils travaillent en autonomie et sont exigeants face à ces productions : cela leur permet de mieux prendre conscience des attendus du professeur.
L'élaboration des critères de réussite se fait par et pour les élèves de manière rapide et transparente grâce à Survey Monkey : les élèves participent activement à l’évaluation et remettent plus facilement en question leurs propres travaux à travers l’observation des ceux de leurs pairs.

De plus, pour une évaluation par les pairs efficace, il est intéressant de dépasser la phase de jugement qui évalue simplement la présence ou l’absence de l’objectif culturel dans la production de l’élève : pour ce faire, Survey Monkey propose d’avoir recours à des curseurs ou des symboles (étoiles) dans ses sondages. Survey monkey est véritablement un outil simple et rapide à utiliser : son interface est claire.

Enfin, à l'oral comme à l’écrit, les élèves sont stimulés par la possibilité du point bonus qu'ils pourront ajouter à leur note finale s'ils sont élus par la classe : cela instaure une émulation sous forme de compétition positive dans la classe et place les élèves en position de co-évaluateurs avec l’enseignant.

Pour tester cet outil dans des conditions optimales, il est intéressant d’avoir accès à une salle multimédia et/ou à des tablettes (un ordinateur ou une tablette pour deux élèves au minimum). Cependant, Survey Monkey peut aussi être utilisé par les élèves depuis leur domicile, à partir d’un lien url ou d’un Code QR envoyé par l’enseignant et généré par Survey Monkey.

Points négatifs

Il est nécessaire de dupliquer le sondage à chaque présentation mais le site facilite cette opération en un seul clic, il suffit juste de renommer le sondage selon l'élève qui est évalué.

Lorsque les sondages sont proposés en classe (en salle multimédia ou sur tablettes) la participation de toute la classe est obtenue par l’enseignant mais lorsque le vote est proposé à la maison (à partir d'un lien url ou d’un code QR), la participation est bien souvent moindre (15 à 20 votants en moyenne sur une classe de 30 élèves).

En outre, lors de l’utilisation de tablettes ou d’ordinateurs en classe, la participation à un sondage est limitée à une seule connexion : par conséquent, il est impossible d’envisager le partage de tablettes ou de postes informatiques à tour de rôle pour procéder aux votes. En revanche, avec un nombre insuffisant de tablettes ou de postes informatiques en classe, il est tout à fait possible de procéder à des votes en binômes (à savoir un ordinateur ou une tablette pour deux élèves) ce qui permet alors d’encourager les élèves à développer leurs compétences d’argumentation et de médiation.

Enfin, Survey monkey limite ses questionnaires à 10 questions par sondage (pour la version gratuite) , mais ce n’est finalement pas un inconvénient en soi dans la mesure où l’efficacité d’une évaluation par les pairs ne se traduit pas nécessairement par un nombre important de questions mais plutôt par un nombre restreint de questions portant sur des critères de réussite bien précis.

Exemple de séquence 1

Séquence proposée à des élèves de 4e. Il s’agissait pour les élèves de juger de la qualité des prestations orales en continu de leurs camarades : la tâche finale à accomplir consistait à endosser le rôle d’un coach sportif d’une équipe reconnue et de recruter un maximum de nouveaux joueurs dans la classe. La consigne donnée était la suivante : You are a sports coach. Recruit new members in your team. Then vote for the best coach in the class!

Lors de chaque prestation orale, les élèves étaient chargés de prendre des notes (points positifs, points à améliorer) et de juger de la qualité des présentations entendues à partir de critères de réussite précédemment proposés par les élèves eux-mêmes.

A la fin des présentations orales, l’enseignant a proposé aux élèves un lien url vers le sondage en ligne réalisé à partir de Survey Monkey pour que ces derniers puissent évaluer les prestations de leurs camarades. Les critères de réussite retenus étaient les suivants : Who used the best introduction and the best conclusion in the class ?Who used a maximum of information in his/her presentation ?Who was the best actor in the class ?

A l’issue des votes, le vainqueur a obtenu un point supplémentaire sur sa note finale, les critères purement linguistiques ayant été évalués par l’enseignant lui-même en parallèle.

Exemple de séquence 2

il s’agissait pour les élèves de juger de la place de l’objectif culturel dans des posters réalisés en binômes par un autre groupe de langue. Les posters en question ont été affichés et numérotés de manière anonyme dans la salle de classe ; le sujet des posters concernait la réalisation d’un programme TV Indien comportant à la fois un titre, un bref résumé de film accrocheur et une illustration à la manière des films de Bollywood.

Le critère de réussite formulé par les élèves à partir de l’objectif culturel proposé par l’enseignant était : Who used a maximum of information related to India and Bollywood movies in his/her poster ?

Exemple de séquence 3

Présentation orale / Australie : évaluation par les pairs à l'aide de Survey Monkey

Projet réalisé avec une classe de 4ème au sein d'une séquence plus globale sur la mobilité internationale des adolescents et l'attractivité de l'Australie. 
Il nécessite l'utilisation de tablettes ainsi qu'une inscription au site Survey Monkey.
Les élèves avaient à réaliser une présentation générale de l'Australie en ayant la liberté de mettre l'accent sur les thèmes de leur choix. 
La classe a ensuite évalué chaque présentation selon les critères définis par le professeur dans le sondage. La correction grammaticale de la langue a été laissée au soin du professeur. Le jour de l'évaluation les élèves ont simplement un lien à suivre qui les conduit automatiquement vers le sondage et peuvent commencer immédiatement.
 

Capsule vidéo présentant l'ensemble de la démarche, depuis la réalisation du sondage sur Survey Monkey jusqu'au jour de l'évaluation .

Utiliser Framapad et Survey Monkey pour l'évaluation par les pairs

Points positifs

Framapad possède de nombreux avantages, il permet aux élèves d'utiliser rapidement la plateforme grâce à son fonctionnement intuitif, de travailler à plusieurs sur la même page chacun depuis son domicile, ce qui facilite les travaux de groupe, et de sauvegarder instantanément le travail.

Framapad permet au professeur de voir en direct, depuis son poste informatique en navigant d’une page Framapad à l’autre, comment progresse chaque groupe et de souligner des éléments dans une couleur spécifique afin de signaler les passages à revoir, sans perdre de temps à circuler d’un bureau à l'autre.

Points négatifs

Il est cependant utile de noter que la gestion de classe peut être plus difficile car les élèves ne sentent pas la proximité physique du professeur qui les conseille depuis son poste informatique. La correction, par ailleurs, peut s'avérer fastidieuse. En effet, lorsque plusieurs personnes saisissent du texte simultanément, le système peut connaître des ralentissements.

Voir le tutoriel pour Framapad.

Voir le tutoriel pour Survey Monkey.

Utiliser Word pour l'auto-évaluation et l'évaluation par les pairs

Points positifs

Les élèves voient dans quelle mesure ils ont répondu aux attentes en fonction des couleurs qui apparaissent sur leur productions et celles de leurs partenaires: plus il y a d’éléments surlignés, plus riche est la langue.
Ensemble, l’équipe peut enrichir le script de campagne pour donner de meilleures chances à son candidat.
Les élèves découvrent une méthode de travail lors de ce premier projet. Ils prennent conscience des critères d’exigence et s'habituent à vérifier leur check-list et à relire la grille d'évaluation. Ils réalisent également que la forme est au service du sens.
Ils se sentent très valorisés dans leur travail et sont à même d'évaluer leurs progrès. 
Ils prennent conscience que l’écriture est un processus qui prend du temps, l’outil Word leur permettant d’améliorer leur production sur un support propre, malgré les nombreuses retouches et améliorations apportées. 
Chacun participe à l’amélioration de sa propre partie et de celle des autres membres de l’équipe et se met dans la peau de l’évaluateur.
L'enseignant aura à cœur de faire ce travail ultérieurement, lors des corrections des copies, en gardant, dans la mesure du possible, le même code couleur pour les productions suivantes (formatives ou sommatives). Ainsi, l'élève ne verra pas seulement du rouge qui sanctionnera les fautes de ses productions mais aussi des éléments surlignés indicateurs de réussite. L'élève gagnera en méthode car il saura s'auto-évaluer ou évaluer ses pairs.
Points négatifs

Comme il s’agit d’un premier travail de ce type, certains élèves peuvent encore avoir des difficultés à discerner les catégories grammaticales mais c'est là un premier jalon qui leur fera prendre conscience des attentes du professeur.

Exemple de séquence
Le public visé dans cette séquence intitulée "me and myself" est une classe de seconde. Il s'agit de la première séquence de l'année. Elle permet aux élèves de se présenter et de révéler leur personnalité et au professeur de faire le point sur les acquis du collège, à travers un travail de rebrassage (présent simple, adjectifs possessifs, expression du futur, comparatifs et superlatifs, adjectifs de personnalité, mots de liaison pour organiser et contraster, expression de la cause, de la conséquence et du but, expression de la détermination et du conseil.) afin de produire un discours clair et organisé.
Pour la tâche finale, réalisée en groupes de quatre, les élèves doivent produire une vidéo de campagne autour de leur candidat en écho aux élections de délégués et du CVL qui se déroulent à la même période.  Les élèves déterminent leur rôle: le candidat et son personnel de campagne, éventuellement des témoins (membre de la famille, amis et collaborateurs proches, ...). Il s'agira pour eux de présenter leur candidat, ses qualités, d'expliquer en quoi il est plus à même d'occuper les fonctions visées que d’autres candidats, les problèmes constatés au sein du lycée, les solutions et promesses, le profil du candidat idéal. Les élèves sont libres de travailler au premier ou au second degré afin de laisser libre cours à leur imagination.
 Les élèves rédigent leur partie sur Word. Un code couleur est attribué aux différents items lexicaux à utiliser: jaune pour les adjectifs, bleu pour les mots de liaison, rose pour les adjectifs laudatifs, etc...
Le fait de surligner les éléments sur leur propre partie rédigée leur permet de s'auto-évaluer. Ainsi, lorsque les élèves mettent en commun leur travail, ils peuvent visuellement se rendre compte de la quantité et de la variété des items utilisés et ajuster leur travail aux exigences dans le cadre d'une évaluation par leurs pairs. Ils peuvent ainsi améliorer les parties des uns et des autres.

Voir la grille utilisée.

Voir un exemple de production d'élève.