Expérience pédagogique : les évaluations en formation.

. Posted in Le monde de la formation

Il est parfois des exercices déroutants qui renforcent l’expérience, démontrent l’intérêt des pratiques, quitte à prendre quelques risques.

Le contexte : le groupe d’apprenant est en formation « d’organisateur de formation » d’une durée de 5 jours scindés en 2 modules (3 jours + 2 jours) séparés par un délai d’un mois. Même si la formation n’est pas spécifiquement leur métier, nombreux d’entre eux sont régulièrement en posture de formateur occasionnel. La majorité est issue d’une culture pédagogique imprégnée du modèle transmissif et de la pédagogie par objectif.

Le programme de cette session aborde la réglementation de la formation, les étapes de construction et d’organisation des formations. Sont également évoqués les notions budgétaires, la gestion d’équipes pédagogiques. Aujourd’hui démarre le deuxième jour de la formation, je décide de déjà traiter le sujet « des évaluations en formation ». Alors que ce thème est plutôt généralement évoqué tardivement lors du second module, je décide

de l’aborder tôt car adepte des approches liées au constructivisme, j’ai pour projet de les mettre en action à la fois pour la construction de l’évaluation de la formation et pour leurs propres évaluations d'acquisitions de capacité.

 

Je veux leur exposer combien, il est primordial d’avoir construit la réflexion sur les évaluations dès le début de toute conception pédagogique. Je veux les amener à réfléchir et à construire des évaluations de la manière la plus explicite possible.

J’ai pour objectif que dans leurs futures pratiques, ils arrivent à construire des moments « de vérifications d’acquisitions » dans des dispositions favorables. J’ai également pour ambition de travailler sur l’état d’esprit des évaluations en cherchant à quitter le concept évaluation/sanction pour aller vers le schéma évaluation/confirmation d’acquisition de capacité(s).

Mon fil conducteur est le concept de Kirkpatrick et les fameux 4 niveaux d’évaluation :

 

  • N1 - évaluation de la satisfaction « à chaud »,
  • N2 - évaluation des acquisitions,
  • N3 - évaluations des transferts de capacités acquises lors du retour en situation professionnel,
  • N4 - évaluation de la notion de rendement lié aux bénéfices de la formation.

 

Après des échanges très constructifs et une perception plutôt positive sur la compréhension du groupe sur le « là où nous voulons aller », je décide de lancer mon expérience du jour. Pour ne pas être dans la maxime « du dit cordonnier mal chaussé », je me dois d’appliquer les préceptes exposés pour ce module qu’ils entament.

 

Ma lettre de commande est précise, je veux que ce groupe créé des évaluations en lien avec les niveaux 1,2 et 3 de Kirkpatrick avec comme cœur du sujet la formation pour laquelle eux et moi sommes là !

- Pour le niveau 1, ils doivent me construire un dispositif mesurant la satisfaction de toutes les journées passées ensemble.

- Pour le niveau 2, je veux qu’ils me construisent un dispositif destiné à évaluer les savoirs et savoirs-faire à propos des thématiques évoquées durant nos 5 jours.

- Pour le niveau 3, je veux qu’ils me proposent une démarche réflexive individuelle qu’ils mettront en place après leur retour dans leur « vie professionnelle réelle ». Ils doivent réfléchir sur la pertinence, les effets induits et l’efficacité des capacités acquissent (ou pas !) durant la formation.

Ils sont en 4 sous-groupes. Après un temps de perturbation due à cette idée saugrenue de devoir construire sa propre évaluation, ils sont vite créatifs, même très créatifs. Si les 4 groupes explosent d’inventivité, je détecte que les 4 approches sont assez nuancées …

Là, je commence à mesurer que je ne sais pas forcément où je vais. Je n’ai pas de crainte lié « au contrat » de ma formation car je dois évaluer ces apprenants sur le niveau 1 et 2. Ils devraient largement apporter de la matière pour ces champs. J’ai avec moi un plan B (qui était d’ailleurs plutôt le plan A, il y a encore quelques jours …). Je suis confiant. Ma crainte se porte plus sur l’abondance d’idées qui va devoir induire un choix. Et là, je ne sais pas encore comment je vais le faire ?

Dans les premiers apports conceptuels de ce début de séquence, j’avais exposé celui de J.M. Barbier sur la nuance entre les évaluations implicites, spontanées et institutionnalisées. J’ai exposé l’importance de chercher à créer des évaluations institutionnalisées, ce qui en formation facilite et favorise la progression pédagogique, donc in fine la réussite.

Pour en résumer le principe, il faut :

- que l’apprenant connaisse ce qui est attendu de lui (le référent)

- qu’il lui soit également signifié qu’elle est « sa production » (le référé). Le mieux étant que ce soit lui-même qui constate le résultat de sa production et les éventuels disgrétions avec le référent.

- Cela permettra de mesurer l’écart entre ce qui est attendu et ce qui est produit, ce qui donne la possibilité d’apporter un jugement de valeur qui soit dira « ok c’est conforme », soit précisera «ce n’est pas conforme aux attentes, il faut améliorer ceci ou cela … ». C’est cet écart qui pose le résultat : acquis / non acquis. 

Ils sont armés du concept de KIRKPATRICK qui précise les grandes phases des évaluations, de mesures et des préceptes de J.M. BARBIER qui pose le principe fondamental de la notion de mesure. Ils disposent également de 2 armes de choix. La première, leurs expériences personnelles tant positives que négatives. Celles-ci alimentent les débats avec force et argumentent avec d’intenses illustrations ce qu’ils ont envie de vivre, mais également souvent ce qu’ils ne voudraient jamais revivre. Ils évoquent des évaluations vécues dans leurs vies privées, à l’école, en milieux professionnels, extra-professionnels. La seconde et redoutable arme provient de la force des échanges oraux des groupes, et ce, parfois avec des confrontations « musclées d’idées ». Les conflits-sociaux cognitifs ne sont pas un vain concept, lorsque l’on observe ce genre d’échanges et que l’on analyse ce qu’il se construit. Parfois, ce sont des pans complets de croyance qui s’écroulent lorsque les apprenants s’interpellent entre-eux, se déconstruisent puis se construisent ensemble. Je me rappelle de cette conversation où un apprenant était convaincu qu’en qualité d’évaluateur, il se devait d’être froid, imperturbable, que sa mission sacrée était de chercher la perfection « à son niveau à lui », convaincu que sous son niveau : « ils, les évalués étaient des mauvais ». Quelle claque pour lui de prendre conscience qu’il avait sanctionné plein de candidats qui voulaient seulement avoir le permis de pratiquer avant de devenir « compétent ».

Les groupes sont en pleine production, des schémas se construisent, les débats s’intensifient. Je sens que les 4 sous-groupes sont assez similaires pour les idées du niveau 1 qui concerne l’évaluation à chaud, je perçois déjà des approches très variées pour le niveau 2 sur la mesure de leurs propres capacités en formation et pour le niveau 3 destiné à mesurer ce qu’ils restitueront dans « leur vraie vie professionnelle », là, certains groupes sont à la peine, alors que d’autres sont très imaginatifs. Comment vais-je pouvoir faire un choix ou faire un mix de ces productions ?

Le temps imparti touche à sa fin, les propositions de chaque sous-groupes sont exposées, débattues. Rapidement, j’ai déjà une affirmation que je ne partage pas encore avec eux. Celle de la capacité collective du grand groupe et des sous-groupes en termes de création d’évaluation et de compréhension des enjeux des évaluations que je peux déjà considérer comme « acquise ». Ils ne l’ont pas encore perçu, toujours à fond dans leur projet à défendre.

Pour le niveau 1, les groupes proposent des tableaux, des graphiques, des jeux d’icônes avec la volonté de sortir un peu des trames courantes de l’abaque de Régnier, trop souvent décriée par les stagiaires.

Ils ont souvent cherché à être créatif, attractif afin de capter les stagiaires pour qu’ils aient envie de remplir ces documents. Ils ont gardé à l’esprit les contraintes d’exploitation par les équipes pédagogiques. Une autre idée à permis de dialoguer sur les machines électroniques à voter avec les réserves liées aux contraintes d’exploitation. Là où, ils insistent fortement, c’est sur la nécessité d’une réelle exploitation de cette évaluation de niveau 1. Il faut que celui qui la remplie soit convaincu qu’elle servira. A ce titre, ces bilans doivent être courts, simples à remplir et très explicites. Ils ont souvent choisis de faire porter un jugement sur les grandes thématiques de la formation, puis sur les contraintes d’organisation. Ils ont également voulu laisser une part à une expression « non cadrée » permettant aux apprenants d’exprimer tous les ressentis sans contrainte.

Sur ce sujet, il a été proposé que le jugement de valeur apporté par cette évaluation de niveau 1 puissent être exposé en plénière avec apprenant, équipe pédago et organisateur de la formation. L’objectif est que pour chacun, dans un esprit de progression et d’objectivité, ils puissent s’exprimer et faire comprendre ce qu’il faudrait aménager pour cette formation. Cette idée n’est autre que le concept de J.M. BARBIER qui s’applique également envers l’équipe pédago et l’équipe d’organisation à travers le jugement des apprenants.Concept évaluation J.M. BARBIER

C’est évidemment souvent appliquée par nombreux organismes de formation, encore faut-il que ces derniers écoutent, entendent et exploitent les apports. Néanmoins, ils évoquent la nécessité de prendre du recul sur les propositions, que toutes ne peuvent être exploitables, les stagiaires n’ayant pas toujours la mesure des contraintes des formations. Je trouve cependant très intéressant que eux en qualité de futurs organisateurs, exposent l’importance de l’expression des apprenants sur leur ressenti, source potentiel d’évolution des formations.

Pour le niveau 2, là, les propositions sont assez différentes mais toutes pertinentes et en phase avec le résultat attendu. Tout d’abord, il y a une proposition d’un entretien individuel de chaque apprenant avec moi afin que je mesure leurs compréhensions des apports dans les différents domaines abordés. Travaillant souvent en sous-groupes, ils proposent également que soit juger les restitutions et travaux collectifs. Si ce jugement collectif ne donne pas un jugement individuel, cela permet tout de même d’avoir une vision sur la compréhension ou pas des attentes globales. Deux autres propositions se rejoignent, ils évoquent l’écriture d’un document qui doit permettre de faire une synthèse individuelle de compréhension des grandes familles de thèmes que nous abordons. Un groupe propose cette synthèse à l’issue de chaque fin de séquence via une forme de métacognition (ce que j’ai appris, ce que je ressens, ce que j’en ferai). L’autre groupe propose sous la forme d’une question ouverte, toujours par famille de thèmes, de faire un résumé de ce qu’ils en ont compris. Par ailleurs, un groupe dans sa proposition pour l’évaluation de niveau 1 suggérait à la fois des questions liées au ressentis à chaud et intégrait des questions de niveau 2 pour rechercher la compréhension des séquences. Il me propose donc que la mesure de leur acquisition de compréhension, de capacités devient donc pour eux une constante tout au long des modules, qu’elles soient confirmées par des écrits leurs imposants une attitude réflexive sur ce que nous avons ensemble construit et sur leurs pratiques.

Pour le niveau 3, il y a deux grandes idées demandant un travail de tous les apprenants. La première est une projection individuelle sur un projet de construction concrète d’une future organisation de formation qui aura été influencé par les journées passées ensemble. La seconde idée s’appuy sur le « et après cette formation ? … ». Que restera-t-il après le retour à la « vraie vie » ? L’idée est une prise de contact « à froid » quelques semaines ou quelques mois après la formation afin de faire un bilan entre moi et chaque apprenant. Ce point d’étape devra permettre de réfléchir sur les apports, sur ce qui a été utilisé, ce qui a été restitué mais également sur d’éventuelles problématiques, des questions sans réponses ou le constat de manque durant nos 5 jours.

Me voilà donc avec 2 pages de paperboard pleines d’idées, ma mission se poursuit : j’en fais quoi ? je retiens quoi ?

Je commence par les féliciter et leur exposer combien de manière collective, ils ont été créatifs et ils ont répondu aux attentes annoncées. Maintenant, j’ai besoin de poser le tout sur une table, de corréler cela avec les objectifs de cette formation. La journée ayant été bien remplie et intense, nous convenons qu’une nuit de repos pour eux et de réflexion pour moi s’impose.

Mon choix sera rapide. Ils l’acteront dès la présentation en reconnaissant que cela permet de véritablement disposer de mesures liés aux conditions d’organisation de la formation, aux connaissances et capacités attendues.

Pour mesurer les 3 niveaux, je vais dans un premier temps construire une évaluation à chaud de niveau 1 à propos du ressenti de chaque séquences tout en leur demandant d’exposer de manière très succinct et ciblé ce qu’ils en ont retenu. A travers cela, je commence à mesurer leur acquisition en niveau 2. Pour revenir sur le niveau 1, je vais également exploiter le questionnaire basique construit par le centre d’organisation support de cette formation qui permettra de porter un jugement sur les conditions de réalisation de la formation.

Pour poursuivre ma mesure de compréhension des apports du niveau 2, je vais comme je l’ai fait depuis le premier jour, relever la qualité de la production de chaque groupe et des individus qui s’expriment lors des restitutions. En parallèle lors des travaux de sous-groupes, je vais prendre le temps – dès que les groupes travaillent en autonomie – de recevoir individuellement les apprenants pour échanger sur la forme, sur le fond, et de les interroger sur leur compréhension tout en recherchant d’éventuelles difficultés qu’ils pourraient rencontrer. En parallèle, un travail individuel d’intersession sera réalisé par les apprenants pour résumer les thématiques les plus importantes de cette formation.

Concernant le niveau 3, je retiens leurs 2 propositions. Pour le travail intersession, ils me résumeront une proposition de future formation à organiser pour laquelle, ils s’approprieront un ou plusieurs concepts évoqués ensemble. Dans un second temps post-formation, je prendrais contact avec eux individuellement pour évoquer ce qui a servi, ce qui est retenu et ce qu’ils leurs manqueraient pour être encore plus performant.

En résumé :

- ils ont compris que les apprenants doivent pouvoir s’exprimer sans censure lors d’un bilan de la formation. Il faut certes faire le tri des propositions et des retours, mais cette «évaluation à chaud » est une source primordiale d’évolutions pédagogiques et/ou organisationnelles.

- ils ont exprimé que l’évaluation des connaissances, des capacités est pertinente par une approche formative tout au long de la formation notamment pour mesurer, jauger l’avancé des apprenants. Ils ont pleinement compris la nécessité de fournir à l’évalué ou de l’aider à comprendre son écart entre ce qui devait faire et ce qu’il a fait. Ils ont assimilé que le concept de décider d’une validation de capacité ne relève pas d’une sanction mais d’une reconnaissance du niveau nécessaire attendu qui est atteint. A l’inverse, le fait de décider d’une non validation est un choix responsable devant faire comprendre aux stagiaires que le niveau référencé n’est pas acquis.

- ils ont pris conscience qu’il faut aussi parfois, en fonction des thèmes abordés, laisser du temps de réflexions, de maturations, d’entraînements avant d’évaluer. Il peut-être nécessaire que le stagiaire reprenne son activité professionnelle, s’approprie ce qu’il a vu en formation, le réinvestisse en situation de travail pour pleinement prendre la mesure de ce que la formation lui a apporté. Ils sont également pris conscience que le hiérarchique qui envoi en formation l’individu puisse lui aussi confirmer ou infirmer ce que la formation a apporté – rapporté.

 

Cette expérience m’aura encore permise de mesurer combien des apprenants responsabilisés, acteurs de leurs formations s’investissent pleinement dans l’apprentissage y compris pour leur propre évaluation.

Elle aura également été source de créativités, d’émergence d’idées démontrant que les apprenants disposent d’une place dans « l’ingénierie pédagogique ».

Pour conclure, je n’ose guère insister sur la démonstration mettant en évidence que la posture pédagogique d’accompagnateur vers la connaissance, vers le développement de capacités se révèle terriblement efficace. Il convient néanmoins de ne pas généraliser par principe cette approche.

Son application pour cette formation résulte d’un choix orienté d’une part en rapport aux sujets traités, d’autre part, lié au profil des apprenants mais également en lien avec les contraintes organisationnelles qui le permettaient.