Chaque fonction formation rapporte sur ses programmes, et la plupart de ce qui est rapporté ne répond pas à la question que le dirigeant a réellement posée, à savoir si la main-d'œuvre peut désormais faire quelque chose qu'elle ne pouvait pas faire avant.
Cet écart n'est pas de la paresse. Mesurer ça honnêtement est plus difficile que ce que le secteur admet, et une bonne partie de ce qui se vend comme mesure relève du théâtre.
Les quatre choses généralement rapportées, et ce que chacune vaut
| Métrique | Ce qu'elle mesure | Ce qu'elle ne mesure pas |
|---|---|---|
| Inscriptions | Une décision d'achat | Quoi que ce soit sur la main-d'œuvre |
| Taux de complétion | Si le programme était finissable | Si quelqu'un a appris |
| Score de satisfaction | Comment l'expérience a été vécue | L'apprentissage. Parfois à l'inverse |
| Score d'évaluation | Le rappel en conditions de test | La performance sur le terrain |
Chaque ligne se rapproche un peu plus de la vraie question, et aucune n'y arrive.
La complétion vaut la peine d'être rapportée, car un programme non terminé n'a pas pu fonctionner, donc c'est une condition nécessaire. La traiter comme le résultat, c'est l'erreur.
La complétion est un plancher, pas un résultat. Elle vous dit que le programme était possible à terminer. Elle ne vous dit rien sur ce que cette complétion a produit.
Pourquoi les scores de satisfaction sont pires qu'inutiles
La notation de fin de cours est la métrique la plus collectée en formation d'entreprise, et l'une des moins informatives.
Les recherches sur les évaluations d'étudiants et sur les mesures de réaction à la formation ont répété trouvé une corrélation faible entre à quel point les apprenants notent bien une expérience et combien ils ont réellement appris. Dans certaines études, la relation va dans le mauvais sens : un enseignement qui produit une meilleure rétention à long terme est noté plus bas, parce que c'est plus difficile.
Le mécanisme est simple une fois énoncé. La récupération active, l'espacement et la difficulté améliorent tous la rétention et se sentent tous pires qu'une révision fluide et bien menée qui produit un confortable sentiment de compréhension. Les apprenants notent le ressenti, et le ressenti vient de la fluidité plutôt que de l'apprentissage.
Donc un programme optimisé sur les scores de satisfaction dérive vers le plaisant. Ce n'est pas un résultat neutre. Ça sélectionne activement contre les caractéristiques de conception qui fonctionnent.
Les données de satisfaction valent d'être collectées pour une seule chose : détecter des problèmes opérationnels. Si une cohorte signale que la plateforme plante ou que le calendrier est impossible, c'est une information réelle. Comme mesure d'efficacité, ça ne devrait pas figurer dans un rapport à un dirigeant.
Le problème Kirkpatrick
La plupart des fonctions formation utilisent une version du modèle à quatre niveaux : réaction, apprentissage, comportement, résultats.
Le cadre est utile pour organiser la pensée, et il a un problème structurel en pratique : l'effort et la rigueur chutent brutalement à mesure qu'on monte les niveaux. Le niveau un est collecté universellement parce que c'est trivial. Le niveau quatre est revendiqué fréquemment et mesuré correctement presque jamais.
Le résultat, c'est une culture d'évaluation qui rapporte abondamment sur le niveau qui compte le moins, esquisse le niveau qui compte le plus, et saute le milieu, là où se trouve le travail honnête.
Le niveau trois, le changement de comportement sur le terrain, est le plus utile et le plus négligé. C'est plus difficile qu'un test et bien plus facile qu'isoler des résultats business, et c'est là qu'un effort d'évaluation devrait se concentrer.
Ce qui peut être mesuré honnêtement
Quatre choses, par ordre croissant de valeur et de difficulté.
La compétence évaluée face à un standard prédéfini. Ça exige que le standard existe avant le début du programme, ce qui explique pourquoi le cadrage et la mesure sont la même conversation. Si le standard dit qu'un diplômé peut mettre en service un automate programmable sur cette classe d'équipement et résoudre les modes de défaillance courants sans supervision, alors l'évaluation consiste à regarder quelqu'un le faire, pas un QCM à ce sujet.
La rétention à retardement. Évaluez à nouveau à trois mois. C'est la mesure la plus sous-utilisée en formation d'entreprise, et elle est bon marché. Elle distingue aussi un programme qui a produit une compétence durable d'un qui a produit une bonne semaine. Attendez-vous à ce que la deuxième évaluation soit moins bonne, et traitez l'ampleur de la baisse comme le résultat.
Le changement de comportement observé. Une observation structurée sur le terrain face à des comportements précis, par des superviseurs qui savent ce qu'ils cherchent. Subjectif, et considérablement meilleur qu'un score de test, car ça mesure ce que vous avez réellement acheté.
Les indicateurs opérationnels étroitement liés à la compétence formée. Pas le chiffre d'affaires de l'entreprise. Quelque chose de proche : taux de réparation du premier coup pour un programme de maintenance, temps de changement de série pour un programme lean, taux de défauts échappés pour un programme qualité, temps moyen de résolution pour un programme support. Plus l'indicateur est proche du comportement formé, plus le mouvement est attribuable.
L'évaluation intégrée au moteur
Le format d'Astra Trainer produit des données d'évaluation comme sous-produit plutôt que comme exercice séparé. Des questions de pratique se trouvent dans chaque leçon, des quiz suivent chaque sujet, et chaque cours se termine par un examen final de dix questions, si bien que les erreurs apparaissent pendant la formation plutôt que sur le terrain.
Réussir l'examen final produit un certificat vérifié au nom de l'apprenant, et les apprenants certifiés rejoignent un réseau d'experts qui répond aux questions des autres, ce qui est en soi un signal exploitable sur qui a vraiment retenu la matière.
Ça vous donne les niveaux un et deux du modèle directement dans la plateforme. Les niveaux trois et quatre exigent toujours de l'observation et des données opérationnelles de votre côté, et tout fournisseur qui prétend les livrer depuis une plateforme de formation seule surévalue ce qu'une plateforme peut voir. Vous pouvez voir comment les programmes sont structurés ici.
Le problème d'attribution, dit clairement
La raison pour laquelle une mesure honnête s'arrête avant un chiffre de ROI net, c'est que la formation n'est jamais la seule chose qui change.
Sur les six mois d'un programme, l'organisation a aussi recruté, perdu des gens, changé un processus, acheté de l'équipement, modifié un mix produit, et vécu ce que le marché a fait. Si la production s'est améliorée, plusieurs de ces facteurs sont des explications candidates, et la formation en est une.
Établir que la formation a causé un résultat business exige soit une comparaison contrôlée, soit un ensemble d'hypothèses assez lourd pour que la réponse soit surtout déterminée par les hypothèses.
Ce qui décrit la plupart des chiffres de ROI de formation publiés. Prenez une amélioration business, supposez qu'une part est due à la formation, divisez par le coût, rapportez un multiple. L'hypothèse fait tout le travail et elle est rarement énoncée.
Ce qu'il faut demander quand quelqu'un présente un chiffre de ROI de formation. Quel était le groupe de comparaison ? Qu'est-ce qui a changé d'autre pendant cette période ? Quelle part de l'amélioration a été supposée plutôt que mesurée, et d'où vient cette hypothèse ? Si la réponse à la première question est « aucun », le chiffre est une estimation déguisée en mesure. Ça ne le rend pas inutile, mais il devrait être étiqueté comme tel.
Il existe une position respectable ici : pour beaucoup de programmes, l'attribution financière précise n'est pas atteignable, et la bonne réponse consiste à mesurer rigoureusement la compétence et le comportement, à rapporter les indicateurs opérationnels avec les réserves appropriées, et à refuser d'inventer le reste.
Une fonction formation qui dit « nous pouvons démontrer une compétence acquise et un comportement modifié, et nous pouvons montrer que ces indicateurs opérationnels ont bougé, et nous ne pouvons pas isoler la contribution financière » est plus crédible qu'une qui présente un multiple à deux décimales. Les dirigeants qui travaillent avec des données reconnaissent la différence.
Concevoir un programme évaluable
Cinq décisions, toutes prises avant le début du programme, qui déterminent si l'évaluation est possible du tout.
Écrivez le standard de compétence en premier, en termes vérifiables. Tout le reste en dépend.
Faites un état des lieux avant de former. Évaluez la cohorte face au standard au démarrage. Sans ça, vous ne pouvez pas distinguer ce que le programme a produit de ce que les gens savaient déjà, et la tentation ensuite est de tout attribuer au programme.
Échelonnez le déploiement. C'est l'astuce la plus rentable disponible. Si cent personnes doivent être formées, formez-en cinquante maintenant et cinquante dans quatre mois. Vous avez un groupe de comparaison gratuit, le second groupe n'est pas désavantagé puisque tout le monde finit par être formé, et la comparaison opérationnelle entre les deux est ce qui se rapproche le plus d'une vraie preuve sans mener une expérience formelle.
Choisissez l'indicateur opérationnel à l'avance et notez quel mouvement compterait. Choisir l'indicateur après coup, parmi ce qui a bougé, c'est comment des équipes honnêtes produisent accidentellement des rapports trompeurs.
Planifiez l'évaluation de suivi à trois mois dès le départ, car sinon elle n'aura pas lieu.
Ce qu'il faut remonter à la direction
Une structure courte qui résiste à l'examen.
À quoi servait le programme. Les postes, l'effectif, le standard.
Ce que les gens savent faire désormais, évalué face à ce standard, avec l'état des lieux initial à côté.
Ce qui a tenu à trois mois, baisse incluse.
Ce qui a changé sur le terrain, issu de l'observation, avec sa subjectivité reconnue.
Ce qui a bougé opérationnellement, avec la comparaison échelonnée si vous en avez une, et une déclaration claire de ce qui a changé d'autre si vous n'en avez pas.
Ce que ça a coûté, temps productif inclus, généralement la plus grosse ligne et généralement absente.
Ce que vous ne pouvez toujours pas affirmer. Incluez ça délibérément. C'est l'élément qui rend le reste crédible.
Ce qu'il faut retenir
La complétion est un plancher. La satisfaction est proche du bruit et va parfois dans le mauvais sens, car un apprentissage efficace se sent plus difficile qu'un apprentissage inefficace.
La compétence évaluée face à un standard écrit à l'avance est le cœur honnête de la mesure, et un suivi à trois mois est l'ajout le plus rentable et le moins cher disponible.
Échelonnez le déploiement. Ça vous donne un groupe de comparaison gratuit, et c'est la différence entre une preuve et une affirmation.
L'attribution des résultats business est authentiquement difficile, et la plupart des multiples de ROI publiés sont des hypothèses présentées comme des mesures.
Et rapporter ce que vous ne pouvez pas conclure rend tout ce que vous concluez plus crédible, pas moins.
Les scores de satisfaction valent-ils la peine d'être collectés ?
Seulement pour détecter des problèmes opérationnels comme des pannes de plateforme ou un calendrier impossible. Comme mesure d'efficacité, ils sont faibles et parfois inversés, car la difficulté améliore la rétention tout en abaissant les notes.
Quelle est la meilleure mesure de l'efficacité de la formation ?
La compétence évaluée face à un standard défini avant le début du programme, réévaluée à trois mois, idéalement appuyée par une observation structurée sur le terrain.
Le ROI de la formation peut-il être calculé ?
Rarement avec une vraie précision. Tout le reste change dans l'organisation pendant un programme, donc l'attribution exige soit un groupe de comparaison, soit de lourdes hypothèses. Échelonner le déploiement donne le groupe de comparaison à moindre coût.
Que devrions-nous mesurer en état des lieux ?
La compétence de la cohorte face au standard, avant le début de la formation. Sans état des lieux initial, vous ne pouvez pas séparer ce que le programme a produit de ce que les gens savaient déjà.
Que peut réellement mesurer une plateforme de formation ?
La complétion et la connaissance évaluée, qu'Astra Trainer produit via la pratique intégrée aux leçons, les quiz de sujet et un examen final. Le changement de comportement et les résultats opérationnels demandent de l'observation et des données de votre côté. Vous pouvez voir comment les programmes sont structurés ici.