Toda área de T&D reporta sobre treinamento, e a maior parte do que é reportado não responde à pergunta que o executivo realmente fez, que é se a força de trabalho agora consegue fazer algo que não conseguia antes.
A lacuna não é preguiça. Medir isso com honestidade é mais difícil do que a indústria admite, e boa parte do que é vendido como medição é teatro.
As quatro coisas geralmente reportadas, e o que cada uma vale
| Métrica | O que mede | O que não mede |
|---|---|---|
| Inscrição | Uma decisão de compra | Qualquer coisa sobre a força de trabalho |
| Taxa de conclusão | Se o programa era terminável | Se alguém aprendeu |
| Nota de satisfação | Como a experiência pareceu | Aprendizado. Às vezes de forma inversa |
| Nota de avaliação | Recordação em condições de teste | Desempenho no trabalho |
Cada linha é um passo mais perto da pergunta real, e nenhuma delas chega lá.
Vale a pena reportar a conclusão porque um programa não terminado não pode ter funcionado, então ela é uma condição necessária. O erro é tratá-la como o resultado.
Conclusão é um piso, não um resultado. Ela diz que o programa era possível de terminar. Não diz nada sobre o que terminá-lo produziu.
Por que notas de satisfação são piores do que inúteis
A avaliação de fim de curso é a métrica mais coletada no aprendizado corporativo e uma das menos informativas.
Pesquisas sobre avaliações de alunos e sobre medidas de reação a treinamentos encontraram repetidamente uma correlação fraca entre a nota que os alunos dão a uma experiência e o quanto eles realmente aprenderam. Em alguns estudos, a relação vai na direção contrária: instrução que produz melhor retenção de longo prazo recebe notas mais baixas, porque é mais difícil.
O mecanismo é simples de explicar. Recuperação com esforço, espaçamento e dificuldade melhoram a retenção, e todos parecem piores do que uma revisão fluente e bem entregue que produz uma sensação confortável de compreensão. Os alunos avaliam a sensação, e a sensação é gerada pela fluência, não pelo aprendizado.
Então um programa otimizado para notas de satisfação vai deslizando na direção de ser agradável. Isso não é um resultado neutro. Ele seleciona ativamente contra as características de design que funcionam.
Dados de satisfação valem a pena coletar por um único motivo: detectar problemas operacionais. Se uma turma relata que a plataforma trava ou que o horário é inviável, isso é informação real. Como medida de eficácia, não deveria aparecer em um relatório para um executivo.
O problema de Kirkpatrick
A maioria das áreas de T&D usa alguma versão do modelo de quatro níveis: reação, aprendizado, comportamento, resultados.
O modelo é útil para organizar o pensamento, e tem um problema estrutural na prática, que é o esforço e o rigor caírem drasticamente à medida que se sobe nos níveis. O nível um é coletado universalmente porque é trivial. O nível quatro é reivindicado com frequência e medido de verdade quase nunca.
O resultado é uma cultura de avaliação que reporta pesadamente sobre o nível que menos importa, faz um aceno para o nível que mais importa, e pula o meio, onde está o trabalho honesto.
O nível três, mudança de comportamento no trabalho, é o mais útil e o mais negligenciado. É mais difícil do que um teste e bem mais fácil do que isolar resultados de negócio, e é onde o esforço de avaliação deveria se concentrar.
O que pode ser medido honestamente
Quatro coisas, em ordem crescente de valor e dificuldade.
Competência avaliada contra um padrão pré-definido. Isso exige que o padrão exista antes de o programa começar, e é por isso que dimensionamento e medição são a mesma conversa. Se o padrão diz que um formado consegue comissionar um CLP nessa classe de equipamento e resolver os modos de falha comuns sem supervisão, então a avaliação é observar alguém fazendo isso, não uma prova de múltipla escolha sobre o assunto.
Retenção com atraso. Avalie de novo aos três meses. Essa é, sozinha, a medição mais subutilizada no aprendizado corporativo, e é barata. Ela também distingue um programa que produziu capacidade duradoura de um que produziu uma boa semana. Espere que a segunda avaliação seja pior, e trate o tamanho da queda como a descoberta.
Mudança de comportamento observada. Observação estruturada no trabalho contra comportamentos específicos, feita por supervisores que sabem o que estão procurando. Subjetiva, e consideravelmente melhor do que uma nota de prova porque mede a coisa que você realmente comprou.
Indicadores operacionais estreitamente ligados à capacidade treinada. Não a receita da empresa. Algo próximo: taxa de reparo na primeira visita para um programa de manutenção, tempo de troca para um programa lean, taxa de defeitos que escapam para um programa de qualidade, tempo médio de resolução para um programa de suporte. Quanto mais perto o indicador estiver do comportamento treinado, mais atribuível é o movimento.
Avaliação dentro do motor
O formato do Astra Trainer produz dados de avaliação como subproduto, não como um exercício à parte. Perguntas de prática ficam dentro de cada lição, questionários seguem cada tópico, e cada curso termina com uma prova final de dez perguntas, então os erros aparecem durante o treinamento, não no trabalho.
Passar na prova final produz um certificado verificado com o nome do aluno, e alunos certificados entram em uma rede de especialistas que responde perguntas de outras pessoas, o que já é, em si, um sinal utilizável de quem realmente reteve o material.
Isso te dá os níveis um e dois do modelo dentro da plataforma. Os níveis três e quatro ainda exigem observação e dados operacionais do seu lado do acordo, e qualquer fornecedor que alegue entregar esses níveis só a partir de uma plataforma de aprendizado está exagerando o que uma plataforma consegue enxergar. Você pode ver como os programas são estruturados aqui.
O problema de atribuição, dito com clareza
O motivo de a medição honesta parar antes de um número limpo de ROI é que o treinamento nunca é a única coisa que mudou.
Ao longo dos seis meses de um programa, a organização também contratou, perdeu gente, mudou um processo, comprou equipamento, mudou o mix de produtos, e passou por o que quer que o mercado tenha feito. Se a produtividade melhorou, várias dessas coisas são explicações candidatas, e o treinamento é uma delas.
Estabelecer que o treinamento causou um resultado de negócio exige uma comparação controlada, ou um conjunto de suposições substancial o suficiente para que a resposta seja majoritariamente determinada pelas próprias suposições.
E é isso que a maioria dos números publicados de ROI de treinamento é. Pega-se uma melhoria de negócio, presume-se que uma parte dela foi causada pelo treinamento, divide-se pelo custo, reporta-se um múltiplo. A suposição é quem está fazendo o trabalho, e raramente é declarada.
O que perguntar quando alguém apresenta um número de ROI de treinamento. Qual era o grupo de comparação? O que mais mudou nesse período? Que parcela da melhoria foi presumida em vez de medida, e de onde vem essa suposição? Se a resposta à primeira for "nenhum", o número é uma estimativa vestida de medição. Isso não a torna inútil, mas ela precisa ser rotulada como tal.
Existe uma posição respeitável aqui: para muitos programas, a atribuição financeira precisa não é alcançável, e a resposta certa é medir competência e comportamento com rigor, reportar indicadores operacionais com as ressalvas apropriadas, e recusar a inventar o resto.
Uma área de T&D que diz "conseguimos demonstrar capacidade ganha e comportamento mudado, conseguimos mostrar que esses indicadores operacionais se moveram, e não conseguimos isolar a contribuição financeira" está sendo mais crível do que uma que apresenta um múltiplo com duas casas decimais. Executivos que trabalham com dados reconhecem a diferença.
Projetando um programa que você consegue avaliar
Cinco decisões, todas tomadas antes de o programa começar, que determinam se a avaliação é sequer possível.
Escreva o padrão de competência primeiro, em termos verificáveis. Tudo o mais depende disso.
Faça a linha de base antes de treinar. Avalie a turma contra o padrão no início. Sem isso, você não consegue distinguir o que o programa produziu do que as pessoas já sabiam, e a tentação depois é atribuir tudo ao programa.
Escalone o lançamento. Esse é o truque de maior valor disponível. Se cem pessoas estão sendo treinadas, treine cinquenta agora e cinquenta em quatro meses. Você ganha um grupo de comparação de graça, o segundo grupo não sai em desvantagem porque todo mundo acaba sendo treinado, e a comparação operacional entre os dois é a coisa mais próxima de evidência real que você vai conseguir sem rodar um experimento.
Escolha o indicador operacional com antecedência e escreva o que contaria como movimento. Escolher o indicador depois, a partir do que quer que tenha se movido, é como equipes honestas acabam produzindo relatórios enganosos sem querer.
Agende a avaliação de acompanhamento para os três meses já no planejamento, porque de outra forma ela não vai acontecer.
O que reportar para cima
Uma estrutura curta que resiste a escrutínio.
Para que o programa existiu. As funções, o número de pessoas, o padrão.
O que as pessoas conseguem fazer agora, avaliado contra esse padrão, com a linha de base ao lado.
O que se manteve aos três meses, incluindo a queda.
O que mudou no trabalho, a partir de observação, com a subjetividade reconhecida.
O que se moveu operacionalmente, com a comparação escalonada se você tiver uma, e uma declaração clara do que mais mudou se você não tiver.
O que custou, incluindo o tempo produtivo, que costuma ser a maior linha e costuma estar ausente.
O que você ainda não consegue dizer. Inclua isso deliberadamente. É o item que torna o resto crível.
O que levar deste artigo
Conclusão é um piso. Satisfação está perto de ser ruído, e às vezes aponta na direção errada, porque aprendizado eficaz parece mais difícil do que aprendizado ineficaz.
Competência avaliada contra um padrão escrito com antecedência é o núcleo honesto da medição, e um acompanhamento aos três meses é o acréscimo mais barato de alto valor disponível.
Escalone o lançamento. Isso te dá um grupo de comparação sem custo, e é a diferença entre evidência e afirmação.
Atribuição de resultado de negócio é genuinamente difícil, e a maioria dos múltiplos de ROI publicados são suposições apresentadas como medições.
E reportar o que você não consegue concluir torna tudo o que você conclui mais crível, não menos.
Vale a pena coletar notas de satisfação?
Só para detectar problemas operacionais, como falhas na plataforma ou horários inviáveis. Como medida de eficácia, elas são fracas e às vezes invertidas, porque a dificuldade melhora a retenção e reduz as notas.
Qual é a melhor medida isolada de eficácia de treinamento?
Competência avaliada contra um padrão definido antes de o programa começar, reavaliada aos três meses, idealmente apoiada por observação estruturada no trabalho.
É possível calcular o ROI de treinamento?
Raramente com precisão real. Tudo o mais na organização muda durante um programa, então a atribuição exige um grupo de comparação ou grandes suposições. Escalonar o lançamento te dá o grupo de comparação de forma barata.
O que devemos usar como linha de base?
A competência da turma contra o padrão, antes de o treinamento começar. Sem uma linha de base, você não consegue separar o que o programa produziu do que as pessoas já sabiam.
O que uma plataforma de aprendizado realmente consegue medir?
Conclusão e conhecimento avaliado, que o Astra Trainer produz através de prática dentro das lições, questionários por tópico e uma prova final por curso. Mudança de comportamento e resultados operacionais precisam de observação e dados do seu lado. Você pode ver como os programas são estruturados aqui.