Ogni funzione L&D riporta sulla formazione e la maggior parte di ciò che viene riportato non risponde alla domanda che il dirigente ha davvero posto, cioè se la forza lavoro può ora fare qualcosa che non poteva fare prima.
Il divario non è pigrizia. Misurarlo onestamente è più difficile di quanto il settore ammetta, e gran parte di ciò che viene venduto come misurazione è teatro.
Le quattro cose di solito riportate, e quanto valgono
| Metrica | Cosa misura | Cosa non misura |
|---|---|---|
| Iscrizioni | Una decisione di approvvigionamento | Niente sulla forza lavoro |
| Tasso di completamento | Se il programma era completabile | Se qualcuno ha imparato |
| Punteggio di soddisfazione | Come si è sentita l'esperienza | L'apprendimento. A volte al contrario |
| Punteggio di valutazione | Il richiamo in condizioni di test | La prestazione sul lavoro |
Ogni riga è un passo più vicino alla vera domanda e nessuna ci arriva.
Il completamento vale la pena riportarlo perché un programma non finito non può aver funzionato, quindi è una condizione necessaria. Trattarlo come il risultato è l'errore.
Il completamento è una soglia minima, non un risultato. Ti dice che il programma era finibile. Non ti dice niente su cosa ha prodotto il finirlo.
Perché i punteggi di soddisfazione sono peggio che inutili
La valutazione a fine corso è la metrica più raccolta nella formazione aziendale e tra le meno informative.
La ricerca sulle valutazioni degli studenti e sulle misure di reazione alla formazione ha ripetutamente trovato una correlazione debole tra quanto gli studenti valutano positivamente un'esperienza e quanto hanno effettivamente imparato. In alcuni studi la relazione va nella direzione sbagliata: l'insegnamento che produce una migliore ritenzione a lungo termine viene valutato più basso, perché è più difficile.
Il meccanismo è semplice una volta enunciato. Il recupero attivo, la distribuzione nel tempo e la difficoltà migliorano tutti la ritenzione e sembrano tutti peggiori di un ripasso fluido e ben confezionato che produce una sensazione confortevole di comprensione. Gli studenti valutano la sensazione, e la sensazione è generata dalla fluidità piuttosto che dall'apprendimento.
Quindi un programma ottimizzato sui punteggi di soddisfazione deriva verso l'essere piacevole. Non è un risultato neutro. Seleziona attivamente contro le caratteristiche di design che funzionano.
Vale la pena raccogliere dati di soddisfazione per una sola cosa: individuare problemi operativi. Se una coorte riporta che la piattaforma si blocca o che gli orari sono impossibili, quella è informazione reale. Come misura di efficacia non dovrebbe comparire in un report a un dirigente.
Il problema di Kirkpatrick
La maggior parte delle funzioni L&D usa una qualche versione del modello a quattro livelli: reazione, apprendimento, comportamento, risultati.
Il framework è utile per organizzare il pensiero e ha un problema strutturale nella pratica, cioè che sforzo e rigore calano bruscamente man mano che si sale. Il livello uno viene raccolto universalmente perché è banale. Il livello quattro viene rivendicato spesso e misurato correttamente quasi mai.
Il risultato è una cultura valutativa che riporta pesantemente sul livello che conta meno, accenna al livello che conta di più, e salta il mezzo dove sta il lavoro onesto.
Il livello tre, il cambiamento di comportamento sul lavoro, è il più utile e il più trascurato. È più difficile di un test e molto più facile che isolare i risultati aziendali, ed è lì che dovrebbe concentrarsi uno sforzo valutativo.
Cosa si può misurare onestamente
Quattro cose, in ordine crescente di valore e difficoltà.
Competenza valutata rispetto a uno standard predefinito. Questo richiede che lo standard esista prima che il programma inizi, il che è il motivo per cui definizione e misurazione sono la stessa conversazione. Se lo standard dice che un diplomato può mettere in servizio un PLC su questa classe di apparecchiature e risolvere i comuni modi di guasto senza supervisione, allora la valutazione consiste nell'osservare qualcuno che lo fa, non in un test a scelta multipla.
Ritenzione dopo un intervallo. Valuta di nuovo a tre mesi. È la misura più sottoutilizzata nella formazione aziendale ed è economica. Distingue anche un programma che ha prodotto capacità duratura da uno che ha prodotto una buona settimana. Aspettati che la seconda valutazione sia peggiore e tratta l'entità del calo come il risultato.
Cambiamento di comportamento osservato. Osservazione strutturata sul lavoro rispetto a comportamenti specifici, da parte di supervisori che sanno cosa cercare. Soggettivo, e considerevolmente migliore di un punteggio a un test perché misura ciò che hai davvero comprato.
Indicatori operativi strettamente legati alla capacità formata. Non il fatturato aziendale. Qualcosa di prossimo: tasso di riparazione al primo tentativo per un programma di manutenzione, tempo di cambio formato per un programma lean, tasso di difetti sfuggiti per un programma di qualità, tempo medio di risoluzione per un programma di supporto. Più l'indicatore è vicino al comportamento formato, più il movimento è attribuibile.
La valutazione dentro il motore
Il formato di Astra Trainer produce dati di valutazione come sottoprodotto invece che come esercizio separato. Domande pratiche stanno dentro ogni lezione, i quiz seguono ogni argomento, e ogni corso termina con un esame finale di dieci domande, così gli errori emergono durante la formazione invece che sul lavoro.
Superare l'esame finale produce un certificato verificato a nome dello studente, e chi si certifica entra in una rete di esperti che risponde alle domande degli altri, il che è di per sé un segnale utile su chi ha davvero trattenuto il materiale.
Questo ti dà i livelli uno e due del modello dentro la piattaforma. I livelli tre e quattro richiedono ancora osservazione e dati operativi dal tuo lato dell'accordo, e qualsiasi fornitore che affermi di poter consegnare questi solo da una piattaforma formativa sta sopravvalutando ciò che una piattaforma può vedere. Puoi vedere come sono strutturati i programmi qui.
Il problema dell'attribuzione, detto chiaramente
La ragione per cui la misurazione onesta si ferma prima di un ROI netto è che la formazione non è mai l'unica cosa cambiata.
Nei sei mesi di un programma, l'organizzazione ha anche assunto, perso persone, cambiato un processo, comprato attrezzature, spostato un mix di prodotto, e vissuto qualunque cosa il mercato abbia fatto. Se il throughput è migliorato, diverse di queste sono spiegazioni candidate e la formazione è una di esse.
Stabilire che la formazione abbia causato un risultato aziendale richiede o un confronto controllato o un insieme di assunzioni abbastanza sostanziale che la risposta è determinata soprattutto dalle assunzioni.
Che è ciò che sono la maggior parte delle cifre di ROI formativo pubblicate. Prendi un miglioramento aziendale, assumi che una quota sia stata causata dalla formazione, dividi per il costo, riporta un moltiplicatore. L'assunzione fa il lavoro e raramente viene dichiarata.
Cosa chiedere quando qualcuno presenta un numero di ROI formativo. Qual era il gruppo di confronto? Cos'altro è cambiato in quel periodo? Quale quota del miglioramento è stata assunta invece che misurata, e da dove viene quell'assunzione? Se la risposta alla prima è "nessuno", il numero è una stima vestita da misurazione. Questo non lo rende inutile, ma andrebbe etichettato come tale.
C'è una posizione rispettabile qui: per molti programmi, l'attribuzione finanziaria precisa non è raggiungibile e la risposta giusta è misurare rigorosamente competenza e comportamento, riportare indicatori operativi con le dovute cautele, e rifiutarsi di inventare il resto.
Una funzione L&D che dice "possiamo dimostrare la capacità acquisita e il comportamento cambiato, e possiamo mostrare che questi indicatori operativi si sono mossi, e non possiamo isolare il contributo finanziario" è più credibile di una che presenta un moltiplicatore a due decimali. I dirigenti che lavorano con i dati riconoscono la differenza.
Progettare un programma che puoi valutare
Cinque decisioni, tutte prese prima che il programma inizi, che determinano se la valutazione è possibile.
Scrivi prima lo standard di competenza, in termini verificabili. Tutto il resto dipende da questo.
Fai una linea di base prima di formare. Valuta la coorte rispetto allo standard all'inizio. Senza di essa non puoi distinguere cosa ha prodotto il programma da cosa le persone già sapevano, e la tentazione dopo è attribuire tutto al programma.
Scaglione l'implementazione. È il trucco con il valore più alto disponibile. Se cento persone devono essere formate, formane cinquanta ora e cinquanta tra quattro mesi. Ottieni un gruppo di confronto gratis, il secondo gruppo non è svantaggiato perché tutti vengono formati, e il confronto operativo tra i due è la cosa più vicina a una prova reale che otterrai senza condurre un esperimento.
Scegli l'indicatore operativo in anticipo e scrivi cosa conterebbe come movimento. Scegliere l'indicatore dopo, tra qualunque cosa si sia mossa, è come team oneste producono accidentalmente report fuorvianti.
Programma la valutazione di follow-up a tre mesi nel piano, perché altrimenti non avverrà.
Cosa riportare verso l'alto
Una struttura breve che regge al controllo.
Per cosa era il programma. I ruoli, il numero di persone, lo standard.
Cosa le persone ora sanno fare, valutato rispetto a quello standard, con la linea di base accanto.
Cosa è rimasto a tre mesi, incluso il calo.
Cosa è cambiato sul lavoro, dall'osservazione, con la sua soggettività riconosciuta.
Cosa si è mosso a livello operativo, con il confronto scaglionato se ne hai uno e una dichiarazione chiara su cos'altro è cambiato se non ne hai uno.
Quanto è costato, incluso il tempo produttivo, che è di solito la voce più grande e di solito mancante.
Cosa non puoi ancora dire. Includilo deliberatamente. È l'elemento che rende credibile il resto.
Cosa portare a casa da questo articolo
Il completamento è una soglia minima. La soddisfazione è vicina al rumore e a volte punta nella direzione sbagliata, perché l'apprendimento efficace sembra più difficile di quello inefficace.
La competenza valutata rispetto a uno standard scritto in anticipo è il nucleo onesto della misurazione, e un follow-up a tre mesi è l'aggiunta a più alto valore disponibile a basso costo.
Scaglione l'implementazione. Ti dà un gruppo di confronto a costo zero ed è la differenza tra prova e affermazione.
L'attribuzione dei risultati aziendali è genuinamente difficile e la maggior parte dei moltiplicatori ROI pubblicati sono assunzioni presentate come misurazioni.
E riportare ciò che non puoi concludere rende più credibile, non meno, tutto ciò che concludi.
Vale la pena raccogliere i punteggi di soddisfazione?
Solo per individuare problemi operativi come guasti della piattaforma o orari impossibili. Come misura di efficacia sono deboli e a volte invertiti, perché la difficoltà migliora la ritenzione e abbassa le valutazioni.
Qual è la migliore misura singola dell'efficacia della formazione?
La competenza valutata rispetto a uno standard definito prima dell'inizio del programma, rivalutata a tre mesi, idealmente sostenuta da osservazione strutturata sul lavoro.
Il ROI della formazione può essere calcolato?
Raramente con vera precisione. Tutto il resto nell'organizzazione cambia durante un programma, quindi l'attribuzione richiede un gruppo di confronto o grandi assunzioni. Scaglionare l'implementazione ti dà il gruppo di confronto a basso costo.
Cosa dovremmo mettere come linea di base?
La competenza della coorte rispetto allo standard, prima che la formazione inizi. Senza una linea di base non puoi separare ciò che il programma ha prodotto da ciò che le persone già sapevano.
Cosa può misurare davvero una piattaforma formativa?
Completamento e conoscenza valutata, che Astra Trainer produce tramite pratica dentro le lezioni, quiz per argomento ed esame finale per corso. Il cambiamento di comportamento e i risultati operativi richiedono osservazione e dati dal tuo lato. Puoi vedere come sono strutturati i programmi qui.