Każdy dział L&D raportuje na temat szkoleń, a większość z tego, co raportuje, nie odpowiada na pytanie, które faktycznie zadał kierownik: czy kadra potrafi teraz coś, czego nie potrafiła wcześniej.
Ta luka nie bierze się z lenistwa. Uczciwy pomiar jest trudniejszy, niż branża przyznaje, a sporo z tego, co sprzedaje się jako pomiar, to teatr.
Cztery rzeczy zwykle raportowane i ile są warte
| Wskaźnik | Co mierzy | Czego nie mierzy |
|---|---|---|
| Zapisy | Decyzję zakupową | Cokolwiek o kadrze |
| Wskaźnik ukończenia | Czy program dało się skończyć | Czy ktokolwiek się nauczył |
| Ocena satysfakcji | Jak odczuwano doświadczenie | Naukę. Czasem odwrotnie |
| Wynik testu | Zapamiętywanie w warunkach testowych | Wykonanie pracy |
Każdy wiersz jest o krok bliżej prawdziwego pytania, a żaden do niego nie dociera.
Ukończenie warto raportować, bo nieskończony program na pewno nie zadziałał, więc to warunek konieczny. Traktowanie go jako wyniku to błąd.
Ukończenie to próg wejścia, nie wynik. Mówi ci, że program dało się skończyć. Nic nie mówi o tym, co dało samo skończenie.
Dlaczego oceny satysfakcji są gorsze niż bezużyteczne
Ocena na koniec kursu to najczęściej zbierany wskaźnik w szkoleniach korporacyjnych i jeden z najmniej informujących.
Badania nad ocenami studentów i nad miarami reakcji na szkolenie wielokrotnie wykazały słabą korelację między tym, jak wysoko uczestnicy oceniają doświadczenie, a tym, ile faktycznie się nauczyli. W niektórych badaniach zależność biegnie w złą stronę: instrukcje dające lepsze długoterminowe zapamiętywanie są oceniane niżej, bo są trudniejsze.
Mechanizm jest prosty, gdy się go nazwie. Wymagające przypominanie sobie, rozłożenie w czasie i trudność poprawiają zapamiętywanie i wszystkie sprawiają gorsze wrażenie niż płynna, dobrze podana powtórka dająca wygodne poczucie zrozumienia. Uczestnicy oceniają uczucie, a uczucie generuje płynność, nie nauka.
Więc program zoptymalizowany pod oceny satysfakcji dryfuje w stronę bycia przyjemnym. To nie jest neutralny efekt. Aktywnie eliminuje cechy projektowe, które działają.
Dane o satysfakcji warto zbierać z jednego powodu: wykrywania problemów operacyjnych. Jeśli kohorta zgłasza, że platforma się zawiesza albo harmonogram jest niemożliwy do zrealizowania, to prawdziwa informacja. Jako miara efektywności nie powinny w ogóle pojawiać się w raporcie dla kierownictwa.
Problem Kirkpatricka
Większość działów L&D używa jakiejś wersji modelu czterech poziomów: reakcja, nauka, zachowanie, wyniki.
Ten framework jest przydatny do organizowania myślenia i ma strukturalny problem w praktyce: wysiłek i rzetelność gwałtownie spadają w miarę wchodzenia wyżej. Poziom pierwszy jest zbierany powszechnie, bo jest trywialny. Poziom czwarty jest deklarowany często, a właściwie zmierzony niemal nigdy.
Efektem jest kultura ewaluacji, która intensywnie raportuje poziom o najmniejszym znaczeniu, gestykuluje w kierunku poziomu o największym znaczeniu i pomija środek, gdzie jest uczciwa praca.
Poziom trzeci, zmiana zachowania w pracy, jest najbardziej przydatny i najbardziej zaniedbany. Jest trudniejszy niż test i znacznie łatwiejszy niż wyodrębnienie wyników biznesowych, i to właśnie tam powinien się skupić wysiłek ewaluacyjny.
Co da się uczciwie zmierzyć
Cztery rzeczy, w rosnącej kolejności wartości i trudności.
Oceniona kompetencja wobec z góry zdefiniowanego standardu. To wymaga, żeby standard istniał, zanim program się zacznie, dlatego planowanie zakresu i pomiar to ta sama rozmowa. Jeśli standard mówi, że absolwent potrafi uruchomić sterownik PLC na tej klasie sprzętu i samodzielnie rozwiązać typowe tryby awarii, to ocena polega na obserwacji, czy to robi, a nie na teście wielokrotnego wyboru na ten temat.
Utrzymanie po opóźnieniu. Oceń ponownie po trzech miesiącach. To pojedynczy najbardziej niedoceniany pomiar w szkoleniach korporacyjnych i jest tani. Odróżnia też program, który dał trwałą kompetencję, od takiego, który dał tylko dobry tydzień. Spodziewaj się, że druga ocena wypadnie gorzej, i potraktuj wielkość spadku jako wynik.
Obserwowana zmiana zachowania. Ustrukturyzowana obserwacja w pracy wobec konkretnych zachowań, przez przełożonych, którzy wiedzą, czego szukają. Subiektywna i znacznie lepsza niż wynik testu, bo mierzy to, co faktycznie kupiłaś.
Wskaźniki operacyjne blisko powiązane z wyszkoloną kompetencją. Nie przychody firmy. Coś bliższego: wskaźnik naprawy za pierwszym razem dla programu utrzymania ruchu, czas przezbrojenia dla programu lean, wskaźnik wad wykrywanych po wysyłce dla programu jakości, średni czas rozwiązania dla programu wsparcia. Im bliżej wskaźnik znajduje się wyszkolonego zachowania, tym łatwiej przypisać mu ruch.
Ocena wbudowana w silnik
Format Astra Trainer generuje dane oceny jako produkt uboczny, nie osobne ćwiczenie. Pytania praktyczne siedzą w każdej lekcji, quizy następują po każdym temacie, a każdy kurs kończy się dziesięciopytaniowym egzaminem końcowym, więc błędy wychodzą na jaw podczas szkolenia, a nie w pracy.
Zdanie egzaminu końcowego daje zweryfikowany certyfikat z imieniem uczestnika, a certyfikowani uczestnicy dołączają do sieci ekspertów odpowiadających na pytania innych, co samo w sobie jest użytecznym sygnałem o tym, kto naprawdę przyswoił materiał.
To daje ci poziomy pierwszy i drugi modelu wprost z platformy. Poziomy trzeci i czwarty wciąż wymagają obserwacji i danych operacyjnych po twojej stronie, a każdy dostawca twierdzący, że dostarczy je z samej platformy szkoleniowej, przecenia to, co platforma potrafi zobaczyć. Możesz zobaczyć, jak zbudowane są programy tutaj.
Problem przypisania, powiedziany wprost
Powód, dla którego uczciwy pomiar zatrzymuje się przed czystą liczbą ROI, jest taki, że szkolenie nigdy nie jest jedyną rzeczą, która się zmieniła.
W ciągu sześciu miesięcy trwania programu organizacja też zatrudniała, traciła ludzi, zmieniała proces, kupowała sprzęt, zmieniała miks produktowy i doświadczała tego, co zrobił rynek. Jeśli przepustowość się poprawiła, kilka z tych rzeczy to kandydujące wyjaśnienia, a szkolenie jest jednym z nich.
Ustalenie, że szkolenie spowodowało wynik biznesowy, wymaga albo kontrolowanego porównania, albo zestawu założeń na tyle dużego, że odpowiedź jest w większości zdeterminowana przez same założenia.
A właśnie tym są w większości opublikowane liczby ROI szkoleń. Weź poprawę biznesową, załóż, że jej część spowodowało szkolenie, podziel przez koszt, zgłoś wielokrotność. Całą pracę wykonuje założenie i rzadko jest ono jasno wypowiedziane.
Co zapytać, gdy ktoś prezentuje liczbę ROI szkolenia. Jaka była grupa porównawcza? Co jeszcze zmieniło się w tym okresie? Jaka część poprawy była założona, a nie zmierzona, i skąd wzięło się to założenie? Jeśli odpowiedź na pierwsze pytanie brzmi "żadna", liczba jest szacunkiem przebranym za pomiar. To nie czyni jej bezużyteczną, ale powinna być tak oznaczona.
Jest tu godne szacunku stanowisko: dla wielu programów precyzyjne przypisanie finansowe jest nieosiągalne, a właściwą reakcją jest rzetelne zmierzenie kompetencji i zachowania, zgłoszenie wskaźników operacyjnych z odpowiednimi zastrzeżeniami i rezygnacja z wymyślania reszty.
Dział L&D, który mówi "możemy wykazać zdobytą kompetencję i zmienione zachowanie, i możemy pokazać, że te wskaźniki operacyjne się poruszyły, a nie potrafimy wyodrębnić wkładu finansowego" jest bardziej wiarygodny niż taki, który prezentuje wielokrotność z dwoma miejscami po przecinku. Kierownicy pracujący z danymi rozpoznają tę różnicę.
Projektowanie programu, który da się ocenić
Pięć decyzji, wszystkie podjęte przed rozpoczęciem programu, które decydują o tym, czy ewaluacja jest w ogóle możliwa.
Najpierw napisz standard kompetencji, w sprawdzalnych kategoriach. Wszystko inne od tego zależy.
Zbadaj poziom wyjściowy przed szkoleniem. Oceń kohortę wobec standardu na starcie. Bez tego nie odróżnisz tego, co wytworzył program, od tego, co ludzie już wiedzieli, a pokusa potem jest, żeby przypisać całość programowi.
Rozłóż wdrożenie w czasie. To najcenniejsza dostępna sztuczka. Jeśli szkolisz stu ludzi, przeszkol pięćdziesięciu teraz, a pięćdziesięciu za cztery miesiące. Masz grupę porównawczą za darmo, druga grupa nie jest niczym poszkodowana, bo każdy w końcu zostanie przeszkolony, a porównanie operacyjne między grupami to najbliższe prawdziwemu dowodowi, co uzyskasz bez przeprowadzania eksperymentu.
Wybierz wskaźnik operacyjny z wyprzedzeniem i zapisz, jaki ruch by się liczył. Wybieranie wskaźnika po fakcie, spośród tego, co się poruszyło, to sposób, w jaki uczciwe zespoły przypadkiem produkują mylące raporty.
Zaplanuj ocenę kontrolną na trzeci miesiąc, bo inaczej się nie wydarzy.
Co raportować w górę
Krótka struktura, która wytrzymuje weryfikację.
Do czego był program. Stanowiska, liczba osób, standard.
Co ludzie teraz potrafią, ocenione wobec tego standardu, obok poziomu wyjściowego.
Co utrzymało się po trzech miesiącach, wraz ze spadkiem.
Co zmieniło się w pracy, z obserwacji, z uznaną subiektywnością.
Co poruszyło się operacyjnie, z rozłożonym w czasie porównaniem, jeśli je masz, i jasnym stwierdzeniem, co jeszcze się zmieniło, jeśli go nie masz.
Ile to kosztowało, wraz z czasem produktywnym, który zwykle jest największą pozycją i zwykle nieobecną.
Czego wciąż nie możesz powiedzieć. Uwzględnij to celowo. To pozycja, która czyni resztę wiarygodną.
Co z tego wynieść
Ukończenie to próg wejścia. Satysfakcja jest bliska szumowi i czasem wskazuje w złą stronę, bo skuteczna nauka wydaje się trudniejsza niż nieskuteczna.
Oceniona kompetencja wobec standardu napisanego z wyprzedzeniem to uczciwy rdzeń pomiaru, a kontrola po trzech miesiącach to najtańsze dodatkowe działanie o wysokiej wartości.
Rozłóż wdrożenie w czasie. Daje ci grupę porównawczą bez kosztu i to różnica między dowodem a twierdzeniem.
Przypisanie wyniku biznesowego jest naprawdę trudne, a większość opublikowanych wielokrotności ROI to założenia przebrane za pomiary.
A zgłaszanie tego, czego nie możesz stwierdzić, czyni wszystko, co stwierdzasz, bardziej wiarygodnym, nie mniej.
Czy warto zbierać oceny satysfakcji?
Tylko do wykrywania problemów operacyjnych, jak awarie platformy czy niemożliwy do zrealizowania harmonogram. Jako miara efektywności są słabe, a czasem odwrócone, bo trudność poprawia zapamiętywanie i obniża oceny.
Jaka jest najlepsza pojedyncza miara efektywności szkolenia?
Oceniona kompetencja wobec standardu zdefiniowanego przed rozpoczęciem programu, ponownie oceniona po trzech miesiącach, najlepiej wsparta ustrukturyzowaną obserwacją w pracy.
Czy można obliczyć ROI szkolenia?
Rzadko z prawdziwą precyzją. Wszystko inne w organizacji zmienia się podczas programu, więc przypisanie wymaga albo grupy porównawczej, albo dużych założeń. Rozłożenie wdrożenia w czasie daje tę grupę porównawczą tanio.
Co powinniśmy zbadać jako poziom wyjściowy?
Kompetencję kohorty wobec standardu, przed rozpoczęciem szkolenia. Bez poziomu wyjściowego nie da się oddzielić tego, co wytworzył program, od tego, co ludzie już wiedzieli.
Co naprawdę potrafi zmierzyć platforma szkoleniowa?
Ukończenie i ocenioną wiedzę, które Astra Trainer generuje przez praktykę w lekcjach, quizy tematyczne i egzamin końcowy każdego kursu. Zmiana zachowania i wyniki operacyjne wymagają obserwacji i danych po twojej stronie. Możesz zobaczyć, jak zbudowane są programy tutaj.