Jede L&D-Funktion berichtet über Training, und das meiste davon beantwortet nicht die Frage, die die Führungskraft eigentlich gestellt hat: ob die Belegschaft jetzt etwas kann, das sie vorher nicht konnte.
Die Lücke liegt nicht an Bequemlichkeit. Das ehrlich zu messen ist schwerer, als die Branche zugibt, und vieles, was als Messung verkauft wird, ist Theater.
Die vier üblicherweise berichteten Dinge, und was jedes wert ist
| Kennzahl | Was sie misst | Was sie nicht misst |
|---|---|---|
| Einschreibung | Eine Beschaffungsentscheidung | Irgendetwas über die Belegschaft |
| Abschlussquote | Ob das Programm durchführbar war | Ob jemand etwas gelernt hat |
| Zufriedenheitswert | Wie sich das Erlebnis anfühlte | Lernerfolg. Manchmal umgekehrt |
| Testergebnis | Abruf unter Testbedingungen | Leistung am Arbeitsplatz |
Jede Zeile kommt der eigentlichen Frage einen Schritt näher, und keine kommt an.
Abschluss lohnt sich zu berichten, weil ein unvollendetes Programm nicht gewirkt haben kann, also ist es eine notwendige Bedingung. Ihn als Ergebnis zu behandeln, ist der Fehler.
Abschluss ist eine Untergrenze, kein Ergebnis. Er sagt dir, dass das Programm durchführbar war. Er sagt dir nichts darüber, was das Durchführen hervorgebracht hat.
Warum Zufriedenheitswerte schlimmer als nutzlos sind
Die Endbewertung eines Kurses ist die meisterhobene Kennzahl im Corporate Learning und eine der am wenigsten aussagekräftigen.
Forschung zu studentischen Bewertungen und zu Trainingsreaktionsmessungen findet wiederholt eine schwache Korrelation zwischen der Bewertung eines Erlebnisses durch Lernende und dem tatsächlichen Lernerfolg. In manchen Studien läuft der Zusammenhang sogar andersherum: Unterricht, der bessere Langzeitbehaltensraten produziert, wird niedriger bewertet, weil er schwerer ist.
Der Mechanismus ist unkompliziert, sobald man ihn ausspricht. Anstrengender Abruf, Verteilung und Schwierigkeit verbessern alle das Behalten, und alle fühlen sich schlechter an als flüssiges, gut vorgetragenes Wiederholen, das ein angenehmes Verständnisgefühl erzeugt. Lernende bewerten das Gefühl, und das Gefühl entsteht durch Flüssigkeit, nicht durch Lernerfolg.
Ein auf Zufriedenheitswerte optimiertes Programm driftet also dahin, angenehm zu sein. Das ist kein neutrales Ergebnis. Es selektiert aktiv gegen die Designmerkmale, die wirken.
Zufriedenheitsdaten lohnen sich für genau eine Sache: das Erkennen operativer Probleme. Meldet eine Kohorte, dass die Plattform abstürzt oder das Timing unmöglich ist, ist das echte Information. Als Wirksamkeitsmaß sollte sie in einem Bericht an eine Führungskraft nicht auftauchen.
Das Kirkpatrick-Problem
Die meisten L&D-Funktionen nutzen eine Version des Vier-Ebenen-Modells: Reaktion, Lernen, Verhalten, Ergebnisse.
Das Rahmenwerk ist nützlich, um das Denken zu organisieren, und hat in der Praxis ein strukturelles Problem: Aufwand und Strenge fallen steil ab, je höher man klettert. Ebene eins wird universell erhoben, weil sie trivial ist. Ebene vier wird häufig behauptet und fast nie richtig gemessen.
Das Ergebnis ist eine Evaluationskultur, die intensiv über die Ebene berichtet, die am wenigsten zählt, bei der Ebene, die am meisten zählt, nur gestikuliert, und die Mitte überspringt, wo die ehrliche Arbeit liegt.
Ebene drei, Verhaltensänderung am Arbeitsplatz, ist die nützlichste und am meisten vernachlässigte. Sie ist schwerer als ein Test und deutlich einfacher, als Geschäftsergebnisse zu isolieren, und genau dort sollte sich ein Evaluationsaufwand konzentrieren.
Was sich ehrlich messen lässt
Vier Dinge, in aufsteigender Reihenfolge von Wert und Schwierigkeit.
Bewertete Kompetenz gegen einen vordefinierten Standard. Das verlangt, dass der Standard existiert, bevor das Programm startet, weshalb Scoping und Messung dasselbe Gespräch sind. Sagt der Standard, dass eine Absolventin eine SPS auf dieser Anlagenklasse in Betrieb nehmen und die gängigen Fehlermodi selbstständig beheben kann, dann besteht die Bewertung darin, jemandem beim Tun zuzuschauen, nicht in einer Multiple-Choice-Klausur darüber.
Behalten mit zeitlichem Abstand. Bewerte erneut nach drei Monaten. Das ist die am wenigsten genutzte Messung im Corporate Learning und dabei günstig. Sie unterscheidet außerdem ein Programm, das dauerhafte Fähigkeit produziert hat, von einem, das nur eine gute Woche produziert hat. Erwarte, dass die zweite Bewertung schlechter ausfällt, und behandle die Größe des Rückgangs als Befund.
Beobachtete Verhaltensänderung. Strukturierte Beobachtung am Arbeitsplatz gegen konkrete Verhaltensweisen, durch Vorgesetzte, die wissen, wonach sie schauen. Subjektiv, und deutlich besser als ein Testergebnis, weil sie das misst, was du eigentlich gekauft hast.
Operative Kennzahlen, eng an die trainierte Fähigkeit gekoppelt. Nicht Unternehmensumsatz. Etwas Naheliegendes: Erstreparaturquote für ein Wartungsprogramm, Umrüstzeit für ein Lean-Programm, Fehlerquote für ein Qualitätsprogramm, mittlere Lösungszeit für ein Supportprogramm. Je näher die Kennzahl am trainierten Verhalten sitzt, desto zurechenbarer ist die Bewegung.
Bewertung im Motor selbst
Das Format von Astra Trainer produziert Bewertungsdaten als Nebenprodukt statt als separate Übung. Übungsfragen sitzen in jeder Lektion, Quizze folgen auf jedes Thema, und jeder Kurs endet mit einer zehn Fragen umfassenden Abschlussprüfung, sodass Fehler während des Trainings auftauchen statt am Arbeitsplatz.
Wer die Abschlussprüfung besteht, bekommt ein verifiziertes Zertifikat mit dem eigenen Namen, und zertifizierte Lernende treten einem Expertennetzwerk bei, das die Fragen anderer beantwortet – selbst ein nutzbares Signal darüber, wer den Stoff wirklich behalten hat.
Das liefert dir die Ebenen eins und zwei des Modells direkt aus der Plattform. Ebenen drei und vier verlangen weiterhin Beobachtung und operative Daten von eurer Seite, und jeder Anbieter, der behauptet, das allein aus einer Lernplattform liefern zu können, übertreibt, was eine Plattform sehen kann. Du kannst hier sehen, wie Programme aufgebaut sind.
Das Zuordnungsproblem, klar benannt
Der Grund, warum ehrliche Messung vor einer sauberen ROI-Zahl haltmacht, ist, dass Training nie das Einzige ist, was sich verändert.
Über die sechs Monate eines Programms hat die Organisation auch eingestellt, Leute verloren, einen Prozess geändert, Ausrüstung gekauft, den Produktmix verschoben und erlebt, was auch immer der Markt getan hat. Verbesserte sich der Durchsatz, sind mehrere davon Kandidaten für die Erklärung, und Training ist einer davon.
Zu belegen, dass Training ein Geschäftsergebnis verursacht hat, verlangt entweder einen kontrollierten Vergleich oder eine Menge an Annahmen, die so groß ist, dass die Antwort größtenteils von den Annahmen bestimmt wird.
Genau das sind die meisten veröffentlichten Training-ROI-Zahlen. Nimm eine geschäftliche Verbesserung, nimm an, ein Anteil davon sei durch Training verursacht, teile durch die Kosten, berichte einen Multiplikator. Die Annahme leistet die Arbeit, und sie wird selten ausgesprochen.
Was du fragen solltest, wenn dir jemand eine Training-ROI-Zahl präsentiert. Was war die Vergleichsgruppe? Was hat sich sonst noch in diesem Zeitraum verändert? Welcher Anteil der Verbesserung wurde angenommen statt gemessen, und woher kommt diese Annahme? Lautet die Antwort auf die erste Frage "keine", ist die Zahl eine Schätzung im Gewand einer Messung. Das macht sie nicht nutzlos, aber sie sollte so gekennzeichnet sein.
Es gibt hier eine respektable Position: Für viele Programme ist präzise finanzielle Zuordnung nicht erreichbar, und die richtige Antwort ist, Kompetenz und Verhalten rigoros zu messen, operative Kennzahlen mit angemessenen Vorbehalten zu berichten und darauf zu verzichten, den Rest zu erfinden.
Eine L&D-Funktion, die sagt "wir können nachgewiesene Fähigkeit und verändertes Verhalten zeigen, und wir können zeigen, dass sich diese operativen Kennzahlen bewegt haben, und wir können den finanziellen Beitrag nicht isolieren", ist glaubwürdiger als eine, die einen Multiplikator auf zwei Nachkommastellen präsentiert. Führungskräfte, die mit Daten arbeiten, erkennen den Unterschied.
Ein Programm gestalten, das sich evaluieren lässt
Fünf Entscheidungen, alle vor Programmstart getroffen, die bestimmen, ob Evaluation überhaupt möglich ist.
Schreib den Kompetenzstandard zuerst, in überprüfbaren Begriffen. Alles andere hängt davon ab.
Erhebe eine Baseline, bevor du trainierst. Bewerte die Kohorte zu Beginn gegen den Standard. Ohne das kannst du nicht unterscheiden, was das Programm produziert hat, von dem, was die Leute schon wussten, und die Versuchung danach ist, alles dem Programm zuzuschreiben.
Staffle den Rollout. Das ist der wertvollste verfügbare Trick. Sollen hundert Leute trainiert werden, trainier fünfzig jetzt und fünfzig in vier Monaten. Du bekommst eine Vergleichsgruppe kostenlos, die zweite Gruppe wird nicht benachteiligt, weil alle trainiert werden, und der operative Vergleich zwischen beiden ist so nah an echtem Beleg, wie du ohne ein eigenes Experiment kommst.
Wähl die operative Kennzahl im Voraus und schreib auf, welche Bewegung zählen würde. Die Kennzahl im Nachhinein aus dem auszuwählen, was sich bewegt hat, ist, wie ehrliche Teams versehentlich irreführende Berichte produzieren.
Plane die Folgebewertung bei drei Monaten fest ein, denn sonst passiert sie nicht.
Was du nach oben berichten solltest
Eine kurze Struktur, die einer Prüfung standhält.
Wofür das Programm gedacht war. Die Rollen, die Kopfzahl, der Standard.
Was Leute jetzt können, bewertet gegen diesen Standard, mit der Baseline daneben.
Was nach drei Monaten hielt, einschließlich des Rückgangs.
Was sich am Arbeitsplatz verändert hat, aus Beobachtung, mit anerkannter Subjektivität.
Was sich operativ bewegt hat, mit dem gestaffelten Vergleich, falls vorhanden, und einer klaren Aussage, was sich sonst verändert hat, falls nicht.
Was es gekostet hat, einschließlich der Produktivzeit, die meist die größte Zeile ist und meist fehlt.
Was du weiterhin nicht sagen kannst. Nimm das bewusst auf. Es ist der Punkt, der den Rest glaubwürdig macht.
Was du mitnehmen solltest
Abschluss ist eine Untergrenze. Zufriedenheit ist nah an Rauschen und zeigt manchmal in die falsche Richtung, weil effektives Lernen sich schwerer anfühlt als ineffektives.
Bewertete Kompetenz gegen einen vorab geschriebenen Standard ist der ehrliche Kern der Messung, und eine Folgebewertung nach drei Monaten ist die günstigste hochwertige Ergänzung, die es gibt.
Staffle den Rollout. Er liefert eine Vergleichsgruppe kostenlos, und er ist der Unterschied zwischen Beleg und Behauptung.
Die Zuordnung von Geschäftsergebnissen ist echt schwierig, und die meisten veröffentlichten ROI-Multiplikatoren sind Annahmen, präsentiert als Messungen.
Und zu berichten, was du nicht schließen kannst, macht alles, was du schließt, glaubwürdiger, nicht weniger.
Lohnt es sich, Zufriedenheitswerte zu erheben?
Nur, um operative Probleme wie Plattformausfälle oder unmögliche Terminierung zu erkennen. Als Wirksamkeitsmaß sind sie schwach und manchmal umgekehrt, weil Schwierigkeit das Behalten verbessert und die Bewertung senkt.
Was ist das beste einzelne Maß für Trainingserfolg?
Bewertete Kompetenz gegen einen vor Programmstart definierten Standard, erneut bewertet nach drei Monaten, idealerweise gestützt durch strukturierte Beobachtung am Arbeitsplatz.
Lässt sich Training-ROI berechnen?
Selten mit echter Präzision. Alles andere in der Organisation verändert sich während eines Programms, Zuordnung verlangt also entweder eine Vergleichsgruppe oder große Annahmen. Ein gestaffelter Rollout liefert die Vergleichsgruppe günstig.
Was sollten wir als Baseline erheben?
Die Kompetenz der Kohorte gegen den Standard, vor Trainingsbeginn. Ohne Baseline lässt sich nicht trennen, was das Programm produziert hat, von dem, was Leute schon wussten.
Was kann eine Lernplattform tatsächlich messen?
Abschluss und bewertetes Wissen, was Astra Trainer durch Übung in jeder Lektion, Themenquizze und eine Abschlussprüfung pro Kurs liefert. Verhaltensänderung und operative Ergebnisse brauchen Beobachtung und Daten von eurer Seite. Du kannst hier sehen, wie Programme aufgebaut sind.