Todos los departamentos de formación y desarrollo informan sobre la formación, y la mayor parte de lo que se informa no responde a la pregunta que en realidad hizo el directivo: si la plantilla ahora puede hacer algo que antes no podía.
La brecha no es pereza. Medir eso con honestidad es más difícil de lo que admite el sector, y buena parte de lo que se vende como medición es teatro.
Las cuatro cosas que se suelen informar, y cuánto vale cada una
| Métrica | Qué mide | Qué no mide |
|---|---|---|
| Inscripción | Una decisión de compra | Nada sobre la plantilla |
| Tasa de finalización | Si el programa se podía terminar | Si alguien aprendió |
| Puntuación de satisfacción | Cómo se sintió la experiencia | El aprendizaje. A veces al revés |
| Puntuación de evaluación | El recuerdo en condiciones de examen | El desempeño en el puesto |
Cada fila da un paso más cerca de la pregunta real, y ninguna llega a ella.
Merece la pena informar de la finalización, porque un programa sin terminar no puede haber funcionado, así que es una condición necesaria. El error es tratarla como el resultado.
La finalización es un suelo, no un resultado. Te dice que el programa se podía terminar. No te dice nada sobre lo que produjo terminarlo.
Por qué las puntuaciones de satisfacción son peor que inútiles
La valoración al final del curso es la métrica más recogida en la formación corporativa, y una de las menos informativas.
La investigación sobre evaluaciones de estudiantes y sobre medidas de reacción a la formación ha encontrado repetidamente una correlación débil entre lo alto que puntúan los alumnos una experiencia y cuánto aprendieron en realidad. En algunos estudios la relación va en el sentido contrario: la enseñanza que produce mejor retención a largo plazo recibe puntuaciones más bajas, porque es más difícil.
El mecanismo es sencillo una vez que se enuncia. La recuperación con esfuerzo, el espaciado y la dificultad mejoran todos la retención, y todos se sienten peor que un repaso fluido y bien presentado que produce una sensación cómoda de comprensión. Los alumnos puntúan la sensación, y la sensación la genera la fluidez, no el aprendizaje.
Así que un programa optimizado según las puntuaciones de satisfacción deriva hacia ser agradable. Eso no es un resultado neutro. Selecciona activamente en contra de las características de diseño que funcionan.
Merece la pena recoger los datos de satisfacción solo por una razón: detectar problemas operativos. Si una cohorte informa de que la plataforma falla o que el horario es imposible, eso sí es información real. Como medida de eficacia, no debería aparecer en un informe a un directivo.
El problema de Kirkpatrick
La mayoría de los departamentos de formación y desarrollo usan alguna versión del modelo de cuatro niveles: reacción, aprendizaje, comportamiento, resultados.
El marco es útil para organizar el pensamiento, y en la práctica tiene un problema estructural: el esfuerzo y el rigor caen en picado a medida que se sube por él. El nivel uno se recoge de forma universal porque es trivial. El nivel cuatro se reclama con frecuencia y casi nunca se mide de verdad.
El resultado es una cultura de evaluación que informa mucho sobre el nivel que menos importa, hace un gesto hacia el nivel que más importa, y se salta el nivel intermedio, donde está el trabajo honesto.
El nivel tres, el cambio de comportamiento en el puesto, es el más útil y el más descuidado. Es más difícil que un examen y mucho más fácil que aislar los resultados de negocio, y es donde debería concentrarse el esfuerzo de evaluación.
Qué se puede medir con honestidad
Cuatro cosas, en orden ascendente de valor y dificultad.
Competencia evaluada frente a un estándar predefinido. Esto exige que el estándar exista antes de que empiece el programa, por eso definir el alcance y la medición son la misma conversación. Si el estándar dice que un graduado puede poner en marcha un PLC en esta clase de equipo y resolver los modos de fallo habituales sin supervisión, entonces la evaluación consiste en observar a alguien haciendo eso, no en un examen tipo test sobre ello.
Retención con retraso. Vuelve a evaluar a los tres meses. Es la medida individual más infrautilizada de la formación corporativa, y es barata. También distingue un programa que produjo una capacidad duradera de uno que produjo una buena semana. Espera que la segunda evaluación sea peor, y trata el tamaño de esa caída como el hallazgo.
Cambio de comportamiento observado. Observación estructurada en el puesto de trabajo frente a comportamientos concretos, por supervisores que saben qué están buscando. Es subjetivo, y considerablemente mejor que una nota de examen porque mide lo que de verdad compraste.
Indicadores operativos estrechamente vinculados a la capacidad formada. No los ingresos de la empresa. Algo próximo: la tasa de reparación a la primera en un programa de mantenimiento, el tiempo de cambio de formato en un programa lean, la tasa de defectos que se escapan en un programa de calidad, el tiempo medio de resolución en un programa de soporte. Cuanto más cerca esté el indicador del comportamiento formado, más atribuible es el movimiento.
La evaluación dentro del motor
El formato de Astra Trainer produce datos de evaluación como subproducto, no como un ejercicio aparte. Las preguntas de práctica están dentro de cada lección, cada tema tiene su cuestionario, y cada curso termina con un examen final de diez preguntas, así que los errores salen a la luz durante la formación, no en el puesto de trabajo.
Aprobar el examen final genera un certificado verificado a nombre del alumno, y quienes se certifican se unen a una red de expertos que responde a las preguntas de otras personas, lo que en sí mismo es una señal útil sobre quién ha retenido de verdad el material.
Eso te da los niveles uno y dos del modelo dentro de la plataforma. Los niveles tres y cuatro siguen requiriendo observación y datos operativos de tu lado del acuerdo, y cualquier proveedor que afirme entregarlos solo desde una plataforma de formación está exagerando lo que una plataforma puede ver. Puedes ver cómo se estructuran los programas aquí.
El problema de la atribución, dicho sin rodeos
La razón por la que una medición honesta se queda corta a la hora de dar una cifra de ROI limpia es que la formación nunca es lo único que cambió.
A lo largo de los seis meses de un programa, la organización también contrató, perdió gente, cambió un proceso, compró equipos, modificó su mezcla de producto, y vivió lo que hiciera el mercado. Si mejoró el rendimiento, varias de esas cosas son explicaciones candidatas, y la formación es una de ellas.
Establecer que la formación causó un resultado de negocio exige o bien una comparación controlada, o bien un conjunto de supuestos lo bastante grande como para que la respuesta la determinen sobre todo esos supuestos.
Que es lo que son la mayoría de las cifras de ROI de formación publicadas. Toma una mejora de negocio, asume que una parte se debió a la formación, divide entre el coste, informa de un múltiplo. El supuesto es el que hace todo el trabajo, y casi nunca se declara.
Qué preguntar cuando alguien presenta una cifra de ROI de formación. ¿Cuál fue el grupo de comparación? ¿Qué más cambió en ese periodo? ¿Qué parte de la mejora se asumió en vez de medirse, y de dónde viene ese supuesto? Si la respuesta a la primera es "ninguno", la cifra es una estimación disfrazada de medición. Eso no la vuelve inútil, pero debería etiquetarse como tal.
Hay una postura respetable aquí: para muchos programas, la atribución financiera precisa no es alcanzable, y la respuesta correcta es medir la competencia y el comportamiento con rigor, informar de los indicadores operativos con las salvedades adecuadas, y negarse a inventar el resto.
Un departamento de formación que dice "podemos demostrar la capacidad ganada y el cambio de comportamiento, y podemos mostrar que estos indicadores operativos se movieron, y no podemos aislar la contribución financiera" resulta más creíble que uno que presenta un múltiplo con dos decimales. Los directivos que trabajan con datos reconocen la diferencia.
Diseñar un programa que se pueda evaluar
Cinco decisiones, todas tomadas antes de que empiece el programa, que determinan si la evaluación es siquiera posible.
Escribe primero el estándar de competencia, en términos verificables. Todo lo demás depende de esto.
Toma una línea base antes de formar. Evalúa a la cohorte frente al estándar al principio. Sin eso no puedes distinguir lo que produjo el programa de lo que la gente ya sabía, y después la tentación es atribuírselo todo.
Escalona el despliegue. Este es el truco de mayor valor disponible. Si vas a formar a cien personas, forma a cincuenta ahora y a cincuenta dentro de cuatro meses. Tienes un grupo de comparación gratis, el segundo grupo no sale perjudicado porque todos acaban formados, y la comparación operativa entre los dos es lo más parecido a una evidencia real que vas a conseguir sin montar un experimento.
Elige el indicador operativo por adelantado y anota qué movimiento contaría. Elegir el indicador después, entre lo que sea que se haya movido, es como los equipos honestos acaban produciendo informes engañosos sin querer.
Programa la evaluación de seguimiento a los tres meses dentro del plan, porque si no, no va a pasar.
Qué reportar hacia arriba
Una estructura breve que resiste el escrutinio.
Para qué era el programa. Los puestos, el número de personas, el estándar.
Qué puede hacer ahora la gente, evaluado frente a ese estándar, junto con la línea base.
Qué se mantuvo a los tres meses, incluida la caída.
Qué cambió en el puesto, a partir de la observación, reconociendo su subjetividad.
Qué se movió a nivel operativo, con la comparación escalonada si la tienes, y una declaración clara de qué más cambió si no la tienes.
Qué costó, incluido el tiempo productivo, que suele ser la línea más grande y la que suele faltar.
Qué todavía no puedes decir. Inclúyelo a propósito. Es el elemento que hace creíble todo lo demás.
Qué quedarte de todo esto
La finalización es un suelo. La satisfacción está cerca del ruido y a veces apunta en la dirección equivocada, porque el aprendizaje eficaz se siente más difícil que el aprendizaje ineficaz.
La competencia evaluada frente a un estándar escrito de antemano es el núcleo honesto de la medición, y un seguimiento a los tres meses es el añadido más barato y de mayor valor que existe.
Escalona el despliegue. Te da un grupo de comparación sin coste, y es la diferencia entre evidencia y afirmación.
Atribuir un resultado de negocio es de verdad difícil, y la mayoría de los múltiplos de ROI publicados son supuestos presentados como mediciones.
Y reportar lo que no puedes concluir hace que todo lo que sí concluyes resulte más creíble, no menos.
¿Merece la pena recoger las puntuaciones de satisfacción?
Solo para detectar problemas operativos, como fallos de la plataforma o horarios imposibles. Como medida de eficacia son débiles y a veces se invierten, porque la dificultad mejora la retención y baja las puntuaciones.
¿Cuál es la mejor medida individual de la eficacia de la formación?
La competencia evaluada frente a un estándar definido antes de que empezara el programa, reevaluada a los tres meses, idealmente respaldada por observación estructurada en el puesto.
¿Se puede calcular el ROI de la formación?
Rara vez con precisión real. Todo lo demás en la organización cambia durante un programa, así que la atribución exige o bien un grupo de comparación, o bien grandes supuestos. Escalonar el despliegue te da el grupo de comparación de forma barata.
¿Qué deberíamos tomar como línea base?
La competencia de la cohorte frente al estándar, antes de que empiece la formación. Sin una línea base, no puedes separar lo que produjo el programa de lo que la gente ya sabía.
¿Qué puede medir de verdad una plataforma de formación?
La finalización y el conocimiento evaluado, que Astra Trainer produce mediante la práctica dentro de la lección, los cuestionarios por tema y un examen final por curso. El cambio de comportamiento y los resultados operativos necesitan observación y datos de tu lado. Puedes ver cómo se estructuran los programas aquí.