Как измерять обучение, если посещаемость — не результат

Каждая функция обучения и развития отчитывается об обучении, и большая часть этой отчётности не отвечает на вопрос, который на самом деле задал руководитель, — а именно: способен ли теперь персонал делать то, что не мог раньше.

Этот разрыв — не лень. Измерить это честно сложнее, чем признаёт индустрия, и многое из того, что продаётся как измерение, — на деле театр.

Четыре показателя, которые обычно отчитывают, и чего каждый на самом деле стоит

Каждая строка — на шаг ближе к реальному вопросу, и ни одна до него не доходит.

Завершение стоит отчитывать, потому что незавершённая программа точно не сработала, так что это необходимое условие. Ошибка — считать его результатом.

Почему оценки удовлетворённости хуже, чем бесполезны

Итоговая оценка курса — самый собираемый показатель в корпоративном обучении и один из наименее информативных.

Исследования студенческих оценок и реакций на обучение неоднократно находили слабую корреляцию между тем, насколько высоко учащиеся оценивают опыт, и тем, сколько они на самом деле усвоили. В некоторых исследованиях связь работает в обратную сторону: обучение, которое даёт лучшее долгосрочное удержание материала, оценивают ниже — потому что оно тяжелее.

Механизм понятен, стоит его сформулировать. Активное извлечение из памяти, разнесённое во времени повторение и сложность материала улучшают запоминание — и все они ощущаются хуже, чем свободное, гладко поданное повторное изучение, дающее комфортное чувство понимания. Учащиеся оценивают именно это ощущение, а оно порождается беглостью, а не обучением.

Так что программа, оптимизированная под оценки удовлетворённости, дрейфует в сторону приятности. Это не нейтральный итог. Это активный отбор против тех особенностей дизайна, которые действительно работают.

Данные удовлетворённости стоит собирать ровно с одной целью: выявлять операционные проблемы. Если когорта сообщает, что платформа падает или график невозможен, — это реальная информация. Как мера эффективности она не должна появляться в отчёте руководителю.

Проблема модели Киркпатрика

Большинство функций обучения и развития используют ту или иную версию четырёхуровневой модели: реакция, обучение, поведение, результаты.

Модель полезна для организации мышления, и на практике у неё есть структурная проблема: усилия и строгость резко падают по мере подъёма по уровням. Уровень один собирают всегда, потому что это тривиально. Уровень четыре заявляют часто, а измеряют по-настоящему почти никогда.

В итоге получается культура оценки, которая подробно отчитывается об уровне, значащем меньше всего, обозначает уровень, значащий больше всего, и пропускает середину — там, где на самом деле находится честная работа.

Уровень три, изменение поведения на рабочем месте, — самый полезный и самый заброшенный. Он сложнее теста и заметно проще, чем выделение бизнес-результатов, и именно на нём стоит сосредоточить усилия по оценке.

Что можно измерить честно

Четыре вещи, в порядке возрастания ценности и сложности.

Оценённая компетенция относительно заранее заданного стандарта. Для этого стандарт должен существовать ещё до начала программы, поэтому определение объёма и измерение — по сути один и тот же разговор. Если стандарт говорит, что выпускник может ввести в эксплуатацию ПЛК на этом классе оборудования и самостоятельно устранить типичные неисправности, то оценка — это наблюдение за тем, как человек это делает, а не тест с выбором ответа на эту тему.

Удержание с задержкой. Оцените ещё раз через три месяца. Это самое недооценённое измерение в корпоративном обучении, и оно дешёвое. Оно же отличает программу, давшую устойчивую компетенцию, от программы, давшей просто удачную неделю. Ожидайте, что вторая оценка окажется хуже, и отнеситесь к размеру падения как к самому результату.

Наблюдаемое изменение поведения. Структурированное наблюдение на рабочем месте по конкретным поведенческим признакам, проводимое руководителями, которые знают, что искать. Субъективно, и заметно лучше, чем оценка по тесту, потому что измеряет именно то, за что вы платили.

Операционные показатели, тесно связанные с обученной компетенцией. Не выручка компании. Что-то близкое: процент устранения неисправности с первого раза для программы техобслуживания, время переналадки для lean-программы, доля дефектов, пропущенных на выход, для программы по качеству, среднее время решения для программы поддержки. Чем ближе показатель к обученному поведению, тем легче приписать ему движение цифры.

Оценка внутри самого движка

Формат Astra Trainer производит данные оценки как побочный продукт, а не как отдельное упражнение. Практические вопросы встроены в каждый урок, после каждой темы идёт викторина, а каждый курс завершается финальным экзаменом из десяти вопросов, так что ошибки проявляются во время обучения, а не на рабочем месте.

Прохождение финального экзамена даёт верифицированный сертификат на имя учащегося, а сертифицированные учащиеся присоединяются к экспертной сети, отвечающей на вопросы других людей, — и это само по себе полезный сигнал о том, кто действительно усвоил материал.

Это даёт вам уровни один и два модели прямо внутри платформы. Уровни три и четыре по-прежнему требуют наблюдения и операционных данных с вашей стороны, и любой поставщик, утверждающий, что способен получить их только из обучающей платформы, преувеличивает то, что платформа вообще способна увидеть. Здесь можно посмотреть, как устроены программы.

Проблема атрибуции, сказанная прямо

Причина, по которой честное измерение не доходит до чистой цифры ROI, в том, что обучение никогда не бывает единственным, что изменилось.

За шесть месяцев программы организация ещё и нанимала людей, теряла людей, меняла процесс, покупала оборудование, сдвигала продуктовый портфель и переживала всё, что делал рынок. Если производительность выросла, несколько из этих факторов — кандидаты на объяснение, и обучение — лишь один из них.

Чтобы доказать, что именно обучение вызвало бизнес-результат, нужна либо контролируемая группа для сравнения, либо набор допущений настолько значительный, что ответ определяют по большей части сами допущения.

А именно это и есть большинство опубликованных цифр ROI обучения. Берут улучшение бизнес-показателя, предполагают, что его часть вызвана обучением, делят на стоимость, сообщают множитель. Работу выполняет допущение, и его почти никогда не озвучивают.

Есть достойная уважения позиция: для многих программ точная финансовая атрибуция недостижима, и правильный ответ — строго измерять компетенцию и поведение, отчитываться об операционных показателях с должными оговорками и не придумывать остальное.

Функция обучения и развития, которая говорит «мы можем показать полученную компетенцию и изменённое поведение, можем показать движение этих операционных показателей, и мы не можем выделить финансовый вклад», заслуживает больше доверия, чем та, что предъявляет множитель с точностью до двух знаков после запятой. Руководители, работающие с данными, эту разницу видят.

Как спроектировать программу, которую можно оценить

Пять решений, все принятые до старта программы, определяют, возможна ли вообще оценка.

Сначала напишите стандарт компетенции, в проверяемых терминах. От этого зависит всё остальное.

Снимите базовый уровень до обучения. Оцените когорту относительно стандарта в начале. Без этого вы не сможете отделить то, что дала программа, от того, что люди уже знали, а соблазн потом — приписать всё программе.

Разбейте запуск на волны. Это самый ценный приём из доступных. Если обучение проходят сто человек, обучите пятьдесят сейчас, а пятьдесят через четыре месяца. Вы получаете контрольную группу бесплатно, вторая группа не в проигрыше, потому что обучение получат все, а операционное сравнение между двумя группами — самое близкое к реальному доказательству, что можно получить, не проводя полноценный эксперимент.

Выберите операционный показатель заранее и запишите, какое движение будет считаться значимым. Выбор показателя постфактум, из того, что сдвинулось, — это способ, которым честные команды случайно производят вводящие в заблуждение отчёты.

Заложите в план повторную оценку через три месяца, потому что иначе она просто не случится.

Что стоит доносить руководству

Короткая структура, выдерживающая проверку.

Для чего была программа. Роли, численность, стандарт.

Что люди теперь умеют, оценено относительно этого стандарта, рядом — базовый уровень.

Что сохранилось к трём месяцам, включая падение.

Что изменилось на рабочем месте, по данным наблюдения, с указанием его субъективности.

Что сдвинулось операционно, со сравнением по волнам, если оно есть, и чётким указанием, что ещё изменилось, если сравнения нет.

Во что это обошлось, включая рабочее время — обычно крупнейшую и обычно отсутствующую строку.

Чего вы всё ещё не можете утверждать. Включите это намеренно. Именно этот пункт делает всё остальное заслуживающим доверия.

Что взять с собой из этой статьи

Завершение — это порог. Удовлетворённость близка к шуму, а иногда указывает в неверную сторону, потому что эффективное обучение ощущается тяжелее неэффективного.

Оценённая компетенция относительно заранее написанного стандарта — честное ядро измерения, а повторная оценка через три месяца — самое дешёвое ценное дополнение из доступных.

Разбивайте запуск на волны. Это даёт контрольную группу бесплатно и отличает доказательство от утверждения.

Причинно-следственная связь с бизнес-результатом по-настоящему сложна, и большинство опубликованных множителей ROI — это допущения, поданные как измерения.

А указание того, что вы не можете утверждать, делает всё, что вы утверждаете, более заслуживающим доверия, а не менее.