Модель Киркпатрика

1) реакции. Участники тренинга положительно реагируют на тренинг непосредственно после его завершения;

участники тренинга положительно реагируют на его завершение 🙂

2) знания. Участники выучили материал тренинга;

3) поведения. Участники применяют на работе то, что они изучили на тренинге;

4) ROE. Тренинг имеет положительные результаты для организации;

Критика модели Киркпатрика:

Существует несколько доводов, критикующих модель Киркпатрика. Во-первых, последние исследования, совершенные Элвудом Холтоном и Джорджем Аллигером, бросают тень сомнения на иерархический аспект модели. Их исследования показали, что корреляции между уровнями иерархии Киркпатрика либо малы, либо несущественны. Во-вторых, когда с тренинговой программой что-то не так (низкий трансфер), модель не определяет причину проблемы и что с ней делать. В-третьих, модель не учитывает другие переменные, такие как мотивация участников, само-эффективность или условия организации. В-четвертых, модель не обладает высокой степенью точности. Например, второй уровень, «знания», не определяет – декларативные это знания или процедурные. Также, сложно измерить первый уровень, «реакции»: участники могут тренинг ненавидеть, получать от него удовольствие, он им может нравиться, показаться приятным, скучным, интересным. Но самый главный аргумент, заключается в том, что по модели Киркпатрика, оценка любого тренинга должна основываться на одних и тех же переменных. Современный взгляд на оценку эффективности тренинга предполагает, что методы оценки должны выбираться исходя из целей оценки.

дипломная работа

1.6 Модель оценки эффективности обучения Д. Киркпатрика

Как уже неоднократно упоминалось выше, проблема оценки эффективности обучения все еще остается актуальной для многих компаний, занимающихся развитием своего персонала.

Интересно, что вокруг предложенного Киркпатриком подхода не умолкают споры, еще в конце 1950-х годах, он сформулировал ныне известные 4 уровня оценки эффективности, однако его модель оценки тренингов остается одной из базовых, а его книги - наиболее цитируемыми. Киркпатрик рассматривает оценку как неотъемлемую часть цикла проведения обучения, который включает 10 этапов:

1. Определение потребностей.

2. Постановка целей.

3. Определение предметного содержания.

4. Выбор участников обучения.

5. Формирование оптимального расписания.

6. Подбор соответствующего помещения.

7. Подбор соответствующих преподавателей.

8. Подготовка аудиовизуальных средств.

9. Координация программы.

10. Оценка программы.

Киркпатрик считает, что в большинстве случаев оценка ограничивается использованием анкет по окончании тренинга - изучением непосредственной реакции слушателей на обучение. Он называет эти анкеты "листами для улыбки" (smile-sheets), имея в виду, что чаще всего участники используют анкеты для выражения благодарности.

Четыре уровня, по Кирктпатрику, определяют последовательность проведения оценки обучения. Он пишет: «Каждый уровень важен и влияет на следующий за ним уровень. При переходе от уровня к уровню процесс оценки становится более трудным и требует больше времени, но при этом позволяет получить более ценную информацию» .

· Уровень 1 - Реакция (Reaction)

· Уровень 2 - Научение (Learning)

· Уровень 3 - Поведение (Behavior)

· Уровень 4 - Результаты (Results)

1. Реакция

Оценка на этом уровне определяет, как участники программы реагируют на нее. Сам Киркпатрик называет это оценкой удовлетворенности потребителей. В случае, когда обучение проводится внутри фирмы, реакция участников не всегда интерпретируется как удовлетворенность потребителей. Зачастую руководство определяет необходимость участия в какой-либо образовательной программе. Киркпатрик подчеркивает, что и в этом случае реакция участников является очень важным критерием успешности тренинга, как минимум, по двум причинам.

· Во-первых, люди так или иначе делятся своими впечатлениями от тренинга со своим руководством, и эта информация уходит выше. Следовательно, она влияет на принятие решений о продолжении тренинга.

· Во-вторых, если участники не будут реагировать позитивно, то у них не будет мотивации к научению. Позитивная реакция не гарантирует успешного освоения новых знаний, умений и навыков. Отрицательная же реакция на тренинг почти наверняка означает уменьшение вероятности научения.

2. Научение

Научение определяется как изменение установок, улучшение знаний и совершенствование навыков участников в результате прохождения ими программы обучения. Изменение поведения участников в результате тренинга возможно только тогда, когда произойдет научение (изменятся установки, улучшатся знания или усовершенствуются навыки).

3. Поведение

На этом уровне происходит оценка того, в какой степени изменилось поведение участников в результате обучения. Киркпартик указывает на то, что отсутствие изменений в поведении участников не означает, что тренинг был неэффективен. Возможны ситуации, когда реакция на тренинг была позитивной, научение произошло, но поведение участников в дальнейшем не изменилось, поскольку для этого не были соблюдены необходимые условия. Поэтому отсутствие изменения поведения участников после тренинга не может быть поводом для принятия решения о прекращении программы. В этих случаях кроме оценки реакции и научения рекомендуется проверить наличие следующих условий:

· Желание участников изменить поведение.

· Наличие у участников знаний о том, что и как делать.

· Наличие соответствующего социально-психологического климата.

· Поощрение участников за изменение поведения.

Говоря о социально-психологическом климате, Киркпатрик имеет в виду прежде всего непосредственных руководителей участников обучения. Он выделяет пять видов "климата": запрещающий, обескураживающий, нейтральный, поддерживающий, требующий. Позиция руководителя, соответственно, меняется от запрета на изменение поведения до требования изменить поведение после окончания тренинга. Киркпатрик считает, что единственный способ создания позитивного климата - вовлечение руководителей в разработку учебных программ.

4. Результаты

К результатам относятся изменения, которые произошли в связи с тем, что участники прошли обучение. В качестве примеров результатов Киркпатрик приводит увеличение производительности, улучшение качества, уменьшение количества несчастных случаев, увеличение продаж, снижение текучести кадров. Результаты не следует измерять в деньгах.

По мнению Киркпатрика, оценка на этом уровне - самая сложная и дорогостоящая. Вот несколько практических рекомендаций, которые могут помочь в оценке результатов:

· если возможно, использовать контрольную группу (не проходившую обучение),

· проводить оценку через некоторое время, чтобы результаты стали заметны,

· проводить оценку до и после программы (если это возможно),

· провести оценку несколько раз в ходе программы,

· сопоставить ценность информации, которую удастся получить с помощью оценки и стоимость получения этой информации (автор считает, что проведение оценки на 4 уровне не всегда целесообразно в связи с ее высокой стоимостью).

К принципиальным недостаткам данного подхода относится тот факт, что выделенные информационные блоки не связаны между собой, кроме этого отсутствуют механизмы обратной связи, позволяющие управлять процессом генерации и передачи знаний.. Остальные трудности связаны с неразработанностью процедурного уровня сбора информации и ее обработки. Вследствие этого:

1) обобщенные числовые характеристики объективно не отражают состояния и отношения в измеряемой эмпирической системе;

2) используемые измерительные техники не обладают свойствами валидности, чувствительности и надежности;

3) не учитывается влияние внешних факторов;

4) не ясно, как выделить «чистый эффект» от обучения».

Когда тренинг эффективен?

Сотрудникам HR -департамента и руководителям большинства компаний уже не надо объяснять важность и значимость обучения персонала .

Трудности теперь возникают на этапе оценки реальной эффективности корпоративных бизнес тренингов .

Главная цель бизнес-тренингов: улучшение бизнес-показателей организации путем совершенствования навыков, умений и поведения ее сотрудников.

Кроме того, наличие у работодателя программы обучения персонала, является важным факторов при поиске кандидатом нового места работы. Так как если кандидат собирается повышать свою квалификацию в области продажи услуг, например, то лучше же сделать это за счет работодателя?
Но как менеджерам по персоналу определить, действительно ли имеющиеся программы тренингов и профессионального развития являются эффективными. И в самом ли деле позволяют достичь целей организации? Дональд Киркпатрик (Donald Kirkpatrick) еще в начале 60-х прошлого века представил четырехуровневую модель для оценки качества программ обучения, тренингов, семинаров.

На первом уровне измеряется эмоциональная реакция участников бизнес тренинга на программу обучения.

Казалось бы, оценка программы тренинга на этом уровне не имеет особой важности, так как позитивная реакция участников тренинга еще не будет гарантировать успешного освоения новых навыков и умений.

Но отрицательная реакция участников может свести к минимуму мотивацию персонала к развитию.

Киркпатрик подымает значимость оценки этого уровня, так как дальнейшая работа по улучшению программ тренингов становится практически бессмысленной, если на этом этапе не удалось заинтересовать сотрудников.

Следствием этого будет усложнение оценки результатов работы бизнес тренера, и на следующих уровнях потребует значительно больших усилий и ресурсов HR.

На первом уровне будет достаточно дать анкеты участникам бизнес тренинга в конце обучения, затем собрать и обработать.

На втором уровне модели Киркпатрика оцениваются результаты пройденного участниками тренинга.

Заказчику обучения, HR, необходимо понять в какой мере участникам тренинга удалось усвоить именно те навыки и умения, ради которых и проводили данный курс и готовили программу обучения.

Для оценки этого уровня можно применять специально разработанные тесты и задания по определению степени развития этих самых навыков, лучше предварительно оцифровав их (например по шкале от 1 до 10).

Затем сравнивать результаты участников до начала тренингов и после их завершения согласно выбранной шкале.

Было до тренинга: +2, а после него стало +5.

что ж, значит было за что бороться HR, и что-то получил "продажник" на самом деле!

Следует помнить и о методе простого наблюдения за поведением участников во время выполнения заданий и проведения бизнес игр со стороны тренера.

Затем это наблюдение финиширует описанием в отчете кратких характеристик участников.

Но, новые знания сотрудника практически не несут никакой ценности для компании без умения и желания их использовать. А вот с этим порой много сложнее.

Почему, так как само по себе таящееся знание в голове сейлз менеджера не влияет на эффективность его продаж.

Поэтому важно чтобы произошло «осознание», то есть была усвоена ни только информация, полученная непосредственно от тренера, но и был бы получен собственный опыт по завершению тренинга.

Разрешить эту проблему может только третий уровень модели Киркпатрика.

Вполне возможно привлечение и клиентов к оценке эффективности тренинга.

Например, оценивая тренинг продаж можно использовать анкеты клиента или произвести анализ изменений характера записей в книге жалоб и предложений в случае прохождения тренинга направленного на повышение клиентоориентированности услуг.

На четвертом уровне модели Киркпатрика оценивается воздействие обучения на бизнес-результаты организации.Это расчетный уровень, требующий предварительного расчета перед тренингом, например расчета рентабельности продаж для всего отдела продаж (сейлзменов - продажников ). А затем тот же расчет по той же методике, но уже после программы обучения.

Этот этап и метод важен для топ менеджмента, так как именно на этом уровне производится конечная оценка эффективности вложений в мероприятия по обучению.

Измерение изменений результатов деятельности компании производится как по качественным показателям (изменение имиджа компании, узнаваемости бренда, улучшение психологического климата и др.), так и по количественным (снижение на Н% текучести кадров, увеличения на Р% объема продаж и др.). Оценка на таком уровне самая сложная и высокая по стоимости.

Модель Киркпатрика уже долгое время используется многими HR менеджерами для оценки и улучшения программ обучения и профессионального развития.

Она позволяет учесть интересы трех ключевых заинтересованных групп. Топ менеджерам компаний модель помогает принимать решения: «Стоит ли тренинг инвестированных в него затрат средств и ресурсов? Или следует направить в следующий раз их на другие цели?». Сотрудник сможет выяснить, как обучение повлияет на эффективность его работы или окажет влияние на карьеру. Бизнес тренер же сможет оценить реальную эффективность своих тренингов и работы выразив результат в полученной прибыли заказчика.

Игра стоит свеч. Как оценить эффективность бизнес-тренинга? Макота Елена Михайловна

Глава 1 Классическая модель Дональда Киркпатрика

Классическая модель Дональда Киркпатрика

Четыре уровня оценки эффективности тренинга

Самый верный способ успеть как можно больше – рвануть с места в карьер. Время – деньги! Если вы еще не поняли, моя задача – сэкономить для вас как можно большее их количество. Поэтому приступаем к работе немедленно!

Совершенно очевидно, что вы всегда можете измерить тот или иной показатель несколькими способами. Но есть ли среди них тот самый, эталонный? Тот, который гарантирует вам наибольшую точность?

Вовсе нет – такой гарантии вам не может дать никто. Особенно это становится явным, когда речь заходит о неточных величинах: вы сможете вычислить их лишь приблизительно. Попробуйте убедить себя, что в стограммовом куске сыра из магазина именно 28 граммов белка и ни граммом меньше. Вы действительно в это верите?

Но – даже с поправкой на неточности и погрешности – в основе каждой системы оценки все равно лежит некая классическая методология или теория, признанная большинством специалистов в той или иной области.

Теория системообразующая. Фундаментальная. Выверенная. Та самая, которая позволяет с большой долей уверенности говорить об истинности полученных с ее помощью показателей. И, представьте себе – такая модель существует и для оценки эффективности тренингов! Более того, в этой книге мы разберем ее наиподробнейшим образом. Но ответит ли она на все наши вопросы?

Для начала зайдем в гости к классикам. Как Филипп Котлер стал иконой для маркетинга, так и Дональд Киркпатрик удостоился аналогичного статуса в американском кадровом менеджменте. Его четырехуровневая модель оценки эффективности тренинга увидела свет в 1959 году – уже в те времена американцы подходили к лозунгу «кадры решают все» более щепетильно, чем плановики Советского Союза. Чертовски дальновидно!

Оглянитесь – и поймете, что истинные знания не поддаются времени. Прошло больше 50 лет, бал правят транснациональные корпорации, фрилансеры все чаще и эффективнее заменяют наемных работников, а модель Киркпатрика до сих пор остается одной из базовых при оценке эффективности тренингов для персонала. В чем соль?

Никакого секрета здесь нет, зато есть грамотная группировка информации. По сути, в своей модели Кирк-патрик упорядочил и разделил всю сумму эффектов проведенного тренинга на четыре отдельных уровня. Оценки каждого из них, сложенные воедино, и дают нам информацию о необходимости и эффективности проведенного обучения.

Как я уже упоминала ранее, эта модель имеет четыре уровня. Вот они:

Уровень 1: «Реакция». Главный вопрос: «Какова реакция сотрудника на обучение»?

Уровень 2: «Обучение». Главный вопрос: «Что именно сотрудник усвоил в процессе проведения тренинга»?

Уровень 3: «Поведение». Анализируется то, как полученные на тренинге навыки и знания применяются в работе. После этого вы сможете дать ответ на главный вопрос этого уровня: «Как изменилось профессиональное поведение обучавшихся»?

Уровень 4: «Результаты». Оцениваются непосредственно показатели эффективности компании – насколько они изменились после обучения персонала? Главный вопрос: «Что получила компания от проведенного тренинга»?

Однако упомянутыми четырьмя уровнями исследование вопроса не ограничилось. В 1991 году модель Кирк-патрика была дополнена Джеком Филипсом, который включил в нее пятый, заключительный уровень – «отдачу на инвестиции» (ROI).

Это была осознанная попытка перевести измерение эффективности тренинга в материальную плоскость. Удалось ли это Филипсу или нет, мы выясним чуть позже. А пока вновь обратимся к классике, которая, оказывается, далеко не безгрешна.

Да-да! Оказывается, у модели Киркпатрика есть свой серьезный недостаток – она оценивает эффективность тренинга уже после его проведения. Причем не сразу: сбор данных на всех четырех уровнях может растянуться на несколько месяцев. Есть ли у вас и вашего бизнеса время ждать?

Многие руководители отвечают на этот вопрос отрицательно, предпочитая ограничиваться оценкой лишь на первом уровне – это позволяет сэкономить временные и финансовые затраты. Но будет ли такая оценка объективной, покажет ли она конкретные результаты обучения, даст ли необходимую информацию для управленцев? Разумеется, нет – и доказательства тому вы будете получать на всем протяжении этой книги.

Данный текст является ознакомительным фрагментом. Из книги Уши машут ослом [Современное социальное программирование. 1-е издание] автора Матвейчев Олег Анатольевич

Из книги Менеджмент автора Дорофеева Л И

5. Классическая школа в управлении Управленческие знания появились задолго до нашей эры и задолго до того, как управление оформилось в самостоятельную научную дисциплину и профессию. Самостоятельной областью деятельности управление было признано только в XX веке.

Из книги Менеджмент: конспект лекций автора Дорофеева Л И

1. Классическая школа в управлении Управленческие знания появились задолго до нашей эры и задолго до того, как управление оформилось в самостоятельную научную дисциплину и профессию. Самостоятельной областью деятельности управление было признано только в ХХ веке.

Из книги Компетентность в современном обществе автора Равен Джон

Модель компетентности и психологическая модель способностей Прежде чем перейти к дальнейшему обсуждению данной модели компетентности, рассмотрим ее фундаментальные отличия от многофакторной модели способностей, столь популярной в психологической литературе.

Из книги Маркетинг 3.0: от продуктов к потребителям и далее – к человеческой душе автора Котлер Филип

Глава 2 Модель маркетинга 3.0 Краткий исторический обзор последних 60 лет маркетинга На протяжении последних шести десятков лет маркетинг был одной из самых волнующих тем в бизнесе. Коротко говоря, маркетинг охватывает три основные дисциплины: управление товаром,

Из книги Активные продажи 3.1: Начало автора Рысев Николай Юрьевич

Классическая техника – «Предположим» Техника заключается в том, что вы предлагаете клиенту представить, будто проблема, о которой он заявляет, уже решена, будто ее нет.П: А если бы место на прилавке все-таки было, тогда бы вы какую колбасу заказали?И вот тут наступает

Из книги Психология как бизнес. Как психологу раскрутить себя автора Черников Юрий Николаевич

Модель 1.0 и модель 2.0 – найдите тысячу отличий Модель 1.0 – это модель старшего поколения, схема вчерашнего дня. В этом случае мы заканчиваем вуз, затем повышаем свою квалификацию до уровня тренера-психотерапевта, психолога-консультанта, потом становимся

Из книги 100% брэнд. Как продавать счастье автора Ляпоров Владимир Николаевич

Из книги Стили менеджмента – эффективные и неэффективные автора Адизес Ицхак Калдерон

Из книги Функциональный менеджмент. Как из хаоса создать порядок, преодолеть неопределенность и добиться успеха автора Рятов Кадирбай

Глава 1 Функциональная модель человека 1.1. Человек и мир вокруг. Действия как источник познания На протяжении тысячелетий человек накапливает знания об окружающем мире, оттачивая самые важные и необходимые для жизни навыки и умения. Приобретаемые знания и опыт

Из книги Как стать богатым автора Макивер Мередит

Часть 1 Школа бизнеса и управления Дональда Дж. Трампа В книге «Искусство заключать сделки» я упоминал мою Немезиду – наставника из Нью-Йоркской военной академии Теодора Добиаса (слева от меня). Справа от меня – генерал-майор Джон

Из книги Как сэкономить на маркетинге и не потерять его автора Монин Антон Алексеевич

Часть 2 Время вашего ученичества (советы Дональда по продвижению по службе) Сами управляйте ходом собеседования За многие годы у меня накопилось немало любопытного опыта в том, что касается собеседований о приеме на работу. Хороший пример – Норма Фёрдерер. После первого

Из книги Великолепная команда. Что нужно знать, делать и говорить для создания великолепной команды автора Миллер Дуглас

Из книги Практика управления человеческими ресурсами автора Армстронг Майкл

Из книги Универсум. Общая теория управления автора Масликов Владислав Иванович

Из книги автора

5.1. Классическая и универсумная схемы Мысль о единстве алгоритмики, свойственной самым различным объектам, явлениям и процессам, относящимся к психологии, социологии, философии, информационным системам и многим другим областям знаний, давно высказывалась различными

2 364

Разложили по полочкам, как использовать модель Киркпатрика для глубокой оценки эффективности онлайн-обучения. 15 инструментов с рекомендациями по применению.

Это продвинутый уровень оценки эффективности онлайн-курсов. Когда заказчики хотят точно понять, как корпоративное обучение повлияет на результаты работы, мы проводим исследование и используем 15 инструментов, основанных на модели Киркпатрика.

Коротко об этой модели. Дональд Киркпатрик выделил четыре уровня оценки эффективности: реакция, усвоение, поведение, результат. Рассказываем о каждом по порядку и сразу с примерами.

Эмоциональная реакция

Эмоциональный уровень оценивает, понравился курс или нет. Это не значит, что обучение, которое нравится - более эффективное, но когда человек расслаблен, мозг больше готов учиться, интереса и внимания тоже больше.

Здесь мы используем три инструмента.

Опрос «до-после» для оценки возврата ожиданий. Он показывает, насколько воплотились цели, которые участники ставили себе до начала обучения. Результаты помогают правильно формулировать цели курса и адаптировать материалы под потребности аудитории.

Например, люди идут на курс по продажам, чтобы научиться привлекать новых клиентов через реферальную систему. В курсе есть информация про это, но без практических советов: люди понимают теорию, а как это применить на практике - нет. Их ожидания от курса вернулись частично.

Оценка удовлетворенности - это общее впечатление от курса и отдельных его частей: материалов, иллюстраций, обратной связи. Результаты показывают, что создает положительное и негативное впечатление, и на основе этого можно усиливать или убирать отдельные части курса.

Например, в курсе по продажам людям понравились комиксы-иллюстрации с разбором конкретных ситуаций, а сопроводительный теоретический текст - нет. Это сигнал: убирать теорию или вынести её в отдельный блок для самых дотошных.

Контент-анализ отзывов - показывает разницу впечатлений слушателей которые завершили и не завершили курс. Для этого нужно задать вопросы в открытой форме и систематизировать ответы по категориям. Результаты покажут, как мотивировать людей проходить обучение до конца.

Например, большинство бросивших курс по продажам, говорят: информация непонятная, вопросы сложные, в целом скучно. Те, кто прошел курс, тоже отмечают непонятные материалы. Вывод - упрощать контент.

Усвоение знаний

Уровень знаний оценивает, какие знания, навыки и техники усвоили слушатели. Здесь тоже не всё просто: если человек не хочет применять новые техники или не понимает, как это сделать - обучение не будет эффективным. Чтобы желание и понимание появились, нужен «инсайт» - осознание через собственный опыт и анализ.

Здесь мы используем четыре инструмента.

Тест знаний «до-после» . Здесь всё просто: он показывает прогресс знаний по теме - или его отсутствие. Результаты могут показать, что материалы курса слишком простые, или слишком сложные, или поверхностные. С другой стороны, уровень слушателей может быть слишком высокий или низкий для этой темы. Может быть всё в порядке, и уровень знаний вырастет.

Если оценивать не весь курс, а отдельные темы, станет видно, какие знания он развивает больше. Например, в курсе о переговорах четыре темы: переговорные позиции, техники, переговорные навыки для управленческой работы и навыки в продажах. Тест показал, что знания по теме «переговорные позиции» выросли в три раза. Это можно сделать фишкой курса или подтянуть остальные темы.

Оценка прогресса по результатам тестов показывает, падает ли число ошибок по мере прохождения курса. В результате понятно, какие темы усваиваются лучше. Нельзя учесть все факторы, которые влияют на слушателя во время теста, и знать наверняка, что он не жульничает - поэтому к оценке относимся осторожно.

Например, финальный тест обычно сложнее промежуточных. Это нормально, что процент ошибок в нем выше. Если до этого ошибок с каждым тестом становилось меньше, то хороший показатель.

Связь повторного изучения материалов с результатами тестов - показывает, какие темы нужно прочитать два-три-четыре раза, чтобы результаты по ним улучшились. Решения: объяснить подробнее или изменить структуру, чтобы показать сложные вещи несколько раз с разных сторон.

Например, анализ показал, что слушатели изучают тему шесть раз, чтобы улучшить свои оценки почти вдвое. Это значит, что потенциал у нее огромный, но подача - слишком сложная. Приходится продираться.

Связь времени на изучение материалов с результатами . Это похоже на предыдущий инструмент, но здесь оцениваем, сколько времени тратят на один материал результативные и не результативные пользователи. В итоге можем определить оптимальное время для каждого и если нужно - изменить объем.

Например, результативный слушатель тратит на тему «переговорные навыки для управленческой работы» 6 минут, а не результативный - две. Можно предположить, что тему бросают, потому что она сложная, или изучают недостаточно внимательно. Тогда мы будем мотивировать пользователя работать с ней больше.

Поведенческие изменения

Самый важный показатель в оценке эффективности. Он оценивает, как люди используют новые знания на практике. Если этого не происходит - знания бесполезны, даже если человек их усвоил.

Здесь мы используем шесть инструментов.

Процент выполнения необязательных заданий . Показывает, насколько слушателю важно пройти курс полностью. Еще по итогу исследования видно, какие задания больше вовлекают, даже если делать их необязательно, а какие можно убрать из курса.

Например, половина слушателей начинает делать необязательное задание. Это хороший показатель: либо тема важная и может стать обязательной, либо сработали инструменты вовлечения.

Периодичность посещения у людей, которые завершили и не завершили курс . Это показывает, есть ли разница в стиле прохождения у разных категорий слушателей. Чтобы на это влиять, мы настраиваем отдельные уведомления для тех, кто пропадает надолго.

Например, к третьей неделе курса люди заходят меньше, а в последнюю активизируются и работают в четыре раза больше - как студенты перед сессией. Если настроить уведомления и мотивировать людей чаще заходить на второй-третьей неделе, обучение станет равномерным.

Среднее время на блок у людей, которые завершили и не завершили курс - показывает, что разные типы слушателей проходят курс в разном темпе. Это помогает адаптировать материалы под скорость, сделать процесс равномерным. Еще данные покажут, где мотивировать пользователей оставаться в системе дольше и наоборот - ускоряться.

Например, один блок курса занимает в два раза больше времени, чем остальные. Не осилив его до конца, слушатели уходят. Вывод: разбить материал на два блока - люди не будут воспринимать его как большой и сложный и смогут «съесть слона» по кусочкам.

Разделение слушателей на типы . Мы часто упоминаем типы слушателей, и это разделение - тоже инструмент оценки. Когда мы понимаем, сколько людей каждого типа проходят курс, можем адаптировать под них контент, дополнительно мотивировать и даже менять способ продвижения курса.

Например, в курсе много «заходящих» - это люди, которые читают материалы до самого конца, но не выполняют задания или выполняют абы как. Значит, им нужно доказать ценность заданий и мотивировать на высокие результаты.

Социальная активность людей, которые завершили и не завершили курс , показывает связь обучения с активностью в чатах, общением с другими слушателями, обменом опытом. Этот инструмент не влияет на качество курса, но может подсказать способы мотивации людей с помощью социальных заданий.

Если пользователи оставляют много отзывов о курсе, можно пообещать дополнительный балл за пост в социальной сети. Это одновременно мотивация и реклама курса.

Главное, чтобы награда не противоречили логике начисления баллов: если люди должны потрудиться в обучении, чтобы их заработать, награда за отзыв будет нелегитимной.