Научная статья на тему 'Оценка эффективности корпоративного обучения: эволюция подходов и перспективы'

Оценка эффективности корпоративного обучения: эволюция подходов и перспективы Текст научной статьи по специальности «Экономика и бизнес»

CC BY
1460
256
i Надоели баннеры? Вы всегда можете отключить рекламу.
Журнал
Вестник НГУЭУ
ВАК
Область наук
Ключевые слова
КОРПОРАТИВНОЕ ОБУЧЕНИЕ / КОРПОРАТИВНЫЙ УНИВЕРСИТЕТ / ОЦЕНКА ЭФФЕКТИВНОСТИ ОБУЧЕНИЯ / CORPORATE TRAINING / CORPORATE UNIVERSITY / ASSESSMENT OF EFFICIENCY OF TRAINING

Аннотация научной статьи по экономике и бизнесу, автор научной работы — Долженко Руслан Алексеевич, Илюшников Константин Константинович

Произведен анализ зарубежных подходов к оценке эффективности корпоративного обучения, представлена холистическая периодизация форм и методов оценки. Описана эволюция и взаимосвязь этапов становления корпоративных университетов как инструмента подготовки и развития персонала организации, с появляющимися с середины XX в. формами и методами оценки результатов корпоративного обучения. Впервые выстроена полная хронология методов оценки эффективности корпоративного обучения от 1948 до 2016 г., часть из которых впервые упоминается в отечественных источниках. Описаны предпосылки и причины последовательности появления методов. Предложена классификация этапов эволюции форм и методов оценки корпоративного обучения: базовый, становления, распространения, интеграции. Описаны критерии начала и завершения этапов, причины принадлежности и отличия. Предложена классификация всех методов оценки по принципу вида полученного результата: качественные, количественные, комбинированные. Цель статьи на основе анализа эволюции подходов к оценке эффективности корпоративного обучения определить перспективные направления ее развития с учетом тренда на активное использование корпоративных университетов в практике крупного бизнеса.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по экономике и бизнесу , автор научной работы — Долженко Руслан Алексеевич, Илюшников Константин Константинович

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

THE ASSESSMENT OF EFFECTIVENESS OF CORPORATE TRAINING: EVOLUTION OF THE APPROACHES AND PERSPECTIVES

The analysis of foreign approaches to the assessment of efficiency of corporate training was carried out; holistic periodization of the forms and methods of assessment was presented. The evolution and interrelation of the stages of formation of corporate universities was described as a tool for training and development of personnel of an organization, with the forms and methods of assessment of corporate training results, which began to emerge in mid-twentieth century. Full chronology of the methods of assessment of corporate training from 1948 till 2016 was built for the first time; some of the methods are mentioned in national sources. The prerequisites and reasons of the sequence of emergence of the methods were described. The classification of the stages of evolution of the forms and methods of assessment of corporate training was suggested basic, establishment, expansion, integration. The criteria of beginning and completion of the stages, as well as the reasons of affiliation and difference were described. The classification of all methods of assessment was suggested on the principle of the type of obtained result: qualitative, quantitative, and combined. The goal of the article is determination of the perspectives for development of the assessment of corporate training on the basis of the analysis of evolution of the approaches, with regard to the trend for active use of corporate universities in big business.

Текст научной работы на тему «Оценка эффективности корпоративного обучения: эволюция подходов и перспективы»

УДК: 331

ОЦЕНКА ЭФФЕКТИВНОСТИ КОРПОРАТИВНОГО ОБУЧЕНИЯ:

эволюция подходов и перспективы

Долженко Р.А.

Уральский государственный экономический университет E-mail: [email protected]

Илюшников К.К.

Алтайский государственный университет E-mail: [email protected]

Произведен анализ зарубежных подходов к оценке эффективности корпоративного обучения, представлена холистическая периодизация форм и методов оценки. Описана эволюция и взаимосвязь этапов становления корпоративных университетов как инструмента подготовки и развития персонала организации, с появляющимися с середины XX в. формами и методами оценки результатов корпоративного обучения. Впервые выстроена полная хронология методов оценки эффективности корпоративного обучения от 1948 до 2016 г., часть из которых впервые упоминается в отечественных источниках. Описаны предпосылки и причины последовательности появления методов. Предложена классификация этапов эволюции форм и методов оценки корпоративного обучения: базовый, становления, распространения, интеграции. Описаны критерии начала и завершения этапов, причины принадлежности и отличия. Предложена классификация всех методов оценки по принципу вида полученного результата: качественные, количественные, комбинированные. Цель статьи - на основе анализа эволюции подходов к оценке эффективности корпоративного обучения определить перспективные направления ее развития с учетом тренда на активное использование корпоративных университетов в практике крупного бизнеса.

Ключевые слова: корпоративное обучение, корпоративный университет, оценка эффективности обучения.

THE ASSESSMENT OF EFFECTIVENESS OF CORPORATE TRAINING: EVOLUTION OF THE APPROACHES AND PERSPECTIVES

Dolzhenko R.A.

Ural State University of Economics E-mail: [email protected]

Ilyushnikov K.K.

Altai State University E-mail: [email protected]

The analysis of foreign approaches to the assessment of efficiency of corporate training was carried out; holistic periodization of the forms and methods of assessment was presented. The evolution and interrelation of the stages of formation of corporate universities was described as a tool for training and development of personnel of an organization, with the forms and methods of assessment of corporate training results, which began to emerge in mid-twentieth century. Full chronology of the methods of assessment of corporate training from 1948 till 2016 was built for the first time; some of the methods are men-

© Долженко Р.А., Илюшников К.К., 2018

tioned in national sources. The prerequisites and reasons of the sequence of emergence of the methods were described. The classification of the stages of evolution of the forms and methods of assessment of corporate training was suggested - basic, establishment, expansion, integration. The criteria of beginning and completion of the stages, as well as the reasons of affiliation and difference were described. The classification of all methods of assessment was suggested on the principle of the type of obtained result: qualitative, quantitative, and combined. The goal of the article is determination of the perspectives for development of the assessment of corporate training on the basis of the analysis of evolution of the approaches, with regard to the trend for active use of corporate universities in big business.

Keywords: corporate training, corporate university, assessment of efficiency of training.

Введение. Корпоративное обучение сотрудников как доминирующий инструмент внутрифирменного развития и подготовки сотрудников является, с одной стороны, необходимым элементом жизни и конкурентоспособности крупных организаций и, с другой стороны, несет в себе существенную статью расходов компании. Для примера, в США ежегодно в корпоративное обучение инвестируется более 150 млрд $ и лишь 10 % всех развивающих мероприятий, по оценкам, приносят эффект [36]. Для того чтобы управлять этой деятельностью, многие компании создают специализированные структуры - корпоративные университеты. В настоящее время по оценкам в мире действует около 4 тыс. подобных учебных организаций. Этот тренд актуален и для российского бизнеса, за последние годы в нашей стране были зарегистрированы десятки корпоративных университетов, реализующих разные модели обучения, среди них: Корпоративный университет Сбербанка, Корпоративный университет МТС, Технический университет УГМК, Корпоративный университет TMK2U и др. Создание подобной структуры и обеспечение ее деятельности крайне затратны, поэтому бизнес заинтересован в том, чтобы вложения в перспективе окупались, приносили экономический эффект. Особенно актуальна эта тема в последние годы, в рамках цели оптимизации деятельности, а также повышения производительности труда.

Одно из направлений такой деятельности - оценка эффективности затрат на обучение персонала, но данная тема является самой трудной в предметном поле экономики персонала. Так, методики оценки эффективности корпоративного обучения прошли длинный путь развития, начиная с середины ХХ в., в то же время в большинстве современных исследований, превалирует описание не более 10 классических инструментов оценки, которые значительно отличаются друг от друга в содержательном и методологическом плане. Обзор научных работ в базах Scopus и Web of Science показал неослабевающий интерес к теме эффективности корпоративного обучения, есть ряд работ, в которых эта тема анализируется с позиции роли корпоративных университетов в ее обеспечении [15, 25, 29, 38].

Целью данной статьи является выстраивание полной исторической хронологии форм и методов оценки эффективности корпоративного обучения с проведением параллелей этапов зарождения и становления корпоративных университетов, а также выдвижение гипотезы о дальнейших направлениях развития форм и методов оценки корпоративного обучения.

Статья имеет следующую структуру: во введении представлена актуальность темы исследования и хронология этапов, пройденных системой корпоративного обучения (в том числе текущую стадию активного использования корпоративных университетов), начиная от периода появления и до настоящего времени; первая часть имеет разделение на 4 пункта - в соответствии с классификацией эволюции подходов оценки эффективности корпоративного обучения; во второй части - классификация всех методов оценки на основании оценки вида полученного результата; в третьей части - прогнозирование дальнейшего направления в эволюции форм и методов оценки корпоративного обучения; в заключении - общие выводы по результатам исследования.

Базовые представления об эволюции корпоративного обучения и этапах его развития. Наиболее часто в научной литературе приводится классификация различных форм и методов проведения корпоративного обучения. Как правило, авторами даются ответы на вопросы: какие инструменты могут использоваться для обучения различных категорий сотрудников, какие методы обучения наиболее эффективны для развития навыков или теоретической подготовки персонала, когда обучать персонал очно или использовать для этого дистанционное обучение и т.д. Процедуру оценки эффективности принято представлять как набор рекомендаций к практическому использованию без разбора взаимосвязей между методами, их хронологической последовательности, выделения причинно-следственных связей, исторических предпосылок. В то же время построение эволюционной последовательности форм и методов оценки эффективности обучения позволит получить детальное понимание практического применения в разрезе «становление корпоративного университета/цель оценки/метод оценки», что является основой при выборе/создании инструментария оценки на практике в настоящее время. Дополнительно использование эволюционного подхода позволит нам построить гипотезы относительно перспектив развития форм и методов оценки эффективности корпоративного обучения в будущем - все вышеуказанное свидетельствует о актуальности темы исследования.

Формы и методы оценки эффективности, являясь фактически инструментами отображения полезности обучения, отвечают на вопросы: к каким положительным результатам привело проведенное обучение (финансовые/нефинансовые), достигло ли поставленных целей, как изменило уровень знаний и навыков сотрудников, повлияло ли на их мотивацию.

для ответов на эти и другие вопросы существует многообразие методов, которые соответствуют тенденциям и взглядам на сам процесс корпоративного обучения на каждом временном промежутке. Поэтому для полного понимания эволюционного пути необходимо соотнесение с этапами, которые проходили корпоративные университеты в период своего становления и роста. В работе будет представлена хронологическая последовательность методов оценки корпоративного обучения в параллели их взаимосвязи основными историческими этапами развития корпоративных университетов:

- 1920-1930-е гг.: в США на базе классических университетов появляются первые бизнес-школы. Из узкопрофильных академических преподавателей и практиков-профессионалов возникает новая группа специалистов

по обучению - тренеры. Их обучение основывается на решении кейсов -направленных на практику задач.

- 1970-е гг.: корпоративные университеты становятся новой образовательной парадигмой в бизнес-среде, средством подготовки персонала нового типа. Их задачей является не только обучение, полностью погруженное в рабочую деятельность, но и удовлетворение потребности в развитии сотрудников на перспективу.

- 1990-е гг.: наблюдается массовый рост корпоративных университетов как систем организационного обучения, имеющих общую концепцию и методологию, предназначенную для всех уровней сотрудников.

- Середина 1990-х гг.: появляются финансово-независимые университеты, предоставляющие услуги обучения и развития персонала не только для подразделений своей компании, но и сторонним организациям.

- Начало 2000-х гг.: появляются и активно внедряются дистанционные формы обучения [41].

Эволюционная классификация методов оценки эффективности будет включать в себя 4 этапа: базовый (1948-1973), становления (1974-1990), распространения (1991-2009), интеграции (2009 - по настоящее время).

Базовый этап (1948-1973 гг.) характеризуется появлением классических методов оценки эффективности обучения, формируется практическая и теоретическая основа для дальнейшего развития представлений об оценке.

Начало этапа: зарождение первых методов оценки эффективности.

Завершение этапа: сформированы взгляды, на основе которых (в том числе альтернативных) продолжится развитие научных подходов к оценке эффективности обучения.

Забегая вперед, отметим, что часть из известных сегодня методик оценки эффективности обучения базового этапа пришла из педагогики или же активно в ней применяется. Причиной этому послужило то, что именно на базе классических университетов в 1920-1930-х гг. происходит формирование первых бизнес-школ в США и организаций, специализирующихся исключительно на обучении узкопрофильным специальностям. Именно из числа узкопрофильных преподавателей и профессионалов начинают появляться «тренеры», чей основной метод - это активное, практико-ориен-тированное обучение. Поэтому, говоря о методах оценки эффективности обучения, мы обнаружим перекликание мыслей и общность ряда подходов.

В 1948 г. Б. Блум впервые формирует идею классификации, которая станет известна впоследствии как «Таксономия Блума» [14]. В 1956 г. он вместе с соавторами выпускает первый том «Таксономии педагогических целей», описывающий когнитивную сферу, имеющую иерархичность уровней владения от начального до наивысшего:

a) Знание - обучающийся может запомнить и воспроизвести материал.

b) Понимание - обучающийся может интерпретировать материал (перевести из одной формы в другую).

c) Применение - обучающийся может использовать полученный материал в новых условиях и ситуациях.

d) Анализ - обучающийся может разделить материал на составляющие, создать структуру.

e) Синтез - обучающийся может комбинировать знания с целью создания новизны.

f) Оценка - обучающийся может оценить ценность материала [14].

В 1959 г. Д. Киркпатрик начинает формировать концепцию «четырехуровневой модели оценки» и предлагает использовать основополагающие составляющие своей модели, которая станет одной из самых известных в настоящее время: реакция, обучение, поведение, результаты [22].

В 1966 г. Д. Стафлеблим описывает модель CIPP - Context evaluation (Контекстное оценивание), Input evaluation (Оценивание на входе), Process evaluation (Оценивание процесса) и Product evaluation (Оценивание продукта), что представляет собой описание четырех уровней, которые дают аналитические и рациональные основы для принятия решения по реализации программ обучения [32].

В 1969 г. М. Алкин создает «эволюционную модель UCLA», имеющую 5 уровней оценки: а) Системная оценка - информация о состоянии системы;

б) Проектное планирование - оценка на соответствие темы и специфики тренинга, предназначенной группе сотрудников, первоначальным целям;

в) Реализация проекта - соответствие проведенного тренинга запланированной структуре и целевой группе сотрудников; г) Улучшение проекта -как функционирует тренинговый проект, достигнута ли промежуточная цель и возникают ли непрогнозируемый результаты; д) Сертификация проекта - информацию о стоимости проекта и его потенциале для использования в других группах [13].

В 1970 г. П. Варром, М. Бирдом и Н. Ракхамом разработана модель CIRO - Content evaluation (контекст), Input evaluation (Оценка на входе), Reaction evaluation (реакция), Outcome evaluation (результат). CIRO фокусируется на измерениях, проведенных до и после обучения [7, 35].

На базовом этапе 1948-1973 гг. сформировались такие классические подходы, как «Таксономия Блума», «четырехуровневая» модель Киркпа-трика, «CIPP» Стафлеблима, «UCLA» Алкина и «CIRO» Варра, ставшие основой при создании многих последующих методик. так, в этот период были разработаны принципы многоуровневости оценки, оценка по маркерам компетентности от наименьшего к наивысшему, оценка контекста программы и самого процесса обучения, принципы оценки системы обучения, а не отдельного тренинга и оценка участников «до и после». На этом этапе об оценке обучения, вышедшей из педагогики и андрогогики, еще не говорят с точки зрения финансов и подсчета экономической эффективности.

Далее в истории развития корпоративного обучения на период 1970-х приходится становление корпоративных университетов как средства развития персонала путем максимального погружения в рабочую среду. Для этого периода характерно активное развитие бизнес-кейсов как одного из основных используемых методов обучения. кроме того, на этом этапе корпоративные университеты стали необходимы в том числе как средство подготовки персонала для глобальных компаний - обеспечение единого уровня компетентности и продвижение корпоративной культуры.

Всего на тот момент насчитывается более 10 корпоративных университетов: от первого «Gamburger University» - McDonalds до Disney University, Coca-Cola, Motorola, Procter&Gamble, General Electric и т.д. [41].

Этап становления (1974-1990 гг.). Сформированная на предыдущем этапе актуальность, в разработке подходов оценки, порождает дискуссию и стимулирует развитие ряда основных методов оценки.

Начало этапа: сформированные на предыдущем этапе взгляды дают толчок к появлению основного пула классических методов оценки.

Завершение этапа: появление первых финансовых методов оценки эффективности обучения

В 1974 г. Э. Хэмблин представил концепцию дедуктивной оценки, связанной с обозначением ряда целей, которые требуется достигнуть по средствам проведения обучения. По итогу обучения необходимо провести оценку на предмет их достижения. Выстраивать уровни целей и осуществлять их ранжирование возможно как при оценке отдельно взятой программы обучения, так и производить оценку всей стратегии обучения исходя из основных целей организации [19].

В 1975 г. Д. Киркпатрик описал «четырехуровневую» модель, которая является одним из классических методов оценки эффективности обучения, в дальнейшем она стала основой для ряда модификаций и обсуждений в научной и бизнес-среде. суть многоуровневых систем предполагает, что программа обучения проходит несколько степеней проверки (по принципу усложения), в первоисточнике у Киркпатрика это:

a) Reaction (реакция/обратная связь) - мнение самих участников о проведенном обучении: полезно/неполезно, понравилось/не понравилось и т.д.

b) Learning (обучение/как освоили материал) - степень усвоения выдаваемого материала (знаний и навыков) участниками обучения.

c) Behavior (поведение/применение на практике) - изменение в работе участников, использование полученных знаний и навыков на практике.

d) Results (результаты) - материальное выражение результатов обучения: повышение производительности и т.д. [22].

В 1977 г. Як Фитц-енц начинает формировать модель, направленную на расчет стоимости учебных мероприятий [9, 10].

В 1978 г. Э. 1уба описывает «Натуралистический подход», который предполагает взаимное сотрудничество заинтересованных лиц и на заведомом доверии к качеству тренинга. В работах отечественных ученых при упоминании этого метода редко встречается описание методов оценки и основой метода считается «априорное доверие» к результатам. В действительности же методы установления обоснованности обучения в натуралистическом подходе включают в себя: триангуляцию («оценка третьим») перекрестный опрос, наблюдение [18].

В 1983 г. Д. Стафлеблим отмечает значимость процедуры оценки обучения в обеспечении постоянного потока информации для лиц, принимающих решения в организации, чтобы гарантировать постоянное улучшение тренинговых программ США [32].

В 1988 г. появляется модель «Як Фитц-енц'а», разделяющая затраты на обучение на непосредственные и косвенные. Расчет производится вычислением затрат на одно учебное мероприятие. К непосредственным издержкам относятся затраты на консультации о необходимости и способах проведения, аренда помещения для проведения тренинга, канцелярия и т.д. Косвен-

ные издержки включают в себя оплату тренера, зарплаты участников на период обучения и общие накладные расходы [9, 10].

На этапе становления (1974-1990) разработанные на предыдущем этапе методики занимают устойчивую позицию в научных и профессиональных кругах. Публикуется дополнение работы Д. Стафлеблима. В классическом виде Д. Киркпатрик представляет «четырехуровневую модель», которая на десятилетия определила характер развития представлений об оценке эффективности обучения. Идея уровней находит свое отображение в «дедуктивном подходе» Э. Хэмблина, где сформулирован принцип: успешность обучения = достижение поставленных целей. Появляется альтернативная базовым методика оценки в виде «натуралистического» подхода Э. 1уба, с идеей не использовать в процессе оценки эмпирические данные. Озвучена идея детального подсчета стоимости обучения, а вскоре предложена и методика оценки затрат на обучение как суммы расходных факторов, таких как: канцелярия, сумма зарплат тренера и участников, аренда помещения и т.д. Хоть в этот период HR сообщество и не было готово принимать эту идею, но впоследствии оценка финансовой эффективности станет значимой частью методологии оценки эффективности обучения.

Этап распространения (1991-2009 гг.). Многообразие подходов, форм и методов оценки эффективности обучения отвечает запросу на демонстрацию результативности возросшего числа КУ Авторы, начавшие свои работы на предыдущем этапе, продолжают совершенствовать ранее предложенные методы.

Начало этапа: появление первого финансового метода оценки.

Завершение этапа: разнообразные методы оценки применяются повсеместно в КУ Оценка эффективности является обязательным условием, характеризующим успешность корпоративного обучения.

В 1991 г. Д. Филипс публикует модель ROI. Коэффициент ROI отображает процентное соотношение чистой прибыли от обучения к сумме всех затрат на его организацию и проведение, рассчитываемый по формуле:

где P - прибыль от обучения, C - затраты на проведение обучения [26, 27].

В 1991 г. П. Кирнс описывает «прикладную теорию», суть которой заключается в сравнении эффективности работы до тренинга и после на основании цепочки ответов на вопросы, начиная от «что считать эффективностью?», «какие методы оценки использовать?» до «что есть тренинг?», «можно ли считать это мероприятие тренингом?» [6].

В 1992 г. Р Каплан и Д. Нортон публикуют модель «Balanced Scorecard». Применительно к оценке эффективности обучения описание уровней выглядит следующим образом. Финансы - оправдались/оправдаются ли вложения, последует ли увеличение прибыли и т.д. Клиенты - подразумеваются «внутренние» клиенты, т.е. сотрудники, проходящие обучение. Проводится оценка на уровне значимости для успешного выполнения работы, развития карьеры и т.д. Бизнес-процессы - оценка на уровне тренера.

Рис. 1. Диаграмма Киркпатрика 1994 г. [39]

Ответ на вопросы: «выполнил ли мой тренинг поставленные цели? Полезен ли тренинг?» и др. Развитие - количественные показатели оценки эффективности работы подразделений в перспективе. Ответ на вопрос «Как проведенное обучение улучшит работу компании в будущем?» [2, 32].

В 1994 г. Д. Киркпатрик публикует диаграмму «четырехуровневой» модели Д. Киркпатрика (рис. 1) [39].

В 1994 г. Американская Ассоциация Оценщиков (American Evaluation Association's - AEA) с целью стандартизации работы специалистов по оценке формирует принципы работы специалистов, приступающих к оценке [37].

В 1995 г. Р Кауфман, Д. Келлер и Р Уоткинс создают «пятиуровневую модель Кауфмана». Оценивать необходимо качество и доступность материальных, финансовых и человеческих ресурсов, необходимых для проведения обучения [21].

В 1997 г. Д. Ульрих в книге «Human Resource Champions» описывает механизм для измерения результатов работы всего направления HR, включающий в себя проведение оценки и эффективности обучения. Для этого с его точки зрения необходимо произвести оценку по пяти основным направлениям: производительность труда сотрудника, измерение бизнес-процессов, расходы на реализацию программ, лояльность сотрудников, возможности организации. Сочетая в себе количественные и качественные показатели, модель Д. Ульриха позволяет получить комплексное представление об эффективности системы обучения [8].

В 1998 г. Р Тайлер описывает «Целевой подход», суть которого заключается в том, что успешность программы обучения напрямую зависит от первоначально поставленных перед ней целей [33].

В 1998 г. Э. Эйснер описывает метод «Экспертных оценок», основная цель которого оценка новых учебных программ. Модель Э. Эйнера относится к разряду гуманистических и по аналогии с Э. 1уба подразумевает априорное доверие к финальному результату. В соответствии с данной моделью, чтобы считаться успешной, программа должна пройти четыре этапа: описание, истолкование, оценивание, определение тем [16].

В 1999 г. Э. Тролли и Д. Ван Адельсберг описывают модель расчета чистой приведенной стоимости, обозначив тем самым главенство критерия окупаемости/прибыльности инвестиций при оценке эффективности проведенного обучения. для расчета используется формула

NPV = У" ,

^=0(1 + R)'

где NPV - чистая приведенная стоимость (Net Present Value), n - количество временных периодов, t - номер временного периода, CF - денежный поток (Cash Flow), R - стоимость капитала (ставка дисконтирования, Rate) [3, 11].

В 2000 г. Д. Стафлеблим говорит о необходимости проводить оценку обучения по общим профессиональным стандартам [32].

В 2001 г. Л. Андерсон и Д. Кратволь переосмысливают классическую «Таксономию Блума». Ключевое дополнение касается изменения в общей структуре иерархии: создание новых знаний перемещается на максимальный уровень [12, 24].

В 2004 г. Б. Аарон с соавторами представляет «V-Модель».

схема получила свое название по принципу следования этапов в виде буквы «V» латинского алфавита (рис. 2).

Участники: V-Модель

Топ-менеджеры Потребности

Ключевые инвесторы бизнеса ROI

Другие ЛПР высшего уровня > ^

Бизнес-заказчики „ _

„ „ Возможности Практическое

«Владельцы возможностей» . г

ЛПР по бюджету бизнеса применение

Обучающиеся Эффективность Эффективность

Бизнес-заказчики __е

_ труда обучения Руководители обучения

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Тренеры и руководители обучения (метрики и отчеты) Обучение и развитие

Разработчики программ обучения Бизнес-заказчики

Рис. 2. V-Модель Б. Аарона [34]

В 2006 г. Д. Киркпатрик опубликовал третье издание «Evaluating training programmes», в котором описывает возможности применения модели не только для оценки обучения, но и в области управления организационных изменений [22].

В 2008 г. М. Скривенс, отмечая значимость «четырехуровневой модели Киркпатрика» в профессиональной оценке обучения, описал модель «12 шагов», цель которых попытаться предугадать значимость/необходимость обучения с целью получить согласование на его проведение и подготовиться к защите эффективности по факту проведения [31].

В 2009 г. Д. Киркпатрик говорит о роли драйверов - усилителей активности, являющихся важными ключами к успешному исполнению 3-го уровня модели. Без них на практике применяется только около 15 % того, что изучено в ходе тренинга [39].

На этапе распространения (1991-2009) происходит массовый рост числа корпоративных университетов - их число превышает 400 к середине 90-х, а к 2010 г. свыше 2000, они демонстрируют выстроенную систему обучения и подготовки, имеют собственную методологию и принципы развития всех уровней сотрудников. Формируется потребность в оценке и подсчете средств на создание и функционирование КУУ оценке рентабельности и сроков возврата инвестиций. В заочной дискуссии Дж. Филипса и Д. Кирк-патрика появляется методика расчета эффективности обучения путем возврата инвестиций (ROI), что приводит к дальнейшему развитию идей необходимости прямой экономической выгоды обучающих мероприятий. Впоследствии Э. Тролли говорит о критерии окупаемости как о главенствующем при оценке обучения. К корпоративным университетам, прошедшим в США путь от единичных до распространенных, начинают относиться как к полноценным бизнес-подразделениям, а в некоторых случаях и самостоятельным организациям. В этот период начинают появляться первые финансово-самостоятельные корпоративные университеты, развивающие и обучающие персонал не только для нужд внутренних подразделений своей организации, но и для сторонних компаний. Появляются методики, оценивающие эффективность обучения по принципам, применяемым при оценке целостной организационной эффективности (Р Кауфман). В этот период также происходит появление и распространение курсов дистанционного обучения, а Б. Аарон переносит логику «У»-модели, используемую в сфере разработки IT, на оценку эффективности обучения. Еще одной характеристикой периода распространения является выход влияния оценки обучения за сферу развития сотрудников: Д. Киркпатрик отмечает возможность использования четырехуровневой модели в сфере управления организационными изменениями, в то же время М. Скривенс предлагает оценивать влияние обучения на перспективы в смежных направлениях - оценщик должен проследить за положительными «побочными» эффектами в организации.

Этап интеграции (2009 г. - по настоящее время). Новые подходы стремятся интегрировать оценку эффективности в организационное развитие в широком смысле.

Начало этапа: расширение применяемой области оценки эффективности обучения. Влияние оценки на смежные направления. Встраивание в систему организационных изменений.

Тенденции: взаимосвязь целей и КР1 сотрудников с оценкой эффективности обучения.

В 2009 г. Дж. Филипс приводит формулу расчета HR.RO!, в которую для оценки эффективности включаются такие показатели КР1, как: увеличение производительности труда, объема продаж, которые переводятся в денежное выражение и сравниваются до и после обучения [5].

В 2014 г. Ч. Дженнингс в своей работе говорит о том, что эффективное обучающее мероприятие должно быть направлено на повышение метрик бизнеса. Согласованием ключевых показателей, на рост которых будет направлен тренинг, должна заниматься кросс-функциональная команда из представителей обучения и руководителей подразделений. В ином случае «любое обучающее мероприятие, не согласованное с ожиданиями заинтересованных сторон, - это просто "выстрел в темноте"» [20].

В 2016 г. М. Бир, М. Финстром и Д. Шредер говорят о значимости совпадения целей обучения с КР1 сотрудника. Благодаря этому образуется «система мышления», в которой поддерживают использование новых знаний и навыков, «контекст, который формирует отношения и поведение. В противном случае, только 10 % учебных программ будут эффективны». согласно данной методике, система обучения является эффективной в том случае, когда программы обучения направлены на рост КР1 сотрудников и дают эффект на практике [36].

Заключительным этапом в нашей классификации является этап интеграции (число КУ более 4000 в мире), он характеризуется оценкой эффективности системы обучения критериями бизнес-показателей в более широком смысле, чем финансовая прибыльность и окупаемость. корпоративный университет может быть экономически успешен, но не решать ключевых задач бизнеса (например, при направленности кУ на рост продаж и расширение клиентской базы - делают кУ финансово-эффективным, в то время как вектором организации может являться сохранение высокодоходной клиентской базы и рост ее удовлетворенности/лояльности). Как следствие, подразделения НИ. и КУ получают цели, идентичные КР1 основных подразделений организации. В рамках этой концепции высказываются Дж. Филипс (НИТо^, Ч. Дженнингс (система детализированных метрик и кросс-функциональных команд) и трио авторов М. Бир, М. Финстр, Д. шредер (системное организационное мышление). Эволюция представлений о возможностях оценки эффективности корпоративного обучения может быть сопоставлена с этапами развития корпоративных университетов (табл. 1).

Классификация методов оценки эффективности корпоративного обучения по критерию полученного результата. Проследив эволюцию подходов к оценке эффективности корпоративного обучения, мы определили, что методы имеют различную направленность в оценке итогового результата. На основании этого были выделены следующие группы (табл. 2): качественные - оценка производится на основе констатации факта положительных изменений в организации;

количественные - позволяют рассчитывать и прогнозировать экономический эффект в денежном эквиваленте;

комбинированные - многоуровневые методы оценки, включающие в себя оценку системы как с качественной, так и с количественной точки зрения.

Таблица 1

Отношение периодов развития корпоративных университетов с эволюционными этапами подходов к оценке эффективности корпоративного обучения

Период Содержание Эволюционный этап развития подходов к оценке Период

1920-1930-е гг. Создание первых бизнес-школ в США на базе классических университетов. Появление тренеров из числа узкопрофильных преподавателей и профессионалов-практиков Базовый 1948-1973 гг.

1970-е гг. Становление корпоративных университетов как средства обучения и развития персонала путем максимального погружения в рабочую среду. Решение бизнес-кейсов - один из основных используемых методов Становления 1974-1990 гг.

1990-е гг. Массовый рост числа корпоративных университетов. Характеризуются выстроенной системой обучения и подготовки, имеющих методологию и концепцию развития сотрудников всех уровней распространения 1991-2009 гг.

Середина 1990-х гг. Первые примеры появления финансово-самостоятельных корпоративных университетов, развивающих и обучающих персонал не только для нужд внутренних подразделений своей организации, но и для сторонних фирм

2000-е гг. Появление и активное внедрение дистанционных форм обучения Интеграции 2009 - по наст. время

Таблица 2

Качественные, количественные и комбинированные методы оценки эффективности

корпоративного обучения

Качественные подходы оценки эффективности обучения Количественные подходы оценки эффективности обучения Комбинированные подходы оценки эффективности обучения

Дедуктивный подход/ А. Хэмблин Я01/Дж. Филипс Модель ^Б. Аарон

Таксономия Блума/ Б. Блум Возврат инвестиций/ Е. Тролли и Д. Адельсберг Сбалансированные показатели/ Р Каплан и Д. Нортон

Целевой подход/ Р. Тайлер Модель Я. Фитц-енца Измерение работы НГ Д. Ульрих

Модель CIPP/ Д. Стафлеблим Ориентации на результат/ М. Скривенс

Модель CIRO/ Варр, Берд, Ракхам

Натуралистический подход/ Э. Губа

Прикладная теория/ П. Кирнс

Важно отметить, что данная классификация необходима для более наглядного представления принципов и форм оценки. Инструментарий оценки представляет собой набор, подстраиваемый под разные ситуации, ведь не все программы обучения можно оценить по универсальной матрице, а некоторые и вовсе не требуют глубокой оценки и проводятся по принципу «должны быть».

Прогнозирование дальнейшего направления эволюции форм и методов оценки корпоративного обучения. В целях дальнейшего прогнозирования этапов эволюции подходов оценки эффективности корпоративного обучения приведем краткую характеристику каждого из периодов.

Базовый (1948-1973 гг.) - формирование основных подходов и принципов оценки эффективности. В предложенных теориях отсутствует стремление оценивать эффективности критерием финансов.

Становления (1974-1990 гг.) - классические подходы, разработанные на предыдущем этапе и имевшие местами вид детализированной концепции, обретают статус основных теорий, проходят проверку временем и закрепляют свою позицию в научных и профессиональных кругах. Дополнительным свидетельством того, что базовые теории укрепились в статусе доминирующих, служит появление альтернативного взгляда - «натуралистического» подхода с отказом использования эмпирических данных в процессе оценки. Еще одной характеристикой этапа является первая попытка посмотреть на эффективность обучения в разрезе финансовой стоимости тренинга.

Распространения (1991-2009 гг.) - массовое распространение и применение на практике теоретических подходов оценки. Увеличение числа корпоративных университетов приводит к потребности подсчета возврата инвестиций (ROI). Значимость (а в некоторых новых теориях и главенство) получает критерий окупаемости обучения. Поднимаются вопросы о стандартизации и этических нормах при проведении оценки. Взгляды на систему обучения выходят за пределы только положительных эффектов от развития сотрудников, в направление управления изменениями в организации и иных «побочных» проявлений.

Интеграции (2009 г. - по настоящее время) - оценка эффективности системы обучения переходит на уровень бизнес-показателей. Для HR-подразделений и корпоративных университетов устанавливаются KPI, характерные для основных подразделений организации.

Продолжая вышеописанную логику исследования, при которой этапы развития корпоративного обучения и оценка эффективности обучения взаимосвязаны, изложим основную тенденцию в развитии корпоративного обучения - переход на дистанционное обучение. К 2025 г. прогнозируется увеличение объема рынка E-Learning до 325 млрд $ в год, что повлечет за собой массовое применение инструментов оценки электронного обучения

[1, 38].

Прогноз (2020-2025) - смещение фокуса форм и методов оценки эффективности обучения на дистанционное, а именно:

- оценка числа участников, загрузивших и прошедших весь курс;

- оценка знаний участниками по результатам обучения (тестирование, решение кейсов);

- оценка визуальной составляющей и степени интерактивности курса;

- оценка сенсорного отслеживания взгляда участников на мониторе;

- оценка результата для компании по классическим качественным, классическим и комбинированным методам оценки;

- следование тенденции общности целей обучения и бизнес-подразделений, появившейся на предыдущем этапе.

Основанием для прогнозирования послужила тенденция успешного использования на практике корпоративным университетом AT&T внутреннего сайта обмена и платформы социальных сетей для корпоративного обучения. Всего в настоящее время 40 % учебного плана состоит из электронного обучения [29]. Кроме того, выдвинутые нами гипотезы коррелируют с современными прогнозами и исследованиями: удобства, предоставляемые мобильным обучением (микро-контент), представляют собой сдвиг парадигмы в образовании [38]. Фактором, усиливающим перспективы исследований в сторону анализа эффективности в дистанционном обучении, являются появляющиеся адаптации форм и методов оценки.

В 2015 г. Э. Ла Мотт применила «четырехуровневую» модель Д. Киркпа-трика при оценке эффективности электронного обучения: использование электронного опросника в конце курса, тестирование, оценка руководителя по изменению рабочих показателей, оценка роста продаж, производительности, снижения затрат и т.д. [23].

В 2015 г. К. Паппас в своем руководстве по электронному обучению описал детальную систему оценки автоматизированного обучения. Электронный курс необходимо оценить по следующим критериям: соответствие поставленным целям, достаточной интерактивности, визуально воздействующий, понятный, успешно реализован технологически, приемлем по стоимости, сбалансирован по времени [40].

Заключение. Формы и методы оценки эффективности корпоративного обучения являются неотъемлемой частью процесса подготовки и развития сотрудников в организации как с точки зрения функции контроля, так и планирования обучения. Эволюция подходов, начавшаяся с середины ХХ в. работами Б. Блума, продолжается по настоящее время и будет развиваться в будущем в соответствии с этапами развития корпоративных университетов, следуя их тенденциям и отвечая потребностям оценки в современных реалиях. Методы оценки представлены в классификации, включающей в себя 4 этапа: базовый, становления, распространения и интеграции, каждый из которых имеет свои отличительные особенности, соотносящиеся с этапами развития и становления корпоративных университетов. В работе определена возможность разделения всех методов по целям, которые преследует оценка эффективности, а именно увидеть: качественные, количественные и комбинированные изменения в организации после проведенного обучения. Прогнозируем, что в перспективе наиболее востребованными будут методы оценки электронного дистанционного обучения.

Литература

1. Долженко Р. Корпоративное обучение персонала в коммерческом банке // Кадровик. 2012. № 1. С. 99-106.

2. Каплан Р.С., Нортон Д.П. Сбалансированная система показателей. От стратегии к действию / пер. с англ. М., 2005.

3. Маркарьян Э., Герасименко Г, Маркарьян С. Финансовый анализ. М.: ИДФБК-ПРЕСС, 2002. 350 с.

4. Миллер Н.Н. Финансовый анализ в вопросах и ответах. М.: ТК Велби, Изд-во «Проспект», 2005. 232 с.

5. Резепин Ю.Ю. Оценка инвестиций без капитальных вложений: методические подходы // Российское предпринимательство. 2015. Т. 16. № 17 С. 2801-2818. doi: 10.18334/rp.16.17.1852.

6. Рыженков П.Е., Первушина О.Н., Панцуркина Т.К. Технология и психология в работе бизнес-тренера: Учеб.-методич. пособие / Новосиб. гос. ун-т. Новосибирск, 2008. 25 с.

7 Сергеев А.Г., Жигалов И.Е., Баландина В.В. Введение в электронное обучение: монография / Владим. гос. ун-т имени Александра Григорьевича и Николая Григорьевича Столетовых. Владимир: Изд-во ВлГУ 2012. 182 с.

8. Ульрих Д. Эффективное управление персоналом: новая роль HR-менеджера в организации / пер. с англ. М., 2011. 304 с.

9. Фитц-енц Як. Как измерить HR-менеджмент / 3-е изд. М.: Издательство ГИП-ПО, 2009. С. 161-215.

10. Фитц-енц Як. Рентабельность инвестиций в персонал: измерение экономической ценности персонала. М.: Вершина, 2011.

11. Adelsberg A., Trolley E. Running Training Like a Business The Forum Corporation, 1999.

12. Anderson L., Krathwohl D.A. Taxonomy for Learning, Teaching and Assessing: A Revision of Bloom's Taxonomy of Educational Objectives. New York: Longman, 2001.

13. Alkin M.C. Evaluation Theory development. Evaluation Comment 2. 1969, 2-7

14. Bloom B., Englehart M., Furst E., Hill W., Krathwohl D. Taxonomy of educational objectives: The classification of educational goals. Handbook I: Cognitive domain. NewYork, Toronto: Longmans, Green, 1956.

15. Cappiello G., Pedrini G. The performance evaluation of corporate universities // Tertiary Education and Management. 2017. Vol. 23. No. 3. IP 304-317

16. Eisner E.W. The enlightened eye: Qualitative inquiry and the enhancement of educational practice Upper Saddle River. N.J.: Prentice-Hall, 1998.

17 Fitz-enz Jac. «Proving the Value of Training» by Jac Fitz-enz. From Personel March, 1988.

18. Guba E.G. Toward a methodology of naturalistic inquiry in educational evaluation // CsE Monograph series in Education. Vol. 8. Los Angeles: Center for the study of Evaluation, 1978.

19. Hamblin A.C. Evaluation and Control of Training, McGraw Hill, 1974.

20. Jennings C. Focused on all things related to learning, performance and organizational productivity, and to the 70:20:10 model, 2014.

21. Kaufman R., Keller J., Watkins R. What works and what does not: Evaluation beyond Kirkpatrick. Performance and Instruction, 1995, 35(2): 8-12.

22. Kirkpatrick D. AT+D classic: how to start an objective evaluation of your training program T&D, May 2004, v5 i5).

23. La Motte A. Measure the Effectiveness of Your E-Learning Course with Kirkpatrick's 4 Levels of Evaluation.

24. Leslie Owen Wilson, Anderson and Krathwohl. Bloom's Taxonomy Revised. Understanding the New Version of Bloom's Taxonomy. A succinct discussion of the revisions to Bloom's classic cognitive taxonomy by Anderson and Krathwohl and how to use them effectivel, 2016.

25. Parshakov P., Shakina E.A. With or without CU A comparative study of efficiency of European and Russian corporate universities // Journal of intellectual capital. 2018. Vol. 1. No. 19. P. 96-111.

26. Phillips J.J. Handbook of Training Evaluation and Measurement Methods. 3nd ed. Gulf Professional Publishing, 1997 420 p.

21. Phillips J. Return on Investment in Training and Performance Improvement Programs Gulf Publishing, 1997 202 p.

28. Program Evaluation Primer: A Review of Three Evaluations Craig M. McGill, Ardith Clayton-Wright, and Mia Heikkila Florida International University, USA, 2015.

29. Rheaume L., Gardoni M. Infocom business models innovation with the development of corporate universities // International journal of innovation and learning. 2017. Vol. 1. No. 21. P 98-113.

30. Robert S. Kaplan Conceptual Foundations of Balanced Scorecard Harvard Business School, Harvard University, 2010.

31. Scriven M. The evaluation of training: a checklist approach. Claremont Graduate University & Western Michigan University, 2008.

32. Stufflebeam D.L. The CIPP model for evaluation / D.L. Stufflebeam, G.F Madaus, T. Kellaghan (Eds.) // Evaluation models. 2nd ed. Boston: Kluwer Academic Publishers, 2000.

33. Tyler R. The Basic Principles of Curriculum and Instruction. Ornste in and Hunkins, 1998. 128 p.

34. Waddington T., Aaron B., Sheldrick R. Guerilla Evaluation: Adapting to the Terrain and Situaion. Instructional Desing in the Real World: A View from the Trenches. 2004. 271 p.

35. Warr P., Bird M., Rackham N. Evaluation of Management Training. London Gower Press, 1970.

36. Beer M. The Great Training Robbery 4/21/2016 By Michael Beer Harvard Business School & Magnus Finnstrom, Derek Schrader. URL: http://www.hbs.edu/faculty/ Publication%20Files/16-121_bc0f03ce-27de-4479-a90e-9d78b8da7b67.pdf

37 Guiding Principles Review and Report American Evaluation Association Guiding Principles for Evaluators. URL: http://www.eval.org/p/cm/ld/fid=51

38. Ferriman J. E-Learning Industry Worth $325 Billion by 2025. 2017 URL: https://www. learndash.com/e-learning-industry-worth-325-billion-by-2025/

39. Kirkpatrick J. The Kirkpatrick Model: Past, Present and FutureOctober 25, 2009. Kirkpatrick J. URL: http://www.clomedia.com/2009/10/25/the-kirkpatrick-model-past-present-and-future/

40. Pappas С. eLearning Course Evaluation: The Ultimate Guide For eLearning Professionals, 2015. URL: https://elearningindustry.com/elearning-course-evaluation-the-ultimate-guide-for-elearning-professionals.

41. Грачева С. Корпоративные университеты за рубежом (история создания, опыт, современность) // Управление персоналом. 2008. № 5. [Электронный ресурс]. URL: http://www.top-personal.ru/issue.html?1496

Bibliography

1. Dolzhenko R. Korporativnoe obuchenie personala v kommercheskom banke // Kadrovik. 2012. № 1. F! 99-106.

2. Kaplan R.S., Norton D.P. Sbalansirovannaja sistema pokazatelej. Ot strategii k dejstviju / per. s angl. M., 2005.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

3. Markar'jan Je., Gerasimenko G., Markar'jan S. Finansovyj analiz. M.: IDFBK-PRESS, 2002. 350 p.

4. Miller N.N. Finansovyj analiz v voprosah i otvetah. M.: TK Velbi, Izd-vo «Prospekt», 2005. 232 p.

5. Rezepin JuJu. Ocenka investicij bez kapital'nyh vlozhenij: metodicheskie // Rossij-skoe predprinimatel'stvo. 2015. T. 16. № 17 P 2801-2818. doi: 10.18334/rp.16.171852.

6. Ryzhenkov P.E., Pervushina O.N., Pancurkina T.K. Tehnologija i psihologija v rabote biznes-trenera: Ucheb.-metodich. posobie / Novosib. gos. un-t. Novosibirsk, 2008. 25 p.

7. SergeevA.G., ZhigalovI.E., Balandina VV. Vvedenie v jelektronnoe obuchenie: mo-nografija / Vladim. gos un-t imeni Aleksandra Grigor'evicha i Nikolaja Grigor'evicha Stoletovyh. Vladimir: Izd-vo VlGU, 2012. 182 p.

8. Ul'rih D. Jeffektivnoe upravlenie personalom: novaja rol' HR-menedzhera v organi-zacii / per. s angl. M., 2011. 304 p.

9. Fitc-enc Jak. Kak izmerit' HR-menedzhment / 3-e izd. M.: Izdatel'stvo GIPPO. 2009. IP 161-215

10. Fitc-enc Jak. Rentabel'nost' investicij v personal: izmerenie jekonomicheskoj cennosti personala. M.: Vershina, 2011.

11. Adelsberg A., Trolley E. Running Training Like a Business The Forum Corporation, 1999.

12. Anderson L., Krathwohl D.A. Taxonomy for Learning, Teaching and Assessing: A Revision of Bloom's Taxonomy of Educational Objectives. New York: Longman, 2001.

13. Alkin M.C. Evaluation Theory development. Evaluation Comment 2. 1969, 2-7

14. Bloom B., Englehart M., Furst E., Hill W., Krathwohl D. Taxonomy of educational objectives: The classification of educational goals. Handbook I: Cognitive domain. NewYork, Toronto: Longmans, Green, 1956.

15. Cappiello G., Pedrini G. The performance evaluation of corporate universities // Tertiary Education and Management. 2017. Vol. 23. No. 3. P 304-317

16. Eisner E.W. The enlightened eye: Qualitative inquiry and the enhancement of educational practice Upper Saddle River. N.J.: Prentice-Hall, 1998.

17 Fitz-enz Jac. «Proving the Value of Training» by Jac Fitz-enz. From Personel March, 1988.

18. Guba E.G. Toward a methodology of naturalistic inquiry in educational evaluation // CsE Monograph series in Education. Vol. 8. Los Angeles: Center for the study of Evaluation, 1978.

19. Hamblin A.C. Evaluation and Control of Training, McGraw Hill, 1974.

20. Jennings C. Focused on all things related to learning, performance and organizational productivity, and to the 70:20:10 model, 2014.

21. Kaufman R., Keller J., Watkins R. What works and what does not: Evaluation beyond Kirkpatrick. Performance and Instruction, 1995, 35(2): 8-12.

22. Kirkpatrick D. AT+D classic: how to start an objective evaluation of your training program T&D, May 2004, v5 i5).

23. La Motte A. Measure the Effectiveness of Your E-Learning Course with Kirkpatrick's 4 Levels of Evaluation.

24. Leslie Owen Wilson, Anderson and Krathwohl. Bloom's Taxonomy Revised. Understanding the New Version of Bloom's Taxonomy. A succinct discussion of the revisions to Bloom's classic cognitive taxonomy by Anderson and Krathwohl and how to use them effectivel, 2016.

25. Parshakov P., Shakina E.A. With or without CU A comparative study of efficiency of European and Russian corporate universities // Journal of intellectual capital. 2018. Vol. 1. No. 19. P. 96-111.

26. Phillips J.J. Handbook of Training Evaluation and Measurement Methods. 3nd ed. Gulf Professional Publishing, 1997 420 p.

21. Phillips J. Return on Investment in Training and Performance Improvement Programs Gulf Publishing, 1997 202 p.

28. Program Evaluation Primer: A Review of Three Evaluations Craig M. McGill, Ardith Clayton-Wright, and Mia Heikkila Florida International University, UsA, 2015.

29. Rheaume L., Gardoni M. Infocom business models innovation with the development of corporate universities // International journal of innovation and learning. 2017. Vol. 1. No. 21. P 98-113.

30. Robert S. Kaplan Conceptual Foundations of Balanced scorecard Harvard Business school, Harvard University, 2010.

31. Scriven M. The evaluation of training: a checklist approach. Claremont Graduate University & Western Michigan University, 2008.

32. Stufflebeam D.L. The CIPP model for evaluation / D.L. Stufflebeam, G.E Madaus, T. Kellaghan (Eds.) // Evaluation models. 2nd ed. Boston: Kluwer Academic Publishers, 2000.

33. Tyler R. The Basic Principles of Curriculum and Instruction. Ornste in and Hunkins, 1998. 128 p.

34. Waddington T., Aaron B., Sheldrick R. Guerilla Evaluation: Adapting to the Terrain and Situaion. Instructional Desing in the Real World: A View from the Trenches. 2004. 271 p.

35. Warr P., Bird M., Rackham N. Evaluation of Management Training. London Gower Press, 1970.

36. Beer M. The Great Training Robbery 4/21/2016 By Michael Beer Harvard Business School & Magnus Einnstrom, Derek Schrader. URL: http://www.hbs.edu/faculty/ Publication%20Eiles/16-121_bc0f03ce-27de-4479-a90e-9d78b8da7b67pdf

37 Guiding Principles Review and Report American Evaluation Association Guiding Principles for Evaluators. URL: http://www.eval.org/p/cm/ld/fid=51

38. Ferriman J. E-Learning Industry Worth $325 Billion by 2025. 2017 URL: https://www. learndash.com/e-learning-industry-worth-325-billion-by-2025/

39. Kirkpatrick J. The Kirkpatrick Model: Past, Present and EutureOctober 25, 2009. Kirkpatrick J. URL: http://www.clomedia.com/2009/10/25/the-kirkpatrick-model-past-present-and-future/

40. Pappas С. eLearning Course Evaluation: The Ultimate Guide Eor eLearning Professionals, 2015. URL: https://elearningindustry.com/elearning-course-evaluation-the-ultimate-guide-for-elearning-professionals.

41. Gracheva S. Korporativnye universitety za rubezhom (istorija sozdanija, opyt, sovre-mennost') // Upravlenie personalom. 2008. № 5. [Jelektronnyj resurs]. URL: http:// www.top-personal.ru/issue.html?1496

i Надоели баннеры? Вы всегда можете отключить рекламу.