CC BY
135
Сравнительный анализ
эффективности технологий обучения
Н. Д. Рогалев,
д. т. н., профессор, зав. кафедрой
e-mail: RogalevND@mpei.ru
Е. М. Табачный,
к. т. н., доцент
e-mail: TabachnyYM@mpei.ru
Г. Н. Курдюкова,
к. т. н., доцент, профессор
e-mail: KurdiukovaGN@mpei.ru
Д. В. Никифорова,
ассистент
e-mail: khitrova.d.v@mail.ru
Кафедра экономики промышленности и организации предприятий, ГОУВПО МЭИ (ТУ)
В статье проводится сравнительный анализ эффективности технологий обучения: традиционная технология, «методика активации знаний», дистанционная технология. В качестве критериев эффекта и эффективности изучения дисциплины
в вузе приняты два критерия: результативность и эффективность. В качестве статистических характеристик оценки рассматривались: математическое ожидание экзаменационных оценок, коэффициент вариации и мода распределения.
Ключевые слова: методика обучения, дистанционное обучение, оценка эффективности обучения.
Совершенствование процессов обучения вызывает появление новых методик и технологий обучения. Некоторые методики обучения имеют узкоспециализированное назначение и применимы только для конкретных видов обучения, другие являются более универсальными и могут быть применимы к широкому набору дисциплин и предметов, а также самих процессов обучения.
Актуальным в этом случае становится решение проблемы выбора и использования на практике наиболее эффективных методик преподавания дисциплин, также как и выявление недостатков, поиск путей совершенствования используемых методик обучения.
Эти проблемы имеют решение, если возможно провести измерение эффективности применения различных методик обучения и на основе их сравнительного анализа — выявить особенности используемых методик и области их рационального применения.
Существуют различные модели оценки эффективности обучения. Многие модели ориентированы на оценку эффективности обучения, проводимого в
интересах коммерческих организаций и по их заказу. В измерении эффективности обучения выделяют два разных аспекта:
• оценивание самого процесса обучения или механизмов повышения эффективности обучения;
• оценивание конечного продукта или результата обучения.
Для разных субъектов (бенефициаров обучения) оценка эффективности обучения имеет различное представление.
Для руководителей и акционеров компаний показателем оценки эффективности является ответ на вопрос: «Поможет ли обучение решить проблему, имеющуюся на предприятии и достичь поставленных перед предприятием целей?».
Для преподавателей (вуза) оценивание эффективности обучения будет заключаться в ответе на вопрос: «Было ли обучение эффективным с точки зрения достижения поставленных целей обучения?».
Для обучаемого (сотрудника компании, студента) оценивающими вопросами будут: «Поможет ли это
ИННОВАЦИИ № 10 (144), 2010
ИННОВАЦИИ № 10 (144), 2010
обучение лучше/быстрее выполнять в будущем порученную работу?», «Окажет ли оно влияние на развитие моей карьеры?».
Мы оцениваем позицию как тренеры (преподаватели, педагоги), отвечая на вопросы «Был ли тренинг эффективным?» и «Достигнуты ли поставленные цели?».
Нам ближе всего, из всех известных моделей оценки модель Киркпатрика. Дональд Киркпатрик сформулировал четыре уровня оценки и соответствующие цели обучения.
Уровень 1: реакция — какова реакция обучаемого на само обучение?
Уровень 2: обучение — что обучаемый усвоил в процессе тренинга, т. е. степень освоения обучаемым поставленных целей обучения.
Уровень 3: поведение — как сильно изменилось поведение обучаемого после прохождения обучения? Речь идет о применении полученных навыков и знаний на рабочем месте, т. е. об изменении поведения в отношении применения полученных в процессе обучения навыков, знаний и умений на рабочем месте.
Уровень 4: результаты — увеличение эффективности деятельности компании как следствие прохождения обучения.
Модель оценки эффективности обучения строится с ориентацией на достижение целей сформулированных уровней и измерение соответствующих критериев эффективности.
Для вуза измерение эффективности обучения возможно, исходя из целей и критериев, соответствующих уровню 2. При этом в цели обучения второго уровня косвенно включаются и цели, обеспечивающие достижение уровней 3 и 4.
Исходя из описанной выше модели Киркпатрика, сформулированы цели изучения конкретной дисциплины в вузе и критерии оценки эффективности обучении.
Цель обучения — это освоение обучаемым определенного объема знаний, умений и навыков.
В качестве критериев эффекта и эффективности изучения дисциплины в вузе приняты два критерия:
1. Результативность — уровень достижения целей обучения, определяемый экзаменационной оценкой (полученным результатом).
2. Эффективность — соотношение количества оценок «отлично» в общей сумме оценок (частота, % появления оценок).
В данной работе в качестве объекта анализа эффективности обучения при использовании различных методик рассмотрена дисциплина «Экономика отрасли», преподаваемая студентам пятого курса инженерных специальностей МЭИ.
В практике изучения дисциплины были использованы: традиционная технология обучения, разработанная и применяемая на кафедре «методика активации знаний» и дистанционная технология обучения.
Применение различных технологий обучения осуществлялось в течение 8 лет неизменным составом преподавателей и их скоординированной работой, что делает сопоставимым условия сравнения, поскольку требования преподавателей и критерии оценки вырабатывались совместно и были едиными в процессе
эксперимента. Обучение проводил стабильный коллектив преподавателей: лектор — профессор; дублер лектора — профессор; неизменный состав преподавателей, ведущих практические занятия; неизменный состав преподавателей, принимающих экзамены по дисциплине (лектор, дублер лектора, преподаватели практических занятий). При обучении использовались идентичные учебные и методические материалы по курсу.
Применение традиционной технологии осуществлялось до 2004 г. Применение методики активации в виде эксперимента началось с 2004 г. и продолжается в настоящее время. Дистанционная технология используется с 2007 г. При проведении эксперимента принято, что контингенты студентов различных годов обучения (времени применения различных технологий обучения) обладают идентичными характеристиками.
Изучение дисциплины «Экономика отрасли» по традиционной методике включает:
а) лекции — чтение лекции преподавателем, фиксирование лекции осуществляется студентами в рукописной форме — 18 лекций,
б) практические занятия — 14 занятий,
в) типовые расчеты — 5 шт.
г) зачет,
д) экзамен по дисциплине.
Изучение дисциплины «Экономика отрасли» по методике активации знаний включает:
а) обучение на лекции:
• 1) комментарии лектора по теме занятия,
структурное представление материала лекции (схема занятия), объяснение проблемных вопросов;
• 2) изучение материала темы студентами
в течение 30-40 мин.;
• 3) обсуждение трудных вопросов и вы-
ступление 4-8 студентов по разделам темы занятия перед аудиторией;
• 4) контроль посещения занятий студен-
тами;
• 5) дополнительно в течение семестра
2 контрольные работы (8 и 12 недели семестра);
• 6) тестовые опросы — 3 шт.;
б) практические занятия — 14 шт.;
в) типовые расчеты — 5 шт.;
г) зачет;
д) экзамен.
При получении итоговой оценки на экзамене учитывались результаты промежуточного контроля. Все студенты обеспечивались электронной версией учебного пособия по дисциплине, учебным планом лекций с указанием конкретных тем занятий.
Изучение дисциплины «Экономика отрасли» с использованием дистанционных технологий включает:
а) изучение лекционного материла:
• 1) самостоятельное изучение лекцион-
ного материала;
• 2) контроль знаний с помощью тестов — 8
тестов;
б) индивидуальные практические задания — 12 шт.;
в) типовые расчеты — 0;
г) зачет;
д) экзамен.
Все студенты обеспечивались электронной версией учебного пособия «Экономика энергетики», как и в случае обучения по методике активации.
А. Сравнение методик обучения по результативности и эффективности сдачи экзаменов по дисциплине «Экономика энергетики».
Исходные данные для сравнения применяемых технологий обучения представлены в табл. 1.
Сравнение результатов обучения позволяет сделать следующие выводы:
1. Результативность применения методики активации значительно возрастает доля студентов, сдавших дисциплину с оценкой «отлично» — 52% от всего контингента — по сравнению с традиционной методикой 41% и с методикой дистанционного обучения — 35%. По критерию «эффективность» методика активации по сравнению с традиционной методикой эффективнее на 25-30%, по сравнению с методикой дистанционного обучения — на 45-50%.
2. Количество студентов, сдающих на «удовлетворительно», остается практически постоянным — 16% для методики активации и традиционной методики и 19% для дистанционного обучения. Это означает, что при применении методики активации уменьшается количество студентов, сдающих на «хорошо» и увеличивается количество студентов, сдающих на «отлично».
3. Если исходить из предположения, что твердые троечники мотивированы только на сдачу экзамена с любым положительным (минимальным положительным) результатом, то следует сделать вывод, что методика активации существенно улучшает результативность студентов, традиционно получающих оценку «хорошо», которые представляют собой наибольшую часть контингента студентов.
4. Дистанционное обучение, и в меньше степени методика традиционного обучения, не обеспечивают повышения эффективности обучения.
Таким образом, по результативности и эффективности обучения методика активации является наилучшей.
Исходные данные о результатах экзаменов (см. табл. 1) позволяют построить гистограммы относительной частоты получения определенной экзамена-
Таблица 1
Исходные данные для сравнения эффективности применяемых методик
Таблица 2
Статистические характеристики обучения студентов
Методика обучения Статистические характеристики обучения студентов
Математическое ожидание экзаменационной оценки (МО)/Мода Среднее квадратичное отклонение (СШ) Коэффициент вариации
Традиционная 4,25/4 0,73 0,і7
Активации 4,36/5 0,74 0,і7
Дистанционная 4,16/4 0,72 0,і72
ционной оценки при использовании рассматриваемых методик обучения (см. рис. 1), а также рассчитать статистические характеристики обучения студентов.
В качестве статистических характеристик рассматривались:
1. Математическое ожидание (МО) экзаменационных оценок, которое характеризует среднее значение результата и эффективность обучения.
2. Коэффициент вариации = СКО/МО, (где СКО — среднее квадратичное отклонение), характеризует степень разбросанности результатов. Чем меньше значение коэффициента, тем более стабильны и устойчивы результаты обучения при использовании методики.
3. Мода распределения — значение, которое встречается наиболее часто в данной совокупности. Мода характеризует эффективность обучения. Статистические характеристики результатов
обучения при использовании различных методик представлены в табл. 2. Из данных табл. 2 следует, что математическое ожидание при использовании методики активации — максимально. Мода для методики активации составляет значение 5 (см. рис. 1), тогда как для двух других методик — значение 4. Следовательно, наибольшую эффективность обучения обеспечивает методика активации, а наименьшую — дистанционная технология. Стабильность (устойчивость) результатов обучения у всех трех методик практически одинакова. Б. Сравнение методик обучения по результативности и эффективности сдачи экзаменов по дисциплине «Экономика энергетики» подгруппами студентов.
В целях более углубленного анализа, каждая из рассматриваемых групп обучаемых студентов была разбиты
Рис. 1. Гистограмма распределения экзаменационных оценок при использовании разных методик обучения
Экзамена- ционная оценка (результа- тивность) Традиционная методика Методика активации Дистанционная технология
Кол-во полу- чивших отметку, чел. Кол-во полу- чивших отмет- ку,% Кол-во полу- чивших отметку, чел. Кол-во полу- чивших отметку, % Кол-во полу- чивших отметку, чел. Кол-во получивших отметку, /
отлично 25 4і 31 52 17 35
хорошо 26 43 19 32 22 46
удовлетво- рительно 10 і6 10 16 9 і9
Итого 61 0 О 60 0 о 48 0 О
ИННОВАЦИИ № 10 (144), 2010
ИННОВАЦИИ № 10 (144), 2010
на 3 подгруппы: со средним баллом меньше 4,0 («троечники», посредственно успевающие студенты); со средним баллом 4,0-4,74 («хорошисты», успешно успевающие студенты) и со средним баллом более 4,75 («отличники», блестяще успевающие студенты). Разбиение на указанные интервалы по среднему баллу определяется, во-первых, традиционно принятой оценкой успеваемости студентов, во-вторых, что, по мнению авторов, более важно — мотивацией студентов к получению знаний и оценке их результативности. При формировании подгрупп средний балл определялся по результатам успеваемости студентов за предыдущие 4 семестра обучения.
Распределение студентов по подгруппам с соответствующим средним баллом позволяет сделать следующий вывод: количество студентов со средним баллом меньше 4,0 составляет 36-42% от всего контингента, количество студентов со средним баллом 4,0-4,74 на несколько процентов (3-5%) больше и составляет 46-48%, студенты — отличники составляют около 20% (19-23%). Таким образом, самый крупный контингент студентов — студенты-хорошисты. В совокупности «хорошисты» и «отличники» составляют 58-64%.
Анализ эффективности использования методик при обучении «сильных» студентов со средним баллом 4,75 и более (см. рис. 2 и табл. 3) позволил сделать следующие выводы:
1. Количество студентов, сдавших на «отлично» по методике активации составило 90%, по традиционной методике — 86%, количество студентов, сдавших на «хорошо», соответственно уменьшилось до 10% против 14%. Математическое ожидание оценок — 4,9 против 4,86.
2. Сравнение методики дистанционного обучения с традиционной показывает уменьшение количества студентов, сдавших на «отлично» — 75% против 86%, и увеличение доли студентов, сдавших на «хорошо» — до 25% против 14%. Математическое ожидание — наименьшее, равное 4,75.
3. Методика активации обеспечивает наибольшую устойчивость результатов обучения (стабильность оценок), поскольку имеет минимальные значения среднего квадратичного отклонения и коэффициента вариации.
4. При обучении «сильных» студентов наибольшая результативность и эффективность обеспечивается использованием методики активации.
Анализ эффективности использования методик при обучении «хорошистов», успешно успевающих
Рис. 2. Гистограмма распределения экзаменационных оценок сильных студентов при использовании разных методик обучения
Таблица 3
Статистические характеристики обучения сильных студентов
Методика обучения Статистические характеристики обучения студентов
Математическое ожидание экзаменационной оценки (МО)/Мода Среднее квадратичное отклонение (СКО) Коэффициент вариации
Традиционная 4,86/5 0,348 0,071
Активации 4,9/5 0,3 0,061
Дистанционная 4,75/5 0,433 0,091
студентов со средним баллом 4-4,75 (см. рис. 3 и табл. 4) позволил сделать следующие выводы:
1. Количество студентов, сдавших на «отлично» по методике активации составило 61%, по традиционной методике — 44%, т. е. в 1,5 раза больше. Количество студентов, сдавших на «хорошо», соответственно уменьшилось: 35% против 48%. Студенты с отметкой «удовлетворительно» — 4% против 8%. Математическое ожидание составило значение 4,57 против 4,36. Мода — значение 5 против 4.
2. Сравнение методики дистанционного обучения с традиционной методикой показывает увеличение студентов, сдавших на «отлично» — 55% против 44% в традиционной методике и снижение количества студентов сдавших на «хорошо» — 45% против 48% в традиционной методике. Среднее значение оценок увеличилось до 4,55, мода увеличилась до значения 5.
3. При обучении «хороших» студентов наибольшая эффективность обеспечивается использованием методики активации, наименьшая — традиционной технологии обучения.
Анализ эффективности использования методик при обучении посредственно успевающих студентов-«троечников» со средним баллом менее 4 (см. рис. 4 и табл. 5) позволил сделать следующие выводы:
1. Распределение оценок носит сравнительно устойчивый характер независимо от применяемой методики.
2. Некоторое снижение количества отметок «хорошо» и увеличение отметок «удовлетворительно» для методики активации и дистанционного обучения,
Рис. 3. Гистограмма распределения экзаменационных оценок студентов-«хорошистов» при использовании разных методик обучения
Таблица 4 Таблица 5
Статистические характеристики обучения Статистические характеристики обучения
средних студентов слабых студентов
Методика обучения Статистические характеристики обучения студентов
Математическое ожидание экзаменационной оценки (MO)/Mода Среднее квадратичное отклонение (СШ) Коэффициент вариации
Традиционная 4,36/4 0,625 0,і43
Активации 4,57/5 0,57і 0,і25
Дистанционная 4,55/5 0,497 0,і09
Методика обучения Статистические характеристики обучения студентов
Математическое ожидание экзаменационной оценки (MO)/Mода Среднее квадратичное отклонение (СШ) Коэффициент вариации
Традиционная 3,73/4 0,6і3 0, і 64
Активации 3,65/4 0,653 0,і79
Дистанционная 3,68/4 0,63 0,і7і
по сравнению с традиционной методикой, может быть связано с более точным определением результативности студентов, поскольку при принятии решения об окончательной оценке принимались во внимание его результативность в течение семестра (выполнение тестов, контрольных работ и т. д.). Применение различных технологий обучения, измерение их результативности и эффективности позволило сделать следующие выводы:
1. Эффективность использования разработанных технологий проявляется главным образом при обучении студентов со средним баллом 4,0-5 («хороших» и «отличных» студентов), составляющих 65-71% обучаемых. Это — самая многочисленная часть студенческого контингента, и применение более эффективных методик увеличивает «медиану» условного «среднего студента», в целом, повышая эффективность усвоения знаний, навыков и умений, что требуют компетентностные модели подготовки современной парадигмы креативного и инновационного образования ( парадигмы «научить учиться»).
2. Измерение эффективности методик при обучении студентов со средним баллом менее 4,0 показывает, что распределение оценок мало зависит от применяемой методики. Вероятно, эта подгруппа студентов (29-35% от всего контингента) ориентирована, главным образом, на преодоление барьера прохождения экзамена (достижение минимальной результативности), слабо мотивирована к обучению и с трудом воспринимает повышенные требования к самообучению, предъявляемые методикой активизации знаний.
Рис. 4. Гистограмма распределения экзаменационных оценок слабых студентов при использовании разных методик обучения
3. Среди рассмотренных методик самой эффективной является методика активизации знаний. Методика дистанционного обучения несколько лучше традиционно применяемой методики, но близка к ней по эффективности. Достигнутый результат объясняется наличием электронного учебного пособия и расширенной системой текущего контроля в течение всего срока обучения. Сравнение методик еще раз подтверждает ключевую роль преподавателя в передаче знаний и навыков самообучения (модель «научить учиться»).
4. Для повышения эффективности лектор и студенты должны быть вооружены соответствующими средствами применения технологии — электронным учебно-методическим комплексом (учебное пособие, тестовые материалы и т. д.).
5. Для повышения эффективности дистанционной технологии необходимо усилить компоненту общения студентов с преподавателем (видеоконференция).
6. Методика активизации позволяет усилить подготовку «сильных» студентов за счет занятий по дополнительным темам, выводу таких студентов на индивидуальную траекторию обучения.
Список использованных источников
1. Н. Д. Рогалев, Е. М. Табачный, В. А. Щевьева. Использование интерактивного самообучения как ведущей организационной формы интенсификации учебной деятельности//Вестник МЭИ, № 2, 2009.
2. Н. Д. Рогалев, Е. М. Табачный. Формирование моделей подготовки специалистов для инновационной экономики: тенденции в образовании, технологии обучения, совершенствование управления образовательными процессами. М.: Издательский дом МЭИ, 2009.
The comparative analysis of efficiency of technologies of training N. D. Rogalev, Doctor of Technical Sciences, Professor, Head of the Department, Department of industrial economics and organization of enterprises, MPEI.
E. M. Tabachny, Philosophy Doctor, Docent, Department of industrial economics and organization of enterprises, MPEI.
G. N. Kurdyukova, Philosophy Doctor, Docent, Professor, Department of industrial economics and organization of enterprises, MPEI.
D. V. Nikiforova, Аssistant, Department of industrial economics and organization of enterprises, MPEI.
The article presents a comparative analysis of the effectiveness of learning technologies: traditional technology, the method of activation of knowledge, distance technology. The criteria for impact and effectiveness of the discipline at the university adopted two criteria: efficiency and effectiveness. As the statistical characteristics of the evaluation dealt with: the expectation of examination assessments, the coefficient of variation and mode of distribution.
Keywords: teaching methodology, distance learning, evaluation of the effectiveness of training.
ИННОВАЦИИ № 10 (144), 2010
