CC BY
63
педагогические науки
Гущина Оксана Михайловна, Очеповский Андрей Викторович ПСИХОЛОГИЧЕСКИЕ ИЗМЕРЕНИЯ ДЛЯ ОЦЕНКИ ЭФФЕКТИВНОСТИ ...
УДК 378.147
ПСИХОЛОГИЧЕСКИЕ ИЗМЕРЕНИЯ ДЛЯ ОЦЕНКИ ЭФФЕКТИВНОСТИ ОНЛАЙН КУРСА В СИСТЕМЕ E-LEARNING
© 2017
Гущина Оксана Михайловна, кандидат педагогических наук, доцент кафедры
«Прикладная математика и информатика» Очеповский Андрей Викторович, кандидат технических наук, зав. кафедрой «Прикладная математика и информатика» Тольяттинский государственный университет (445020, Россия, Тольятти, улица Белорусская, 14, e-mail: ochepovsky@mail.ru)
Аннотация. Все чаще в организация образовательной деятельности применяются технологии электронного обучения (e-learning), базирующиеся на использовании широкого спектра традиционных и информационных технологий и их технических средств и обеспечивающие взаимодействие с обучающимся вне зависимости от пространственного расположения и времени. Электронное обучение реализуется в виде электронных курсов, оценка качества которых оказывает непосредственное влияние на оценку эффективности e-learning в целом. Для оценки эффективности e-learning используется множество факторов, связанных как с качеством учебного материала, формами его подачи и техническими параметрами, так и с оценкой финансовой стороны внедрения электронного обучения: затратами и экономической выгодой. Но для более точного диагностирования эффективности e-learning применяют психологическое измерение, которое включается в контекст эксперимента как метод регистрации состояния объекта исследования и соответственно изменения этого состояния в ответ на экспериментальное воздействие, обеспечивает формирование общей оценки о качестве электронного курса в системе e-learning и способствует модернизации его в зависимости от полученных результатов. Научная новизна заключается в том, что для оценки эффективности e-learning применяется психологические измерения, с помощью которых можно количественно представить абстрактные понятия и осуществить сравнение изучаемых характеристик объективной реальности. Практическая значимость заключается в том, что основные положения и выводы статьи могут быть использованы в исследовательской и педагогической деятельности при рассмотрении вопросов о качестве электронных курсов в системе e-learning.
Ключевые слова: электронное обучение, e-learning, образовательная деятельность e-learning, электронный курс, качество e-learning, психологическое измерение, оценка эффективности электронного курса.
PSYCHOLOGICAL MEASUREMENTS FOR EVALUATION OF EFFECTIVENESS OF ONLINE COURSE IN THE E-LEARNING SYSTEM
© 2017
Gyshchina Oksana Mihailovna, candidate of pedagogical sciences, associate professor of the chair «Applied Mathematics and Computer Science» Ochepovsky Andrey Viktorovich, candidate of technical sciences, department chair «Applied Mathematics and Computer Science» Togliatti State University (445667, Russia, Togliatti, street Belorusskaya 14, e-mail: ochepovsky@mail.ru)
Abstract. E-learning technologies are increasingly used to organize educational activities. E-learning is based on the use of traditional and information technologies and their technical means. E-learning provides interaction with the learner regardless of location and time. E-learning is realized in the form of electronic courses. Evaluation of the quality of online courses has a huge impact on the evaluation of the effectiveness of e-learning. To assess the effectiveness of e-learning, many factors are used. All factors are related to the quality of the educational material, the forms of its presentation and technical parameters. They are connected with the evaluation of the financial side of the introduction of e-learning: costs and economic benefits. To more accurately assess the effectiveness of e-learning apply the psychological dimension. The measurement is regarded as an experiment. Measurement is a method of recording the state of an object of research and changing this state in response to an experimental effect. The measurement provides the formation of a general assessment of the quality of the electronic course in the e-learning system. The psychological dimension contributes to the modernization of e-learning, depending on the results obtained. Scientific novelty consists in applying psychological measurements to assess the effectiveness of e-learning quality. With their help, it is possible to quantify abstract concepts and compare the studied characteristics of objective reality. The practical significance lies in the fact that the main provisions and conclusions of the article can be used in research and pedagogical activity when considering the quality of e-learning courses in the e-learning system.
Keywords: e-learning, e-learning education, e-learning, e-learning quality, psychological dimension, e-learning effectiveness assessment.
С развитием компьютерной техники, телекоммуникаций и сети Интернет стало возможным передавать большое количество информации на расстоянии, размещать материалы для обучения на сайтах и порталах в сети Интернет, что дало новое представление об электронном обучении [1]. В статье о реализации образовательных программ [2] электронное обучение (е-1еагт^) рассматривается как «... организация образовательной деятельности с применением содержащейся в базах данных и используемой при реализации образовательных программ информации и обеспечивающих ее обработку информационных технологий, технических средств, а также информационно-телекоммуникационных сетей, обеспечивающих передачу по линиям связи указанной информации, взаимодействие обучающихся и педагогических работников». Автор [3] предполагает, что электронное обучение может также определяться как
«синтетическая, интегральная, гуманистическая форма обучения, базирующаяся на использовании широкого спектра традиционных и новых информационных технологий и их технических средств», которые применяются для доставки учебного контента, его самостоятельного изучения, организации диалога между преподавателем и обучающимся, причем сам процесс в электронном обучении некритичен к расположению в пространстве и во времени, а также не привязан к конкретному образовательному учреждению.
Как образовательную деятельность е-1еагт^ целесообразно рассматривать на четырех взаимосвязанных уровнях [4]:
1) теория е-1еагт^, в основе которой лежит педагогическая теория с элементами информатики, программирования и педагогической теории измерений;
2) практика е-1еагт^, определяемая как глобальная
Gyshchina Oksana Mihailovna, Ochepovsky Andrey Viktorovich pedagogical
PSYCHOLOGICAL MEASUREMENTS FOR EVALUATION ... sciences
проблема создания программно-методических и учебно-технических комплексов, позволяющих обучающимся самостоятельно усваивать множество учебных курсов, реализованных с использованием системы контекстных подсказок и ссылок;
3) разработка методологии e-learning, направленная на усиление внимания к целям и задачам учебной деятельности. Здесь предстоит повысить измеримость получаемых результатов, разработать системы показателей эффективности и качества используемой технологии;
4) методика e-learning, требующая соответствующих разработок по учебным материалам, к которым предъявляются требования наглядности, использования гипертекстовых ссылок, организации удобного перехода между страницами в прямом и обратном направлениях, а также необходимости организации своевременной и эффективной помощи обучаемым в случае возникновения затруднений.
Так как e-learning - это форма организации образовательного процесса, то она не влияет на цели и принципы обучения (научность, системность, активность, наглядность и др.), которые остаются неизменными, однако меняет методы, средства и содержание обучения, что обусловлено изменением схемы взаимодействия и дистанционной удаленностью друг от друга субъектов процесса образования, что выдвигает на поверхность две группы проблем организации электронного обучения, связанных с методическим наполнением и технической реализацией [5]. E-learning реализуется в виде электронных курсов, которые распространяются и используются при помощи различных устройств: компьютеров, планшетов или смартфонов. Они включают в себя текстовую информацию (письменную или устную) и графику (иллюстрации, анимации, фото, видео и т.д.). При этом само обучение может проводиться в синхронном и асинхронном форматах. Асинхронный формат предназначен для самостоятельного обучения. Такие курсы, как правило, самодостаточны, их можно изучать в любое время и в любом месте. Типичными примерами являются интерактивные SCORM курсы, мультимедийные лекции и т.д. Синхронный формат - виртуальные классы, веби-нары и т.д. требуют присутствия преподавателя в реальном времени. Если такое мероприятие записывается, то запись будет представлять собой асинхронную форму обучения, так как не будет требовать присутствия преподавателя для изучения. Синхронные и асинхронные форматы обучения могут использоваться как совместно, так и по отдельности, кроме того, они могут дополнятся другими формами взаимодействия - wiki, чаты, блоги, форумы, e-mail и т.д.
Наиболее значимой в организации e-learning является проблема оценки его эффективности [6]. Исследования [7-13] показали, что качество e-learning в большей степени зависит от качества учебного материала, формы его подачи и технических параметров, многие из которых легко измерить и оценить.
Для того, чтобы успешно оценить эффективность e-learning, нужно учесть несколько факторов, таких как:
- отзывы. Понять, насколько хорошо воспринимается обучение, помогут в первую очередь мнения обучающихся. В ходе отзывов необходимо получить информацию о курсе, например, помог ли онлайн-курс разобраться с конкретными задачами, понравились ли темы, материалы и способы их представления;
- онлайн-тестирование и проверка знаний. Кроме сбора мнений, рекомендуется проводить регулярные тесты, чтобы оценивать знания и навыки обучающихся. При этом, в тестовые задания лучше включать разные типы вопросов, чтобы наиболее четко представлять степень усвоения учебного материала;
- мониторинг полученных результатов. Все текущие результаты оценивают кратковременную эффективность e-learning. Составить представление о долгосрочной эффективности онлайн-курсов возможно при организации 302
мониторинга данных (проведении Education Data Mining - интеллектуального анализа данных), который позволяет просмотреть данные в динамике.
Помимо эффективности e-learning нужно оценить финансовую сторону внедрения электронного обучения: затраты и экономическую выгоду.
Среди затрат можно выделить:
- люди. Для создания электронных курсов по-прежнему требуются человеческие ресурсы: внутренние и/или внешние разработчики. Можно воспользоваться готовыми инструментами, позволяющими легко и быстро разрабатывать обучающие материалы;
- технологии. Выбирая программные решения, стоит обратить внимание на соответствие функционала задачам, которые требуется решить, на стоимость обслуживания и возможность бесплатно протестировать систему перед внедрением;
- контент. Создание интерактивного контента для e-learning потребует определенных затрат.
К экономической выгоде можно отнести следующие параметры:
- сокращение командировочных расходов. Можно обучаться прямо на рабочем месте;
- сокращение временных затрат преподавателя. Преподавателю достаточно один раз записать видео лекцию или электронный курс, нет необходимости проводить одно и то же занятие несколько раз;
- отсутствие потери рабочего времени. Возможность учиться в любое время и в любом месте;
- персонализация. Возможность проходить обучение в индивидуальном темпе, что способствует более эффективному процессу усвоения учебного материала.
Все приведенные факторы позволяют в косвенном формате оценить эффективность электронного обучения. Для точного диагностирования эффективности применяют измерения [14], с помощью которых можно количественно представить абстрактные понятия и осуществить сравнение изучаемых характеристик объективной реальности. По мнению Джонатана Лики: «Достоверность требует точности измерений, а точность измерений подразумевает использование чисел» [15].
В психологии различают три основные процедуры психологического измерения [16]:
1. Измерение особенностей поведения людей для определения различий между людьми с точки зрения выраженности тех или иных свойств или отнесения к определенному типу. К этому типу измерений относится измерение порогов восприятия учебного материала, личностные тесты и т.д.
2. Измерение как задача испытуемого для классификации, ранжирования, оценивания и т.п. внешних объектов: стимулов или предметов внешнего мира, собственных состояний. К этому типу измерений относится измерение результатов тестов и заданий учебного курса, для определения сложности предлагаемых заданий.
3. Совместное измерение стимулов и испытуемых. При этом предполагается, что «стимулы» и «испытуемые» могут быть расположены на одной оси. Поведение испытуемого рассматривается как проявление взаимодействия личности и ситуации. Подобная процедура применяется при тестировании знаний обучающихся.
Измерение позволяет судить о том, в какой степени выражено изучаемое свойство. Измерение включается в контекст эксперимента как метод регистрации состояния объекта исследования и соответственно изменения этого состояния в ответ на экспериментальное воздействие.
Проведем процедуру психологического измерения обучающихся для оценки эффективности электронного курса, реализованного на платформе TeachBase и предназначенного для повышения квалификации педагогических работников в области создания электронного портфолио. Процедура психологического измерения включала ряд этапов [17], наибольший интерес из которых представили подготовительный этап, предусматривающий выбор Baltic Humanitarian Journal. 2017. Т. 6. № 4(21)
педагогические науки
Гущина Оксана Михайловна, Очеповский Андрей Викторович ПСИХОЛОГИЧЕСКИЕ ИЗМЕРЕНИЯ ДЛЯ ОЦЕНКИ ЭФФЕКТИВНОСТИ ...
независимых и зависимых переменных, выраженных в количественных показателях результатов обучения на онлайн курсе, анализ путей достижения «чистоты» эксперимента и т.п., и экспериментальный этап, объединяющий всю предусмотренную заранее совокупность исследовательской работы от начальной работы с обучающимися по инструктированию их по правилам работы на онлайн курсе до регистрации результатов для последующего проведения анализа для осуществления мониторинга качества электронного курса.
В ходе проведения курса были получены разнообразные отзывы от слушателей, на основании которых формировалось субъективное представление о способах восприятия учебного материала и качестве его усвоения (рис. 1). Данные отзывы были направлены на совершенствование как структуры онлайн курса, так и формах подачи учебного контента.
Спасибо огромное организаторам курса!!! Ваша работа очень важна для педагогов Б курсов -актуализировала имеющиеся знании и получила новые, иоторые помогут мне оказать методическую помощь начинаютм педагогам. Вы облегчили нам работу: информации достаточно много, она разнообразна, структурирована и собрана в одном курсе. Теперь четко понятна структура портфолио - дп.г аттестации это очень важно В результате прохождения курса мною были получены все умения, опыт и компетентен, иоторые быти запланированы организаторами курса. Все ото позволит в дальнейшем грамотно использовать основной потенциал информационных теянологпй для решения праюпко-ориентирозанных задач профессиональной деятельное™ {цепь достигнута)
При прохюедении гестов по цифровой грамотности, были вопросы и ответы по выбору какие то похожие и в тоже время разные го ответам Ответы даны не в отдельных словах а в определениях к ним{ термины) Сразу не найдешь правильный ответ Надо быть отень логически развитым и "продвинутым" информатикой Может мое (на будущее) замечание и не совсем правильное Аможлоли {делать как то
Рисунок 1 - Отзывы обучающихся об онлайн курсе в системе е-1еагт^
Для частоты эксперимента по оценке качества онлайн курса в системе е-1еагт^ были измерены показатели работы обучающихся в электронном курсе по нескольким параметрам:
1) посещаемость курса: количество пользователей на курсе и среднее затраченное время на обучение (рис. 2);
2) статистические показатели выполнения заданий (рис. 3);
3) посещаемость заданий для просмотра теоретических данных и результат оцененных заданий (рис .4);
4) рейтинговая оценка выполнения заданий по курсу (рис. 5), обеспечивающая динамику выполнения заданий и отображающая процент правильно выполненных работ.
Рисунок 2 - Диаграмма, отображающая посещаемость электронного курса обучающимися:
а) итоговое количество обучающихся на курсе на текущую дату
б) среднее количество времени, затраченное обучающимися на прохождение курса на текущую дату
Рисунок 3 - Общая сводка по тестам, встроенным в электронный курс, на текущую дату
Рисунок 4 - Диаграмма, отображающая работу обучающихся по выполнению заданий электронного курса:
а) итоговое количество обучающихся, выполняющих задание на текущую дату
б) среднее количество времени, затраченное обучающимися на выполнение задания на текущую дату
д ср время верных -1 на ответ ответов
<1 поиск го вопросам
1. За сколько времени [.'окно добра. 00:01:17 126(79%) '
2 На рисунке в файле представлен 00:00:54 124(79%) ■
3. Назозн-о автора строк "К-с влзде 00:00:1': 127(79%) ■
4 В одной из песен встречакггся оп 00:00:58 125 (77%) '
1 Найдите в интернете информаци 00:00:45 136 (86%) ■
6. Что разработала Карен СларкДж.. 00:00:45 34 (21%)'
неверных среднии ответов балл
33(21%) 5 73(79%)
32(21%) 0 79(79%)
32(21*,) 0.8(80%)
37(23%] 0 77 (77%)
22 (14%) 0 ;> (86%)
124(79%) 0,22(22%)
Рисунок 5 - Статистика выполнения задания обучающимися в электронном курсе
Приведенные психологические измерения показали, что в ходе обучения были:
- активно задействованы мотивационные, инструментальные и когнитивные ресурсы обучающихся, что определило их способность к решению значимых для них познавательных и практических задач;
- получены отзывы обучающихся, на основании которых сформировано итоговое представление о качестве
Gyshchina Oksana Mihailovna, Ochepovsky Andrey Viktorovich PSYCHOLOGICAL MEASUREMENTS FOR EVALUATION ..
pedagogical sciences
онлайн-курса, направленного на решение профессиональных задач;
- собраны статистические данные о посещаемости онлайн курса и проведения онлайн-тестирования, которые позволили дать оценку качества текущих учебных материалов.
Таким образом, психологические измерения обучающихся обеспечивают формирование общей оценки о качестве электронного курса в системе e-learning и способствуют модернизации его в зависимости от полученных результатов.
СПИСОК ЛИТЕРАТУРЫ:
1. Корниенко С.А. Электронное обучение как средство реализации образовательной программы // Педагогика: традиции и инновации: материалы V Междунар. науч. конф. (г. Челябинск, июнь 2014 г.). -Челябинск: Два комсомольца, 2014. С. 175-182.
2. Федеральный закон от 29.12.2012 N 273-Ф3 (ред. от 29.07.2017) "Об образовании в Российской Федерации". URL: http://www.consultant.ru/document/ cons_doc_LAW_140174/9ab9b85e5291f25d6986b5301ab7 9c23f0055ca4/ (дата обращения 19.10.2017 г.)
3. Андреев А.А. К вопросу об определении понятия «дистанционное обучение». URL: http://www.e-joe.ru/ sod/97/4_97/st096.html (дата обращения 21.10.2017 г.)
4. Шутилина Н.В. Технологии e-learning, практика их применения в системе бизнес-образования // Актуальные проблемы бизнес-образования : материалы XIII Междунар. науч.-практ. конф. - Минск, 2014. -С.404-408.
5. Муромцев А.Н. Электронное обучение, как форма дистанционного образования // Личность, семья и общество: вопросы педагогики и психологии: сб. ст. по матер. XXXIII междунар. науч.-практ. конф. № 10(34). -Новосибирск: СибАК, 2013.
6. Богданова А.В., Глазова В.Ф., Коновалова Е.Ю. Интеллектуальные технологии оценки качества дистанционных учебных курсов в высшем образовании // Балтийский гуманитарный журнал. 2017. Т. 6. № 1 (18). С. 79-82.
7. Ломаско П.С. Особенности разработки средств электронного обучения: к проблеме проектирования интерфейсов // Вестник Череповецкого государственного университета. 2013. №4 (52). С.117-121.
8. Денисова И.Ю., Макарычев П.П. Онтологическое исследование процесса электронного обучения и проектирование средств поддержки // Онтология проектирования. 2012. №4 (6). С.61-72.
9. Bahramnezhad F. et al. The Learners' Satisfaction of E-learning: A Review Article //American Journal of Educational Research. 2016. Т. 4. №. 4. С. 347-352.
10. Alsadhan A.O., Alhomod S., Shafi M.M. Multimedia Based E-learning: Design and Integration of Multimedia Content in E-learning //International Journal of Emerging Technologies in Learning (iJET). 2014. Т. 9. №. 3. С. 26-30.
11. Филимонова О.В. Проектирование и разработка курса «Электротехника и основы электроники» на базе технологий электронного обучения e-learning // Территория новых возможностей. 2013. №3 (21). С.104-109.
12. Медведева С.Н., Дубовский К.П. Проектирование электронного курса сложной логической структуры в системе дистанционного обучения Blackboard // ОТО. 2011. №4. С.329-341.
13. Снегирева Л.В. Модель математической компетентности для оценки эффективности электронного обучения математике студентов медицинского вуза // Азимут научных исследований: педагогика и психология. 2016. Т. 5. № 3 (16). С. 158-161.
14. Диденко А.В., Аксенова Н.В. Оценка эффективности внедрения e-learning // Профессиональное образование в России и за рубежом. 2015. №1 (17). С.91-96.
15. Leakey J. Evaluating Computer-Assisted Language Learning. Peter Lang AG. / J. Leakey - Bern. 2011. P. 308.
16. Поярова Т.А. Методы психолого-педагогического исследования : учебное пособие / Т.А. Поярова : М-во образ. и науки РФ, Вологод. гос. ун-т. - Вологда : ВоГУ. 2016. 183 с.
17. Сорокоумова Е.А. Этапы экспериментального исследования развития самопознания в процессе обучения // Известия Самарского научного центра РАН. 2014. №21. С.124-132.
Статья поступила в редакцию 20.09.2017
Статья принята к публикации 26.12.2017
304
Baltic Humanitarian Journal. 2017. Т. 6. № 4(21)
