CC BY
68
Международный электронный научный журнал ISSN 2307-2334 (Онлайн)
Адрес статьи: pnojournal.wordpress.com/archive18/18-01/ Дата публикации: 1.03.2018 № 1 (31). С. 23-28. УДК 621.391
Методологические основы экспертной оценки электронных образовательных ресурсов для системы дистанционного обучения медицинского персонала МЧС России
Статья посвящена проблеме формирования системы экспертной оценки разработанных электронных образовательных ресурсов. Раскрыты основные принципы и сущность проведения этого процесса, представлены образцы документов для организации и проведения экспертизы электронных образовательных ресурсов. Определены мероприятия, функции экспертов и оценочная шкала для определения качества электронных образовательных ресурсов методом сравнение его характеристик. Предложены методологические основы экспертной оценки электронных образовательных ресурсов для системы дистанционного обучения медицинского персонала МЧС России, определены основные этапы этой процедуры. Предложенные в статье шаблоны документов для проведения экспертной оценки качества электронных образовательных ресурсов будут интересны для профессорско-преподавательского состава, административно-технического и учебно-вспомогательного персонала образовательных организаций МЧС России, задействованного в реализации образовательных программ высшего и дополнительного профессионального образования, с применением электронного обучения и дистанционных образовательных технологий.
Ключевые слова: дистанционные образовательные технологии, информационно-коммуникационные технологии, критерии оценки, электронные образовательные ресурсы, экспертиза, оценка, качество, электронное обучение, информационно-образовательная среда
В. и. Шевцов
Perspectives of Science & Education. 2018. 1 (31)
V. I . s h evtsov Methodological bases of expert assessment of electronic learning resources for the system of e-learning of medical personnel of EMERCOM of Russia
Article is devoted to a problem of formation of system of expert assessment of the developed electronic learning resources. The basic principles and an entity of carrying out this process are disclosed, samples of documents for the organization and carrying out expertize of electronic learning resources are provided. Actions, functions of experts and a rating scale for determination of quality of electronic learning resources by method comparison of his characteristics are defined. Methodological bases of expert assessment of electronic learning resources for the system of e-learning of medical personnel of EMERCOM of Russia are offered, the main stages of this procedure are defined. The templates of documents offered in article for carrying out expert assessment of quality of electronic learning resources will be interesting to the faculty, administrative and technical and educational support personnel of the educational organizations of EMERCOM of Russia involved in implementation of educational programs of the higher and additional professional education with application of electronic training and remote educational technologies.
Keywords: distant learning technology, information and communication technologies, evaluation criteria, electronic learning resources, examination, assessment, quality, electronic training, information and education environment
International Scientific Electronic Journal ISSN 2307-2334 (Online)
Available: psejournal.wordpress.com/archive18/18-01/ Accepted: 28 January 2018 Published: 1 March 2018 No. 1 (31). pp. 23-28.
_Введение
ермин электронное обучение в российском законодательстве был окончательно определен Федеральным законом от 29.12.2012 № 273-ФЗ «Об образовании в Российской Федерации» [1]. Приказ Минобрнауки России от 23.08.2017 № 816 устанавливает порядок и правила применения организациями, осуществляющими образовательную деятельность, электронного обучения при реализации основных и/или дополнительных образовательных программ [2]. Отличие электронного обучения от образовательного процесса, организованного по традиционной технологии заключается в обязательном применение баз данных, информационных технологий, технических средств и информационно-телекоммуникационных сетей. По сути говорится о создании и использовании в процессе обучения электронной информационно-образовательной среды, посредством которой обеспечивается доступ к электронным образовательным ресурсам различного назначения, а также взаимодействие обучающихся с педагогическими работниками [5].
Основная часть
Экспертное оценивание разработанных электронных образовательных ресурсов (ЭОР) является частью процедуры внедрения электронного обучения в учебный процесс и проводится с целью повышения качества образовательных услуг и программ, реализуемых в ФГБУ ВЦЭРМ им. А.М. Никифорова МЧС России с использованием дистанционных образовательных технологий.
Формирование единой информационной образовательной среды, разработка электронных информационных ресурсов и электронных образовательных ресурсов должны осуществляться с учетом современных тенденций в области модернизации российского образования, лучших отечественных и мировых практик, требований основополагающих международных и национальных стандартов в области информационно-коммуникационных технологий, информационного обмена и эргономики [4].
Электронный образовательный ресурс, разрабатывается в соответствии с программой учебной дисциплины, где определены, кроме прочего, цели его изучения. Если после обучения по программе цели достигнуты, то ресурс оценивается положительно. В этом случае ЭОР рассматривается как «черный ящик» и это будет как бы апостериорная оценка качества. С другой стороны, понятно, что прежде чем проводить реальное обучение по программе, «экспериментируя» на обучающихся, целесообразно предварительно провести оценку его качества [7]. А качество ЭОР определено ГОСТ Р 53620-2009 как степень соот-
ветствия совокупности характеристик, присущих ЭОР, требованиям. Данный стандарт устанавливает общие требования к электронным образовательным ресурсам, широко используемым в сфере образования для реализации процесса обучения с помощью информационно-коммуникационных технологий [3].
Для организации и проведения экспертной оценки ЭОР приказом директора ФГБУ ВЦЭРМ им. А.М. Никифорова МЧС России создается постоянно действующая комиссия, состоящая из руководителя и группы экспертов, имеющих необходимые компетенции. Все эксперты группы обязаны ознакомиться с «Кодексом этики эксперта» и действовать в соответствии с ним. «Кодекс этики эксперта» размещен на официальном сайте ФГБУ «Национальное аккредитационное агентство в сфере образования» по адресу http:// www.nica.ru/ru/byexperts/lawbook [6].
Экспертная оценка качества разработки ЭОР является специальным исследованием, для проведения которого должны использоваться современный инструментарий, позволяющий получать научно обоснованные и проверяемые результаты [9].
Проведение экспертного оценивания основывается на следующих принципах:
• объективность;
• предметность;
• ответственность;
• компетентность;
• независимость;
• информационная публичность.
Экспертная оценка качества ЭОР имеет комплексный характер и включает в себя содержательную, методическую и технологическую экспертизу.
В ходе содержательной экспертизы определяется соответствие содержания учебных и учебно-методических материалов ЭОР требованиям Федерального государственного образовательного стандарта по соответствующей специальности, образовательной программе, учебному плану, рабочим программам по дисциплине и, другим нормативным документам.
В ходе методической и технологической экспертизы ЭОР определяется соответствие методов, средств и способов представления учебно-методических материалов требованиям, изложенным в рекомендациях по разработке ЭОР, руководствам по работе с системой дистанционного обучения.
Результаты содержательной, методической и технологической экспертизы заносятся в «Оценочный лист эксперта» и обобщаются в «Экспертном заключении» о соответствии содержания ЭОР установленным требованиям.
При наличии положительного экспертного заключения, разработанному автором (авторским коллективом) ЭОР присваивается статус: «Рекомендован к использованию в учебном процессе».
Perspectives с^ Science & Education. 2018. 1 (31)
В случае отрицательного экспертного заключения автору (авторскому коллективу) предоставляются аргументированные выводы о необходимости доработки ЭОР по замечаниям и предложениям, изложенным в итоговом отчете эксперта (группы экспертов).
При подготовке материалов для проведения
План-график проведения
экспертной оценки ЭОР разрабатываются следующие документы:
- План-график проведения экспертного заключения (см. Табл.).
- Опросный лист для проведения экспертного заключения (см. Рис. 1).
- Шаблон экспертного заключения (см. Рис. 1).
Таблица
экспертного заключения
№ п/п Мероприятия Функции
руководитель координатор участники
1.1 Определение состава группы. Размещает информацию о создании группы экспертов, вносит предложения по составу группы. Координирует и организует взаимодействие участников. Анализирует и обобщает информацию по составу участников и распределению функций. Предоставляют информацию о возможности участия в группе. Вносят предложения по распределению функций и взаимодействию.
1.2 Размещение информации о составе группы. Размещает информацию о составе группы, определяет цели, задачи проведения экспертизы, функции участников. Координирует взаимодействие, участвует в обсуждении. Участвуют в обсуждении.
1.3 Обсуждение плана-графика проведения экспертизы. Знакомит участников группы с планом-графиком проведения экспертизы. Координирует взаимодействие, организует обсуждение. Участвуют в обсуждении.
2.1 Разработка технологии проведения экспертизы. Разрабатывает технологию проведения экспертизы, предоставляет методические материалы участникам. Принимает участие в оформлении методических материалов, организует их рассылку. Изучают предоставленные материалы.
2.2 Определение методов экспертного оценивания. Предоставляет информацию и утверждает результаты обсуждения, составляет описание выбранных методов. Организует обсуждение методов экспертного оценивания. Организует работу группы по составлению ментальной карты. Принимают участие в обсуждении. Принимают участие в работе по составлению ментальной карты.
2.3 Определение критериев экспертного оценивания. Предоставляет информацию и организует обсуждение критериев экспертного оценивания. Организует обсуждение критериев экспертного оценивания. Принимают участие в обсуждении.
2.4 Разработка Оценочных листов эксперта в соответствие с выбранной технологией и критериями экспертного оценивания. Разрабатывает форму «Оценочного листа эксперта». Организует рассылку листов экспертного оценивания, проводит инструктаж по их заполнению. Изучают предоставленные материалы.
3.1 Проведение экспертного оценивания. Контролирует качество работ, выполняемых экспертной группой. Координирует работу экспертной группы. Выполняют функции эксперта.
3.2 Обработка, анализ и оценка экспертной информации. Контролирует качество работ, выполняемых экспертной группой. Анализирует и обобщает результаты экспертного оценивания. Предоставляет обобщенную информацию руководителю. Предоставляют заполненные оценочные листы координатору.
4.1 Разработка макета «Экспертного заключения». Разрабатывает макет «Экспертного заключения». Принимает участие в обсуждении и оформлении «Экспертного заключения». Принимают участие в обсуждении «Экспертного заключения».
4.2 Подготовка окончательного варианта «Экспертного заключения». Руководит работой по корректировке, оформлению итоговых документов и окончательного варианта «Экспертного заключения». Составляет краткий отчет о работе группы. Участвует в корректировке и оформлении итоговых документов, публикует «Экспертное заключение». Обмениваются мнениями в свободном формате в процессе совместной работы.
Для каждого мероприятия план-графика проведения экспертного заключения определяется период выполнения и ответственный исполнитель.
Основным инструментом для проведения экспертного заключения является интерактив-
ный опросный лист и экспертное заключение, разработанные автором статьи в специальной лицензионной программе iSpring Suite 8.7.0. Ознакомиться с его работой можно в сети Интернет по адресу http://idpo.nrcerm.ru/Files/EOR%20 2017/SEEOR%20(Web)/index.html.
ОПРОСНЫЙ ЛИСТ ДЛЯ ПРОВЕДЕНИЯ ЭКСПЕРНОГО ЗАКЛЮЧЕНИЯ
Добро пожаловать в электронный опросный лист для проведения экспертизы электронного образовательного ресурса
"РАДИАЦИОННАЯ БЕЗОПАСНОСТЬ В МЕДИЦИНСКИМ ОРГАНИЗАЦИЯХ"
Уважаемый эксперт! просим Вас принять участие а опросе и ответить на вопросы анкеты.
В анкете используется бальная система оценки от 0 до 3 Сапов. Внимательно прочтите каждый вопрос, выберите ответ, наиболее отвечающий вашему мнению, и укажите его. Просим отвечать искренне и работать самостоятельно. Ответы будут использованы в обобщенном виде, как результат работы труппы экспертов.
По окончанию анкетирования Ваши результаты автоматически высыпаются на электронную почту sdo-vcefm@yandex.ru, для этого Ваш компьютер должен быть подключен к сети Интернет
ЖЕЛАЕМ УСПЕХОВ!
3? Шевцов В И,
Самст-Лггарбур*. М18
Введите ваши данные
E-mail*
sdo-vcerm@yand ex .ru Результаты будут отправлены на указанный email
Фамилия* Шевцов
Имя*
Владимир
отчество* Иванович
Далее
Актуальность представленных в содержании ЭОР знаний по учебному предмету на данной ступени обучения
01 о*
® 3
выберите один вариант ответа
ф Спасибо за участие в опросе!
Результат опроса
Всего вопросов: 39 Отвечено: 39
По окончанию опроса Ваши результаты автоматически высылаются на электронную почту sdo-vcerm@yandex.rn, для этого Ваш компьютер должен быть подключен к сети Интернет
Далее
Просмотреть ответы Завершить
Рис. 1 Опросный лист для проведения экспертного заключения
Perspectives of Science & Education. 2018. 1 (31)
Шкала оценок:
0 - если содержание не соответствует данному критерию и показателю;
1 - если содержание частично соответствует данному критерию и показателю;
2 - если содержание по большей мере соответствует данному критерию и показателю;
3 - если содержание полностью соответствует данному критерию и показателю.
Конечной целью экспертизы является определение качества электронного образовательного
ресурса методом сравнение его характеристик с рядом показателей, при этом:
- Если характеристики отвечают 91-100% показателям, то достигнут высокий уровень качества.
- Если характеристики отвечают 81-90% показателям, то достигнут хороший уровень качества.
- Если характеристики отвечают 71-80% показателям, то достигнут удовлетворительный уровень качества.
- Если характеристики отвечают менее 70% показателям, то достигнут низкий уровень качества.
ЭКСПЕРТНОЕ ЗАКЛЮЧЕНИЕ №
Санкт-Петербург «_»_2018 г.
Экспертной группой в составе экспертов: (Фамилия Имя Отчество, ученая степень, ученое звание) проведена комплексная экспертиза электронного образовательного ресурса Название, автор (ы) — Фамилия Имя Отчество, ученая, степень, ученое звание, кафедра, вуз.
На основании результатов проведения комплексной экспертизы и выводов,, представленных в опросных листах электронного образовательного
ресурса _ от 00.00.00, установлено следующее.
Электронный образовательный ресурс Название соответствует содержанию ФГОС по направлению подготовки/специальности наименование), современным подходам к преподаванию дисциплины, а также методическим и технологическим требованиям, установленным вузом для системы дистанционного обучения. Общая сумма баллов - XXX
Электронный образовательный ресурс рекомендуется к использованию в
учебном процессе для направления/специальности _р форма
обучения _, год обучения _ по дисциплине
Название с использованием электронного обучения н дистанционных образовательных технологий.
Подписи:
Эксперт: _'Ф.И.О./
подпись
Эксперт: _/Ф.И.О./
подпись
Эксперт: _Ф.И07
подпись
Руководитель экспертной группы: _/Ф.И.О./
подпись
« » 201 & г.
Рис. 2 Шаблон экспертного заключения
Проведение экспертного оценивания осуществляется без выезда экспертной группы. Автор (авторский коллектив) предоставляет полный доступ к ЭОР каждому эксперту индивидуально. Анализ и оценка качества ЭОР выполняется каждым экспертом путем изучения полученного пакета документов и анализа сведений, полученных от автора (авторского коллектива). Руководитель экспертной группы выполняет обязанности как руководителя, так и эксперта. Координатор экспертной группы выполняет обязанности как координатора, так и эксперта. Полученные результаты направляются экспертами координатору для последующей обработки данных. Обработанные результаты предоставляются
членам экспертной группы для обсуждения результатов и подготовки экспертного заключения.
Построенная система экспертной оценки уже показала свою эффективность, так в частности электронные учебно-методический комплексы «Организация здравоохранения и общественное здоровье» и «Радиационная безопасность в медицинских организациях» зарегистрированы в 2017 году как электронные ресурсы, отвечающие требованиям новизны и приоритетности в объединенном фонде электронных ресурсов «Наука и образование» (ОФЭРНиО) Федерального государственного бюджетного научного учреждения «Институт управления образованием Российской академии образования» [8; 10].
_Выводы
Представленные выше методологические основы экспертной оценки электронных образовательных ресурсов для системы дистанционного обучения медицинского персонала МЧС России можно считать неформальным шаблоном, который можно использовать:
- как опытный образец для разработки собственного стандарта проведения комплексной экспертизы ЭОР;
- как инструмент самоанализа для разработчиков ЭОР;
- как опорную схему для создания новых ЭОР;
- как средство для получения авторского права.
Мониторинг уровня развития электронного
обучения в МЧС России показывает, что правильно организованная и построенная система экспертизы обеспечивает стратегическое развитие образовательной деятельности, адаптирует эффективность принимаемых решений, повышает контроль над реализацией и обеспечением управленческих функций.
ЛИТЕРАТУРА
1. Федеральный закон от 29.12.2012 № 27Э-ФЗ «Об образовании в Российской Федерации» // Консультант плюс [Электронный ресурс]. URL: http://www.consultant.ru/document/cons_doc_LAW_140174 (дата обращения: 22.01.2018).
2. Приказ Минобрнауки России от 23.08.2017 № 816 «Об утверждении Порядка применения организациями, осуществляющими образовательную деятельность, электронного обучения, дистанционных образовательных технологий при реализации образовательных программ» // Консультант плюс [Электронный ресурс]. 2018.URL: http:// www.consultant.ru/document/cons_doc_LAW_278297 (дата обращения: 22.01.2018).
3. ГОСТ Р 53620-2009 Информационно-коммуникационные технологии в образовании. Электронные образовательные ресурсы. Общие положения. М.: Стандартинформ, 2011. 5 с.
4. ГОСТ Р 55751-2013 Информационно-коммуникационные технологии в образовании. Электронные учебно-методические комплексы. Требования и характеристики. М.: Стандартинформ, 2014. 7 с.
5. Парламентские слушания «Нормативное обеспечение реализации образовательных программ с применением электронного обучения и дистанционных образовательных технологий» // [Электронный ресурс]. URL: http://kpfu.ru/ portal/docs/F_1324571663/material_Minobrnauki.pdf#1 (дата обращения: 22.01.2018).
6. Кодекс этики эксперта // [Электронный ресурс]. URL: http://www.nica.ru/ru/byexperts/lawbook (дата обращения: 22.01.2018).
7. Андреев А.А. Онлайн-обучение и его качество // Электронное обучение в непрерывном образовании. 2015. Том 2. № 1(2). С. 82-91.
8. Котенко П.К., Шевцов В.И. Электронный учебно-методический комплекс «Организация здравоохранения и общественное здоровье» // Хроники объединенного фонда электронных ресурсов Наука и образование. 2017. № 11 (102). С. 13.
9. Ларин С.Н., Жилякова Е.В. Выбор инструментария для обоснования независимости экспертных оценок качества разработки электронных образовательных ресурсов // Национальные интересы: приоритеты и безопасность. 2015. № 13(298). С. 10-20.
10. Соловей Э.П., Шевцов В.И. Электронный учебно-методический комплекс «Радиационная безопасность в медицинских организациях» // Хроники объединенного фонда электронных ресурсов Наука и образование. 2017. № 11 (102). С. 12.
REFERENCES
6.
7.
8.
10.
Federal law of 29.12.2012 № 273-FZ "On education in Russian Federation"/ Available at: http://www.consultant.ru/document/ cons_doc_LAW_140174 (accessed 22 January 2018).
The Ministry of education of Russia from 23.08.2017 № 816 "On approval of the Procedure for the application of organizations engaged in educational activities, e-learning, distance educational technologies in implementation of educational programs. Available at: http://www.consultant.ru/document/cons_doc_LAW_278297 (accessed 22 January 2018). GOST R 53620-2009 Information and communication technologies in education. E-learning resources. General provisions. Moscow, Standartinform Publ., 2011. 5 p.
GOST R 55751-2013 Information and communication technologies in education. Electronic educational-methodical complexes. Requirements and characteristics. Moscow, Standartinform Publ., 2014. 7 p.
Parliamentary hearings "Normative support the implementation of educational programs using e-learning and distance educational technologies". Available at: http://kpfu.ru/portal/docs/F_1324571663/material_Minobrnauki.pdf#1 (accessed 22 January 2018).
The code of ethics expert. Available at: http://www.nica.ru/ru/byexperts/lawbook (accessed 22 January 2018). Andreev A. A. Online training and quality. E-learning in lifelong education. 2015. Volume 2. no. 1(2). pp. 82-91. (in Russian). Kotenko P. K., Shevtsov V. I. Electronic educational methodical complex "health Organization and public health". Chronicle of the United Fund of electronic resources Science and education. 2017. no. 11 (102). 13 p. (in Russian).
Larin S. N., Zhilyakova E. V. Choice of instruments for substantiating the independence of the expert assessments of the quality of development of electronic educational resources. National interests: priorities and security. 2015. no. 13(298). pp. 10-20. (in Russian). Solovey E. P., Shevtsov V. I. Electronic educational methodical complex "Radiation safety in medical organizations". Chronicle of the United Fund of electronic resources Science and education. 2017. no. 11 (102). 12 p. (in Russian).
Информация об авторе
Шевцов Владимир Иванович
(Россия, Санкт-Петербург) Кандидат технических наук, доцент кафедры безопасности
жизнедеятельности, экстремальной и радиационной медицины института дополнительного профессионального образования «Экстремальная медицина» ФГБУ «Всероссийский центр экстренной и радиационной
медицины имени А.М. Никифорова» Министерства Российской Федерации по делам гражданской обороны, чрезвычайным ситуациям и ликвидации последствий стихийных бедствий E-mail: sdo-vcerm@yandex.ru
Information about the author
Shevtsov Vladimir Ivanovich
(Russia, Saint Petersburg) PhD in of Technical Sciences Associate Professor of the Department of life safety of extreme and radiation medicine of the Institute of additional professional education «Extreme medicine» Nikiforov Russian Center of Emergency and Radiation Medicine of EMERCOM of Russia E-mail: sdo-vcerm@yandex.ru
