CC BY
46Экспертиза педагогико-эргономического качества электронных образовательных ресурсов
Тютченко Александр Максимович,
профессор, кандидат исторических наук, профессор, Московский городской педагогический университет E-mail: tyutchenkoam@yandex.ru
Ананишнев Владимир Максимович,
профессор, доктор социологических наук, доктор бизнес-администрирования (США), профессор, Московский городской педагогический университет E-mail: ananishnevv@yandex.ru
Зотова Марина Викторовна,
доцент, кандидат педагогических наук, доцент, Московский городской педагогический университет E-mail: m.v.zotova2015@yandex.ru
В статье проанализированы существующие национальные стандарты в области качества электронного обучения. На основе групп отличительных свойств электронных образовательных ресурсов (ЭОР), перечисленных в ГОСТ Р 53620-2009, предложено выделить соответствующие критерии и измеримые показатели качества, которые могут быть использованы для комплексной оценки электронных курсов, предназначенных для организации учебного процесса в вузе с использованием дистанционных образовательных технологий, в том числе и при сетевых формах реализации образовательных программ. Для проведения экспертизы ЭОР целесообразно использовать метод групповых экспертных оценок, который позволяет сформировать согласованную экспертную группу с учетом компетентности каждого эксперта, провести экспертизу и выполнить агрегирование индивидуальных экспертных оценок в итоговую. Предложенная в работе система показателей для оценки качества ЭОР в случае необходимости может быть скорректирована экспертной группой самостоятельно, например, с учетом модели организации учебного процесса с применением дистанционных образовательных технологий. Кроме того, она может быть использована не только на этапе экспертизы уже существующих электронных курсов, но и на этапе их проектирования при описании в техническом задании на разработку электронного курса требований к содержанию, технической и методической реализации ЭОР.
Ключевые слова: электронное обучение, электронный образовательный ресурс, метод групповых экспертных оценок, критерии и показатели качества ЭОР, стандартизация информационно-коммуникационных технологий в образовании, комплексная оценка качества ЭОР, экспертное сообщество специалистов по электронному обучению, экспертиза качества.
В настоящее время подавляющим большинством специалистов 1Т-отрасли, а также представителями педагогического и образовательного сообществ стал признаваться тот факт, что недостаточное внимание учителя, преподавателя к интеграции традиционных педагогических и новых информационных технологий, равно как и трудности, связанные с реализацией этого процесса на практике, является ведущим фактором, который превращает информационно-коммуникационные технологии (ИКТ) из «объекта надежд» в «объект обманутых ожиданий» [4].
В настоящее время наблюдается низкая эффективность использования средств ИКТ в учебном процессе. Причиной этого является уровень самих электронных учебно-методических материалов, не соответствующий современным требованиям, предъявляемым к содержанию и организации учебно-познавательной деятельности учащихся. Если всего несколько лет назад основу электронных учебно-методических материалов составляли «мозаичные» электронные образовательные ресурсы (ЭОР), целью которых было освоение какой-то одной темы или отработка одного-двух навыков, то сейчас их место активно занимают электронные учебники (ЭУ), электронные формы учебников (ЭФУ), разнообразные цифровые платформы (МЭШ, ЯКласс, «1С Школа», LECTA и пр.), представляющие собой своего рода комплексные интерактивные системы электронных учебно-методических материалов нового поколения, которые можно назвать предметными и межпредметными информационно-педагогическими системами, ориентированными как на управление и организацию учебного процесса, так и на формирование и развитие различного рода учебных компетенций учащихся для достижения ими предметных, метапредметных и личностных образовательных результатов. Поэтому важным является разработка качественных ЭОР, которые будут поддерживать учебный процесс на новом уровне, создавать инновационную учебную среду, активизировать деятельность учащихся и побудить их к поиску новых данных и сведений о предмете.
Развитие информационно-коммуникационных технологий, внедрение их в учебно-воспитательный процесс, обеспечение учебного пространства образовательных заведений доступом к сети интернет и электронным учебным контентом - все эти процессы обусловили педагогическое сообщество поставить на первый план вопросы качества. Внедрение механизмов обеспечения открытости и доступности электронных образовательных ре-
сз о со "О
1=1 А
—I
о
сз т; о m О от
З
ы о со
сурсов, полноты, достоверности и актуальности учебной информации, соответствия нормам действующего законодательства, которые регламентируют их создания и функционирования, обеспечит учебно-воспитательный процесс общеобразовательных учебных заведений и вузов качественным электронным учебным материалом, который можно применять на различных этапах урока, занятий и во внеурочное время.
«Электронный образовательный ресурс» (ЭОР) (стандарт ГОСТ 7.23-2001) - это электронный образовательный контент, который представлен нормативными, информационными, программными средствами, техническими и методическими материалами, аудио и видеоматериалами, полнотекстовыми электронными изданиями, иллюстративными материалами, каталогами электронных библиотек [1]. Возможность организации образовательного процесса с применением ЭОР закреплено в федеральном законе «Об образовании в Российской Федерации» [2].
Важные образовательные цели и задачи, которые ставятся перед разработчиками подобных ЭОР, требуют осуществления как постоянного мониторинга в процессе разработки, так и тщательной экспертизы готовых продуктов по её окончании. «Вопросы качества электронного образования в последние годы все чаще оказываются в центре внимания исследователей, образовательных организаций, органов управления образованием разных уровней» [5, с. 154]. Поэтому одним из приоритетных направлений эргономической оценки ЭОР является соответствие современной компьютерной технике и информационно-коммуникационным технологиям.
ЭОР можно разделить на два типа: Интернети локально ориентированные. Локальные ЭОР используют для обучения без доступа к сети Интернет, например, конструктор урока. Интернет-ЭОР должны учитывать тенденции развития дистанционных и облачных технологий и использования виртуальных ЭОР, в которых реализованы возможности коммуникации, коллаборации, самостоятельной работы и развития индивидуальных особенностей учащихся. Локальные ЭОР должны учитывать удобство и простоту установки, возможность работы в локальной сети, возможность сохранения индивидуальной, групповой работы и результатов оценивания учебных достижений учащихся, конфигурацию компьютерной техники и операционной системы.
Экспертная деятельность переживает этап становления в сфере образования, постепенно становясь привычным явлением. Актуальность исследований в области экспертизы электронных образовательных ресурсов связана с тенденцией стандартизации и систематизации электронного 5 образовательного контента. Подтверждение это-5 му - активное обсуждение различных аспектов й создания и использования электронного контен-еЗ та в научных кругах Российской академии образа зования, на коллегиях Министерства образования
и науки, образовательных учреждениях и выявления необходимости обоснования основ, на которых должна строиться экспертиза.
В научной литературе встречаются различные виды экспертизы в образовании [11; 14]. В частности: гуманитарная, демократическая, аттестационная, экспертиза инноваций, эргономическая, психолого-педагогическая. Несмотря на общие признаки объекта экспертизы в образовании, необходимо рассматривать их в контексте единого понятия. Учитывая это, педагогическую экспертизу можно представить как сложную аналитико-синтетическую деятельность, направленную на исследование (проверку), формирование обоснованной (мотивированной) оценки научно-педагогического уровня о том или ином объекте (проекте) образовательной деятельности. В целом педагогическая экспертиза направлена на компетентное оценивание учебников или пособий, электронного контента или электронных образовательных ресурсов и тому подобное. Проведение экспертизы направлено на получение от экспертов соответствующих данных и принятие на их основе компетентных решений относительно объекта исследования.
Основой педагогической и эргономической экспертизы является педагогический эксперимент, который является трудоемким и долговременным процессом, который требует высококвалифицированных специалистов, потому как обязательный элемент комплексной экспертизы применяется крайне редко. При этом необходима формулировка перечня требований, критериев качества и системы их оценивания для каждой группы признаков, соответственно для каждого элемента курса. При этом стандартизированные наработки экспертизы неприемлемы: степень детализации требований к ЭОР, утвержденных в учебных заведениях, существенно отличается: от наличия жестких шаблонов до полной самостоятельности авторов курса.
Основными задачами экспертизы являются: комплексное исследование объекта; проверка соответствия объекта требованиям государственного стандарта, потребностям образовательного процесса; оценка соответствия объекта современному уровню научных, методических, психологических и педагогических требований; оценка уровней интерактивности, мультимедийности, открытости объекта; оценка перспективности использования объекта в педагогической практике; подготовка обоснованных экспертных заключений.
Результаты проведения экспертизы оформляются в виде развернутых экспертных заключений на основе критериально-оценочных таблиц, рассматриваются на профильных кафедрах и утверждаются на заседании ученых, научно-методических советов или экспертных комиссий под председательством ответственного лица. Для дальнейшего мониторинга педагогико-эргономического качества и эффективности ЭОР проводится анкетирование обучающихся, анализ
активности пользователей и повторная экспертиза.
Важная роль в определении качества ЭОР уделяется критериям. К числу критериев оценивания ЭОР могут быть отнесены: полнота методического обеспечения дисциплины, авторство материала, полнота представления материала, соответствие материала мировым стандартам (IMS, SCORM, IEEE и др.), соответствие содержания рабочей программы, степень использования ресурса, структурирование материала (содержание, лекции, разделы, главы, параграфы), эргономичность текста (эффективность, понимание, восприятие), использование гипертекстовых ссылок, наглядность материала (форматирование текста, графики, иллюстрации, фото), использование мультимедийных модулей, интерактивных систем, тестов, стандартных форматов файлов, соответствие материала уровню знаний учащихся, свободный доступ к материалам. Каждый критерий оценивается 0,3 или 5 баллами. Среднее значение всех критериев определяет качество ЭОР.
С целью обеспечения высокого качества разработки и выполнения, ЭОР проходят комплексную экспертизу, включающую смысловую, учебно-методическую, программно-техническую и дизайн-эргономическую составляющие [2]. Методические требования к ЭОР включают методические материалы по предмету, инструкции по использованию объекта, выполнение обязательных заданий, самостоятельной работы, тестов, использование ресурса в учебно-воспитательном процессе. В случае несоответствия дидактическим и методическим требованиям, ЭОР не принимают к дальнейшему рассмотрению. Поэтому, важным является обнародование критериев оценки ЭОР, разработка методических рекомендаций по подготовке ЭОР к проведению экспертизы и проведению апробации на экспериментальных площадках.
Технология проведения экспертизы включает следующие этапы: получение заявления разработчика ЭОР с просьбой проведения экспертизы, разработку приказа Министерства образования и науки РФ о проведении экспертизы (список членов экспертной комиссии, срок проведения экспертизы, перечень базовых образовательных учреждений для проведения апробации, уточняются номера контактных телефонов, факсов, электронных адресов); разработка оценочных листов, инструктивно-методических материалов к составлению экспертных заключений и заполнение оценочных листов экспертными комиссиями и общеобразовательными учебными заведениями; регистрацию, шифрования, дешифрования объектов (ЭОР) и их конфиденциальность; передачу комплектов объектов (ЭОР) председателям соответствующих экспертных комиссий, по требованию разработчика предоставления материалов экспертиз; формирование предложений по персональному составу экспертной комиссии и обеспечение надлежащих условий ее работы; формирование предложений по персональному составу
апелляционной комиссии и обеспечение надлежащих условий ее работы; хранение документации, касающейся экспертизы.
Согласно Статье 14 «Организация и проведение экспертиз научной и научно-технической деятельности» Федерального закона № 127-ФЗ от 23.08.1996 (ред. от 23.05.2016) «О науке и государственной научно-технической политике» (с изменениями и дополнениями вступил в законную силу 01.01.2017) экспертиза ЭУ и ЭФУ относится к разряду «экспертиз научных и научно-технических программ и проектов, финансируемых за счет средств соответствующего бюджета». Поэтому на деятельность эксперта в этой сфере распространяются требования к инновационной научно-технической деятельности, осуществлять которую должны независимые специалисты IT-сферы совместно с заинтересованными сторонами - педагогами-предметниками, методистами в данной предметной области и авторами учебни-ков-«первоисточников» [14].
Технология проведения экспертизы образовательных проектов предусматривает следующие этапы: подача заявки; определение целей экспертизы, вопросов, требующих квалифицированного анализа; подбор экспертной группы; предоставление экспертам необходимой информации; определение подходов, критериев и правил оценки проекта; проведение экспертизы; выработка выводов, рекомендаций и консультирование авторов проекта. Основным при проведении экспертизы является метод экспертных оценок. Также для получения достоверной информации при экспертизе инновационных образовательных проектов используют деловые игры, методы коллективного блокнота, аналогий, синектики, мозговой атаки, анализа конкретных ситуаций (case study), метод «Дельфи» и др.
Рассмотрим принципы построения экспертизы ЭОР:
- научности, определяющей необходимость использования объекта экспертизы, который является подмножеством научного знания соответствующей предметной отрасли и максимально способствует реализации цели и соответствует целям обучения;
- активного включения в учебный процесс требует осознания необходимости использования объекта экспертизы с целью наглядности учебного материала, повышения активности и познавательной деятельности учащихся;
- индивидуализации, индивидуального подхода в обучении, эффективно реализуемого при применении объекта экспертизы. Важным является определение индивидуального начального уровня учащихся, сформированности соответствующих умений и навыков.
- принципы открытости, доступности, объективности, достоверности, полноты и точности данных.
Квалифицированная, открытая экспертиза, соответствующая данным принципам, направлена
сз о со "О
1=1 А
—I
о
сз т; о m О от
З
ы о со
на поддержку научно-консультативного сопровождения инновационных образовательных проектов. В результате разработчикам проекта предоставляются экспертные заключения, рекомендации, консультации. Тем самым экспертиза способствует раскрытию потенциала образовательных инноваций, стимулирует педагогические коллективы учреждений образования к инновационной деятельности.
Можно выдвинуть и требования к участникам экспертизы ЭОР: наличие интереса к проблемам разработки и использования ЭОР в учебных заведениях, участие в конференциях, семинарах, выставках; наличие базовой ИКТ-компетентно-сти и готовности к использованию ИКТ в образовательной деятельности; аналитичность; наличие интереса к развитию инновационной практики в работе учебного заведения, отсутствие консерватизма; высокая исполнительская дисциплина, готовность доводить дело до конца и работать в команде.
Широкое использование ЭОР в учебном (учебно-воспитательном) процессе допускается только после проведения его экспертизы и получения положительного экспертного заключения (требование не распространяется на ЭОР, которые создаются для локального использования в пределах одного учебного заведения).
Как известно, в работу эксперта входит проведение профессиональных исследований различных научных, научно- и учебно-методических, научно-технических разработок и оценка полученных результатов. Для этого привлекается богатый профессиональный опыт и специальные знания членов экспертной комиссии. Если теперь посмотреть на работу эксперта с содержательной стороны, то создаётся впечатление, будто экспертный труд слабо поддаётся алгоритмизации, что позволяет считать его разновидностью творческой деятельности, основанной на интуиции, озарении, эрудиции, высоком уровне интеллекта эксперта. Тем не менее, даже при отсутствии видимого алгоритма экспертная деятельность обладает внутренними механизмами, которые подчиняются определённым закономерностям, скрытым от глаза стороннего наблюдателя, когда существующая связь между исходными предпосылками и итоговыми результатами деятельности эксперта может быть выявлена с помощью понятия диалектическое противоречие.
При педагогико-эргономической экспертизе ЭОР предлагается использовать несколько групп критериев.
Так, например, структурно-функциональная экспертиза, как часть эргономической экспертизы, может включать следующие критерии - табл. 1.
Таблица 1. Критерии структурно-функциональной экспертизы ЭОР
Критерий Характеристика
График обучения имеется календарно-тематического планирования проведения занятий
Методические рекомендации по работе с локальным ЭОР предоставляются методические материалы, четкие инструкции по использованию ресурса, выполнения заданий, самостоятельной работы, тестов; совершенство построения структуры методических рекомендации (указаний) для преподавателя по использованию ресурса в учебно-воспитательном процессе (точность приведенных данных, лаконичность изложения учебного материала)
Критерии оценки приведена таблица критериев оценивания учебных достижений учащихся по предмету
Печатные и интернет источники указаны основные и дополнительные печатные источники по учебному предмету, приведены Интернет-источники с активными гиперссылками
Задания для самостоятельной работы имеются задания для самостоятельного выполнения, содержащие основные структурные элементы: содержание задания, ход выполнения, список индивидуальных заданий, информационные источники, форма представления результатов выполненного задания, критерии оценивания, срок исполнения
Оценивание имеющиеся учебные и интерактивные тесты для промежуточного контроля учебных достижений учащихся
Функциональность ЭОР удобство и простота использования на одном компьютере; удобство и простота использования в локальной компьютерной сети; наличие интуитивно понятной навигации (удобство, достаточность, скорость поиска); надежность и Интернет - сопровождение; программная совместимость с Windows, Linux, др.; качество выполнения изображений (статических растровых и векторных иллюстраций, графических, динамических моделей, видеозаписей); качество звукового сопровождения (музыка, звуковой фон, синхронность, дикция закадрового сопровождения); рациональность дизайнерского замысла (цветовая гамма, единство стиля, проектирование структуры, построение предметной среды); удобство обработки результатов работы учащихся в локальной сети; возможность сохранения результатов индивидуальной (групповой) работы учащихся на сервере
о с
U см
Можно видеть, что исходя из представленных критериев может быть оценено как педагогическое, так и эргономическое качество ЭОР. Кроме
того, в качестве группы критериев для экспертизы могут быть выделены методические критерии -табл.2.
Таблица 2. Методические критерии педагогико-эргономической экспертизы ЭОР
Критерий Характеристика
Содержание наличие межпредметных связей; наличие внепрограммного материала
Теоретический материал учебный материал структурирован, разбит на порции, работают гиперссылки, материал, предназначенный для запоминания; используется интерактивный самоконтроль пройденного материала; учебный материал не перегружен чрезмерным количеством текстовой информации; в материале в электронной форме используется цвет текста, фона, графических изображений в соответствии с правилом 3-х цветов и их оттенков; видео-фрагменты используются для демонстрации понятий, явлений, процессов и т.п. и продолжаются в среднем 3-5 минут., дополняются необходимым звуком; возможность применения преподавателем различных дидактических методов и приемов; наличие мотивации учебной деятельности учащихся (создание проблемной ситуации, заинтересованность, возможность решения проблемы, сообщение учащимся практической и теоретической значимости учебного материала)
Практические или лабораторные работы графические изображения качественно выполнены и методически грамотно представлены для подкрепления текстового материала; теоретический материал структурируется и подается в схемах и организационных диаграммах, цифровые данные подаются в виде таблиц и диаграмм; эффекты анимации применяются для акцентирования внимания на определенных моментах, имеющиеся теоретические сведения, касающиеся содержания, последовательности и методики выполнения практической работы, графические изображения, пример выполнения заданий, индивидуальные задания, в практических (лабораторных) работах используется рассмотрение проблемных ситуаций, требующих решения
Особенности локальных ЭОР значимость зрительного ряда в решении дидактических задач (соответствие целям обучения отбора рисунков, графических изображений, знаково-буквенных изображений, анимаций и т. п)
При проведении экспертизы каждый из перечисленных основных критериев может быть детализирован комплексом более локальных критериев и измеримых показателей [12].
Однако разработка такого комплекса критериев и показателей при проведении экспертизы в каждом конкретном случае (для конкретной образовательной организации, платформы открытых онлайн-курсов, онлайн-школы или корпоративного центра обучения сотрудников) является достаточно сложным и трудоемким процессом, несмотря на кажущуюся очевидность стандартизации основных критериев качества. Например, критерии оценки качества массовых открытых онлайн-курсов, очевидно, будут существенно отличаться от критериев оценки качества мини-курсов корпоративного обучения. Критерии и показатели качества должны в каждом конкретном случае опираться на ряд определенных требований к ЭОР.
От их мнения об эстетических качествах, эргономике ЭОР, его содержании, выбранных технологиях и методиках реализации во многом зависит успешность реализации как поставленных заказчиком бизнес-целей, так и заложенных разработчиками ЭОР учебных целей образовательного продукта. Конечно же, при разработке учебного контента, выборе тех или иных методов, форм и средств обучения необходимо учитывать ряд ограничений, существующих при реализации любого проекта, в том числе и по внедрению ЭОР в учебный процесс.
Основные этапы экспертизы:
1. Формирование экспертной группы.
2. Выработка критериев оценивания.
3. Проведение экспертизы.
4. Обработка результатов, подведение итогов.
На первом этапе необходимо обеспечить согласованность экспертной группы и оценить уровень
экспертности каждого участника по основным критериям (содержательный, методический, технический). Может быть сформировано несколько экспертных групп, которые будут проводить отдельно техническую, методическую, содержательную экспертизу. Также необходимо сформировать отдельную экспертную группу из числа обучающихся (потребителей образовательного продукта).
На втором этапе на основе ГОСТ Р 53620-2009 и описанных в нем основных групп отличительных свойств, определяющих присущие ЭОР характеристики качества (содержание, методики, техническая реализация) и требований к ЭОР, экспертным группам необходимо сформулировать критерии и показатели качества для проведения экспертизы. Каждый критерий и показатель должен иметь свой весовой коэффициент. По каждому показателю эксперты должны иметь возможность однозначно определить, соответствует ли ему оцениваемый ЭОР. Критерии и показатели могут быть как объективными (например, одним из показателей может быть наличие метаданных ЭОР), так и субъективными (например, нравится / не нравится дизайн).
Проведение экспертизы может проводиться в один или несколько этапов, экспертные группы могут работать параллельно. После обработки результатов оценивания эксперты должны вынести общее заключение о соответствии ЭОР требованиям.
В проведении экспертизы качества заинтересован, прежде всего, заказчик ЭОР, т.к. образовательный продукт должен помочь ему в реализации поставленных бизнес-целей. И заказчик самостоятельно может организовать подобную экспертизу, используя собственные ресурсы, подключая специалистов своей организации или внешних экспертов. Поиск и апробация эффективных
сз о со "О
1=1 А
—I
о
сз т; о т О от
З
и о со
способов организации и определения критериев педагогико-эргономической экспертизы электронных образовательных ресурсов является открытой научно-практической задачей. Подбор оптимальных параметров организации экспертизы существенно зависит от финансово-технологических факторов, обеспеченности учебного заведения квалифицированными преподавателями, роли и места системы дистанционного образования в структуре учебного заведения, заинтересованности со стороны администрации и тому подобное. Вместе с тем, независимо от методики проведения, экспертиза ЭОР является необходимым инструментом обеспечения качества образовательного процесса. Конечной целью экспертизы ЭОР является совершенствование электронных образовательных продуктов, поиск новых методик педагогического взаимодействия с учетом современных потребностей заказчиков образовательных услуг и новейших тенденций использования информационно-коммуникационных технологий.
Однако существует возможность использовать результаты независимой экспертизы, которая может быть более объективной и менее затратной. Для организации независимой экспертизы необходимо существование сформировавшегося авторитетного экспертного сообщества специалистов в области электронного обучения. В настоящее время формирование такого сообщества происходит на базе проведения международного конкурса открытых онлайн-курсов EdCrunch Award [3].
В течение нескольких лет это сообщество пополняется представителями не только российских образовательных организаций и корпоративного сектора e-Learning, но и специалистами стран ближнего и дальнего зарубежья. С каждым годом развивается система критериев оценивания и процедура экспертизы.
Кроме открытых онлайн-курсов в конкурсе теперь принимают участие и образовательные продукты. На сайте конкурса можно ознакомиться с эволюцией критериев оценивания и полным каталогом курсов и продуктов, представленных на конкурс. Таким образом, EdCrunch Award дает возможность познакомиться с лучшими, прежде всего, отечественными практиками в области электронного обучения и принять участие в работе экспертного сообщества.
Итак, электронные образовательные ресурсы должны быть разработанными в соответствии с критериями определения их качества. При условии обеспечения общеобразовательных учебных заведений и вузов качественными ЭОР, можно надеяться на повышение активизации познавательной деятельности учащихся и повышения интереса к изучению базовых учебных предметов. Использование ЭОР во время учебно-воспитательного 5 процесса требует от педагогов соответствующей § подготовки, знаний и умений, что дает толчок к пой вышению их ИКТ-компетентности. Эффективность еЗ ЭОР может быть достигнута во время системного ¡в их использования в учебно-воспитательном про-
цессе и во внеурочное время. Организация экспертизы локальных ЭОР требует дополнительных исследований. При этом центральным звеном оценки педагогико-эргономического качества электронных образовательных ресурсов является технология экспертизы. Также не стоит забывать и о таких компонентах, как управление электронным обучением, инфраструктура, кадровый состав.
Литература
1. ГОСТ Р 52653-2006 «Информационно-коммуникационные технологии в образовании. Термины и определения».
2. Федеральный закон «Об образовании в Российской Федерации» от 29 декабря 2012 года № 273 (принят 29.12.2012, ред. от 30.12.2021).
3. Клейносова, Н.П. Экспертное оценивание в рамках международного конкурса открытых онлайн-курсов Edcrunch award // Современные технологии в науке и образовании: сб. тр. III Междунар. науч.-техн. форума / под общ. ред. О.В. Миловзорова. - Рязань, 2020. -С.34-37.
4. Корчажкина, О.М. Экспертиза электронных образовательных ресурсов с помощью PN-метода / О.М. Корчажкина // Современные информационные технологии и ИТ-образование. - 2019. - Т. 15. - № 4. - С. 825-836.
5. Краснова, Г.А. Электронное образование в эпоху цифровой трансформации / Г.А. Краснова, Г.В. Можаева. - Томск: Изд. дом Томского гос. ун-та, 2019. - 200 с.
6. Критерии оценки качества электронных образовательных ресурсов. - Режим доступа: http:// edu.of.ru/fmmc/default.asp?ob_no=27153 (Дата доступа: 20.03.2022).
7. Лапенок, М. В., Макеева В.В. Формирование индивидуальной траектории обучения в информационно-образовательной среде школы //Педагогическое образование в России. - 2016. - № . 7. - С. 37-43.
8. Оценка качества электронных образовательных ресурсов. - Режим доступа http://infocom. uz/2012/02/28/ocenkakachestva-elektronnyx-obrazovatelnyx-resursov/ (Дата доступа: 18.03.2022).
9. Роберт, И.В. Развитие образования в условиях цифровой парадигмы в контексте аксиологического подхода / И.В. Роберт // Мир психологии. - 2021. - № 1-2(105). - С. 89-103.
10. Стебеняева, Т.В. Методический подход к экспертной оценке качества интерфейсных компонент ЭОР / Т.В. Стебеняева // Проблемы и перспективы развития образования в России. - 2015. - № 33. - С. 115-120.
11. Стебеняева, Т.В. Система экспертной интегральной оценки качества электронных образовательных ресурсов / Т.В. Стебеняева, Л.Ю. Лазарева // Актуальные вопросы модернизации российского образования: М-лы Меж-
дународной научно-практической конференции. - 2014. - С. 112-118.
12. Шишлина, Н.В. Квалиметрическая оценка электронных образовательных ресурсов вуза // Информационные технологии. Проблемы и решения: материалы Междунар. науч.-практ. конф. - 2018. - № 1(5). - С. 3-7.
13. Шишлина, Н.В. Субъективная оценка качества электронного курса: как учесть мнение потребителей образовательных услуг / Н.В. Шишлина, Н.М. Логачева // Ученые записки ИСГЗ. -2018. - Т. 16. - № 1. - С. 491-497.
14. Шишлина, Н.В. Экспертиза качества электронных образовательных ресурсов / Н.В. Шишлина // Информационные технологии в науке, промышленности и образовании: Сб. научно-технической конференции. - Ижевск: Издательство УИР ИГТУ имени М.Т. Калашникова, 2021.- С. 391-396.
EXAMINATION OF PEDAGOGICAL AND ERGONOMIC QUALITY OF ELECTRONIC EDUCATIONAL RESOURCES
Tyutchenko A.M., Ananishnev V.M., Zotova M.V.
Moscow City Pedagogical University
The article analyzes the existing national standards in the field of e-learning quality. Based on the groups of distinctive properties of electronic educational resources (EOR) listed in GOST R53620-2009, it is proposed to identify appropriate criteria and measurable quality indicators that can be used for a comprehensive assessment of e-courses designed to organize the educational process at a university using distance learning technologies, including network forms of educational programs.
To conduct an EOR examination, it is advisable to use the method of group expert assessments, which allows you to form an agreed expert group taking into account the competence of each expert, conduct an examination and aggregate individual expert assessments into a final one. The proposed system of indicators for assessing the quality of ESM, if necessary, can be adjusted by the expert group independently, for example, taking into account the model of the organization of the educational process using distance learning technologies. In addition,, it can be used not only at the stage of examination of existing e-courses, but also at the stage of their design when describing in the terms of reference for the development of an e-course the requirements for the content, technical and methodological implementation of ESM.
Keywords: e-learning, electronic educational resource, method of group expert assessments, criteria and indicators of the quality of EOR, standardization of information and communication technologies in education, comprehensive assessment of the quality of EOR, expert community of e-learning specialists, quality expertise.
References
1. GOST R52653-2006 "Information and communication technologies in education. Terms and definitions".
2. Federal Law "On Education in the Russian Federation" dated December 29, 2012 No. 273 (adopted on December 29, 2012, ed. from 12/30/2021).
3. Kleinosova, N.P. Expert evaluation in the framework of the international competition of open online courses Edcrunch award // Modern technologies in science and education: sat. tr. III International Scientific and Technical. forum / under the general editorship of O.V. Milovzorov. - Ryazan, 2020. - pp. 34-37.
4. Korchazhkina, O.M. Examination of electronic educational resources using the PN-method / O.M. Korchazhkina // Modern information technologies and IT education. - 2019. - Vol. 15. -No. 4. - pp. 825-836.
5. Krasnova, G.A. Electronic education in the era of digital transformation / G.A. Krasnova, G.V. Mozhaeva. - Tomsk: Publishing House of Tomsk State University, 2019. - 200 p.
6. Criteria for assessing the quality of electronic educational resources. - Access mode: http://edu.of.ru/fmmc/default.asp?ob_ no=27153 (Access date: 20.03.2022).
7. Lapenok, M. V., Makeeva V.V. Formation of an individual learning trajectory in the information and educational environment of the school //Pedagogical education in Russia. - 2016. - No. 7. -pp. 37-43.
8. Assessment of the quality of electronic educational resources. -Access mode http://infocom.uz/2012/02/28/ocenkakachestva-elektronnyx-obrazovatelnyx-resursov / (Access date: 18.03.2022).
9. Robert, I.V. The development of education in the digital paradigm in the context of the axiological approach / I.V. Robert // The world of psychology. - 2021. - № 1-2(105). - Pp. 89-103.
10. Stebenyaeva, T.V. Methodological approach to expert assessment of the quality of interface components of EOR / T.V. Stebenyaeva // Problems and prospects of education development in Russia. - 2015. - No. 33. - pp. 115-120.
11. Stebenyaeva, T.V. System of expert integral assessment of the quality of electronic educational resources / T.V. Stebenyaeva, L.Y. Lazareva // Topical issues of modernization of Russian education: Proceedings of the International Scientific and Practical Conference. - 2014. - pp. 112-118.
12. Shishlina, N.V. Qualimetric assessment of electronic educational resources of the university // Information technologies. Problems and solutions: materials of the International Scientific and Practical Conference. - 2018. - № 1(5). - P. 3-7.
13. Shishlina, N.V. Subjective assessment of the quality of the electronic course: how to take into account the opinion of consumers of educational services / N.V. Shishlina, N.M. Logacheva // Scientific notes of the ISGZ. - 2018. - Vol. 16. - No. 1. - pp. 491-497.
14. Shishlina, N.V. Examination of the quality of electronic educational resources / N.V. Shishlina // Information technologies in science, industry and education: Collection of scientific and technical conferences. - Izhevsk: Publishing House of the UIR IGTU named after M.T. Kalashnikov, 2021. - pp. 391-396.
