КРИТЕРИИ ПЕДАГОГИЧЕСКОЙ ЭКСПЕРТИЗЫ ЭФФЕКТИВНОСТИ МАССОВЫХ ОТКРЫТЫХ ОНЛАЙН КУРСОВ Текст научной статьи по специальности «Науки об образовании»

Критерии педагогической экспертизы эффективности массовых открытых онлайн курсов

Фоминых Наталия Юрьевна,

доктор педагогических наук, доцент, профессор кафедры Иностранных языков № 1 Российского экономического университета имени Г.В. Плеханова E-mail: Fominyh.NY@rea.ru

Докукина Анна Анатольевна,

кандидат экономических наук, доцент, доцент кафедры Экономики промышленности Российского экономического университета имени Г.В. Плеханова E-mail: Dokukina.AA@rea.ru

Зарудная Мария Владимировна,

старший преподаватель кафедры Иностранных языков № 1 Российского экономического университета имени Г.В. Плеханова E-mail: Zarudnaya.MV@rea.ru

Статья посвящена одному из самых важных процессов современной мировой системы образования - цифровизации, а именно авторами рассмотрена проблема перехода от количества разрабатываемых электронных образовательных ресурсов к их (ресурсов) качеству в аспекте проведения педагогической экспертизы. На основе опыта работы Российского экономического университета имени Г.В. Плеханова (РЭУ им. Г. В. Плеханова) авторами охарактеризованы критерии и показатели эффективности массовых открытых онлайн курсов (МООК) по гуманитарным дисциплинам. К критериям эффективности (качества) МООК авторами отнесены: технический, содержательный, лингвистический, психолого-педагогический, методический, дизайн-эргономический. Каждый из критериев охарактеризован в единстве компонентов. Данные критерии могут быть использованы для проведения экспертизы качества МООКов. Также представлен опросный лист эксперта для проведения экспертизы МООК по иностранным языкам.

Ключевые слова: массовый открытый онлайн курс, педагогическая экспертиза, критерии и показатели эффективности (качества) МООК.

В условиях турбулентного развития общества и, как следствие, такого же турбулентного развития системы образования и его (образования) цифровизации остро становится вопрос перехода от количества разрабатываемых учебными заведениями электронных образовательных ресурсов к их (ресурсов) качеству. Соответственно, одной из актуальных проблем современной образовательной науки и практики является проблема экспертизы качества электронных образовательных ресурсов.

Пандемия и режим самоизоляции во всем мире «подтолкнули» общество к использованию активных методов самообучения и самообразования на основе использования Массовых открытых онлайн курсов (МООК). Практически каждый вуз в мире сегодня имеет собственный набор таких курсов, но как в рядах мировых гигантов, так и среди первооткрывателей новых форм организации работы студентов в МООКах до сих пор не существует единодушного мнения о требованиях к экспертизе таких курсов.

Говоря об экспертизе МООКов, безусловно, необходимо учитывать мнение как преподавателей (экспертов в области электронного образования), так и мнение самих студентов. Таким образом, целью данной статьи является обоснование критериев и показателей экспертизы качества МООК. Данные критерии и показатели были обоснованы для дисциплин гуманитарного цикла, на основе чего был сформирован оценочный лист для МООК по иностранным языкам. Однако, при этом следует отметить, что за счет свое универсальности, данный набор критериев и показателей может использоваться для проведения экспертизы МООК для любых дисциплин.

На пути определения и характеристики критериев и показателей эффективности (качества) МООК считаем необходимым определиться с понятиями, используемыми в данной статье. Так, под экспертизой эффективности (качества) будем понимать экспертную оценку массового открытого онлайн курса на соответствие охарактеризованным в данной статье критериям. В свою очередь, критерий качества мОок - это количественная характеристика, отражающая целесообразность представления учебного материала в электронном исполнении, наличие у МООК тех свойств, которые отражены в каждом из показателей того или иного критерия. И, наконец, под массовым открытым онлайн курсом понимаем электронный образовательных ресурс или их электронных образовательных ресурсов) совокупность. При этом

сз о со "О

1=1 А

—I

о

сз т; о m О от

З

ы о со

о с

и

см см

считаем отличительной чертой МООК наличие форумов, стимулирующих коммуникацию, взаимообучение и самоообучение участников.

На основе анализа работ авторов М.Е. Вайндорф-Сысоевой [3], Н.Г. Гареевой [4], Г.А. Мкртычян Г.А. [6], И.Б. Умняшовой [8] нами были охарактеризованы технический, содержательный, лингвистический, психолого-педагогический, лингвистический и дизайн-эргономический критерии экспертизы качества массовых открытых онлайн курсов в единстве их (критериев) показателей. Остановимся подробнее на каждом из этих критериев и их показателях.

Технический критерий оценивает работоспособность МООК на компьютерах различных конфигураций, определяет степень соответствия выбранной технологии, инструментария и платформы, качества технической реализации педагогической идеи общепринятым стандартам, современному уровню научно-технического развития.

Содержательный критерий направлен на оценку полноты содержания по дисциплине, в том числе педагогических качеств МООК в классическом понимании педагогической ценности того или иного средства обучения: экспертиза качества и содержания в целом; позволяет дать оценку содержания МООК, а именно полноты раскрытия тем определенной предметной области, актуальности представленных материалов, их оригинальности. Важным моментом при проведении содержательной экспертизы является определение соответствия содержания МООК образовательным стандартам, программе дисциплины. Причем, изучаемый материал (то есть содержание дисциплины) должен быть представлен в нескольких форматах: текст, иллюстративный материал (схемы, графики, инфоргафика, таблицы и т.д.), аудио и видео фрагменты.

Лингвистический критерий сегодня приобретает все большее значение, поскольку искусственный интеллект, системы автоматической корректировки текста вносят значительные изменения в работу автора, редактора, корректора. Как следствие, представленный в МООК текст зачастую нуждается в вычитке и лингвистической обработке, как на русском, так и на иностранном языке.

Психолого-педагогический критерий дает оценку психолого-педагогической целесообразности разработки и использования МООК в процессе изучения дисциплины, а также соответствия выбора решений, сценариев и форм представления информации психолого-педагогическим требованиям и возрастным особенностям обучающихся.

Методический критерий оценивает МООК с точки зрения соответствия частно методическим принципам изучаемой дисциплины.

Дизайн-эргономический критерий МООК оценивает психофизиологические, эргономические и художественные качества МООК, именно этот критерий должен дать ответ на вопросы: эффективен, целесообразен ли массовый открытый онлайн курс в электронной реализации? В чем отличия

и преимущества реализации содержания обучения в виде МООК от традиционного представления?

Остановимся подробнее на показателях каждого из обозначенных нами критериев экспертизы качества МООК.

Показатели содержательного критерия экспертизы качества МООК:

• соответствие программе обучения;

• соответствие учебного материала принципам научности (современным знаниям о предмете, уровню научно-технического знания);

• отсутствие фактических ошибок, аморальных, неэтичных элементов содержания МООК;

• соответствие названия МООК названию учебного предмета (предметной области) в соответствии с ФГОС;

• актуальность представленных в содержании МООК знаний по учебному предмету на данном уровне обучения;

• наличие, полнота и глубина представления в содержании МООК системы основных понятий и основополагающих терминов, относящихся к преподаваемой предметной области, с учетом уровня обучения;

• наличие представления в содержании МООК ключевых теорий, идей, понятий, фактов, относящихся к данной области знаний с учетом уровня обучения;

• отсутствие в содержании МООК недостоверных, лженаучных фактов;

• соответствие содержания МООК научной корректности общепринятой терминологии и символике;

• соответствие научного содержания МООК целям и задачам духовно-нравственного развития и воспитания личности гражданина России. Показатели лингвистического критерия экспертизы качества МООК:

• соответствие текстового материала МООК нормам современного русского (иностранного) языка;

Показатели психолого-педагогического критерия экспертизы качества МООК:

• целесообразность (предметная, педагогическая);

соответствие образовательному стандарту; степень расширения границ (содержательных, методических, предметных, общедидактических) стандартов и существующих программ; соответствие содержания МООК возрастным психологическим особенностям обучающихся; соответствие содержания МООК примерным образовательным программам; соответствие целесообразности предлагаемых форм и методов работы студентов в МООК заявленным в программе или курсе целям; соответствие МООК возможности обеспечения вариативности образования; реализация уровневой дифференциации усвоения учебного материала; реализация всех обязательных этапов: учебно-воспитательного процесса: изучение теорети-

ческих сведений; практические/тренировочные упражнения; контроль учебных достижений. интерактивность, которая обеспечивает значительное расширение сектора самостоятельной учебной деятельности обучающихся и форм организации работы студентов за счет использования активных, интерактивных, инновационных методов и форм работы; возможность удаленного (дистанционного), полноценного обучения

учет возможности использования МООК обучающимися с ограниченными возможностями здоровья;

обеспечение студентов возможностью участия в полноценных информационных процессах (поиск, анализ, отбор, сбор, создание, распространение и т.д. информации); работа с информацией, представленной в различных форматах;

организация работы студентов на основе выполнения заданий различного типа: обучающего, диагностического характера; ориентация на применение знаний для нестандартных решений;

направленность МООК на формирование навыков исследовательской деятельности, поддержка организации и проведения реальных и учебных или виртуальных экспериментов;

направленность МООК на приобретение опыта решения жизненных проблем на основе знаний и умений, освоенных в рамках данного предмета; направленность МООК на развитие навыков самообучения, взаимообучения и рефлексии; направленность МООК на развитие интеллектуального потенциала обучающего; направленность МООК на развитие творческого потенциала обучающихся; качество реализации контроля и оценки результатов освоения МООК;

обеспечение автоматической проверки результатов деятельности обучающихся; Показатели методического критерия экспертизы качества МООК:

структура и логика представленного в МООК учебного материала;

ориентация на использование развивающих технологий обучения;

разнообразие форм организации учебной деятельности студентов, возможность организации фронтальной, индивидуальной, групповой, парной работы студентов; наличие методических рекомендаций и инструкций для преподавателя/обучающегося по использованию МООК в учебном процессе; наличие стойких логичных межпредметных связей;

интеграция с другими предметными областями; соблюдение классических дидактических принципов обучения (последовательности, приро-досообразности, научности, доступности, связи теории с практикой)

• соблюдение частнометодических принципов обучения (индивидуально для каждого цикла изучаемых дисциплин);

• создание здоровьесберегающих условий образовательной деятельности педагога и обучающихся в процессе использования МООК;

• эффективность и разнообразие представленных форм контроля достижений обучающихся;

• наличие и разнообразие обратной связи с преподавателями курса.

Показатели дизайн-эргономического критерия

экспертизы качества МООК:

• наглядность, уместность, качество и эстетичность представленных к массовом открытом онлайн курсе учебных материалов;

• эффективность и целесообразность (трудо-затратность, обучаемость, удобство и т.д.) использования МООК вместо использования традиционного учебного пособия;

• техническая комфортность (МООК не требует высокого уровня оснащенности программного и аппаратного обеспечения и специальной подготовки пользователя);

• открытость (возможность вносить изменения, трансформация, доработка массового открытого онлайн курса);

• возможность обновления как содержательной, так и методической составляющих МООК, возможность дополнения и модификации разделов и частей МООК;

• оптимальность технологических качеств учебного продукта (качество иллюстраций, видеоматериалов, читабельнсть шрифтов, соответствие соответствующей законодательной базе РФ);

• чтение текста (иллюстрированного текста), в том числе с управлением его движения в окне представления («листание» страниц или скроллинг, качество и скорость представления текстовой информации, при котором содержимое двигается в вертикальном или горизонтальном направлении);

• соответствие нормам редактирования, корректуры и верстки текста и иллюстративного материала;

• просмотр деловой графики: графиков и диаграмм, схем и графов, символьных последовательностей и таблиц;

• прослушивание звука: речи, музыки; комбинированного звука.

показатели возможности использования активных форм работы с МООК:

• навигация по элементам контента (операции в гипертексте, переходы по визуальным объектам);

• копирование элементов контента в буфер (чаще всего - для создания собственных оригинальных композиций);

• множественный выбор из элементов контента (символьных строк или изображений);

• масштабирование изображения для детального изучения;

сэ о со "О

1=1 А

—I

о

сз т; о т О от

З

и о со

о с

и

см см

изменение пространственной ориентации объектов (чаще всего - поворот объемных тел вокруг осей);

изменение азимута и угла зрения («поворот и наезд камеры» в виртуальных панорамах); управление интерактивной композицией; показатели возможности использования дея-тельностных форм работы с МООК:

удаление/ведение объекта в активное поле контента;

перемещение объектов для установления их соотношений, иерархий; совмещение объектов для изменения их свойств или получения новых объектов; составление определенных композиций объектов;

объединение объектов связями с целью организации определенной системы; изменение параметров/характеристик объектов и процессов;

декомпозиция и/или перемещение по уровням вложенности объекта, представляющего собой сложную систему;

показатели использования инновационного инструментария педагога в процессе разработки МООК:

• интерактив;

• мультимедиа (аудиовизуальное преставление фрагмента реального или воображаемого мира);

• моделинг (имитационное моделирование с аудиовизуальным отражением изменений сущности, вида, качеств объекта);

• коммуникативность (возможность совместной работы с удаленными пользователями, обеспечивается телекоммуникациями);

• производительность (в данном случае - учебная загруженность, производительность труда обучающегося);

Возможными рисками нерационального использования МООК являются несовпадение разработанных ресурсов с логикой учебного пособия, используемого в процессе изучения дисциплины и соответственно с программой дисциплины. Во-вторых, наличие некачественных МООК, поэтому важнейшим вопросом подготовки педагогов к разработке и использованию МООК является вопрос организации и проведения экспертизы МООК. Как следствие неготовности педагогов к разработке и использованию МООК в учебном процессе, является нерациональное использование МООК и чрезмерное увлечение ними, а также неготовность педагога к гибкому, вариативному применению МООК в процессе изучения дисциплины. Редким на современном этапе развития образования, однако существенным риском, является недостаточные технические возможности образовательного учреждения.

Таким образом, на основе всего вышеизложенного, нами в РЭУ имени Г.В Плеханова был разработан оценочный лист для проведения экспертизы МООК по иностранным языкам (табл. 1).

Таблица 1. Оценочный лист для проведения экспертизы МООК по иностранным языкам

Критерий (показатели) Вес критерия (показателя) Результат

- содержательный: 5

не повторяет основное учебное пособие по дисциплине; 2

соответствие тематике дисциплины по программе 1

обучение в течении не менее одного учебного модуля (20 часов); 1

- психолого-педагогический: 9

отвечает психолого-возрастным особенностям аудитории 1

вариативность обратной связи с преподавателем 2

взаимообучение и взаимоконтроль 2

направленность на развитие умений исследовательской деятельности и критического мышления 2

направленность на приобретение опыта решения жизненных и профессиональных проблем на основе знаний и умений, освоенных в рамках дисциплины; 2

- методический: 7

наличие подробных инструкций для выполнения упражнения и заданий 1

вариативность упражнений 1

автоматизация выполнения тренировочных упражнений 1

вариативность форм контроля 2

коммуникативность (побуждающие к дискуссии тематические форумы) 2

- дизайн-эргономический: 9

наглядность и эстетичность; 1

полнота представления информации о курсе, преподавателях, авторах, результатах освоения и необходимых навыков для записи на курс; 1

наличие учебных материалов в нескольких форматах: текст, иллюстрации, видео, аудио 4

наличие гипертекста, переходы по визуальным объектам; 1

интерактивность 2

ИТОГО: 30

В основу данного оценочного листа положена идея о необходимости включения вышеперечисленных критериев и показателей на двух уровнях: обще дидактическом и частно методическом. Та-

ким образом, замена частно дидактических показателей на развнозначные показатели в рамках преподавания иных дисциплин позволит без лишних трудозатрат трансформировать данный оценочный лист и провести экспертизу МООКов по всем дисциплинам.

Литература

1. Блюменау Д.И. Информация и информационный сервис. - Л.: Наука, 1989. - 192 с.

2. Бубенчикова А.В., Каннингэм К., Аубакиро-ва Р.Ж. Сущность и структура понятия «Коммуникативная мобильность» // Гуманитарное образование в экономическом вузе. Материалы VII Международной научно-практической очно-заочной конференции. 2019. С. 174-179.

3. Вайндорф-Сысоева М.Е. Технологии организации мониторинга использования новых программных продуктов и инновационного оборудования в образовании: учебно-методическое пособие / М.Е. Вайндорф-Сысоева. - М.: МГОУ, 2010. - 162 с.

4. Гареева Н.Г. Формирование компетенции экспертной оценки образовательной среды у студентов магистратуры: автореф. дис. ... канд. пед. наук: спец. 13.00.08 / Галина Николаевна Гареева. - Владикавказ, 2013. - 24 с.

5. Докукина А.А., Штыхно Д.А. Видео и онлайн курсы в учебном процессе РЭУ им. Г.В. Плеханова: возможности, преимущества и проблемы для студентов и преподавателей // Открытое образование. - 2020. - Т. 24. - № 1. - С. 21-33.

6. Мкртычян Г.А. Психология экспертной деятельности в образовании: Теория. Методология. Практика / Г.А. Мкртычян. - Н. Новгород, 2002. - 200 с.

7. Умняшова И.Б. Психолого-педагогическая экспертиза в системе образования: предмет и содержание // URL: Psychology. Educology. Medicine. 2016. № 3. URL: https://cyberleninka.ru/ article/n/psihologo-pedagogicheskaya-ekspertiza-v-sisteme-obrazovaniya-predmet-i-soderzhanie (дата обращения: 12.11.2021)

8. Bubenchikova A.V. On - Line Ways of Reading Comprehension // Сборник статей по итогам Международной научно-практической конференции, 2018 года. - С. 4-7.

CRITERIA FOR PEDAGOGICAL EXAMINATION OF THE EFFECTIVENESS OF MASSIVE OPEN ONLINE COURSES

Fominykh N. Yu., Dokukina A.A., Zarudnaya M.V.

Russian University of Economics named after G.V. Plekhanov

The article is devoted to one of the most important processes of the modern world education system - digitalization, namely, the authors considered the problem of transition from the number of developed electronic educational resources to their (resources) quality in the aspect of pedagogical expertise. Based on the experience of the Russian Economic University named after G.V. Plekhanov Moscow State University of Economics (Plekhanov Russian University of Economics), the authors characterize the criteria and indicators of the effectiveness of massive open online courses (MOOCs) in the humanities. The authors referred to the criteria of the effectiveness (quality) of MOOCs: technical, substantive, linguistic, psychological and pedagogical, methodological, design-ergonomic. Each of the criteria is characterized in the unity of the components. These criteria can be used to assess the quality of MOOCs. Also presented is an expert questionnaire for the examination of MOOCs in foreign languages.

Keywords: massive open online course, pedagogical expertise, criteria and indicators of the effectiveness (quality) of MOOCs.

References

1. Blumenau D.I. Information and information service. - L .: Nauka, 1989. - 192 p.

2. Bubenchikova A.V., Cunningham K., Aubakirova R. Zh. The essence and structure of the concept of "Communicative mobility" // Humanitarian education in an economic university. Materials of the VII International scientific and practical intramural conference. 2019. S. 174-179.

3. Weindorf-Sysoeva M.E. Technologies for organizing monitoring of the use of new software products and innovative equipment in education: teaching aid / M.E. Weindorf-Sysoeva. - M.: MGOU, 2010. - 162 p.

4. Gareeva N.G. Formation of the competence of expert assessment of the educational environment among graduate students: author. dis. ... Cand. ped. Sciences: spec. 13.00.08 / Galina Nikolaevna Gareeva. - Vladikavkaz, 2013. - 24 p.

5. Dokukina A.A., Shtykhno D.A. Video and online courses in the educational process of the PRUE G.V. Plekhanov: opportunities, advantages and problems for students and teachers // Open education. - 2020. - T. 24. - No. 1. - S. 21-33.

6. Mkrtychyan G.A. The psychology of expert activity in education: Theory. Methodology. Practice / G.A. Mkrtychyan. - N. Novgorod, 2002. - 200 p.

7. Umnyashova I.B. Psychological and pedagogical expertise in the education system: subject and content // URL: Psychology. Educology. Medicine. 2016. No. 3. URL: https://cyberlen-inka.ru/article/n/psihologo-pedagogicheskaya-ekspertiza-v-sisteme-obrazovaniya-predmet-i-soderzhanie (date accessed: 12.11.2021)

8. Bubenchikova A.V. On - Line Ways of Reading Comprehension // Collection of articles based on the results of the International Scientific and Practical Conference, 2018. - S. 4-7.

C3

о

CO

-a

I=i А —i о

C3 t; о m О от

З

ы о со