CC BY
24
УДК 378.147:004.771 Е.А. Косова
DOI: http://dx.doi.org/10.21686/1818-4243-2021-2-29-40
Таврическая академия Крымского федерального университета им. В.И. Вернадского, Симферополь, Россия
Курс по организации доступного образовательного веб-контента: анализ результатов онлайн-обучения
Цель исследования: анализ результатов обучения вольных слушателей на первом в Российской Федерации онлайн-курсе по разработке доступного образовательного веб-контента. Анализ проблем онлайн-образования показывает, что открытые онлайн-курсы малодоступны для людей с ограниченными возможностями здоровья (ОВЗ), платформы онлайн-образования часто не соответствуют принципам доступности, преподаватели не имеют опыта обучения методам использования дистанционных образовательных технологий (ДОТ) в электронном обучении (ЭО) лиц с ОВЗ, веб-разработчики мало знакомы с руководящими принципами и политиками веб-доступности. Таким образом, разработка учебных программ и курсов по основам веб-доступности и универсального дизайна для специалистов, реализующих ЭО с использованием ДОТ, относится к актуальным дидактическим задачам.
Материалы и методы. Проанализированы результаты обучения на бесплатном курсе «Веб-доступность в электронном обучении» (платформа Stepik) с 10 февраля по 11 ноября 2020 года (491 слушатель). Для анализа использованы статистические данные, предоставленные Stepik: дата записи слушателя на курс; корректность выполнения заданий и содержание ответов слушателей; результаты успеваемости каждого слушателя по шагам, модулям и итоговому тестированию; количество просмотров, верных и неверных решений для каждого шага; индексы сложности и дискриминативности (различительной способности) заданий для каждого шага. Обработка данных (сортировка, фильтрация и группировка по признакам, расчет коэффициентов взвешивания и средних величин) и графическое представление результатов выполнены в программе Microsoft Excel®. Анализ результатов входного опроса курса выполнен в программе IBM SPSS Statistics 23 методами описательной статистики (построение таблиц частот и сопряженности)
Результаты. Анализ данных записи на курс показал слабую активность пользователей. Успешно завершили обучение 212 (43,2%) записавшихся на курс. Большинство слушателей пропускали факультативные виды работ. При этом, в среднем, пользователи успешно справились с промежуточным и итоговым тестированием. Средние индексы трудности (0,51 ± 0,18) и дискриминативности (0,35 ± 0,17) тестов свидетельствуют о том, что тестовые задания обладают умеренным уровнем сложности. Сравнительный анализ дискриминативности разных типов тестов показал, что кейс-тесты обладают ббльшей различительной способностью (0,41 ± 0,15), чем классические тесты (0,26 ± 0,09) при близких индексах сложности. По данным самооценки, слушатели значительно продвинулись в вопросах формирования доступного образовательного веб-контента (на 55,2%), что согласуется с данными объективной оценки знаний, умений и навыков при итоговом тестировании. Заключение. Анализ активности и результатов обучения на курсе «Веб-доступность в электронном обучении» показал, что слушатели целевой категории не всегда осознают необходимости формирования и развития профессиональных компетенций по созданию доступного образовательного веб-контента. Наибольшие проблемы связаны с привлечением аудитории на курс и недостаточной самодисциплиной в связи с дефицитом мотивации слушателей. В сложившихся условиях факультативного подхода к изучению основ веб-доступности недостаточно. Технологии разработки доступного образовательного веб-контента должны преподаваться в качестве обязательной дисциплины на всех этапах непрерывного образования специалистов, участвующих в организации ЭО с использованием ДОТ.
Ключевые слова: веб-доступность, электронное обучение, обучение преподавателей, лица с ограниченными возможностями здоровья, дистанционные образовательные технологии.
Yekaterina A. Kosova
Taurida Academy of V.I. Vernadsky Crimean Federal University, Simferopol, Russia
Course on Educational Web-Content Accessibility: Analysis of Online Learning Results
Purpose of research. The paper deals with the analysis of the learning outcomes of non-degree students in the first online course in the Russian Federation on the development of accessible educational webcontent. Analysis of the problems of online education shows that open online courses are inaccessible for people with disabilities, education online platforms do not comply with the principles of accessibility, lecturers do not have experience in teaching methods of using distance learning technologies in e-learning for the people with disabilities, web developers have little knowledge of web accessibility guidelines and policies. Thus, the development of curricula and courses on the basics of web accessibility and universal design for e-learning stakeholders belongs to current didactic tasks.
Materials and methods. The study analyzed the learning outcomes in a free course "Web accessibility in e-learning" (Stepik platform) in
the period from 10 February to 11 November 2020 (491 participants). Statistical data of Stepik used for analysis and included: date of enrollment in the course; the results of tasks' passing and the content of the students' answers; the results of each student's progress in steps, modules and final testing; the number of views, correct and incorrect decisions for each step; indexes of complexity and discriminatory power (distinctiveness) of tasks for each step. Data processing (sorting, filtering and grouping by attributes, calculating weighing coefficients and mean values) and graphical presentation of the results are performed in Microsoft Excel®. The analysis of the starting survey results was carried out in the program IBM SPSS Statistics 23 by methods of descriptive statistics (construction of frequency tables and cross tables). Results. Analysis of the course enrollment showed weak user activity. 212 (43.2%) enrolled students successfully completed the course. Most
of the students missed the optional types of work. At the same time, on average, users have successfully completed the current and final testing. Difficulty value indexes (0.51 ± 0.18) and discriminatory power indexes (0.35 ± 0.17) of the tests indicate that the test tasks have a moderate level of complexity. A comparative analysis of the discriminative indexes for different types of tests showed that case-tests have a greater discriminative power (0.41 ± 0.15) than classical tests (0.26 ± 0.09) with similar difficulty value indexes. According to self-assessment data, students made significant progress in the formation of accessible educational web-content (by 55.2%), which is consistent with the data of an objective assessment of knowledge, skills and abilities during the final testing. Conclusion. An analysis of the activity and learning outcomes in the course "Web accessibility in e-learning" showed that target
category of students do not always realize the need for development of professional competencies to create accessible educational web-content. The biggest problems are associated with attracting the audience to the course and insufficient self-discipline due to the lack of motivation of students. Under these circumstances, an optional approach to learning the basics of web accessibility is not enough. Technologies for the development of accessible educational web-content should be taught as a compulsory subject at all stages of lifelong education for specialists involved in the organization of e-learning.
Keywords: web accessibility, e-learning, lecturers' training, persons with disabilities, distance learning technologies.
Введение
Всеобщий переход на режим электронного обучения (ЭО) с использованием дистанционных образовательных технологий (ДОТ) в период пандемии СО^УГО-19 [1] потребовал новых решений в сфере организации образовательного процесса и актуализации цифровых компетенций специалистов, участвующих в подготовке и осуществлении ЭО. В число таких компетенций входит разработка ресурсов ЭО, которые должны быть доступны для всех обучающихся, в том числе лиц с ограниченными возможностями здоровья (ОВЗ). По данным на декабрь 2020 года число обучающихся с ОВЗ в Российской Федерации (РФ) составляло более 1,15 миллиона человек [2] (4,8% от общего количества обучающихся [3]), число лиц с инвалидностью в наиболее продуктивном для профессионального образования возрасте (от 18 до 30 лет) — около 500 тысяч человек [4]. В федеральных государственных образовательных стандартах указывается на необходимость обеспечения таких обучающихся электронными образовательными ресурсами (ЭОР), адаптированными к ограничениям их здоровья [5].
Формирование компетенций по разработке ЭОР, доступных для всех обучающихся, базируется на изучении руководящих принципов и технологий веб-доступности и универсального дизайна в обучении [6—12].
Под веб-доступностью (англ. web accessibility) понимают инклюзивный подход, при котором все компоненты веб-пространства разрабатываются так, чтобы их могли воспринимать, понимать и использовать лица с ОВЗ [13]. Веб-доступность учитывает адаптивные стратегии и асси-стивные технологии (вспомогательные аппаратные и программные средства) людей с нарушениями зрения, слуха, речи, опорно-двигательного аппарата, нервной системы, когнитивной и ментальной сфер. Кроме того, соблюдение требований веб-доступности может быть полезно пользователям с временными нарушениями здоровья, ситуационными и техническими ограничениями, а также людям пожилого возраста. К наиболее авторитетным документам в области веб-доступности относятся Руководящие принципы доступности веб-контента (англ. Web Content Accessibility Guidelines, WCAG) [14, 15], разработанные Инициативой по обеспечению веб-доступности (англ. Web Accessibility Initiative, WAI) Международного консорциума всемирной паутины (англ. World Wide Web Consortium, W3C).
Универсальный дизайн в обучении (англ. universal design for learning, UDL) направлен на создание гибких образовательных программ офлайн, онлайн и смешанного обучения, которые могут быть адаптированы ко всем обучающимся без исключения [12]. Универсальность дизайна достигается
путем предоставления обучающимся различных вариантов взаимодействия, деятельности, самовыражения и форм предъявления информации,. Рекомендации UDL представляют собой набор инструкций, которые можно применить к любой изучаемой дисциплине, чтобы гарантировать равные возможности обучения для всех обучающихся.
Веб-доступность и универсальный дизайн являются двумя компонентами единого образовательного подхода, при котором для каждого обучающегося, вне зависимости от наличия или отсутствия у него ограничений здоровья, обеспечивается гибкая, доступная, комфортная и продуктивная электронная образовательная среда.
В то же время, анализ проблем онлайн-образования обучающихся с ОВЗ показывает, что массовые открытые онлайн-курсы малодоступны для людей с ограничениями здоровья [16—18], платформы онлайн-образования часто не соответствуют принципам веб-доступности [16, 19—24], преподаватели не имеют опыта обучения методам использования ДОТ в электронном обучении лиц с ОВЗ [25], веб-разработчики мало знакомы с руководящими принципами и политиками веб-доступности [26].
Таким образом, разработка учебных программ и курсов по основам веб-доступности и универсального дизайна в обучении для специалистов, реализующих ЭО с использо-
ванием ДОТ (преподавателей, веб-разработчиков, веб-дизайнеров), относится к актуальным дидактическим задачам.
Целью статьи является анализ результатов обучения вольных слушателей на первом в РФ онлайн-курсе по разработке доступного образовательного веб-контента.
Материал и методы
Ознакомительный бесплатный курс «Веб-доступность в электронном обучении» [27] (далее — курс) разработан и размещен на платформе Stepik.
Создание курса осуществлялось в шесть этапов: педагогический дизайн курса; разработка рабочей программы; подготовка контента курса; размещение курса на образовательной платформе; бета-тестирование курса; отладка курса по результатам бета-тестирования с публикацией и запуском курса 10 февраля 2020 года. При этом использовались стандартные возможности конструктора курсов Stepik. В бета-тестировании принимали участие 28 студентов направлений подготовки 01.03.04 и 01.04.04 «Прикладная математика» факультета математики и информатики Таврической академии Крымского федерального университета им. В.И. Вернадского (далее — КФУ). Опросный лист для бета-тестирования составлен на основании формы обратной связи Coursera [28]. Авторский контент курса приведен в соответствие с требованиями веб-доступности WCAG 2.1 [15].
Для привлечения пользователей на курс были использованы инструменты SMM (social media marketing), а именно: рассылка приглашений на курс в официальные группы социальной сети ВКонтакте ведущих вузов РФ (всего 44 приглашения); публикация новостей со ссылкой на курс на портале КФУ, на официальных
страницах ВКонтакте ситуационного центра КФУ, факультета математики и информатики Таврической академии КФУ.
Кроме того, к онлайн-обу-чению привлекались студенты третьего и четвертого курсов направления подготовки 01.03.04 «Прикладная математика» в рамках факультатива «Веб-доступность в электронном обучении» (февраль и сентябрь 2020 года), преподаватели КФУ в рамках повышения квалификации по организации электронной информационно-образовательной среды университета (сентябрь-октябрь 2020 года).
Для анализа результатов обучения на курсе использованы следующие статистические данные, предоставленные Stepik: дата записи слушателя на курс; корректность выполнения заданий и содержание ответов слушателей; результаты успеваемости каждого слушателя по шагам, модулям и итоговому тестированию; количество просмотров, верных и неверных решений для каждого шага; индексы сложности и дискриминативности (различительной способности) заданий для каждого шага.
Согласно [29] индекс сложности теста р рассчитывается по формуле: р = А : N, где А — количество правильных решений, N — суммарное количество правильных и неправильных решений. Индекс р принимает значение от 0 до 1. Чем ближе к 1, тем проще тест. Для расчета индекса дискриминативности теста D используется формула: D = (Я1 - RU) : Т, где RL и RU -количество правильных решений в группах испытуемых с высокими и низкими показателями успеваемости соответственно, Т — общее количество испытуемых в обеих группах [30]. Диапазон измерения индекса — от -1 до 1. Чем ближе значение D к 1, тем лучше различительная способность задания, то есть тем больше
вероятность, что «сильный» студент ответит правильно, а «слабый» ошибется. Значения D от 0,4 и выше говорят о высокой различительной способности задания, ниже 0,2 — о низкой [30].
Обработка указанных данных (сортировка, фильтрация и группировка по признакам, расчет коэффициентов взвешивания и средних величин) и графическое представление результатов выполнены в программе Microsoft Excel®. Анализ результатов входного опроса курса выполнен в программе IBM SPSS Statistics 23 методами описательной статистики (построение таблиц частот и сопряженности).
В настоящем исследовании проанализированы результаты обучения с момента запуска курса по 11 ноября 2020 года включительно. За указанный период (275 дней) на курсе зарегистрирован 491 слушатель.
Методическая система обучения
Программа обучения на курсе направлена на формирование ключевых компетенций по проектированию ресурсов ЭО для всех обучающихся, включая лиц с ОВЗ.
Цель курса — сформировать у слушателей знания о том, как сделать контент онлайн-кур-сов универсально доступным для всех, включая обучающихся с ОВЗ, в соответствии с актуальными стандартами веб-доступности и подходами к проектированию контента ресурсов ЭО, для дальнейшего применения полученных знаний в практике разработки доступного цифрового образовательного контента, в том числе массовых открытых он-лайн-курсов (МООК).
В задачи обучения входит формирование у слушателей следующих знаний и навыков: знание и понимание понятий веб-доступность и универсальный дизайн; умение по-
пуляризировать важность соблюдения правил доступности образовательного веб-контента, с опорой на международные и федеральный стандарты; знание и понимание принципов и положений WCAG 2.1, правил доступности образовательного контента, их взаимосвязи; умение использовать приемы управления контентом веб-страницы без использования мыши и с помощью программы экранного доступа; умение тестировать доступность веб-страниц с помощью методов автоматической и экспертной проверки; умение анализировать результаты тестирования веб-доступности.
К целевой аудитории курса относятся педагоги среднего профессионального и высшего образования, веб-разработчики, веб-дизайнеры и студенты соответствующих направлений подготовки.
Для обучения на курсе слушатели должны обладать базовыми навыками использования информационно-коммуникационных технологий. Обучение рассчитано на равномерную нагрузку в течение двух недель по 4—5 часов в неделю (около 40 минут в день), темп обучения — индивидуальный, слушатели не ограничены расписанием и контрольными датами. Курс включает пять модулей, состоящих из 21 урока, разбитых на 72 шага. Проходить модули можно в произвольном порядке.
В процессе обучения не предусмотрена тьюторская поддержка, обратная связь реализована через диалог слушатель-преподаватель в комментариях к шагам.
Для прохождения курса слушателям необходим графический браузер и программа экранного доступа (на выбор — ChromeVox для Chrome, «Прочесть вслух» для Edge, NVDA для Windows, Narrator в комплекте с Windows, VoiceOver в комплекте с MacOS и iOS, TalkBack в комплекте с Android
или любая другая, поддерживающая озвучивание экрана в браузере и/или устройстве слушателя). В качестве аппаратного обеспечения рекомендовано использовать персональный компьютер, ноутбук, нетбук, планшет или смартфон.
Контент курса состоит из входного опроса, текстовых лекций с иллюстрациями, практикумов, упражнений, 27 кейс-тестов (87% от всех тестов промежуточного оценивания), 19 классических тестов (13% промежуточного оценивания и 100% — итогового). Кейс-тест содержит в формулировке проблемную ситуацию, которая может возникнуть в реальной практике и имеет прямое отношение к тематике курса. Выбранные типы контента полностью согласуются с принципами доступности содержимого веб-ресурсов.
Считается, что слушатель успешно прошел курс, если выполнил суммарно не менее 63% тестов.
Кейс-тесты курса представляют собой многовариантные вопросы с одним или несколькими правильными ответами. Использовано два подхода к дизайну тестов. Первый подход (кейс-вопрос) — когда гипотетическая ситуация, связанная с проблемами доступности, описана в теле вопроса, а варианты ответов даны кратко. Второй
подход (кейс-ответы) — когда кратко сформулирован вопрос, а проблемные ситуации даны в вариантах ответов.
При прохождении курса оценивались только промежуточные и итоговый тесты, выполнение упражнений и практикумов оставалось на усмотрение слушателя. Время прохождения тестов и количество попыток не были ограничены, в табеле успеваемости учитывалась последняя попытка. В начале обучения предусматривалось анкетирование с целью оценки мотивации и готовности слушателей к использованию ДОТ в обучении лиц с ОВЗ.
Результаты обучения
Анализ данных записи на курс показал слабую активность пользователей. В основном регистрировалось не более одного слушателя в день (рис. 1). Пики активности пришлись на периоды факультативов для обучающихся (февраль и сентябрь 2020 г.), курсов повышения квалификации для преподавателей (сентябрь-октябрь 2020 г.), онлайн-рас-сылок внутри КФУ (февраль, апрель, июнь 2020 г.). Наиболее продуктивными месяцами оказались сентябрь (247 слушателей), февраль (71) и октябрь (62). Всплеск активности
Рис. 1. Распределение частот записи на курс «Веб-доступность в электронном обучении» в 2020 году (график — подневные данные
записи на курс в абсолютных единицах; круговая диаграмма — сравнительные данные записи на курс по месяцам в долях от общего количества записавшихся)
Таблица 1
Результаты тестирования слушателей курса «Веб-доступность в электронном обучении»
Средний показатель тестирования Модуль 1, 14 тестов Модуль 2, 17 тестов Итоговое тестирование, 15 тестов
Доля правильно решенных тестов, % ± а (n)* 87,5 ± 24,7 (288) 87,7 ± 27,9 (237) 96,3 ± 14,5 (222)
* n — количество слушателей; а — стандартное отклонение
в день запуска курса (10 февраля 2020 г.) объяснятся массовой регистрацией на курс студентов, записавшихся на факультатив.
Входное анкетирование прошли 296 человек. В результате установлено, что слушатели оценивали свои стартовые компетенции в области ЭО лиц с ОВЗ преимущественно как слабые (131 человек; 44,3%). Кроме того, 85 респондентов (28,7%) показали, что абсолютно не ориентируются в изучаемом вопросе. Половине опрошенных (146; 49,3%) не были знакомы понятия универсального дизайна и веб-доступности, термины «WCAG» и «Web accessibility» узнали и смогли бы определить, соответственно, 28 (9,5%) и 114 (39,5%) человек. При этом 42,5% (126) опрошенных отметили, что руководствуются требованиями веб-доступности и принципом универсального дизайна при разработке образовательного веб-контента. Почти треть респондентов (89; 30,1%) имели опыт обучения лиц с ОВЗ средствами ДОТ, 51 человек (17,2%) ранее обучались методам использования ДОТ в учебном процессе у лиц с ОВЗ.
Успешно завершили обучение 212 слушателей, что составляет 43,2% от всех записавшихся на курс. Из них 37 человек получили обычные сертификаты (63—89% решенных тестов), 175 — сертификаты с отличием (90—100% решенных тестов). Еще 95 человек не закончили курс, но выполнили ряд заданий и тестов.
182 человека (37,1% от общего количества) записались на курс, но не выполнили ни одного задания, поэтому были исключены из дальнейшего анализа.
В среднем, пользователи успешно справились с промежуточным и итоговым тестированием, о чем свидетельствуют данные, приведенные в табл. 1.
Большинство слушателей пропускали практикумы, не останавливаясь на этом виде факультативных работ. Данные о прохождения практикумов, основанные на комментариях пользователей, выглядят следующим образом: «Интервью с человеком, имеющим ОВЗ» выполнили 15 человек (4,9% от всех обучавшихся на курсе); «Разработка информационного ресурса для иллюстрации проблем доступности» — 11 (3,6%); «Проверка контрастности веб-страниц» — 11 (3,6%); «Проверка общей доступности веб-страниц» — 15 (4,9%); «Экспертный анализ онлайн-курса» — 4 (1,3%).
85% шагов просматривались неоднократно, то есть слушатели возвращались к пройденным урокам для более детального изучения материала. Наибольшее количество просмотров (1079, что составляет 3,5 просмотра на каждого слушателя) имела лекция «Что такое веб-доступность и универсальный дизайн?», а наименьшее (295, на каждого слушателя 0,95 просмотров) — упражнение «Настройка экранного диктора» в практикуме по экспертной оценке веб-доступности. В табл. 2 приведено пошаговое содержание курса с оценкой трудности и дискри-минативности тестирования.
Данные об индексах трудности (р) и дискриминативности (Щ заданий позволили составить представление о сложности тестов. Так, самым простым для слушателей оказался вопрос итогового тестирования с одиночным выбором: «Для каких ограничений могут быть
проблемой мерцание и вспышки контента?» (допущено 36 ошибок, р = 0,86, D = 0,17), а самым сложным — кейс-тест с множественным выбором урока 2.5 (1216 ошибок, р = 0,13, D = 0,89). В среднем по всем тестам, количество успешных и неудачных попыток — 230,3 и 295,3, соответственно.
Средние индексы трудности и дискриминативности (см. табл. 2) свидетельствуют о том, что тестовые задания обладают в целом умеренным уровнем сложности. Не исключено, что введение ограничений на количество попыток решения тестов, может способствовать увеличению показателей сложности.
Сравнительный анализ дискриминативности разных типов тестов показал, что кейс-тесты обладают большей различительной способностью (Б = 0,41 ± 0,15, количество вопросов п = 27), чем классические тесты (Б = 0,26 ± 0,09, п = 19) при близких индексах сложности (для кейс-тестов — р = 0,51 ± 0,20; для классических тестов — р = 0,52 ± 0,19). Устранение из выборки выбросов (самых сложных и самых простых тестов) практически не влияет на результат: кейс-тесты — D = 0,40 ± 0,16, р = 0,52 ± 0,19, п = 25; классические тесты — D = 0,27 ± 0,09, р = 0,51 ± 0,13, п = 18. Относительная погрешность составляет не более 1%.
Перед итоговым тестированием слушателям было предложено самостоятельно оценить, каких результатов они достигли и какие компетенции получили. Результаты самоо-
Таблица 2
Программа курса «Веб-доступность в электронном обучении» с оценкой трудности и дискриминативности
тестовых шагов
Уроки Шаги Тип контента p ± а' (n = 307) D ± а* (n = 307)
Модуль 1. Веб-доступность и универсальный дизайн
1.1. Знакомство с курсом Описание курса html - -
Знакомство (опрос на готовность, социально-демографические данные, 22 вопроса) Google Form - -
1.2. Что такое веб-доступность и универсальный дизайн? Лекция html - -
Кейс-тесты (3 вопроса) тест 0,37 ± 0,07 0,41 ± 0,07
1.3. Кому нужна веб-доступность? Проблемы дизайна Лекция html - -
Кейс-тесты (5 вопросов) тест 0,70 ± 0,05 0,26 ± 0,07
1.4. Международные стандарты веб-доступности WCAG Лекция html - -
Тесты (3 вопроса) тест 0,52 ± 0,15 0,25 ± 0,07
1.5. Квартет WCAG 2.1 Лекция html - -
Кейс-тесты (3 вопроса) тест 0,37 ± 0,11 0,32 ± 0,15
1.6. Практикум Интервью с человеком, имеющим ОВЗ html - -
Модуль 2. Правила доступности образовательного веб-контента
2.1. Типы контента в онлайн курсе Лекция html - -
Кейс-тесты (3 вопроса) тест 0,64 ± 0,07 0,29 ± 0,02
2.2. Доступность медиа контента Лекция html - -
Кейс-тесты (3 вопроса) тест 0,54 ± 0,32 0,45 ± 0,31
2.3. Доступность основного контента Лекция html - -
Кейс-тесты (3 вопроса) тест 0,42 ± 0,18 0,48 ± 0,18
2.4. Доступность тестов Лекция html - -
Кейс-тесты (2 вопроса), тест (1 вопрос) тест 0,53 ± 0,22 0,37 ± 0,17
2.5. Доступность математической нотации Лекция html - -
Кейс-тесты (3 вопроса) тест 0,42 ± 0,26 0,64 ± 0,25
2.6. Доступность симуляций Лекция html - -
Кейс-тесты (2 вопроса) тест 0,47 ± 0,17 0,56 ± 0,12
2.7. Практикум Разработка информационного ресурса для иллюстрации проблем доступности html - -
Модуль 3. Проверка веб-доступности
3.1. Автоматическая оценка веб-доступности Лекция html - -
3.2. Практикум Проверка контрастности веб-страниц html - -
Проверка общей доступности веб-страниц html - -
3.3. Мануальная оценка веб-доступности Лекция html - -
3.4. Практикум Упражнения: 1) работа в Интернет без мыши; 2) проверка структуры веб-страницы; 3) настройка экранного диктора html
Экспертный анализ онлайн-курса html - -
3.5. Подведение итогов Заключение html - -
Самооценка достижений тест - -
Модуль 4. Итоговое тестирование
4.1. Итоговое тестирование Итоговое тестирование (15 вопросов/шагов) тест 0,52 ± 0,16 0,27 ± 0,10
Модуль 5. Справочные материалы
5.1. Глоссарий Глоссарий html - -
5.2. WCAG 2.1 (полная версия) WCAG 2.1 (полная версия) html - -
Итоговые показатели трудности и дискриминативности: 0,51 ± 0,18 0,35 ± 0,17
* р — средняя трудность заданий; D — средняя дискриминативность заданий; п — количество слушателей; а — стандартное отклонение; прочерки в ячейках соответствуют нетестовым шагам, для которых сложность и дискриминативность не оценивалась.
Таблица 3
Сравнительные данные итоговой самооценки и итогового тестирования
Знания и умения слушателя (приобретенные компетенции) Итоговая самооценка, % (и) Итоговое тестирование*
% правильных решений (и) % успешных попыток
Знание основных определений, стандартов и норм в области веб-доступности и универсального дизайна 90,3 (186) 97,3 (216) 96,8 (215) 97,3 (216) 96,8 (215) 46 60 34 51
Знание и понимание проблем доступности веб-контента (для ОВЗ разных типов) 91,8 (189) 88,3 (196) 97,7 (217) 98,6 (219) 16 84 68
Знание и понимание требований веб-доступности к образовательному контенту (по типам контента) 72,3 (149) 96,4 (214) 96,4 (214) 55 68
Знание и понимание принципов и положений международных стандартов веб-доступности и их связи с требованиями доступности образовательного веб-контента 88,9 (183) 96,4 (214) 95,0 (211) 96,4 (214) 96,4 (214) 42 41 57 53
Знание методик проверки доступности образовательного веб-контента 74,8 (154) 98.2 (218) 97.3 (216) 43 54
Умение определить тип нарушения доступности веб-контента и сформулировать пути исправления ошибки 77,7 (160) нет вопросов
Умение оценить и проанализировать доступность образовательного веб-контента с помощью инструментов автоматической проверки и мануально 72,8 (150) нет вопросов
Средние показатели, % ± а 81,2 ± 8,7 96,4 ± 2,4 51,5±16,0
* результаты итогового тестирования (всего — 15 тестов, здесь не названы) сгруппированы в соответствии с указанными компетенциями; а — стандартное отклонение; п — количество слушателей.
ценки оказались достаточно высокими, но ниже, чем объективные показатели тестирования (табл. 3). При этом, средний процент успешных попыток прохождения итоговых тестов составил немногим более 50%, то есть в среднем слушатели правильно отвечали на вопросы со второй попытки. С учетом этой поправки, можно считать, что результаты самооценки и формального оценивания хорошо согласуются между собой.
По данным входного опроса 78 человек (26,0%) оценили свои компетенции в области использования ДОТ в учебном процессе лиц с ОВЗ как «средние и выше». Таким образом, по данным самооценки, слушатели значительно (на 55,2%) продвинулись в вопросах формирования доступного образовательного веб-контента, что согласуется с данными объективной оценки знаний, умений и навыков при итоговом тестировании.
Обсуждение
Разработанный курс является первым русскоязычным МООК по веб-доступности в ЭО. В англоязычном сегменте онлайн-образования обнаружено семь открытых бесплатных курсов по данной тематике на платформах EdX [31], Canvas [32, 33], FutureLearn [34], Coursera [35, 36], Udacity [37]. Контент найденных курсов в большей или меньшей степени затрагивает темы: 1) понятия и руководящие принципы веб-доступности и универсального дизайна в обучении; 2) методы оценки и анализа веб-доступности образовательного веб-контента; 3) методы разработки доступного веб-контента электронных образовательных ресурсов. Материалы нашего курса согласуются с размещенными на англоязычных платформах.
Слабую активность слушателей при записи на курс можно
объяснить несколькими факторами. Во-первых, по данным социологического опроса преподавателей вузов [25], около 50% респондентов не знакомы с понятием веб-доступность, почти 80% никогда не обучались методам использования ДОТ в образовательном процессе лиц с ОВЗ и не имеют представления о важности такого обучения. Во-вторых, курс не индексирован в основных рубриках каталога платформы Stepik, то есть для его обнаружения необходимо осуществить тотальный просмотр перечня курсов и/или поиск по ключевым словам, что затрудняет обнаруживаемость курса для неинформированного пользователя. Однако, перечисленные факторы можно отнести к малозначимым по сравнению с отсутствием внешней мотивации, связанной с необязательностью соблюдения требований веб-доступности образовательных ресурсов как для
веб-разработчиков, так и для преподавателей: в нормативных документах РФ правила доступности ЭО и ДОТ для лиц с ОВЗ носят не директивный, а рекомендательный характер [38].
Анализ дискриминативности кейс-тестов показал эффективность выбранного метода промежуточного оценивания, что согласуется с итогами предыдущих исследований. В частности, авторы [39] в результате рефлексивного опроса онлайн-слушателей выяснили, что 87% опрошенных считают онлайн-обучение на основе конкретных ситуаций важной педагогической технологией, которая способствует применению вновь усвоенных концепций и навыков на практике и развитию навыков критического мышления. Результаты итогового опроса на нашем курсе демонстрируют значительный рост уверенности слушателей в овладении практическими компетенциями.
Требуют обсуждения проблемные места курса, а именно выполнение тестов и практических работ. Во всех тестах, включая итоговый, отсутствовали ограничения на количество попыток и время выполнения. Таким образом, слушатель не был скован рисками потерять баллы в случае неправильного или несвоевременного решения теста, что, как отмечается в работах [40, 41], может приводить к подбору ответов без глубокого обдумывания и повторного обращения к теоретическому материалу или к пропуску вопроса в случае неудачи. Выполнение практических работ и упражнений не предполагало оценивания и, вследствие этого, было воспринято многими слушателями как не обязательное. Большинство слушателей пропускали практикумы, выполняли задания частично или ограничивались просмотром чужих комментариев. Известно, что формирующее оценивание оказывает существенное влияние на качество обучения студентов [42, 43], выполняя измеряющую, обучающую и мотивирующую функции [43—45]. Для выполнения заданий без оценивания необходимо обладать дополнительной внутренней мотивацией и развитыми навыками саморегуляции обучения. В автономном формате, который
предоставляет МООК, у обучающихся могут возникать проблемы с саморегуляцией обучения и самодисциплиной [46, 47], что ожидаемо сказывается на прохождении факультативных уроков и шагов.
Несмотря на перечисленные проблемы, мы полагаем, что существующий дизайн тестов и практикумов допустим для ознакомительного курса. Для программ основного и дополнительного профессионального образования (ДПО) и курсов повышения квалификации, предполагающих сертифицирование, необходимо предусматривать крайние сроки выполнения заданий, ограничение количества попыток решения тестов, оценивание всех видов проверочных работ, расширенную обратную связь и возможность тьюторской поддержки обучающихся. Программа ДПО «Универсальный дизайн и веб-доступность в электронном обучении», соответствующая перечисленным требованиям и дополненная практическим модулем по разработке доступного веб-контента, принимает участие в проекте «Персональные цифровые сертификаты» цифровой образовательной платформы Университет 20.35.
Заключение
Анализ активности и результатов обучения на курсе
«Веб-доступность в электронном обучении» показал, что слушатели целевой категории не всегда осознают необходимости формирования и развития профессиональных компетенций по созданию доступного образовательного веб-контента. Наибольшие проблемы связаны с привлечением аудитории на курс и недостаточной самодисциплиной в связи с дефицитом мотивации слушателей. Основной причиной подобного феномена является отсутствие в РФ императивных норм права, принуждающих платформы онлайн образования, веб-разработчиков и преподавателей к строгому соблюдению требований веб-доступности при разработке ЭОР. В то же время стандарты профессионального образования [48, 49], имеющие рекомендательный характер, ориентируют будущих специалистов на уверенное владение указанными компетенциями.
В сложившихся условиях факультативного подхода к изучению основ веб-доступности недостаточно. Техно -логии разработки доступного образовательного веб-контента должны преподаваться в качестве обязательной дисциплины на всех этапах непрерывного образования специалистов, участвующих в организации ЭО с использованием ДОТ.
Литература
1. The COVID-19 pandemic has changed education forever. This is how. [Электрон. ресурс]. 2020. Режим доступа: www.weforum.org/ agenda/2020/04/coronavirus-education-global-covid19-online-digital-learning/. (Дата обращения: 01.02.2021).
2. Дети с особыми образовательными потребностями [Электрон. ресурс]. 2020. Режим доступа: edu.gov.ru/activity/main_activities/ limited_health/. (Дата обращения: 01.02.2021).
3. Гохберг Л.М., Озерова О.К., Саутина Е.В., Шугаль Н.Б. Образование в цифрах: 2020: краткий статистический сборник. М.: НИУ ВШЭ, 2020. [Электрон. ресурс]. Режим доступа: https://
www.hse.ru/primarydata/oc2020. (Дата обращения: 01.02.2021).
4. Численность инвалидов [Электрон. ресурс]. 2020. Режим доступа: https://sfri.ru/ analitika/chislennost/chislennost?territory=undefin ed. (Дата обращения: 01.02.2021).
5. Федеральный государственный образовательный стандарт высшего образования (3++) по направлениям бакалавриата [Электрон. ресурс]. 2020. Режим доступа: http://fgosvo.ru/ fgosvo/151/150/24. (Дата обращения: 01.02.2021).
6. Accessibility: Designing and teaching courses for all learners [Электрон. ресурс]. Режим доступа: https://learn.canvas.net/courses/1159. (Дата обращения: 01.02.2021).
7. Black D.R., Weinberg L.A., Brodwin M.G. Universal design for instruction and learning: A pilot study of faculty instructional methods and attitudes related to students with disabilities in higher education // Exceptionality Education International. 2014. Т. 24. №. 1. С. 48-64. DOI: 10.5206/eei.v24i1.7710.
8. Coursera Basics of inclusive design for online education [Электрон. ресурс]. 2020. Режим доступа: https://www.coursera.org/learn/inclusive-design. (Дата обращения: 01.02.2021).
9. E-learning accessibility [Электрон. ресурс]. 2018. Режим доступа: https://www.w3.org/WAI/ RD/wiki/E-learning_Accessibility. (Дата обращения: 01.02.2021).
10. Roberts K.D., Park H.J., Brown S., Cook B. Universal design for instruction in postsecondary education: A systematic review of empirically based articles // Journal of Postsecondary Education and Disability. 2011. Т. 24. № 1. С. 5-15. Режим доступа: http://www.ahead-archive.org/uploads/publications/ JPED/jped_24_1/JPED %2024_1 %20FINAL %20 DOCUMENT.pdf. (Дата обращения: 01.02.2021).
11. Schelly C.L., Davies C.L., Spooner C.L. Student perceptions of faculty implementation of universal design for learning // Journal of Postsecondary Education and Disability. 2011. Т. 24. № 1. С. 17-30. Режим доступа: http:// www.ahead-archive.org/uploads/publications/ JPED/jped_24_1/JPED %2024_1 %20FINAL %20 DOCUMENT.pdf. (Дата обращения: 01.02.2021).
12. The UDL Guidelines [Электрон. ресурс]. 2018. Режим доступа: http://udlguidelines.cast.org. (Дата обращения: 01.02.2021).
13. Introduction to web accessibility [Электрон. ресурс]. 2019. https://www.w3.org/WAI/ fundamentals/accessibility-intro/. (Дата обращения: 01.02.2021).
14. Web Content Accessibility Guidelines (WCAG) 2.0. [Электрон. ресурс]. 2008. Режим доступа: https://www.w3.org/TR/WCAG20/. (Дата обращения: 01.02.2021).
15. Web Content Accessibility Guidelines (WCAG) 2.1. [Электрон. ресурс]. 2018. Режим доступа: https://www.w3.org/TR/WCAG21/. (Дата обращения: 01.02.2021).
16. Al-Mouh N., Al-Khalifa A., Al-Khalifa H. A First Look into MOOCs Accessibility: The Case of Coursera // K. Miesenberger et al. (eds) Computers Helping People with Special Needs. ICCHP 2014. Lecture Notes in Computer Science. 2014. Т. 8547. С. 145-152. DOI: 10.1007/978-3-319-08596-8_22.
17. Ramirez-Vega A., Iniesto F., Rodrigo C. Raising Awareness of the Accessibility Challenges in Mathematics MOOCs // TEEM 2017 Proceedings of the 5th International Conference on Technological Ecosystems for Enhancing Multiculturality, ACM, New York, NY, USA. 2017. № 92. DOI: 10.1145/3144826.3145435.
18. Косова Е.А., Изетова М.Ю. Доступность массовых открытых онлайн курсов по матема-
тике для обучающихся с ограниченными возможностями здоровья // Вопросы образования. 2020. № 1. С. 205-229. DOI: 10.17323/1814-95452020-1-205-229.
19. Sanchez-Gordon S., Luján-Mora S. Implementing Accessibility in Massive Open Online Courses' Platforms for Teaching, Learning and Collaborating at Large Scale // In Andreas Meier, Luis Terán (Eds.), eDemocracy & eGovernment: Stages of a Democratic Knowledge Society: Springer, 2019. С. 151-160.
20. Bohnsack M., Puhl S. Accessibility of MOOCs // K. Miesenberger et al. (eds) Computers Helping People with Special Needs. ICCHP 2014. Lecture Notes in Computer Science. 2014. Т. 8547. С. 141-144. DOI: 10.1007/978-3-319-08596-8_21.
21. Martin J.L., Amado-Salvatierra H.R., Hilera J.R. MOOCs for All: Evaluating the Accessibility of Top MOOC Platforms // International Journal of Engineering Education. 2016. Т. 32. № 5-B. С. 2374-2383.
22. Iniesto F., Rodrigo C. Accessibility Assessment of MOOC Platforms in Spanish: UNED COMA, COLMENIA and MiriadaX // Proceedings of the IEEE International Symposium on Computers in Education (Logrono, Spain, November, 12-14, 2014). 2014. С. 169-172. DOI: 10.1109/SIIE.2014.7017724.
23. Ferati M., Mripa N., Bunjaku R. Accessibility of MOOCs for Blind People in Developing Non-English Speaking Countries // Proceedings of the 8th International Conference Applied Human Factors and Ergonomics (AHFE) (Orlando, July 27-31, 2016). 2016. № 500. С. 519-528. DOI: 10.1007/978-3-319-41962-6_46.
24. Akgül, Y. Accessibility Evaluation of MOOCs websites of Turkey // Journal of Life Economics. 2018. № 5. С. 23-36. DOI: 10.15637/jlecon.259.
25. Косова Е.А. Мотивация и готовность преподавателей к использованию дистанционных образовательных технологий в обучении студентов с ограниченными возможностями здоровья // Информатика и образование. 2020. № 9. С. 43-52. DOI: 10.32517/0234-0453-2020-35-9-43-52.
26. Ferati M., Vogel B. Accessibility in Web Development Courses: A Case Study // Informatics. 2020. № 7(1). С. 8. DOI: 10.3390/ informatics7010008.
27. Косова Е.А. Веб-доступность в электронном обучении [Электрон. ресурс]. 2020. Режим доступа: https://stepik.org/course/64025. (Дата обращения: 01.02.2021).
28. Course Evaluation Form 2.0. [Электрон. ресурс]. Режим доступа: https://www.surveymonkey. com/r/VR9WVPT. (Дата обращения: 01.02.2021).
29. Crocker L., Algina J. Introduction to Classical and Modern Test Theory. Harcourt, New York, 1986. 527 с.
30. Kelley T., Ebel R., Linacre J.M. Item Drimination indices. Rasch Measurement
Transactions. № 16(3). С. 883-884. [Электрон. ресурс]. 2002. Режим доступа: https://www.rasch.org/ rmt/rmt163a.htm. (Дата обращения: 01.02.2021).
31. Introduction to Web Accessibility. [Электрон. ресурс]. 2020. Режим доступа: https://courses.edx. org/courses/course-v1:W3Cx+WAI0.1x+3T2019/ course/. (Дата обращения: 01.02.2021).
32. Accessibility: Designing and Teaching Courses for All Learners (HE) [Электрон. ресурс]. 2019. Режим доступа: https://www.canvas. net/browse/empirestate/empirestate-buffalostate/ courses/accessibility-designing-teaching. (Дата обращения: 01.02.2021).
33. Implementing UDL on Canvas (K-12/ HE). [Электрон. ресурс]. 2019. Режим доступа: https://www.canvas.net/browse/innospire/courses/ implementing-udl-on-canvas. (Дата обращения: 01.02.2021).
34. The Online Educator: People and Pedagogy [Электрон. ресурс]. 2020. Режим доступа: https:// www.futurelearn.com/courses/the-online-educator. (Дата обращения: 01.02.2021).
35. Basics of Inclusive Design for Online Education. [Электрон. ресурс]. 2021. Режим доступа: https://www.coursera.org/learn/inclusive-design. (Дата обращения: 01.02.2021).
36. An Introduction to Accessibility and Inclusive Design [Электрон. ресурс]. 2021. Режим доступа: https://www.coursera.org/learn/accessibility. (Дата обращения: 01.02.2021).
37. Web Accessibility [Электрон. ресурс]. 2021. Режим доступа: https://www.udacity.com/ course/web-accessibility--ud891. (Дата обращения: 01.02.2021).
38. Косова Е.А. Нормативные основания обеспечения доступности электронного обучения для лиц с ограниченными возможностями здоровья в Российской Федерации // Непрерывное образование: XXI век. 2020. № 2(30). DOI: 10.15393/j5.art.2020.5692.
39. Lee S., Lee J., Liu X., Bonk C., Magjuka R. A Review of Case-based Learning Practices in an Online MBA Program: A Program-level Case Study // Educational Technology & Society. 2009. № 12. С. 178-190.
40. Abbakumov D., Desmet С., Van den Noortgate W. Measuring student's proficiency in MOOCs: multiple attempts extensions for the Rasch model // Heliyon. 2018. Т. 4. № 12. e01003. DOI: 10.1016/j.heliyon.2018.e01003.
References
1. The COVID-19 pandemic has changed education forever. This is how. [Internet]. 2020. Available from: www.weforum.org/agenda/2020/04/ coronavirus-education-global-covid19-online-digi-tal-learning/. (cited 01.02.2021).
2. Deti s osobymi obrazovatel'nymi potrebnost-yami = Children with special educational needs [In-
41. Bergner Y., Choi I., Castellano K. Item Response Models for Multiple Attempts With Incomplete Data // Journal of Educational Measurement. 2019. № 56. С. 415-436. DOI: 10.1111/jedm.12214.
42. Boud D., Falchikov N. Introduction: Assessment for the longer term // In: Boud, D., Falchikov, N. (eds) Rethinking Assessment for Higher Education: Learning for the Longer Term. London: Routledge, 2007. С. 3-13. DOI: 10.4324/9780203964309.
43. Ventista O. Self-assessment in Massive Open Online Courses // E-Learning and Digital Media. 2018. № 15(4). С. 165-175. DOI:10.1177/2042753018784950.
44. Baird J., Andrich D., Hopfenbeck T. Assessment and learning: Fields apart? // Assessment in Education: Principles, Policy & Practice. 2017. № 24 (3). С. 317-350. DOI: 10.1080/0969594X.2017.1319337.
45. Halamish V., Bjork R. When does testing enhance retention? A distribution-based interpretation of retrieval as a memory modifier // Journal of Experimental Psychology: Learning, Memory, and Cognition. 2011. № 37(4). С. 801812. DOI: 10.1037/a0023219.
46. Jansen R.S., Van Leeuwen A., Janssen J., Conijn R., Kester L. Supporting learners' self-regulated learning in Massive Open Online Courses // Computers & Education. 2020. № 146. 103771. DOI: 10.1016/j.compedu.2019.103771.
47. Hizam M, Nasir M., Khalid M. Self-Regulated Learning In A Massive Open Online Course: A Review of Literature // European Journal of Interactive Multimedia and Education. 2020. № 1. DOI: 10.30935/ejimed/8403.
48. Приказ Минтруда России от 08.09.2015 №608н «Об утверждении профессионального стандарта «Педагог профессионального обучения, профессионального образования и дополнительного профессионального образования» [Электрон. ресурс]. 2015. Режим доступа: http:// fgosvo.ru/uploadfiles/profstandart/01.004.pdf. (Дата обращения: 01.02.2021).
49. Приказ Минтруда России от 18.01.2017 №44н «Об утверждении профессионального стандарта «Разработчик Web и мультимедийных приложений» [Электрон. ресурс]. 2017. Режим доступа: http://fgosvo.ru/uploadfiles/profstandart/06.035. pdf. (Дата обращения: 01.02.2021).
ternet]. 2020. Available from: edu.gov.ru/activity/ main_activities/limited_health/. (cited 01.02.2021). (In Russ.)
3. Gokhberg L.M., Ozerova O.K., Sautina Ye.V., Shugal' N. B. Obrazovaniye v tsifrakh: 2020: krat-kiy statisticheskiy sbornik = Education in figures: 2020: a short statistical collection. Moscow: NRU HSE; 2020. [Internet]. Available from: https://www.
hse.ru/primarydata/oc2020. (cited 01.02.2021). (In Russ.)
4. Chislennost' invalidov = The number of disabled people [Internet]. 2020. Available from: https://sfri.ru/analitika/chislennost/chislennost?ter-ritory=undefined. (cited 01.02.2021). (In Russ.)
5. Federal'nyy gosudarstvennyy obrazovatel'nyy standart vysshego obrazovaniya (3++) po naprav-leniyam bakalavriata = Federal state educational standard of higher education (3 ++) in the areas of bachelor's degree [Internet]. 2020. Available from: http://fgosvo.ru/fgosvo/151/150/24. (cited 01.02.2021). (In Russ.)
6. Accessibility: Designing and teaching courses for all learners [Internet]. Available from: https:// learn.canvas.net/courses/1159. (cited 01.02.2021).
7. Black D.R., Weinberg L.A., Brodwin M.G. Universal design for instruction and learning: A pilot study of faculty instructional methods and attitudes related to students with disabilities in higher education. Exceptionality Education International. 2014; 24; 1: 48-64. DOI: 10.5206/eei.v24i1.7710.
8. Coursera Basics of inclusive design for online education [Internet]. 2020. Available from: https:// www.coursera.org/learn/inclusive-design. (cited 01.02.2021).
9. E-learning accessibility [Internet]. 2018. Available from: https://www.w3.org/WAI/RD/wiki/ E-learning_Accessibility. (cited 01.02.2021).
10. Roberts K.D., Park H.J., Brown S., Cook B. Universal design for instruction in postsecondary education: A systematic review of empirically based articles. Journal of Postsecondary Education and Disability. 2011; 24; 1: 5-15. Available from: http:// www.ahead-archive.org/uploads/publications/ JPED/jped_24_1/JPED %2024_1 %20FINAL %20 DOCUMENT.pdf. (cited 01.02.2021).
11. Schelly C.L., Davies S.L., Spooner C.L. Student perceptions of faculty implementation of universal design for learning. Journal of Postsecondary Education and Disability. 2011; 24; 1: 17-30. Available from: http://www.ahead-archive.org/uploads/ publications/JPED/jped_24_1/JPED %2024_1 %20 FINAL %20D0CUMENT.pdf. (cited 01.02.2021).
12. The UDL Guidelines [Internet]. 2018. Available from: http://udlguidelines.cast.org. (cited 01.02.2021).
13. Introduction to web accessibility [Internet]. 2019. https://www.w3.org/WAI/fundamentals/ac-cessibility-intro/. (cited 01.02.2021).
14. Web Content Accessibility Guidelines (WCAG) 2.0. [Internet]. 2008. Available from: https:// www.w3.org/TR/WCAG20/. (cited 01.02.2021).
15. Web Content Accessibility Guidelines (WCAG) 2.1. [Internet]. 2018. Available from: https:// www.w3.org/TR/WCAG21/. (cited 01.02.2021).
16. Al-Mouh N., Al-Khalifa A., Al-Khalifa H. A First Look into MOOCs Accessibility: The Case of Coursera. K. Miesenberger et al. (eds) Computers Helping People with Special Needs. ICCHP 2014. Lecture Notes in Computer Science. 2014; 8547: 145-152. DOI: 10.1007/978-3-319-08596-8_22.
17. Ramírez-Vega A., Iniesto F., Rodrigo C. Raising Awareness of the Accessibility Challenges in Mathematics MOOCs. TEEM 2017 Proceedings of the 5th International Conference on Technological Ecosystems for Enhancing Multiculturali-ty, ACM, New York, NY, USA. 2017: 92. DOI: 10.1145/3144826.3145435.
18. Kosova Ye A., Izetova M.Yu. Availability of massive open online courses in mathematics for students with disabilities. Voprosy obrazovani-ya = Education Issues. 2020; 1: 205-229. DOI: 10.17323/1814-9545-2020-1-205-229. (In Russ.)
19. Sanchez-Gordon S., Luján-Mora S. Implementing Accessibility in Massive Open Online Courses' Platforms for Teaching, Learning and Collaborating at Large Scale. In Andreas Meier, Luis Terán (Eds.), eDemocracy & eGovernment: Stages of a Democratic Knowledge Society: Springer, 2019: 151-160.
20. Bohnsack M., Puhl S. Accessibility of MOOCs. K. Miesenberger et al. (eds) Computers Helping People with Special Needs. ICCHP 2014. Lecture Notes in Computer Science. 2014; 8547: 141-144. DOI: 10.1007/978-3-319-08596-8_21.
21. Martin J.L., Amado-Salvatierra H.R., Hilera J.R. MOOCs for All: Evaluating the Accessibility of Top MOOC Platforms. International Journal of Engineering Education. 2016; 32; 5-B: 2374-2383.
22. Iniesto F., Rodrigo C. Accessibility Assessment of MOOC Platforms in Spanish: UNED COMA, COLMENIA and MiriadaX. Proceedings of the IEEE International Symposium on Computers in Education (Logrono, Spain, November, 12-14, 2014). 2014: 169-172. DOI: 10.1109/ SIIE.2014.7017724.
23. Ferati M., Mripa N., Bunjaku R. Accessibility of MOOCs for Blind People in Developing Non-English Speaking Countries. Proceedings of the 8th International Conference Applied Human Factors and Ergonomics (AHFE) (Orlando, July 27-31, 2016). 2016; 500: 519-528. DOI: 10.1007/978-3-319-41962-6_46.
24. Akgül, Y. Accessibility Evaluation of MOOCs websites of Turkey. Journal of Life Economics. 2018; 5: 23-36. DOI: 10.15637/jlecon.259.
25. Kosova Ye. A. Motivation and readiness of teachers to use distance learning technologies in teaching students with disabilities. Informatika i obrazovaniye = Informatics and Education. 2020; 9: 43-52. DOI: 10.32517/0234-0453-2020-35-943-52. (In Russ.)
26. Ferati M., Vogel B. Accessibility in Web Development Courses: A Case Study. Informatics. 2020; 7(1): 8. DOI: 10.3390/informatics7010008.
27. Kosova Ye. A. Veb-dostupnost' v elektron-nom obuchenii [Internet]. 2020. Available from: https://stepik.org/course/64025. (cited 01.02.2021).
28. Course Evaluation Form 2.0. [Internet]. Available from: https://www.surveymonkey.com/r/ VR9WVPT. (cited 01.02.2021).
29. Crocker L., Algina J. Introduction to Classical and Modern Test Theory. Harcourt, New York, 1986. 527 p.
30. Kelley T., Ebel R., Linacre J.M. Item Drimina-tion indices. Rasch Measurement Transactions. 2002; 16(3): 883-884. [Internet]. Available from: https:// www.rasch.org/rmt/rmt163a.htm. (cited 01.02.2021).
31. Introduction to Web Accessibility. [Internet]. 2020. Available from: https://courses.edx. org/courses/course-v1:W3Cx+WAI0.1x+3T2019/ course/. (cited 01.02.2021).
32. Accessibility: Designing and Teaching Courses for All Learners (HE) [Internet]. 2019. Available from: https://www.canvas.net/browse/empirestate/ empirestate-buffalostate/courses/accessibility-de-signing-teaching. (cited 01.02.2021).
33. Implementing UDL on Canvas (K-12/ HE). [Internet]. 2019. Available from: https://www. canvas.net/browse/innospire/courses/implement-ing-udl-on-canvas. (cited 01.02.2021).
34. The Online Educator: People and Pedagogy [Internet]. 2020. Available from: https://www.fu-turelearn.com/courses/the-online-educator. (cited 01.02.2021).
35. Basics of Inclusive Design for Online Education. [Internet]. 2021. Available from: https:// www.coursera.org/learn/inclusive-design. (cited 01.02.2021).
36. An Introduction to Accessibility and Inclusive Design [Internet]. 2021. Available from: https://www.coursera.org/learn/accessibility. (cited 01.02.2021).
37. Web Accessibility [Internet]. 2021. Available from: https://www.udacity.com/course/web-acces-sibility--ud891. (cited 01.02.2021).
38. Kosova Ye.A. Normative grounds for ensuring the accessibility of e-learning for persons with disabilities in the Russian Federation. Nepre-ryvnoye obrazovaniye: XXI vek = Continuing education: XXI century. 2020: 2(30). DOI: 10.15393/ j5.art.2020.5692. (In Russ.)
39. Lee S., Lee J., Liu X., Bonk C., Magju-ka R. A Review of Case-based Learning Practices in an Online MBA Program: A Program-level Case Study. Educational Technology & Society. 2009; 12: 178-190.
40. Abbakumov D., Desmet S., Van den Noort-gate W. Measuring student's proficiency in MOOCs: multiple attempts extensions for the Rasch model. Heliyon. 2018; 4: 12. e01003. DOI: 10.1016/j.heli-yon.2018.e01003.
41. Bergner Y., Choi I., Castellano K. Item Response Models for Multiple Attempts With Incom-
Сведения об авторе
Екатерина Алексеевна Косова
К.п.н, доцент, доцент кафедры прикладной математики,
Таврическая академия Крымского федерального университета им. В. И. Вернадского, Симферополь, Россия Эл. почта: lynx99@inbox.ru
plete Data. Journal of Educational Measurement. 2019; 56: 415-436. DOI: 10.1111/jedm.12214.
42. Boud D., Falchikov N. Introduction: Assessment for the longer term. In: Boud, D., Falchikov, N. (eds) Rethinking Assessment for Higher Education: Learning for the Longer Term. London: Routledge; 2007: 3-13. DOI: 10.4324/9780203964309.
43. Ventista O. Self-assessment in Massive Open Online Courses. E-Learning and Digital Media. 2018; 15(4): 165-175. DOI:10.1177/2042753018784950.
44. Baird J., Andrich D., Hopfenbeck T. Assessment and learning: Fields apart?. Assessment in Education: Principles, Policy & Practice. 2017; 24(3): 317-350. DOI: 10.1080/0969594X.2017.1319337.
45. Halamish V., Bjork R. When does testing enhance retention? A distribution-based interpretation of retrieval as a memory modifier. Journal of Experimental Psychology: Learning, Memory, and Cognition. 2011; 37(4): 801-812. DOI: 10.1037/ a0023219.
46. Jansen R.S., Van Leeuwen A., Janssen J., Conijn R., Kester L. Supporting learners' self-regulated learning in Massive Open Online Courses. Computers & Education. 2020; 146. 103771. DOI: 10.1016/j.compedu.2019.103771.
47. Hizam M, Nasir M., Khalid M. Self-Regulated Learning In A Massive Open Online Course: A Review of Literature. European Journal of Interactive Multimedia and Education. 2020; 1. DOI: 10.30935/ejimed/8403.
48. Prikaz Mintruda Rossii ot 08.09.2015 №608n «Ob utverzhdenii professional'nogo standarta «Ped-agog professional'nogo obucheniya, professional'nogo obrazovaniya i dopolnitel'nogo professional'nogo obrazovaniya»= Order of the Ministry of Labor of Russia dated 09/08/2015 No. 608n "On approval of the professional standard" Teacher of vocational training, vocational education and additional vocational education" [Internet]. 2015. Available from: http://fgosvo.ru/uploadfiles/profstandart/01.004. pdf. (cited 01.02.2021). (In Russ.)
49. Prikaz Mintruda Rossii ot 18.01.2017 №44n «Ob utverzhdenii professional'nogo standarta «Raz-rabotchik Web i mul'timediynykh prilozheniy» = Order of the Ministry of Labor of Russia dated January 18, 2017 No. 44n "On the approval of the professional standard" Developer of Web and multimedia applications "[Internet]. 2017. Available from: http://fgosvo.ru/uploadfiles/profstandart/06.035. pdf. (cited 01.02.2021). (In Russ.)
Information about the author
Yekaterina A. Kosova
Cand. Sci. (Pedagogy), Associate Professor, Associate Professor of the Department of Applied Mathematics
Taurida Academy of V.I. Vemadsky Crimean Federal University, Simferopol, Russia E-mail: lynx99@inbox.ru
