CC BY-NC-ND
11
Базовый алгоритм и открытые данные аудита цифровой доступности электронного обучения
Екатерина Косова
Статья поступила в редакцию в октябре 2022 г.
Аннотация
Косова Екатерина Алексеевна — кандидат педагогических наук, доцент, заведующая кафедрой прикладной математики Физико-технического института, Крымский федеральный университет им. В.И. Вернадского. Адрес: 295007, Республика Крым, г. Симферополь, просп. Академика Вернадского, 4. E-mail: kosovaea@cfuv.ru, ORCID: https://orcid.org/0000-0002-3263-9373
Совершенствование методологии оценки цифровой доступности электронного обучения является важным условием повышения качества современных образовательных услуг. С целью разработки базового алгоритма аудита цифровой доступности систематизированы и проанализированы данные экспертиз 173 электронных образовательных ресурсов, включая 56 массовых открытых онлайн-курсов (МООК) по математическим дисциплинам, 65 МООК по компьютерным дисциплинам и программированию, 22 внутриуниверси-тетских онлайн-курса по математическим, компьютерным дисциплинам и программированию, 30 МООК по сердечно-легочной реанимации. Описаны методы и процесс сбора данных экспертиз, содержание наборов данных, процедура эмпирического анализа результатов проверки доступности образовательного контента. Предложенный алгоритм аудита цифровой доступности включает следующие этапы: подготовка к экспертизе, автоматическая и экспертная проверка цифровой доступности и формирование наборов данных, анализ данных, формулирование итогового заключения и рекомендаций по улучшению цифровой доступности. Базовый алгоритм и полученные в результате аудита наборы данных могут быть использованы при осуществлении мер развития общедоступного образования, при подготовке специалистов электронного обучения, в целях укрепления механизмов регулирования и контроля в области образования.
Ключевые слова алгоритм аудита, цифровая доступность, наборы данных, онлайн-курсы, автоматическая проверка, экспертная проверка, электронное обучение, МООК, WCAG 2.1.
Для цитирования
Косова Е.А. (2023) Базовый алгоритм и открытые данные аудита цифровой доступности электронного обучения. Вопросы образования / Educational Studies Moscow, № 2, сс. 282-308. https://doi.org/10.17323/1814-9545-2023-2-282-308
Base Algorithm and Open Data of Auditing the e-Learning Digital Accessibility
Yekaterina Kosova
Yekaterina A. Kosova — Candidate of Sciences in Education, Docent, Head of the Department of Applied Mathematics, Physics and Technology Institute, V.I. Vernadsky Crimean Federal University. Address: 4 Vernadskogo Ave., Simferopol 295007, Republic of Crimea, Russian Federation. E-mail: kosovaea@cfuv.ru, ORCID: https://orcid.org/0000-0002-3263-9373
Abstract Enhancement the methodology for assessing the digital accessibility of e-lear-ning is an important condition for improving the quality of modern educational services. In order to develop a basic algorithm for auditing digital accessibility, the expert data from 173 e-learning resources (56 Massive Open Online Courses (MOOCs) in mathematics, 65 MOOCs in computer science and programming, 22 intra-university online courses in mathematics, computer science and programming, 30 MOOCs in cardiopulmonary resuscitation) were systematized and analyzed. The paper considers: methods and process of collecting expert data, the content of data sets, the procedure for empirical analysis of the results of testing the e-learning content accessibility. The structure of the proposed algorithm of auditing the digital accessibility includes the following stages: preparation for examination; automatic and expert testing of digital accessibility and generation of data sets; data analysis; formulating a final conclusion and recommendations for improving digital accessibility. Further use of the basic algorithm and data sets of audits can be useful for the development of accessible education, the training of e-learning specialists, and the strengthening of regulatory and control mechanisms in the field of education.
Keywords audit algorithm, digital accessibility, data sets, online courses, automatic assessment, expert assessment, e-learning, MOOCs, WCAG 2.1.
For citing Kosova Ye.A. (2023) Bazovy algoritm i otkrytye dannye audita tsifrovoy dostup-nosti elektronnogo obucheniya [Base Algorithm and Open Data of Auditing the e-Learning Digital Accessibility]. Voprosy obrazovaniya / Educational Studies Moscow, no 2, pp. 282-308. https://doi.org/10.17323/1814-9545-2023-2-282-308
Доступность электронного обучения для всех — один из приоритетов современного образования [UNESCO, 2020]. Особое внимание в последнее время уделяется обеспечению цифровой доступности электронных образовательных ресурсов [Meleo-Erwin et al., 2020; Lazar, 2021]. Термин «цифровая доступность» базируется на понятиях «веб-доступность»1 и «обще-
1 «Веб-доступность означает, что веб-сайты, веб-инструменты и веб-технологии проектируются и разрабатываются таким образом, чтобы ими мог пользоваться максимально широкий круг людей, включая лиц с ограниченными возможностями» [W3C Web Accessibility Initiative: https:// www.w3.org/WAI/fundamentals/accessibility-intro/#what (дата обращения: 09.03.2023)].
доступность»2 и в контексте электронного обучения определяется как свойство электронных образовательных ресурсов быть пригодными (воспринимаемыми, управляемыми, понятными и работоспособными) для максимально широкой аудитории обучающихся, включая лиц с особыми потребностями, вызванными постоянными или временными ограничениями здоровья, ситуационными и техническими барьерами. Таким образом, потенциальным бенефициаром цифровой доступности является каждый человек. Из-за недостаточной цифровой доступности электронных образовательных ресурсов, в том числе онлайн-курсов, возникают препятствия при обучении тех категорий лиц, особые потребности которых не удовлетворены. К наиболее уязвимому кластеру обучающихся относятся люди с ограничениями жизнедеятельности, связанными со здоровьем [Meleo-Erwin et al., 2020; Lazar, 2021; Mullin, Gould, Parker Harris, 2021], по статистике они составляют около 15% населения планеты [UNESCO Institute for Information Technologies in Education, 2021].
Нарушения цифровой доступности электронного обучения возникают из-за ошибок, допущенных разработчиками электронных образовательных ресурсов и платформ, и выявляются в процессе проведения экспертизы цифровой доступности [Iniesto et al., 2019; Sanchez-Gordon, Lujan-Mora, 2019; 2020; Park, So, Cha, 2019]. Экспертиза необходима для обнаружения и систематизации семантических и синтаксических ошибок доступности цифрового контента, формулирования рекомендаций для стейкхолдеров электронного обучения по устранению и недопущению в дальнейшем нарушений доступности и связанных с ними барьеров доступа к учебным материалам и активностям. Такая экспертиза основана на проверке соответствия контента электронных образовательных ресурсов положениям главного стандартизирующего документа в сфере цифровой доступности — Руководящих принципов доступности веб-контента (Web Content Accessibility Guidelines, WCAG) версий 2.03 и 2.14. Актуальная версия WCAG 2.1 представляет собой 78 критериев доступности, сформулированных как проверяемые утверждения и объединенных в 13 тематических групп (руководящих принципов), которые в совокупности определяют четыре главных принципа цифровой доступности контента: воспринимаемость, управляемость, понятность и надежность.
2 «Общедоступность — подход к обеспечению доступности в цифровой среде, при котором цифровые ресурсы и способ их доставки соответствуют потребностям и предпочтениям пользователя» [International Organization for Standardization: https://www.iso.org/standard/41521.html (дата обращения: 09.03.2023)].
3 https://www.w3.org/TR/WCAG20/ (дата обращения: 09.03.2023).
4 https://www.w3.org/TR/WCAG21/ (дата обращения: 09.03.2023).
В процессе экспертизы, или аудита цифровой доступности, применяются методы автоматического тестирования с помощью специализированных программных инструментов. Кроме того, проверка контента осуществляется пользователем или группой пользователей по контрольным спискам с помощью мануальных, аудиальных и визуальных методов [Sanchez-Gordon, Luján-Mora, 2020]. В качестве контрольных списков экспертной проверки используют свод проверяемых критериев WCAG в оригинальном виде [Park, So, Cha, 2019; Sanchez-Gordon, Luján-Mora, 2019] или чек-листы критериев, согласованных с WCAG [Al-Mouh, Al-Khalifa, Al-Khalifa, 2014; Królak, Zajqc, 2022; Ramírez-Vega, Iniesto, Rodrigo, 2017]. В результате проверки формируются наборы данных, содержащие формализованные сведения о нарушенных критериях доступности. Агрегирование, обработка и анализ таких данных методами математической статистики позволяют сформировать экспертное заключение об уровне доступности исследованных электронных образовательных ресурсов и рекомендации по устранению недостатков. Полученные в результате экспертизы данные, размещенные в открытых облачных репо-зиториях, могут быть пригодны для повторного использования в сфере образования и смежных областях5. Однако указания на возможности дальнейшего применения наборов данных, полученных в ходе экспертизы цифровой доступности, обнаружены только в двух публикациях и представлены очень обобщенно [Rodríguez et al., 2017; Acosta-Vargas, González, Luján-Mora, 2020].
В ранее опубликованных работах проверка цифровой доступности выполнялась различными методами: автоматическими [Akgül, 2018; Ferati, Mripa, Bunjaku, 2016; Ramírez-Vega, Iniesto, Rodrigo, 2017; Iniesto et al., 2019; Królak, Zajqc, 2022], по контрольным спискам [Al-Mouh, Al-Khalifa, Al-Khalifa, 2014; Ferati, Mripa, Bunjaku, 2016; Ramírez-Vega, Iniesto, Rodrigo, 2017; Iniesto et al., 2019; Park, So, Cha, 2019; Sanchez-Gordon, Luján-Mora, 2019; Królak, Zajqc, 2022], с привлечением пользователей с ограниченными возможностями здоровья [Al-Mouh, Al-Khalifa, Al-Khalifa, 2014; Bohnsack, Puhl, 2014; Ferati, Mripa, Bunjaku, 2016; Iniesto et al., 2019; Park, So, Cha, 2019; Królak, Zajqc, 2022]. Стандарты цифровой доступности применяются достаточно давно: первая версия WCAG относится к 1999 г.6, но их использование не сказывается на результатах исследований — во всех случаях обнаруживается низкая доступность электронных образовательных ресурсов и платформ. Наряду с другими причинами — несовершенством
5 От редакции. Публикации о базах данных в сфере образования. Вопросы образования / Educational Studies Moscow, 2022, № 2, сс. 8-11. https://vo.hse. ru/article/view/15770
6 Web Content Accessibility Guidelines (WCAG) 2.0: https://www.w3.org/TR/ WAI-WEBCONTENT/ (дата обращения: 09.03.2023).
правового регулирования, недостаточной квалификацией разработчиков цифрового контента, отсутствием в исследовательском сообществе понимания важности обеспечения доступности — очевидная неэффективность применения стандартов цифровой доступности свидетельствует о необходимости совершенствования методологии обеспечения цифровой доступности электронного обучения, а также разработки инструктирующих алгоритмов аудита и коррекции цифровой доступности с учетом особенностей проектирования электронных образовательных ресурсов и специфики обучения в цифровой среде.
Цель статьи — на основе систематизированных сведений о сборе, содержании, обработке и анализе данных, полученных в ходе экспертиз цифровой доступности, предложить базовый алгоритм аудита цифровой доступности образовательных ресурсов и сформулировать рекомендации по дальнейшему использованию формализованных данных экспертиз.
1.Экспертизы цифровой доступности как основа базового алгоритма
Исследования, послужившие основой для разработки базового алгоритма аудита цифровой доступности, проводились с целью оценить доступность онлайн-курсов для всех обучающихся, в том числе для лиц с ограниченными возможностями здоровья, а также выявить основные ошибки цифровой доступности и сформулировать рекомендации по их устранению. Исследования выполнялись автором статьи в составе инициативных групп, без внешнего финансирования.
Для формирования исходных наборов данных проведена автоматическая и экспертная оценка цифровой доступности в следующих выборках: 56 русскоязычных массовых открытых онлайн-курсов (МООК) по математическим дисциплинам (набор данных № 17, январь — март 2019 г.), 65 русскоязычных МООК по компьютерным дисциплинам и программированию (набор данных № 28, июль 2020 г.), 22 русскоязычных внутри-университетских онлайн-курса по математическим, компьютерным дисциплинам и программированию (набор данных № 39, май — июль 2021 г.), 30 англоязычных МООК по базовой сердечно-легочной реанимации (наборы данных № 410 и № 511, декабрь 2021 г. — февраль 2022 г.).
7 https://data.mendeley.com/datasets/y4zf7j7vsr (дата обращения: 09.03.2023).
8 https://data.mendeley.com/datasets/www78j3w73 (дата обращения: 09.03.2023).
9 https://data.mendeley.com/datasets/4fp4skyynr (дата обращения: 09.03.2023).
10 https://data.mendeley.eom/datasets/277mrprb3w/2 (дата обращения: 09.03.2023).
11 https://data.mendeley. com/datasets/2vbrj3b 68p (дата обращения: 09.03.2023).
Сформированные наборы данных позволили ответить на следующие исследовательские вопросы.
1. Какие ошибки цифровой доступности онлайн-курсов обнаружены с помощью автоматической и экспертной проверок?
2. Могут ли исследованные онлайн-курсы с позиций соблюдения требований цифровой доступности быть рекомендованы к использованию всеми обучающимися, имеющими достаточные стартовые компетенции?
3. Кем допущены ошибки цифровой доступности — разработчиками платформ или авторами контента?
4. Какие ошибки цифровой доступности встречаются чаще других и как наличие ошибок может повлиять на возможность использования онлайн-курсов обучающимися с особыми образовательными потребностями?
5. Какие исправления необходимо внести в онлайн-курсы, чтобы их контент был доступен для всех обучающихся, и насколько трудоемки эти исправления?
6. Насколько согласованы между собой результаты автоматической и экспертной проверок в каждом исследованном наборе данных?
7. Насколько сопоставимы между собой результаты проверок в исследованных наборах данных и можно ли экстраполировать полученные выводы на электронное обучение с использованием дистанционных образовательных технологий в целом?
2. Методология Проверка онлайн-курсов выполнялась комбинированным ме-сбора данных тодом — автоматическими инструментами и с помощью оценки подготовленными пользователями. Процедура проверки соответствовала Методологии оценки соответствия доступности веб-ресурсов (Website Accessibility Conformance Evaluation Methodology, WCAG-EM)12. Сбор данных осуществлялся в несколько этапов: а) формирование выборки курсов, подлежащих анализу; б) предварительное исследование выборки — определение общих характеристик платформ, размещенных на них курсов, внутренних и внешних ресурсов, уточнение границ и объема проверки; в) отбор веб-сервисов, аппаратного и программного обеспечения, необходимых для проведения проверки; г) отбор веб-страниц, подлежащих автоматической проверке цифровой доступности; д) выбор контрольных списков для экспертной проверки; е) выполнение автоматической проверки репрезентативной выборки веб-страниц для каждого курса, запись
12 https://www.w3.org/TR/WCAG-EM/ (дата обращения: 09.03.2023).
результатов в набор данных; ж) пробная экспертная проверка части курсов специалистами независимо друг от друга с последующим сравнением результатов, обсуждением и коррекцией методики проверки; з) распределение онлайн-курсов между специалистами, независимое выполнение ими экспертной проверки, запись результатов в набор данных (для набора № 5 — двойная параллельная проверка всех курсов с последующим обсуждением результатов и достижением консенсуса).
Автоматическая проверка заключалась в последовательной обработке каждой выбранной веб-страницы онлайн-сер-висами цифровой доступности. Использовались бесплатные онлайн-сервисы Web Accessibility Checker (AChecker)13 и Web Accessibility Evaluation Tool (WAVE)14, позволяющие выполнить первичную автоматизированную проверку загружаемых веб-страниц и получить данные (статистические и описательные) об обнаруженных нарушениях. Преимуществом указанных он-лайн-сервисов является простота интерфейса, обеспечившая их популярность в научных исследованиях [Krolak, Zajqc, 2022]. Результаты работы онлайн-сервисов, а именно обнаруженные ошибки цифровой доступности и/или предупреждения о возможных нарушениях, вручную переносились в набор данных.
Порядок экспертной проверки предполагал детальное обследование каждого онлайн-курса (всех веб-страниц курса и встроенных элементов) подготовленными специалистами с применением вспомогательных аппаратных и программных инструментов. Были использованы: для просмотра веб-страниц — браузеры (не менее четырех графических, один текстовый), для оценки корректности программного кода и разметки веб-страниц — инструмент веб-разработчика, для проверки наличия и оценки качества озвучивания контента — программы экранного доступа, преобразующие текст и изображения в формат речи или тактильных символов, для проверки контраста переднего плана и фона — онлайн-сервисы, позволяющие определить цифровой код цвета выбранной точки и выполнить оценку контрастности путем сравнения цифровых кодов, для проверки качества воспроизведения на мобильных устройствах — смартфоны и планшеты. Проверка выполнялась последовательно согласно позициям контрольных списков с использованием визуальных, аудиальных и мануальных методов. Результаты экспертизы заносились в набор данных вручную, использовались облачные инструменты для обеспечения совместного доступа к данным.
Все эксперты использовали одинаковое программное обеспечение и придерживались единой методики проверки. Обработка наборов данных экспертиз выполнялась в программах
13 https://achecker.achecks.ca/checker/index.php (дата обращения: 09.03.2023).
14 https://wave.webaim.org/ (дата обращения: 09.03.2023).
Microsoft Excel® и IBM SPSS® Statistics 23.0 методами описательной статистики. Подробные сведения о процедуре сбора данных приведены в Приложении.
Эксперты не сталкивались с трудностями, требующими коррекции общей методологии и пересмотра процедуры проверки цифровой доступности. Текущие вопросы решались в рабочем порядке путем обсуждения по электронной почте, в онлайн-мессенджерах, голосовых чатах и веб-конференциях. В процессе оценки МООК по базовой сердечно-легочной реанимации был утрачен доступ к двум онлайн-курсам из тридцати (удалены с образовательных платформ), в связи с чем не удалось провести их экспертную проверку и внести в набор данных № 5 соответствующие сведения.
3. Описание Все пять наборов данных организованы в формате электрон-данных ных таблиц Microsoft Excel®. В трех наборах (№ 1, 2 и 3) представлены по два массива данных (всего шесть массивов на отдельных листах), отражающих результаты автоматической и экспертной проверки цифровой доступности. Два набора данных содержат по одному массиву: набор № 4 — данные автоматической проверки онлайн-инструментами, предназначенными для оценки веб-доступности, а набор № 5 — данные экспертной проверки специалистами, использующими контрольные списки цифровой доступности.
Наборы данных № 1, 2, 3 и 5 представлены на двух языках — русском и английском, набор № 4 — на английском языке.
3.1. Данные автоматической проверки цифровой доступности
В полях таблиц данных (в строках) размещены руководящие принципы WCAG 2.1 (набор данных № 1) и проверяемые критерии доступности WCAG 2.1 (наборы № 2, 3 и 4). Записи данных (столбцы) содержат отобранные для проверки веб-страницы исследованных курсов (наборы № 1 и 2) или онлайн-курсы в целом, если выполнялась сквозная проверка всех веб-страниц курсов (наборы № 3 и 4). В ячейках данных представлены числовые значения, соответствующие количеству обнаруженных нарушений цифровой доступности (наборы № 1 и 2) или бинарные значения 1 или 0, определяющие наличие или отсутствие ошибок цифровой доступности и предупреждений о возможных ошибках (наборы № 3 и 4). В табл. 1 приведены характеристики данных автоматической проверки.
Результаты автоматической проверки позволяют провести предварительную оценку цифровой доступности проанализированных онлайн-курсов. Они включают данные описатель-
Таблица 1. Характеристики данных автоматической проверки цифровой доступности
Поля данных Тип Количество полей в наборах данных
данных № 1* № 2* № 3* № 4
Обнаруженные нарушения цифровой доступности
Руководящие принципы WCAG 2.1** числовой 13 — — —
Критерии доступности WCAG 2.1** числовой — 78 78/78*** 78/78***
Описание онлайн-курсов
Идентификатор курса текстовый 1 1 1 1
Наименование курса текстовый 1 1 1 1
Ссылка на курс текстовый 1 1 1 1
Разработчик курса текстовый 1 1 — —
Платформа размещения курса текстовый 1 1 — —
Идентификатор проверенной страницы курса числовой 7 8 — —
Примечания:«—» означает, что соответствующие поля в наборе данных отсутствуют; * данные автоматической оценки размещены на одноименном листе набора данных; ** WCAG 2.1 содержит 13 руководящих принципов и 78 критериев доступности; *** по 78 критериям доступности WCAG 2.1 регистрировались ошибки или предупреждения о возможных нарушениях.
ной статистики (частоты нарушений руководящих принципов и критериев доступности WCAG 2.1, средние значения, диаграммы частотных распределений), на основании этих результатов определяются перечни наиболее распространенных нарушений цифровой доступности в каждом наборе данных и список руководящих принципов и критериев доступности, которые не могут быть оценены автоматически и требуют обязательного использования экспертной проверки, выявляются закономерности путем сравнительного анализа разных наборов данных между собой.
3.2. Данные В таблицах данных экспертной проверки, выполненной подго-экспертной товленными специалистами, поля данных содержат позиции проверки контрольных списков — авторских (наборы № 1, 2 и 3) или ра-цифр°в°й нее опубликованных (набор № 5). Контрольные списки согла-доступности сованы с руководящими принципами и критериями доступности WCAG 2.0 и 2.1 и особенностями образовательного контента разных типов. Каждая запись данных соответствует проверяемому онлайн-курсу. В ячейках данных представлены числовые коды, соответствующие шкалам проверки: для наборов № 1, 2 и 3 — шкала с тремя вариантами ответа (1 — «выполняется», 2 — «не выполняется», 3 — «выполняется для части контента»);
для набора № 5 — бинарная шкала (1 — «выполняется для всего контента без исключений», 0 — «обнаружено хотя бы одно нарушение»). Для обеих шкал предусмотрен вариант «неприменимо». Характеристики данных приведены в табл. 2.
Таблица 2. Характеристики данных экспертной проверки цифровой доступности
Поля данных Тип данных Количество полей в наборах данных
№ 1* № 2* № 3* № 5
Контрольные списки критериев
Общая доступность ресурса числовой 15 14 20 —
Доступность медиаконтента числовой 20 17 23 —
Доступность цифровых документов числовой 9 4 6 —
Доступность тестов числовой 7 5 7 —
Доступность заданий на взаимное оценивание числовой — — 6 —
Доступность математического контента числовой 16 — 16 —
Доступность программного кода и заданий на программирование числовой — 30 29 —
Список критериев WCAG 2.1 числовой — — — 78
Список критериев WebAIM* числовой — — — 108
Описание онлайн-курсов
Идентификатор курса текстовый 1 1 1 1
Наименование курса текстовый 1 1 1 1
Ссылка на курс текстовый 1 1 1 1
Разработчик курса текстовый 1 1 — —
Платформа размещения курса текстовый 1 1 — —
* https://webaim.org/standards/wcag/checklist (дата обращения: 09.03.2023).
Примечания: «—» означает, что соответствующие поля в наборах данных отсутствуют; * — данные экспертной оценки размещены на одноименном листе набора данных; WebAIM (Web Accessibility In Mind, «С веб-доступностью на уме») — некоммерческая организация при Университете штата Юта (США), предоставляющая решения для обеспечения веб-доступности, в том числе список критериев доступности, который является адаптированной и расширенной версией свода критериев WCAG 2.1.
Контрольные списки критериев содержат проверяемые утверждения о свойствах доступности контента, подлежащего экспертизе. В соответствии со всеми списками (см. табл. 2) проверялись: управляемость с помощью клавиатуры, качество гиперссылок и навигации, контрастность фона и переднего плана, качество воспроизведения контента программами экранного доступа, качество визуализации контента при мас-
штабировании, наличие и качество текстовых альтернатив рисункам, чертежам, формулам.
Кроме того, с помощью списка «Общая доступность ресурса» оценивали наличие и качество поддержки пользовательских настроек, качество визуализации и звукового воспроизведения контента, адекватность воспроизведения контента на мобильных устройствах, в графических и текстовых браузерах. По критериям списка «Доступность медиаконтента» проверяли наличие и качество субтитров, стенограмм, конспектов видеолекций, наличие аудио- и текстовых комментариев для видеофрагментов, важных для понимания материала, доступность медиаплееров, наличие интерпретации медиа с помощью языка жестов. Критерии списка «Доступность цифровых документов» позволили судить о наличии и качестве программно-определенной структуры документа, об уместности использования цвета в качестве носителя информации. Списки «Доступность тестов» и «Доступность заданий на взаимное оценивание» обеспечили констатацию отсутствия упражнений, требующих хорошей координации зрения и манипуляций, а также ограничений по времени выполнения для тестов. По критериям списка «Доступность математического контента» проводили проверку форм представления математического контента и их доступности, наличия и качества текстовых альтернатив математической нотации, присутствия адаптивных форм представления математического контента, качества визуализации математического контента, наличия функции поиска по математическому контенту. Блок критериев «Доступность программного кода и заданий на программирование» дал возможность проконтролировать наличие идентификации окна для ввода кода, возможность возвращения к коду после компиляции, обеспеченность моментальной обратной связи после компиляции, работу пользовательских настроек окна для ввода кода, наличие и доступность ссылок на сторонние компиляторы.
Данные, полученные с помощью экспертной проверки, предназначены для подробной оценки цифровой доступности каждого курса в отдельности или групп курсов, объединенных одним исследованием, тематикой, онлайн-платформой и прочими группирующими параметрами. На основе полученных данных можно делать заключения о частоте обнаружения конкретных нарушений цифровой доступности, о наиболее уязвимых категориях обучающихся с точки зрения цифровой доступности, о согласованности автоматической и экспертной оценок, об уровне цифровой доступности отдельных типов образовательного контента, об источниках нарушений цифровой доступности (платформы или курсы, веб-разработчики или авторы контента), о сопоставимости результатов проверок, выполненных с помощью разных контрольных списков.
Данные автоматической и экспертной оценок в совокупности позволяют формулировать аргументированные выводы и рекомендации относительно цифровой доступности исследуемых онлайн-курсов и образовательных платформ.
4. Эмпири- В каждом исследовании анализ данных аудита цифровой до-ческий анализ ступности выполнялся дважды — сначала для данных автоданных матической, а затем для данных экспертной проверки. В ходе ступенчатой процедуры анализа производились: первичный обзор наборов данных, выбор математических методов для обработки данных, собственно анализ данных выбранными методами, агрегирование и визуализация результатов анализа в графическом формате. В результате формировались два предварительных заключения (отдельно для автоматической и экспертной проверок), которые подвергались сравнительному анализу и служили основой для формирования итоговых заключений.
Для анализа данных цифровой доступности использованы методы описательной статистики (получение частотных распределений, определение мер центральной тенденции и рассеяния) с дальнейшим представлением результатов в виде таблиц и графиков. Присутствие в наборах данных ссылок на проанализированные образовательные ресурсы предоставляет исследователю возможность самостоятельно изучить оригинальный контент курсов, дополнить наборы новыми переменными и данными, использовать для анализа математические методы, релевантные обновленным наборам данных, в том числе методы математической статистики, машинного обучения и интеллектуального анализа данных.
В зависимости от конечной цели исследования в финале процедуры эмпирического анализа можно вводить дополнительные блоки, например сравнение полученных результатов с опубликованными ранее (по наборам данных цифровой доступности тех же онлайн-курсов, онлайн-курсов аналогичной или смежной тематики, других онлайн-курсов, проверенных по той же методике), публикацию заключения экспертизы в репо-зиториях экспертных веб-сервисов цифровой доступности, внесение онлайн-курсов в каталоги общедоступных образовательных веб-ресурсов.
Приведенную процедуру эмпирического анализа можно использовать для повторного исследования уже опубликованных наборов данных, формирования практикоориентированных исследовательских кейсов в обучении разработчиков образовательного контента и экспертов цифровой доступности, а также для анализа новых наборов данных цифровой доступности.
5. Результаты, Результаты исследований и их анализ опубликованы в статьях: основанные на набор данных № 1 — [Косова, Халилова, 2019; Косова, Изетова, данных 2020], № 2 — [Косова, Гапон, Редкокош, 2020], № 3 — [Косова, Гапон, Редкокош, 2021], № 4 — [Б1гкип, Кобоуэ, 2022].
Оценивая полученные результаты, можно сделать выводы об общих проблемах цифровой доступности, свойственных современным электронным образовательным ресурсам. Одной из них является низкая доступность исследованных онлайн-курсов для всех наборов данных. В частности, в результате автоматической проверки выделены шесть руководящих принципов WCAG 2.1, которые нарушаются чаще остальных: ошибки зарегистрированы по крайней мере в трех наборах данных из четырех. Сведения о самых распространенных нарушениях, обнаруженных в результате автоматической проверки, приведены в табл. 3.
Таблица 3. Наиболее распространенные нарушения доступности, выявленные при автоматической проверке онлайн-курсов
Руководящие принципы ШСДв 2.1 Обнаруженные нарушения Наборы данных
№ 1 № 2 № 3 № 4
1.1. Текстовые альтернативы Отсутствие текстовых версий для нетекстового контента (рисунков, диаграмм, таблиц, кнопок, видеолекций и др.) + + + +
1.3. Адаптивность Потеря информации или структуры при изменении формата представления контента + + + +
1.4. Распознаваемость Проблемы распознавания контента, включая нарушения контрастности между передним планом и фоном + + + +
2.4. Навигация Сложности перемещения по контенту и поиска информации + + + +
3.3. Помощь при вводе Недостаточная помощь пользователям при вводе данных и исправлении ошибок ввода или отсутствие такой помощи + + + —
4.1. Совместимость Нарушения совместимости с аппаратным и программным обеспечением пользователя, в том числе вспомогательными технологиями для людей с ограниченными возможностями здоровья + + +
Примечания:«+» означает, что соответствующие нарушения обнаружены при проверке и зарегистрированы в наборе данных, «—» — не обнаружены.
Согласно данным автоматической проверки, ошибки цифровой доступности допущены как авторами контента, так и разработчиками образовательных платформ. Только два курса из проанализированных не имели ошибок цифровой доступности (набор данных № 1, оба МООК размещены на платформе «Лекториум»). Для четырех руководящих принципов WCAG 2.1,
содержащих в совокупности 24 критерия доступности, ошибки не были зарегистрированы из-за технических ограничений инструментов автоматической оценки, этот результат подтвердил необходимость дополнительной детальной проверки цифровой доступности человеком.
Данные экспертной проверки сняли неопределенности автоматической проверки и дополнили спектр выявленных нарушений результатами мануального, визуального и аудиального анализа. Обнаружены множественные ошибки цифровой доступности для всех курсов в наборах данных № 1, 2, 3 и 5. Сведения о самых распространенных нарушениях приведены в табл. 4.
Таблица 4. Наиболее распространенные нарушения доступности, выявленные при экспертной проверке онлайн-курсов
Наименования контрольных списков Обнаруженные нарушения Наборы данных
№ 1 № 2 № 3 № 5
Общая доступность ресурса Отсутствие возможности настройки интерфейса пользователем + + + +
Ошибки воспроизведения веб-страниц в текстовых браузерах + + + НП
Ошибки воспроизведения веб-страниц с помощью программ экранного доступа + + + +
Потеря информации и функциональности веб-страницы при масштабировании + + + +
Доступность медиакон-тента Отсутствие или некорректное воспроизведение субтитров видеолекций + + + +
Отсутствие стенограмм и конспектов видеолекций + + + +
Отсутствие синхронизированного перевода видео на язык жестов + + + +
Отсутствие аудиодескрипции* в видео и в стенограммах к видео + + + +
Доступность цифровых документов Доступность тестов Доступность заданий на взаимное оценивание Ошибки озвучивания контента программами экранного доступа + + + +
Отсутствие текстовых альтернатив для нетекстового контента + + + +
Доступность математического контента Доступность программного кода и заданий на программирование Представление контента в недоступных форматах (рисунки, видео) без текстовой альтернативы + + + НП
Ошибки озвучивания контента программами экранного доступа + + + НП
Примечание: «+» означает, что нарушения обнаружены при проверке и зарегистрированы в наборе данных; «НП» — неприменимо (отсутствуют соответствующие элементы в контрольных списках); * аудиодескрипция (audio description), также известная как тифлоком-ментирование, — вербальное (устное или текстовое) описание ключевых элементов видеоряда, которые недоступны незрячему человеку без дополнительных словесных пояснений.
Кроме перечисленного в табл. 4, каждый набор данных содержит сведения о нарушениях цифровой доступности, специфических для проверенного образовательного контента.
Результаты исследования цифровой доступности автоматическими и экспертными методами в разных наборах данных сопоставимы между собой, показывают общий низкий уровень доступности проанализированных онлайн-курсов и представляются достаточными для экстраполяции проблемы цифровой доступности на все современное электронное обучение, которое предполагает активное использование в учебном процессе онлайн-курсов вообще и МООК как их разновидности. На основе выполненных исследований можно утверждать, что для некоторых обучающихся с ограниченными возможностями здоровья (особенно с нарушениями зрения, локомоторных функций и когнитивными ограничениями) обучение на онлайн-курсах будет затруднительным, а иногда и невозможным; часть обучающихся вне зависимости от состояния здоровья может испытывать во время обучения неудобства, связанные с техническими ограничениями онлайн-курсов, например с отсутствием возможности воспользоваться субтитрами в шумном помещении, потерей функциональности веб-страницы при воспроизведении на мобильном устройстве, отсутствием функций индивидуальной настройки цветовой схемы и шрифтов. Таким образом, ограничения цифровой доступности могут стать препятствием к эффективному электронному обучению для всех обучающихся, причем степень ограничений и их влияния на пользователя может варьировать от малозначительных барьеров до непреодолимых трудностей. Устранение ошибок цифровой доступности, напротив, позволит обеспечить доступ к обучению с помощью онлайн-курсов каждому обучающемуся, который обладает достаточными стартовыми компетенциями для освоения соответствующих образовательных программ.
6.Структура базового алгоритма аудита цифровой доступности и дальнейшее использование данных экспертизы
Систематизированные выше сведения о сборе, содержании, обработке и анализе данных экспертизы цифровой доступности электронного обучения позволяют предложить схему базового алгоритма аудита цифровой доступности. В наиболее общем виде алгоритм представляет собой конечную последовательность действий, которые необходимо реализовать исполнителю (подготовленному специалисту) для получения заключения об уровне цифровой доступности проверяемых электронных образовательных ресурсов. Алгоритм включает следующие этапы (рис. 1): подготовка аудита (блоки I и II), оценка цифровой доступности с формированием наборов данных выполненных проверок (III и IV), анализ данных (V и VI), формирование ито-
гового заключения и рекомендаций по улучшению цифровой доступности (блоки VII и VIII).
Рис. 1. Базовый алгоритм аудита цифровой доступности электронного обучения
Формирование выборки онлайн-курсов, подлежащих аудиту
1 г
1. Предварительное исследование выборки, определение границ и объема проверки
2. Отбор веб-сервисов, аппаратного и программного обеспечения экспертов
3. Определение типов веб-страниц, подлежащих автоматической проверке 5. Тестовая проверка курсов, уточнение методики
III
Автоматическая проверка Формирование набора данных
IV
Экспертная проверка Формирование набора данных
1. Обзор данных, оценка типов и характеристик данных, выбор статистических методов для анализа
2. Анализ данных, выявление тенденций и закономерностей
3. Визуализация результатов в форме диаграмм и таблиц
4. Формирование предварительных заключений о цифровой доступности
I
VI
Сравнительный анализ результатов автоматической и экспертной проверок
г
VII Формирование общего заключения о цифровой доступности
г
VIII Формулирование рекомендаций по улучшению цифровой доступности
Алгоритм назван базовым, так как сосредоточен на проверке основных (технических) характеристик цифровой доступности электронного образовательного контента. При необходимости он может быть расширен и модифицирован за счет добавления новых проверочных модулей — например, для оценки качества дизайна обучения, содержания образования или пользовательского опыта.
Потенциал применения базового алгоритма аудита и опубликованных наборов данных не ограничивается исследовательскими вопросами, связанными исключительно с экспертизой цифровой доступности электронного обучения. Перспективные направления дальнейшего использования ал-
горитма и открытых данных могут быть разбиты на группы в соответствии с основной задачей исследования:
1) образование и обучение:
• уточнение статуса доступности образовательных веб-ресурсов с систематизацией объектов анализа по областям знаний, образовательным платформам, степени открытости онлайн-курса, основному языку контента;
• каталогизация онлайн-курсов открытого образования с учетом степени соответствия руководящим принципам и критериям цифровой доступности для реализации принципов образования для всех;
• практическая подготовка специалистов сферы образования (преподавателей, экспертов цифровой доступности электронного обучения, веб-разработчиков и веб-дизайнеров онлайн-курсов и образовательных платформ) с использованием учебных кейсов, основанных на данных цифровой доступности онлайн-курсов;
2) разработка доступных образовательных веб-ресурсов:
• использование алгоритма и данных о наиболее часто встречающихся ошибках цифровой доступности для исключения таких ошибок при разработке новых онлайн-курсов, образовательных платформ и веб-сайтов открытого образования в целом;
3) экспертиза цифровой доступности:
• повторная экспертиза онлайн-курсов из опубликованных наборов данных для выявления изменений в отношении доступности, использование наборов данных для сравнительного анализа цифровой доступности прочих онлайн-курсов в будущих исследованиях;
• использование базового алгоритма аудита и контрольных списков экспертной проверки для исследования цифровой доступности электронного образовательного контента;
• создание базы единого экспертного веб-сервиса цифровой доступности электронного обучения, содержащего наборы данных с результатами оценки доступности онлайн-курсов, образовательных платформ, электронно-информационных образовательных сред, ресурсов электронного обучения; пополнение веб-сервиса новыми наборами данных;
4) новые научные направления:
• анализ данных для прогнозирования цифровой доступности онлайн-курсов, в особенности МООК, на основе опубликованных наборов данных;
• выявление закономерностей в наборах данных цифровой доступности методами машинного обучения и интеллектуального анализа данных;
• совершенствование имеющихся и разработка новых инструментов автоматической оценки с целью оптимизации или замены экспертной оценки с участием человека;
5) нормотворчество и контроль:
• разработка и модификация нормативных инструктивно-методических документов, регламентирующих создание доступных ресурсов открытого образования;
• осуществление надзора за цифровой доступностью электронного обучения на государственном и локальном уровнях.
Необходимо отметить ограничения, связанные с повторным использованием опубликованных данных. Проанализированные онлайн-курсы могут быть перенесены на другие платформы или удалены, в связи с чем ссылки на них в наборах данных могут оказаться неработающими. Содержание и оформление онлайн-курсов могут быть модифицированы авторами и разработчиками вплоть до полного обновления, включая исправление допущенных ошибок цифровой доступности. Инструменты автоматической и экспертной проверок (веб-сервисы, аппаратное и программное обеспечение) также обновляются, что может повлиять на результаты анализа и вызвать расхождения с оригинальными наборами данных. Перечисленные ограничения не могут быть препятствиями для проведения повторной экспертизы (за исключением случаев, когда курсы удалены), однако в процессе сбора и анализа данных следует учитывать возможные изменения в методологии, например при введении дополнительных полей данных и проверке статистическими методами новых переменных. Использование наборов данных в их актуальном виде для учебных целей не имеет ограничений.
7. Обсуждение Насколько известно автору, алгоритм аудита цифровой доступности электронного обучения в Российской Федерации разработан впервые. В ходе обзора литературы обнаружено описание алгоритма аудита доступности МООК-платформ и курсов, включающего экспертную оценку технической доступности контента, пользовательского опыта, качества и дизайна обучения ^твБ^ et а1., 2019]. Однако данный алгоритм, в отличие от предложенного нами, не предполагает проведение автоматической оценки цифровой доступности, что ограничивает возможности экспертизы и снижает ее качество.
Разработанный нами алгоритм, подобно алгоритму [Iniesto et al., 2019], допускает экспертную проверку не только веб-страниц, но и документов, размещенных в онлайн-курсах в виде файлов. Важной особенностью базового алгоритма является также использование в процессе экспертной проверки авторских контрольных списков, разработанных для оценки доступности образовательного контента разных типов. Применимость такого подхода подтверждается предыдущими исследованиями, проведенными, например, для оценки математического контента в МООК [Ramírez-Vega, Iniesto, Rodrigo, 2017]. Разработанный алгоритм может быть использован для оценки цифровой доступности как ресурсов открытого образования, например МООК, так и онлайн-курсов, размещенных во внутренней системе управления обучением образовательной организации, таких как Moodle. Кроме того, алгоритм не нуждается в коррекции при изменении тематики проверяемых электронных образовательных ресурсов, за исключением выбора контрольных списков экспертной проверки по типам контента. Проверка алгоритма на экспериментальных наборах данных показала его результативность.
Сопутствующим результатом применения базового алгоритма аудита цифровой доступности является формирование наборов данных экспертиз (с размещением в открытых репозитори-ях) и определение направлений дальнейшего использования этих данных. В последнее время растет число публикаций открытых данных по цифровой доступности, в том числе в сфере обучения с помощью информационно-коммуникационных технологий. Так, к середине лета 2022 г. в репозитории Mende-ley Data было размещено 50 наборов данных по цифровой доступности15, из которых 31 набор (62%) содержал результаты исследований в области цифровой доступности электронного обучения. По тематике размещенные данные распределяются следующим образом: оценка цифровой доступности веб-сайтов и веб-платформ — 21 набор данных (42%), оценка цифровой доступности приложений, в том числе мобильных и с веб-интерфейсом, — 14 (28%), оценка цифровой доступности электронных образовательных ресурсов — 13 (26%), оценка цифровой доступности университетских сайтов — 8 (16%), оценка цифровой доступности мультимедийных материалов — 3 (6%), оценка цифровой доступности веб-сервисов электронного обучения — 2 (4%), исследование профилей пользователей электронного обучения с точки зрения цифровой доступности — 2 (4%), данные опросов и результатов обучения стейкхолдеров цифровой
15 https://data.mendeley.com/research-data/?search= (дата обращения: 15.07.2022).
доступности электронного обучения — 2 (4%), оценка цифровой доступности электронных документов — 1 (2%). Содержание метрик наборов данных свидетельствует об интересе научного сообщества к информации такого типа, в частности для разных наборов данных по экспертизам цифровой доступности зарегистрировано от 6 до 491 просмотров (в среднем 141 просмотр) и от 2 до 54 скачиваний (в среднем 16 скачиваний). Иными словами, открытые данные цифровой доступности электронного обучения востребованы для изучения и применения, что подтверждается и зарубежными публикациями, в которых, в частности, предлагаются направления дальнейшего использования данных анализа цифровой доступности: технические [Rodríguez et al., 2017], технические, образовательные и научные [Acos-ta-Vargas, González, Luján-Mora, 2020].
Как показывают исследования последних лет, цифровая доступность онлайн-курсов все еще остается низкой [Park, So, Cha, 2019; Sanchez-Gordon, Luján-Mora, 2019; Królak, Zajqc, 2022], что служит прямым подтверждением своевременности обращения к теме экспертиз цифровой доступности и применения результатов аудита для повышения общей доступности и качества электронного обучения.
В целях обеспечения цифровой доступности образовательных ресурсов на государственном уровне недостаточно указать разработчикам контента на обнаруженные в результате экспертизы ошибки и привести детальные инструкции по их исправлению. Необходимо реализовать комплекс мер, затрагивающих процессы организации и обеспечения электронного обучения [Iniesto et al., 2016; Sanchez-Gordon, Luján-Mora, 2018]. К таким мерам относятся: приведение норм права в соответствие с современными потребностями общества в доступности электронного обучения [Iniesto et al., 2016; Sanchez-Gordon, Luján-Mora, 2018], разработка средств информационно-консультационной поддержки стейкхолдеров электронного обучения по вопросам организации доступной образовательной среды [Meleo-Erwin et al., 2020; Mullin, Gould, Parker Harris, 2021], создание и внедрение в учебный процесс образовательных программ и дисциплин, формирующих компетенции цифровой доступности у специалистов сферы электронного обучения [Gilligan, 2020; Mullin, Gould, Parker Harris, 2021], разработка изначально доступных платформ электронного обучения с программной поддержкой публикации доступного контента [Sanchez-Gordon, Luján-Mora, 2019].
По мнению специалистов [Iniesto et al., 2016; Meleo-Erwin et al., 2020; Lazar, 2021], ответственность за реализацию общедоступного обучения с помощью онлайн-курсов должны нести провайдеры электронного обучения — организации, реализующие образовательные программы с использованием дистан-
ционных образовательных технологий, и платформы открытого образования. Для улучшения взаимодействия провайдеров с авторами и разработчиками образовательного контента можно предложить: предоставление авторам методических указаний и тренингов по обеспечению цифровой доступности размещаемого контента; использование на образовательных платформах программного обеспечения, препятствующего размещению контента, который не соответствует регламентам цифровой доступности, и формулирующего рекомендации по коррекции контента; предоставление авторам и разработчикам контента тьюторов по цифровой доступности; включение в типовой договор с разработчиками пункта об обязательном соблюдении требований цифровой доступности.
8. Заключение В результате систематизации и анализа сведений о выполненных экспертизах цифровой доступности электронных образовательных ресурсов разработан базовый алгоритм аудита цифровой доступности, который предназначен для применения подготовленными специалистами с целью выявления погрешностей в доступности цифрового контента и формулирования рекомендаций по устранению обнаруженных недостатков. Полученные в результате проведения аудита наборы данных в дальнейшем могут использоваться в ходе осуществления мер по развитию доступного образования, в подготовке кадров для реализации доступного электронного обучения, нормотворчестве и государственном контроле в области образования.
Приложение Особенности методологии сбора данных при выполнении аудита цифровой доступности
Категории Характеристики рассматриваемых наборов данных
Набор № 1 Набор № 2 Набор № 3 Наборы № 4 и 5
Формирование выборки с нлайн-курсов и веб-стра ниц, подлежащих провер ке
Способ отбора он-лайн-курсов
Тотальный просмотр каталогов платформ «Открытое образование», «Лекториум», «Универсариум», Coursera, Stepik
Тотальный просмотр каталогов платформ «Открытое образование», «Лектори-ум», «Универсариум», Coursera, Stepik
Тотальный просмотр на университетской платформе Moodle' каталогов для направлений подготовки 01.03.02 «Прикладная математика и информатика», 01.03.04 «Прикладная математика»
Поиск по ключевым словам в поисковой системе Google6, в каталогах веб-а-грегаторов МООК (Class Central, CourseBuffet, MOOC List, My Education Path)", в каталогах веб-платформ МООК (Coursera, edX, Future-Learn, Swayam, UdemyY
Категории Характеристики рассматриваемых наборов данных
Набор № 1 Набор № 2 Набор № 3 Наборы № 4 и 5
Критерий включения онлайн-курса в выборку Бесплатный, русскоязычный, открытый (доступен для регистрации и прохождения); тематика — математика; возможность использования в учебном процессе обобщенной группы направлений подготовки 01.03.00 «Математика и механика» Бесплатный, русскоязычный, открытый; тематика — компьютерные науки, программирование; возможность использования в учебном процессе направлений подготовки 01.03.02 «Прикладная математика и информатика», 01.03.04 «Прикладная математика» Бесплатный, русскоязычный, открытый; тематика — компьютерные науки, математика, программирование; соответствует рабочей программе дисциплины; объем теоретического материала — не менее 70% заявленного в рабочей программе дисциплины; присутствуют практические задания и/или тесты с возможностью обратной связи Бесплатный, англоязычный, открытый; предназначен для всех желающих; не требует специальных начальных знаний; не ограничен по времени прохождения; тематика — базовая сердечно-легочная реанимация при остановке сердца у взрослых
Количество курсов в выборке исследования 56 65 22 30/28г
Количество экспертов, выполнявших проверку 2 3 3 3
Количество курсов, подвергнутых предварительной (тестовой) проверке 7 2 1 5
Веб-страницы он-лайн-курсов, подвергнутые автоматической проверкед 1) страница обзора курса (до регистрации); 2) страница описания курса (после регистрации); 3) страница с видеолекцией; 4) страница с цифровым документом; 5) страница с тестом; 6) страница форума; 7) страница взаимной оценки 1) страница обзора курса (до регистрации); 2) страница описания курса (после регистрации); 3) страница с видеолекцией; 4) страница с цифровым документом; 5) страница с тестом; 6) страница форума; 7) страница взаимной оценки; 8) страница с заданием на программирование 1) главная страница; 2) страница «Объявление»; 3) страница «Задание»; 4) страница «Тест»; 5) страница «Лекция»; 6) страница «Чат» Тотальная проверка всех веб-страниц курсов
Веб-страницы он-лайн-курсов, подвергнутые экспертной проверке Тотальная проверка всех веб-страниц и встроенных элементов курса Тотальная проверка всех веб-страниц и встроенных элементов курса Тотальная проверка всех веб-страниц и встроенных элементов курса Тотальная проверка всех веб-страниц и встроенных элементов курса
Инструментарий экспертов
Веб-сервисы для проверки цифровой доступности (автоматическая проверка) ACheckef WAVE* WAVE WAVE
Категории Характеристики рассматриваемых наборов данных
Набор № 1 1 Набор № 2 Набор № 3 Наборы № 4 и 5
Веб-браузеры (автоматическая и экспертная проверки) Google Chrome, Mozilla Firefox, Microsoft Edge, Opera, Links Google Chrome, Mozilla Firefox, Microsoft Edge, Opera, Links Google Chrome, Mozilla Firefox, Microsoft Edge, Opera, Links Google Chrome, Mozilla Firefox, Microsoft Edge, Opera, Links
Веб-сервисы для проверки контрастности (экспертная проверка) Contrast Checkerз, «Определить цвета пикселя онлайн»и Contrast Checker, «Определить цвета пикселя онлайн» Contrast Checker, «Определить цвета пикселя онлайн» Contrast Checker, «Определить цвета пикселя онлайн»
Программы экранного доступа (экспертная проверка) Расширения Chrome Vox для Google Chrome, «Прочесть вслух» для Microsoft Edge; приложение NVDA для Windows Расширения Chrome Vox для Google Chrome, «Прочесть вслух» для Microsoft Edge, «Экранный диктор» для Windows 10; приложение NVDA для Windows Расширения Chrome Vox для Google Chrome, «Прочесть вслух» для Microsoft Edge, «Экранный диктор» для Windows 10; приложение NVDA для Windows Расширения Chrome Vox для Google Chrome, «Прочесть вслух» для Microsoft Edge, «Экранный диктор» для Windows 10; приложение NVDA для Windows
Инструменты разработчика (экспертная проверка) Браузерное расширение Web Developer Браузерное расширение Web Developer Браузерное расширение Web Developer Браузерное расширение Web Developer
Примечания:
а Образовательная платформа Крымского федерального университета им. В.И. Вернадского на базе Moodle. 6 Ключевые слова: «free, basic life support, course, online», «free, BLS, course, online», «free, cardiopulmonary resuscitation, course, online», «free, CPR, course, online», «free, basic life support, training, online», «free, BLS, training, online», «free, cardiopulmonary resuscitation, training, online», «free, CPR, training, online».
в Ключевые слова: «basic life support», «BLS», «cardiopulmonary resuscitation», «CPR». г Автоматической проверке подверглись 30 МООК, экспертной — 28 МООК.
д При наличии нескольких веб-страниц указанных типов выбор веб-страницы для проверки осуществлялся произвольно. е Web Accessibility Checker: https://achecker.achecks.ca/checker/index.php (дата обращения: 09.03.2023). ж WAVE Web Accessibility Evaluation Tool: https://wave.webaim.org/ (дата обращения: 09.03.2023). з Contrast Checker: https://webaim.org/resources/contrastchecker/ (дата обращения: 09.03.2023). и «Определить цвета пикселя онлайн»: https://sanstv.ru/color (дата обращения: 09.03.2023).
Литература 1. Косова Е.А., Гапон А.С., Редкокош К.И. (2021) Исследование доступности электронных образовательных ресурсов на университетской платформе MOODLE. Информатика и образование, № 9, сс. 5-22. https://doi. org/10.32517/0234-0453-2021-36-9-5-22
2. Косова Е.А., Гапон А.С., Редкокош К.И. (2020) Доступность массовых открытых онлайн-курсов по компьютерным наукам и программированию для лиц с ограниченными возможностями здоровья. Открытое образование, т. 24, № 5, сс. 47-62. https://doi.org/10.21686/1818-4243-2020-5-47-62
3. Косова Е.А., Изетова М.Ю. (2020) Доступность массовых открытых он-лайн-курсов по математике для обучающихся с ограниченными возможностями здоровья. Вопросы образования /Educational Studies Moscow, № 1, сс. 205-229. https://doi.org/10.17323/1814-9545-2020-1-205-229
4. Косова Е.А., Халилова М.Ю. (2019) Анализ веб-доступности массовых открытых онлайн-курсов по математическим дисциплинам. Высшее образование в России, т. 28, № 10, сс. 157-166. https://doi.org/10.31992/0869-3617-2019-28-10-157-166
5. Acosta-Vargas P., González M., Luján-Mora S. (2020) Dataset for Evaluating the Accessibility of the Websites of Selected Latin American Universities. Data in Brief, vol. 28, Article no 105013. https://doi.org/10.1016Zj.dib.2019.105013
6. Akgül Y. (2018) Accessibility Evaluation of MOOCs Websites of Turkey. Journal of Life Economics, vol. 5, no 4, pp. 23-36. https://doi.org/10.15637/jlecon.259
7. Al-Mouh N., Al-Khalifa A., Al-Khalifa H. (2014) A First Look into MOOCs Accessibility: The Case of Coursera. Proceedings of the 14th International Conference "Computers Helping People with Special Needs" (Paris, France, July 9-11, 2014) (eds K. Miesenberger, D. Fels, D. Archambault, P. Peñáz, W. Zagler). Lecture Notes in Computer Science, vol. 8547, pp. 145-152.
8. Birkun A., Kosova Y. (2022) Limited Accessibility of Free Online Resuscitation Education for People with Disabilities. The American Journal of Emergency Medicine, vol. 56, June, pp. 100-103. https://doi.org/10.1016/j.ajem.2022.03.039
9. Bohnsack M., Puhl S. (2014) Accessibility of MOOCs. Proceedings of the 14th International Conference "Computers Helping People with Special Needs" (Paris, France, July 9-11, 2014) (eds K. Miesenberger, D. Fels, D. Archambault, P. Peñáz, W. Zagler). Lecture Notes in Computer Science, vol. 8547, pp. 141144. https://doi.org/10.1007/978-3-319-08596-8_21
10. Ferati M., Mripa N., Bunjaku R. (2016) Accessibility of MOOCs for Blind People in Developing Non-English Speaking Countries. Proceedings of the AHFE 2017 International Conference on Design for Inclusion (Los Angeles, CA, July 17-21, 2017) "Advances in Design for Inclusion" (eds G. Di Bucchianico, P. Kercher). Advances in Intelligent Systems and Computing, vol. 500, pp. 519-528. https:// doi.org/10.1007/978-3-319-41962-6_46
11. Gilligan J. (2020) Competencies for Educators in Delivering Digital Accessibility in Higher Education. Proceedings of the 14th International Conference on Universal Access in Human-Computer Interaction, UAHCI2020 (Copenhagen, Denmark, July 19-24, 2020) (eds M. Antona, C. Stephanidis). Lecture Notes in Computer Science, vol. 12189, part 2, pp. 184-199. https://doi.org/10.1007/978-3-030-49108-6_14
12. Iniesto F., McAndrew P., Minocha S., Coughlan T. (2019) Auditing the Accessibility of MOOCs: A Four-Component Approach. Proceedings of the 14th European Conference on Technology Enhanced Learning (Delft, The Netherlands, September 16-19, 2019) Transforming Learning with Meaningful Technologies. (eds M. Scheffel, J. Broisin, V. Pammer-Schindler, A. Ioannou, J. Schneider). Lecture Notes in Computer Science, vol. 11722, pp. 650-654. https://doi. org/10.1007/978-3-030-29736-7_59
13. Iniesto F., McAndrew P., Minocha Sh., Coughlan T. (2016) Accessibility of MOOCs: Understanding the Provider Perspective. Journal of Interactive Media in Education, vol. 1, Article no 20. https://dx.doi.org/10.5334/jime.430
14. Królak A., Zajqc P. (2022) Analysis of the Accessibility of Selected Massive Open Online Courses (MOOCs) for Users with Disabilities. Universal Access in the Information Society. https://doi.org/10.1007/s10209-022-00927-2
15. Lazar J. (2021) Managing Digital Accessibility at Universities during the COVID-19 Pandemic. Universal Access in the Information Society, vol. 21, no 1, pp. 749-465. https://doi.org/10.1007/s10209-021-00792-5
16. Meleo-Erwin Z., Kollia B., Fera J., Jahren A., Basch C. (2020) Online Support Information for Students with Disabilities in Colleges and Universities during the COVID-19 Pandemic. Disability and Health Journal, vol. 4, no 1, Article no 101013. https://doi.org/10.1016/j.dhjo.2020.101013
17. Mullin C., Gould R., Parker Harris S. (2021) ADA Research Brief: Digital Access for Students in Higher Education and the ADA. Chicago, IL: ADA National Network Knowledge Translation Center. Available at: https://adata.org/research_brief/ research-brief-digital-access-students-higher-education-and-ada (accessed 20 March 2023).
18. Park K., So H.-J., Cha H. (2019) Digital Equity and Accessible MOOCs: Accessibility Evaluations of Mobile MOOCs for Learners with Visual Impairments. Australasian Journal of Educational Technology, vol. 35, no 6, pp. 48-63. https:// doi.org/10.14742/ajet.5521
19. Ramírez-Vega A., Iniesto F., Rodrigo C. (2017) Raising Awareness of the Accessibility Challenges in Mathematics MOOCs. Proceedings of the 5th International Conference on Technological Ecosystems for Enhancing Multi-culturality (Cádiz, Spain, October 18-20, 2017), Article no 92. https://doi. org/10.1145/3144826.3145435
20. Rodríguez G., Perez J., Cueva S., Torres R. (2017) Accessibility and Usability OCW Data: The UTPL OCW. Data in Brief, vol. 13, iss. C, pp. 582-586. https:// doi.org/10.1016/j.dib.2017.06.007
21. Sanchez-Gordon S., Luján-Mora S. (2020) Design, Implementation and Evaluation of MOOCs to Improve Inclusion of Diverse Learners. Accessibility and Diversity in Education: Breakthroughs in Research and Practice (ed. Information Resources Management Association), IGI Global, pp. 52-79. https://doi. org/10.4018/978-1-7998-1213-5.ch004
22. Sanchez-Gordon S., Luján-Mora S. (2019) Implementing Accessibility in Massive Open Online Courses' Platforms for Teaching, Learning and Collaborating at Large Scale. eDemocracy & eGovernment. Stages of a Democratic Knowledge Society (ed. A. Meier), Cham: Springer, pp. 151-160. https://doi. org/10.1007/978-3-030-17585-6
23. Sanchez-Gordon S., Luján-Mora S. (2018) Research Challenges in Accessible MOOCs: A Systematic Literature Review 2008-2016. Universal Access in the Information Society, vol. 17, no 4, pp. 775-789. https://doi.org/10.1007/s10209-017-0531-2
24. UNESCO (2020) Education in a Post-COVID World: Nine Ideas for Public Action. Paris: UNESCO. Available at: https://en.unesco.org/sites/default/flles/ education_in_a_post-covid_world-nine_ideas_for_public_action.pdf (accessed 20 March 2023).
25. UNESCO Institute for Information Technologies in Education (2021) Understanding the Impact of COVID-19 on the Education of Persons with Disabilities: Challenges and Opportunities of Distance Education: Policy Brief. Paris: UNESCO. Available at: https://unesdoc.unesco.org/arlc/48223/pf0000378404 (accessed 20 March 2023).
References Acosta-Vargas P., González M., Luján-Mora S. (2020) Dataset for Evaluating the Accessibility of the Websites of Selected Latin American Universities. Data in Brief, vol. 28, Article no 105013. https://doi.org/10.1016Zj.dib.2019.105013 Akgül Y. (2018) Accessibility Evaluation of MOOCs Websites of Turkey. Journal of
Life Economics, vol. 5, no 4, pp. 23-36. https://doi.org/10.15637/jlecon.259 Al-Mouh N., Al-Khalifa A., Al-Khalifa H. (2014) A First Look into MOOCs Accessibility: The Case of Coursera. Proceedings of the 14th International Conference "Computers Helping People with Special Needs" (Paris, France, July 9-11, 2014) (eds K. Miesenberger, D. Fels, D. Archambault, P. Peñáz, W. Zagler). Lecture Notes in Computer Science, vol. 8547, pp. 145-152. Birkun A., Kosova Y. (2022). Limited Accessibility of Free Online Resuscitation Education for People with Disabilities. The American Journal of Emergency Medicine, vol. 56, June, pp. 100-103. https://doi.org/10.1016/j.ajem.2022.03.039 Bohnsack M., Puhl S. (2014) Accessibility of MOOCs. Proceedings of the 14th International Conference "Computers Helping People with Special Needs" (Paris, France, July 9-11, 2014) (eds K. Miesenberger, D. Fels, D. Archambault,
P. Peñáz, W. Zagler). Lecture Notes in Computer Science, vol. 8547, pp. 141144. https://doi.org/10.1007/978-3-319-08596-8_21 Ferati M., Mripa N., Bunjaku R. (2016) Accessibility of MOOCs for Blind People in Developing Non-English Speaking Countries. Proceedings of the AHFE 2017 International Conference on Design for Inclusion (Los Angeles, CA, July 17-21, 2017) "Advances in Design for Inclusion" (eds G. Di Bucchianico, P. Kercher). Advances in Intelligent Systems and Computing, vol. 500, pp. 519-528. https:// doi.org/10.1007/978-3-319-41962-6_46 Gilligan J. (2020) Competencies for Educators in Delivering Digital Accessibility in Higher Education. Proceedings of the 14th International Conference on Universal Access in Human-Computer Interaction, UAHCI2020 (Copenhagen, Denmark, July 19-24, 2020) (eds M. Antona, C. Stephanidis). Lecture Notes in Computer Science, vol. 12189, part 2, pp. 184-199. https://doi.org/10.1007/978-3-030-49108-6_14
Iniesto F., McAndrew P., Minocha S., Coughlan T. (2019) Auditing the Accessibility of MOOCs: A Four-Component Approach. Proceedings of the 14th European Conference on Technology Enhanced Learning (Delft, The Netherlands, September 16-19, 2019) Transforming Learning with Meaningful Technologies. (eds M. Scheffel, J. Broisin, V. Pammer-Schindler, A. Ioannou, J. Schneider). Lecture Notes in Computer Science, vol. 11722, pp. 650-654. https://doi. org/10.1007/978-3-030-29736-7_59 Iniesto F., McAndrew P., Minocha Sh., Coughlan T. (2016) Accessibility of MOOCs: Understanding the Provider Perspective. Journal of Interactive Media in Education, vol. 1, Article no 20. https://dx.doi.org/10.5334/jime.430 Kosova Y.A., Gapon A.S., Redkokosh K.I. (2021) Issledovanie dostupnosti elektron-nykh obrazovatel'nykh resursov na universitetskoy platforme MOODLE [Examination of the Electronic Educational Resources Accessibility on the University Moodle Platform]. Informatika i obrazovanie /Informatics and Education, no 9, pp. 5-22. https://doi.org/10.32517/0234-0453-2021-36-9-5-22 Kosova E.A., Gapon A.S., Redkokosh K.I. (2020) Dostupnost' massovykh otkrytykh onlajn-kursov po komp'yuternym naukam i programmirovaniyu dlya lits s ogranichennymi vozmozhnostyami zdorov'ya [Accessibility of Massive Open Online Courses in Computer Sciences and Programming for Persons with Disabilities]. Otkrytoe obrazovanie / Open Education, vol. 24, no 5, 47-62. https:// doi.org/10.21686/1818-4243-2020-5-47-62 Kosova Y., Izetova M. (2020). Dostupnost' massovykh otkrytykh onlajn-kursov po matematike dlya obuchayushchikhsya s ogranichennymi vozmozhnostyami zdorov'ya [Accessibility of Mathematics MOOCs to Learners with Disabilities]. Voprosy obrazovaniya / Educational Studies Moscow, no 1, pp. 20-229. https:// doi.org/10.17323/1814-9545-2020-1-205-229 Kosova Y., Khalilova M. (2019) Analiz veb-dostupnosti massovykh otkrytykh on-lajn-kursov po matematicheskim distsiplinam [Web Accessibility Analysis of Massive Open Online Courses in Mathematical Disciplines]. Vysshee Obrazovanie v Rossii / Higher Education in Russia, vol. 28, no 10, pp. 157-166. https:// doi.org/10.31992/0869-3617-2019-28-10-157-166 Królak A., Zajqc P. (2022) Analysis of the Accessibility of Selected Massive Open Online Courses (MOOCs) for Users with Disabilities. Universal Access in the Information Society. https://doi.org/10.1007/s10209-022-00927-2 Lazar J. (2021) Managing Digital Accessibility at Universities during the COVID-19 Pandemic. Universal Access in the Information Society, vol. 21, no 1, pp. 749465. https://doi.org/10.1007/s10209-021-00792-5 Meleo-Erwin Z., Kollia B., Fera J., Jahren A., Basch C. (2020) Online Support Information for Students with Disabilities in Colleges and Universities dur-
ing the COVID-19 Pandemic. Disability and Health Journal, vol. 4, no 1, Article no 101013. https://doi.org/10.1016/j.dhjo.2020.101013 Mullin C., Gould R., Parker Harris S. (2021) ADA Research Brief: Digital Access for Students in Higher Education and the ADA. Chicago, IL: ADA National Network Knowledge Translation Center. Available at: https://adata.org/research_brief/ research-brief-digital-access-students-higher-education-and-ada (accessed 20 March 2023).
Park K., So H.-J., Cha H. (2019) Digital Equity and Accessible MOOCs: Accessibility Evaluations of Mobile MOOCs for Learners with Visual Impairments. Australasian Journal of Educational Technology, vol. 35, no 6, pp. 48-63. https:// doi.org/10.14742/ajet.5521 Ramírez-Vega A., Iniesto F., Rodrigo C. (2017) Raising Awareness of the Accessibility Challenges in Mathematics MOOCs. Proceedings of the 5th International Conference on Technological Ecosystems for Enhancing Multiculturality (Cádiz, Spain, October 18-20, 2017), Article no 92. https://doi.org/10.1145/3144826.3145435 Rodríguez G., Perez J., Cueva S., Torres R. (2017) Accessibility and Usability OCW Data: The UTPL OCW. Data in Brief, vol. 13, iss. C, pp. 582-586. https://doi. org/10.1016/j.dib.2017.06.007 Sanchez-Gordon S., Luján-Mora S. (2020) Design, Implementation and Evaluation of MOOCs to Improve Inclusion of Diverse Learners. Accessibility and Diversity in Education: Breakthroughs in Research and Practice (ed. Information Resources Management Association), IGI Global, pp. 52-79. https://doi. org/10.4018/978-1-7998-1213-5.ch004 Sanchez-Gordon S., Luján-Mora S. (2019) Implementing Accessibility in Massive Open Online Courses' Platforms for Teaching, Learning and Collaborating at Large Scale. eDemocracy & eGovernment. Stages of a Democratic Knowledge Society (ed. A. Meier), Cham: Springer, pp. 151-160. https://doi.org/10.1007/978-3-030-17585-6
Sanchez-Gordon S., Luján-Mora S. (2018) Research Challenges in Accessible MOOCs: A Systematic Literature Review 2008-2016. Universal Access in the Information Society, vol. 17, no 4, pp. 775-789. https://doi.org/10.1007/s10209-017-0531-2
UNESCO (2020) Education in a Post-COVID World: Nine Ideas for Public Action. Paris: UNESCO. Available at: https://en.unesco.org/sites/default/flles/education_ in_a_post-covid_world-nine_ideas_for_public_action.pdf (accessed 20 March 2023).
UNESCO Institute for Information Technologies in Education (2021) Understanding the Impact of COVID-19 on the Education of Persons with Disabilities: Challenges and Opportunities of Distance Education: Policy Brief. Paris: UNESCO. Available at: https://unesdoc.unesco.org/arlc/48223/pf0000378404 (accessed 20 March 2023).
