CC BY-NC-ND
104
Об оценке цифровой грамотности : методология, концептуальная модель и инструмент измерения
Светлана Авдеева, Ксения Тарасова
Статья поступила в редакцию в марте 2023 г.
Авдеева Светлана Михайловна — кандидат технических наук, заместитель руководителя Центра мониторинга качества образования Института образования, Национальный исследовательский университет «Высшая школа экономики». Адрес: 101000, Москва, Потаповский пер., 16, стр. 10. E-mail: [email protected], ORCID: https://orcid.org/0000-0002-3599-5138 (контактное лицо для переписки)
Тарасова Ксения Вадимовна — кандидат педагогических наук, заместитель руководителя лаборатории измерения новых конструктов и дизайна тестов Центра психометрики и измерений в образовании Института образования, Национальный исследовательский университет «Высшая школа экономики». E-mail: [email protected], ORCID: https://orcid.org/0000-0002-3915-3165
Аннотация На основе анализа международных подходов к измерению цифровой грамотности и близких конструктов предложена концептуальная модель измерения цифровой грамотности как многокомпонентного латентного конструкта и разработан инструмент ее измерения с использованием аутентичных тестовых заданий сценарного типа с акцентом на продукт и процесс работы (задания типа performance-based).
Апробация инструмента измерения, предназначенного для школьников 7-8-х классов, с последующим психометрическим анализом полученных данных подтвердила качество разработанных инструментов, обоснованную надежность и валидность результатов измерения цифровой грамотности.
Ключевые слова цифровая грамотность, доказательный дизайн, система компьютерного тестирования, конструкт, аутентичные задания сценарного типа, модель измерения.
Для цитирования
Авдеева С.М., Тарасова К.В. (2023) Об оценке цифровой грамотности: методология, концептуальная модель и инструмент измерения. Вопросы образования / Educational Studies Moscow, № 2, сс. 8-32. https://doi.org/10.17323/1814-9545-2023-2-8-32
Digital Literacy Assessment: Methodology, Conceptual Model and Measurement Tool
Svetlana Avdeeva, Ksenia Tarasova
Svetlana M. Avdeeva — Candidate of Sciences in Technic, Head of the Laboratory for Measuring New Constructs and Test Design, Centre for Psychometrics and Measurement in Education, Institute of Education, National Research University Higher School of Economics; Deputy Executive Director, National Training Foundation. Address: Bld. 10, 16 Potapovsky Ln, 101000 Moscow, Russian Federation. E-mail: [email protected], ORCID: https://orcid.org/0000-0002-3599-5138 (corresponding author)
Ksenia V. Tarasova — Candidate of Sciences in Education, Deputy Head of the Laboratory for Measuring New Constructs and Test Design, Centre for Psycho-metrics and Measurement in Education, National Research University Higher School of Economics. E-mail: [email protected], ORCID: https://orcid.org/0000-0002-3915-3165
Abstract The development of new technologies, the extensive implementation of digital devices in all spheres of society contributed to the appearance of a new type of human literacy — digital literacy. Today, it ranks alongside other basic literacies such as numeracy, writing, and reading. Digital literacy has become an indicator to the new conditions of life, involving the use of digital technologies in education, family and professional activities; to some extent, it has become an indicator of the socialization of a modern person.
Based on the analysis of international approaches to the assessment of digital literacy and related constructs, a conceptual model of its measurement is proposed, in which digital literacy is considered as a complex latent construct.
The process of developing digital literacy assessment tools based on the Principled Assessment Design paradigm and the Evidence-Centered Design method is presented.
An analysis of the results of digital literacy studies of students in grades 7-8 made it possible to confirm the quality of the developed tools for measuring digital literacy based on authentic performance-based tasks, to confirm the reliability and validity of the results of its measurement.
Keywords digital literacy, evidence-centered design, computer testing system, construct, authentic performance-based tasks, measurement model.
For citing Avdeeva S.M., Tarasova K.V. (2023) Ob otsenke tsifrovoy gramotnosti: metodologi-ya, kontseptual'naya model' i instrument izmereniya [Digital Literacy Assessment: Methodology, Conceptual Model and Measurement Tool]. Voprosy obrazo-vaniya /Educational Studies Moscow, no 2, pp. 8-32. https://doi.org/10.17323/1814-9545-2023-2-8-32
Широкое распространение цифровых технологий в повседневной жизни перестраивает взаимодействие человека со средой — меняются способы доступа к различным услугам, информации и знаниям, появляется возможность выбирать для этого доступа разные каналы: социальные сети, онлайн-серви-сы, покупки в интернете, просмотр видеоконтента и т.д. Цифро-
вые навыки становятся необходимыми для всех категорий населения. Они позволяют повысить эффективность и сократить время решения задач в цифровом мире, делают жизнь человека более комфортной и открывают возможности для личного и профессионального развития.
Необходимость измерения цифровой грамотности (ЦГ) отмечается в документах ЮНЕСКО, при этом подчеркивается важность создания инструментов ее оценки для мониторинга в рамках Глобальной рамки измерения цифровой грамотности (Digital Literacy Global Framework) [UNESCO, 2018; 2019]. Для разработки инструментов оценки ЦГ с доказанным качеством измерения, т.е. с обоснованными надежностью и валидностью результатов, необходима в первую очередь концептуальная модель, которую можно операционализировать — сделать пригодной для построения на ее основе инструмента измерения.
Общепринятое универсальное определение цифровой грамотности до сих пор не сформулировано. При этом исследователи отмечают, что ЦГ — это не только уверенное использование программного обеспечения или владение тем или иным цифровым устройством, она включает когнитивные, социальные навыки, требующиеся для эффективного и полноценного функционирования в цифровом пространстве [Eshet-Alkalai, 2012]. Эти навыки необходимы для использования цифровых инструментов в общении, самовыражении и социальной активности в различных жизненных ситуациях [Goodfellow, 2011].
С точки зрения социокультурной теории ЦГ представляет собой совокупность социальных практик и концепций участия в создании смысла, опосредованном текстами. Эти практики и концепции производятся, принимаются, распространяются, обмениваются и т.д. [Gee, Hull, Lankshear, 2018]. Исследователи все чаще помещают практики грамотности в социокультурные контексты [Street, 2003; Moje, 2009; Gee, 2015]. В цифровой среде понимание текста расширяется и обогащается за счет различных его типов: блоги, видеоигры, текстовые сообщения, страницы социальных сетей онлайн, дискуссионные форумы, интернет-мемы, часто задаваемые вопросы, результаты он-лайн-поиска и т.д. [Haas, Tussey, 2021]. Таким образом, ЦГ может принимать разные формы в соответствии с многочисленными и разнообразными социальными практиками, в рамках которых граждане получают возможность понимать, передавать и использовать информацию в цифровых средах, и представляет собой совокупность паттернов мышления, поведения и реакций. Цифровая грамотность надпредметна и универсальна, т.е. ее проявление не ограничивается набором определенных дисциплин и одной сферой деятельности.
Цифровая грамотность — сложный для измерения конструкт, поскольку она не исчерпывается способностью использовать цифровые технологии для работы с информацией, а включает также знания об информационной безопасности и навыки ее обеспечения, определенные этические нормы, способность работать с нелинейным и динамичным материалом, фильтровать большой объем информации и т.д. Кроме этого, ЦГ связана с навыками критического мышления, коммуникации, сотрудничества. Не в последнюю очередь она зависит от сформированности технических приемов работы с определенными инструментами, например браузером, почтовым клиентом. Поэтому ЦГ невозможно измерить традиционными тестами компьютерной грамотности, которые оценивают прежде всего технические навыки работы с компьютером.
Исследователи рекомендуют оценивать ЦГ при помощи заданий сценарного типа (complex performance tasks, ^mputerized performance based assessment) [Messick, 1994; Almond et al., 2014; De Klerk, Veldkamp, Eggen, 2015; UNESCO, 2019], в которых описаны непрерывные действия, происходящие во времени, точно так же, как они происходят в реальной жизни, а не отдельные составляющие этих действий. Оценивание целесообразно строить на основе одного из методов обоснованного дизайна — метода доказательной аргументации (evidence centered design, ECD) [Mislevy, Almond, Lukas, 2003]. Применительно к особенностям измеряемого комплексного латентного конструкта — цифровой грамотности — данный метод имеет следующие преимущества:
• позволяет создать единую концептуальную модель измерения ЦГ для разных целевых аудиторий, в которой можно проследить связь между тестируемым и измеряемым конструктом;
• дает возможность легко обновлять интерфейс, т.е. в условиях быстрого развития цифровых технологий позволяет поддерживать актуальность инструмента;
• предусматривает обработку результатов с помощью алгоритмов машинного обучения, что позволяет моделировать конструкт, получать свидетельства его валидности и обеспечивать автоматическую обратную связь.
1. Методология измерения цифровой грамотности
Цифровая грамотность — комплексный латентный конструкт, измерять который предлагается на основе парадигмы обоснованного дизайна (principled assessment design) [Marion, Landl, 2017].
Парадигма обоснованного дизайна возникла в начале XXI в., когда стало понятно, что традиционные подходы к оцениванию не справляются с задачами, для которых оно используется в со-
временном образовании: с измерением комплексных компетенций, с созданием высококачественных инструментов оценивания и т.д. Элементы, фрагментарно использовавшиеся при оценивании ранее, обоснованный дизайн интегрирует в единый и последовательный метод, результатом применения которого становится валидный аргумент — логическая структура, состоящая, в самом базовом виде, из заявления или утверждения об оцениваемом, имеющихся в распоряжении исследователя данных и связи, которая обосновывает логический переход от данных к заявлению [Toulmin, 2003]. В 2001 г. Д. Пеллегрино и коллеги, опираясь на работы Р. Мислеви [Mislevy, 1994], формализовали процесс обоснованного дизайна при создании инструментов оценивания в виде простой схемы — так называемого треугольника Пеллегрино [Glaser, Chudowsky, Pellegrino, 2001]. Согласно этой схеме в основе любого инструмента оценивания лежат три связанных и обязательных компонента:
• определение измеряемого конструкта — то, что мы хотим измерить;
• наблюдение — набор представлений о том, в каких ситуациях и при выполнении каких действий можно сформировать доказательства для точного и корректного заявления об измеряемом конструкте;
• интерпретация — процесс, объясняющий, как доказательства, полученные в предыдущем компоненте «наблюдение», связаны с измеряемым конструктом и с заявлением об оцениваемом, которое мы собираемся сделать.
Таким образом, все три компонента, соединенные вместе, — информация о том, как тестируемый проявляет определенные характеристики или компетенции, которые являются целью оценивания (измеряемый конструкт), способы его оценки через набор доказательств и выводы, которые формулируются на основе интерпретации полученных данных, — позволяют выстроить валидный аргумент об уровне измеряемого конструкта у тестируемого.
Заявленным принципам удовлетворяют несколько используемых в современном тестировании методов создания инструментов оценивания [Ferrara, Lai, Nichols, 2016], но наиболее известный и широко применяемый из них — метод доказательной аргументации (evidence-centered design, ECD) [Mislevy, Haer-tel, 2006; Zieky, 2013]. Этот метод лег в основу инструмента оценки цифровой грамотности, поэтому ниже мы рассмотрим его основные принципы.
Метод доказательной аргументации основан на системе последовательных рассуждений и строго следует заданной ло-
гике. Цепь рассуждений начинается от неизбежно ограниченных и несовершенных данных, получаемых при наблюдении за тем, что оцениваемый делает, выполняя предложенные тестовые задания, и поднимается к обобщению о том, что оцениваемый может делать в реальной жизни. Такой подход дает уверенность в том, что собираемые посредством инструмента оценивания доказательства и их последующая интерпретация опираются на научное знание и удовлетворяют заявленным целям оценивания.
Структура метода доказательной аргументации связывает все элементы и процессы, происходящие при создании инструмента измерения от начала до конца: когнитивные теории, формирование и использование цифровой грамотности для решения реальных жизненных задач, набор доказательств, которые подтверждают правильность их решения, и цифровые среды и инструменты, которые используются для извлечения и анализа доказательств.
Полная структура метода доказательной аргументации включает пять разных, но связанных видов деятельности (пластов):
• анализ области измеряемого конструкта (domain analysis);
• моделирование области измеряемого конструкта (domain modeling);
• концептуальная рамка (структура) оценивания (conceptual assessment framework);
• реализация инструмента оценивания (assessment implementation);
• применение (инструмента) оценивания (assessment delivery).
При этом метод доказательной аргументации предоставляет специальные средства, служащие цели построения валидного аргумента, для каждого из вышеперечисленных пластов работы над инструментом оценивания. В итоге инструмент и результаты, получаемые при его использовании, представляют собой единое целое и отвечают на вопросы, что оценивается, как, зачем и на каких основаниях, на протяжении всего времени использования инструмента.
2. Концепту- Автором первой модели ЦГ является П. Гилстер, который от-
альная модель измерения цифровой грамотности
мечал: «Концепция грамотности выходит за рамки простого умения читать; это всегда было умением читать со смыслом и понимать. Это фундаментальный акт познания» [Gilster, 1997. Р. 276]. Цифровую грамотность он определил как «умение понимать и использовать информацию, предоставленную во мно-
жестве разнообразных форматов и в широком круге источников с помощью компьютеров» [Gilster, 1997. P. 276]. Новая среда порождает новые стратегии поиска информации, создания контента, коммуникации, что приводит к формированию определенного типа мышления — сетевого мышления, характеризующегося высокой степенью информационно-коммуникационной активности. Среди критериев цифровой грамотности П. Гилстер выделил: медиаграмотность; навыки поиска нужной информации и инструментов работы с ней, умение быстро освоить эти инструменты (информационная грамотность); навыки общения с другими пользователями (коммуникативная компетентность); навыки производства информации в ее разнообразных формах и форматах (креативная компетентность).
В вышедшем в 2013 г. системном обзоре материалов, полученных в рамках аналитических исследований, которые были выполнены международными экспертами Института ЮНЕСКО по информационным технологиям в образовании, ЦГ представлена как многокомпонентный конструкт, в состав которого входят компьютерная грамотность, ИКТ-грамотность и информационная грамотность. В 2018 г. рамка цифровой грамотности ЮНЕСКО была конкретизирована, теперь ЦГ определяется как способность получать доступ к информации, управлять, понимать, интегрировать, передавать, оценивать и создавать информацию, безопасно и надлежащим образом используя цифровые технологии, для обеспечения занятости, достойной работы и предпринимательства [UNESCO, 2018].
Объединенный исследовательский центр (Joint Research Centre, JRC) Европейской комиссии в 2005 г. запустил проект «Обучение и навыки для цифровой эры» (Learning and Skills for the Digital Era). При реализации проекта проведено более 20 крупных исследований и вышли в свет более 100 научных публикаций. В результате в 2013 г. была предложена Европейская рамка цифровой грамотности DigComp [Ferrari, 2013]. Она прошла несколько этапов развития и операционализации, отраженных в публикациях 2013, 2016, 2017 и 2022 гг., и в настоящее время рекомендуется Еврокомиссией в качестве стандарта ЦГ для граждан ЕС. Последняя модификация рамки DigComp предложена в 2022 г. [Vuorikari, Kluzer, Punie, 2022], ее разработка сопровождалась экспертными панелями специалистов разных отраслей науки и открытым процессом валидизации, проводившимся как в формате онлайн, так и через интерактивные воркшопы при посредничестве МОТ, ЮНЕСКО, ЮНИСЕФ и Всемирного банка. Важнейшим дополнением к рамке стали четко сформулированные специфические знания, навыки и установки, призванные помочь гражданам в адаптации к цифровой среде и в работе на прорывных направлениях цифровизации,
таких как развитие искусственного интеллекта, виртуальная и дополненная реальность, роботизация, интернет вещей.
Таким образом, в рамках анализа области измеряемого конструкта (domain analysis) рассмотрены подходы к формированию и оцениванию цифровой грамотности и цифровых компетенций в 8 международных рамках: ЮНЕСКО [UNESCO, 2018], Institute of Electrical and Electronics Engineers [IEEE, 2020], DigComp 20132022 [Ferrari, 2013; Carretero, Vuorikari, Punie, 2017. P. 48; Vuorikari, Kluzer, Punie, 2022], G20-2017 [Chetty, Liu, Gcora et al., 2018], Digital Intelligence — DQ-20151, Digital Transformation for ICT Literacy (ETS, 2002)2, International Telecommunication Union3, International Computer and Information Literacy Study — ICILS-2018 [Fraillon et al., 2019], а также более 40 инструментов оценки цифровой грамотности и близких конструктов, используемых на национальном и международном уровнях. На основании этого анализа ЦГ определяется как комплексный латентный конструкт, в состав которого входит ряд навыков, необходимых для работы в цифровой среде:
• навыки работы с информацией: поиск, анализ, оценка, интеграция, создание;
• навыки работы с компьютером и способность использовать различные цифровые технологии для решения задач;
• способность выстраивать последовательность действий для решения задач и понимать, какие цифровые инструменты и среды лучше использовать на конкретном этапе решения задачи в цифровой среде;
• навыки коммуникации: общение, передача информации, адаптация контента в цифровой среде, соблюдение этических норм общения;
• навыки в области безопасности: защита устройств, контента, личных и конфиденциальных данных в цифровой среде.
По результатам моделирования области конструкта (domain modeling) предложено следующее определение: ЦГ — это способность безопасно для себя и других использовать цифровые технологии для поиска, анализа, создания, управления информацией, коммуникации и коллективной работы с целью решения задач в цифровой среде для удовлетворения личных и образовательных потребностей.
Фрагмент результата моделирования, иллюстрирующий взаимосвязь измеряемого конструкта ЦГ, его субконструктов и их потенциального проявления в тестовой среде, представлен на рис. 1.
1 https://www.dqinstitute.org/global-standards/#contentblock1
2 https://www.ets.org/research/policy_research_reports/publications/re-port/2002/cjik
3 https://www.itu.int/en/ITU-D/Statistics/Pages/publications/misr2018.aspx
Рис. 1. Фрагмент моделирования предметной области конструкта ЦГ
ЦИФРОВАЯ ГРАМОТНОСТЬ
m ттг ттт
т ттг
Стратегия
В ситуации недостаточности информации начать ее поиск
В ситуации необходимости совместной работы организовать участников
Тактика
Инициирование поиска в интернете
Поиск релевантной информации
ООО ООО ООО
Организация совместной работы
Организация коммуникации
Предпо- Форму- Уточняет
лагаемое лирует поис-
поведение поисковый ковый
запрос запрос
Выбирает ресурсы с релевантной информацией
Использует возможности цифровых технологий для совместного создания контента
Использует цифровые сервисы и технологии для коммуникаций
Результаты деятельности
Ключевые слова
Ключевые слова в последующих запросах
Выбор в поисковой выдаче ресурса, предоставляющего релевантную информацию
ООО ООО
Выбранные инструменты и технологии подходят для создания контента при командной работе
Выбранный сервис позволяет осуществить коммуникации в соответствии с заданными критериями
Для организации оценивания ЦГ и ее составляющих ввиду их комплексного характера требуется привлекать концепции из разных сфер познания, и в первую очередь необходимо детально и конкретно определить, что же мы хотим измерить. Поэтому следующим этапом построения оценочного инструмента стала разработка концептуальной рамки (структуры) оценивания (conceptual assessment framework) для измерения ЦГ [Ferrara, Lai, Nichols, 2016]. При этом мы исходили из того, что концептуальная рамка (КР):
• должна быть применима при разработке инструментов измерения для разных целей и разных целевых групп;
• должна позволять рассматривать ЦГ как набор навыков и способностей, т.е. должна учитывать, что ЦГ «может прогрессировать в результате развития и обучения, она социально обусловлена, ее использование приносит практическую пользу» [Green, 2011];
• должна быть основана на определении ЦГ, которое дает возможность проводить оценку с использованием симуляторов разнообразных цифровых сред, инструментов и сервисов.
При разработке КР описываются четыре модели: модель конструкта (student model), модель задания (task model), модель сбора доказательств (evidence model) и модель сборки инструмента (assembly model). Таким образом, КР связывает результаты анализа и моделирования с конкретными прикладными процессами, которые выполняются при разработке и применении инструмента измерения ЦГ [Mislevy et al., 2012]. Поэтому проводимые при разработке КР действия направлены на идентификацию, извлечение и аккумуляцию доказательств, которые удовлетворяют целям оценивания ЦГ с необходимой степенью детализации [Mislevy, Almond, Lukas, 2003].
Результатом является операциональный проект инструмента оценивания ЦГ, содержащий технические детали, необходимые для его реализации и применения, такие как спецификации, операционные требования, статистические модели, детализированные рубрики и т.д. [Mislevy et al., 2012. P. 15].
2.1. Модель При моделировании области (domain modeling) была разрабо-конструкта тана обобщенная модель ЦГ. На этапе разработки модели кон-цифр°в°й структа она конкретизировалась с учетом целей и типа оцени-грамотности вания, а также целевой группы, например учащихся основной школы (7-8-й класс). Данная целевая группа характеризуется хорошей базовой технической грамотностью, и выполнение тестовых заданий сценарного типа с реальным или академическим контекстом повышает их мотивацию к выполнению теста.
Далее приведены связанные субконструкты, которые, в свою очередь, операционализируются через их составляющие и соответствующие наборы доказательств, — именно так, согласно определению, может быть представлена ЦГ.
1. Информационная грамотность (работа с информацией в цифровой среде) — ключевые компетенции обработки информации (поиск, анализ, создание и управление), необходимые для работы с информацией и решения задач в цифровой среде.
1.1. Поиск данных, информации и цифрового контента — способность определить информационную потребность, выполнять поиск информации, получать доступ к ней и осущест-
влять навигацию с учетом стратегий поиска информации в цифровой среде.
1.2. Анализ данных, информации и цифрового контента — способность анализировать, интерпретировать и критически оценивать данные, информацию и цифровой контент с учетом доступных сведений об авторитетности, надежности и достоверности источника.
1.3. Создание информации и цифрового контента — способность перерабатывать и преобразовывать информацию из разных источников в единый оригинальный информационный продукт.
1.4. Управление информацией, данными и цифровым контентом — способность классифицировать, организовывать и хранить информацию для быстрого нахождения и оптимального использования при решении задач.
2. Вычислительная грамотность (основы вычислительного мышления) — способность понимать, переформулировать и генерировать информацию с целью разработки, реализации и оптимизации последовательности действий (алгоритмов) для решения задачи.
2.1. Выполнение алгоритма — способность выполнить предложенную последовательность действий (алгоритм) решения практической задачи.
2.2. Разработка алгоритма (формирование последовательности действий) — способность составить последовательность действий для решения задачи.
2.3. Анализ предложенного и/или разработанного алгоритма и его оптимизация для решения поставленной задачи.
3. Коммуникационная грамотность — навыки взаимодействия и передачи информации в цифровой среде с соблюдением норм и правил сетевого этикета.
3.1. Цифровое взаимодействие — навыки передачи информации и использования средств коммуникации в цифровой среде.
3.2. Цифровой этикет — способность соблюдать правила коммуникативной культуры в условиях современного цифрового мира.
4. Цифровая безопасность — соблюдение практик безопасной работы в цифровой среде.
4.1. Защита устройств и персональных данных — способность обеспечивать защиту своим устройствам и данным.
4.2. Идентификация рисков — способность обнаруживать угрозы своим устройствам и данным в цифровой среде.
4.3. Защита здоровья и благополучия — способность избегать и/или ограничивать риски в цифровой среде и соблюдать конфиденциальность (управление рисками и проблемным контентом с соблюдением конфиденциальности).
5. Техническая грамотность (базовые навыки использования цифровых технологий) — набор общих знаний и умений по использованию цифровых устройств, приложений, сервисов, инструментов вне зависимости от платформы или интерфейса для решения поставленной задачи.
5.1. Работа с устройствами — основные навыки по работе с цифровыми устройствами.
5.2. Работа с программным обеспечением — основные навыки по работе с программным обеспечением (инструментами, приложениями, облачными сервисами и т.п.).
5.3. Работа в Сети — основные навыки работы в интернете.
2.2. Модель Модель задания (task model) описывает непрерывные действия, задания которые происходят во времени, как и события в реальной жизни [De Klerk, Veldkamp, Eggen, 2015]. Она обеспечивает основу для конструирования среды оценивания, которая даст возможность тестируемым проявить навыки, отраженные в модели конструкта ЦГ. В ходе взаимодействия учащихся с проблемными ситуациями появляется возможность наблюдать действия, которые они предприняли для решения. Таким образом, наблюдаемые действия в тестировании становятся доказательствами их способности думать и действовать в таких ситуациях в реальной жизни. Модель задания также определяет группу ситуаций, которые вызовут желаемое наблюдаемое поведение или наблюдаемый продукт, — паттерны (pattern-design). Они в нарративной форме представляют шаблоны для создания заданий с учетом измеряемых навыков и особенностей ситуаций, в которых они могут проявляться.
Модель задания включает следующие компоненты [Zieky, 2013]:
• подробно описанные свидетельства для оценки, детализированные до нужной степени;
• указание типа стимульного материала. Все субконструкты ЦГ предполагают сложное поведение, поэтому для его наблюдения наиболее подходящим будет сценарный тип задания, при котором в аутентичной симуляционной среде респондент решает разнообразные задачи;
• описание элементов или технических характеристик, которые должны присутствовать в задании для стимуляции проявления необходимых навыков, т.е. чтобы респондент мог совершить те действия, которые предполагается наблюдать, и получить потенциальный результат деятельности (work products);
• описание элементов задания, которые можно варьировать, чтобы менять уровень сложности заданий, например вари-
ативный компонент задания «количество источников информации» (чем их больше, тем задание труднее); • выделение важных факторов, которые наряду с непосредственно оцениваемыми навыками также могут повлиять на измерение в контексте конструируемой среды, например знания по школьным предметам.
Для инструмента измерения ЦГ модель задания включает реальную жизненную ситуацию с повествовательным контекстом (аутентичную), призванным вовлечь ученика в выполнение задачи и придать этой задаче достоверность. Поскольку реальные задачи в цифровых средах обычно комплексные и предполагают использование совокупности навыков, модель тестового задания также конструируется для измерения нескольких субконструктов ЦГ.
Контекст заданий максимально приближен к повседневной жизни респондента и связан с решением задач в цифровой среде. Задачи могут решаться разными способами, но в результате должен быть получен какой-то конечный продукт или решена какая-то проблема (performance based assessment): собрана необходимая информация из интернета для предстоящей экскурсии, создан информационный плакат, оказана помощь в организации школьного мероприятия с помощью социальных сетей, установлено необходимое программное обеспечение и т.д. При этом респондент использует широкий спектр смоделированных симуляций цифровых инструментов.
В модели задания также учитывается, что согласно принципу конвергенции каждый шаг, выполняемый участниками тестирования, не зависит от предыдущего [He et al., 2017]. Это необходимое условие недопущения ситуаций, в которых один ответ статистически зависит от другого ответа — а значит, возникает функциональная зависимость между наблюдаемыми переменными (доказательствами) в дальнейшем.
Чтобы уменьшить дисперсию в результатах теста, не зависящую от структуры, сценарии разрабатываются таким образом, чтобы для решения задачи не требовались специальных знаний, в том числе предметных, или любой другой фоновой информации. С этой же целью не используется контекст, который определенной группе респондентов может быть более знаком, чем остальным (например, касающийся традиционно мужских или традиционно женских занятий, привязанный к месту проживания той или иной группы респондентов).
2.3. Модель сбора доказательств
Модель сбора доказательств (evidence model) отвечает за идентификацию и аккумуляцию доказательств. Так как ЦГ — комплексный конструкт, а его оценка происходит при помощи
аутентичных заданий сценарного типа, реализуемых на компьютере, идентификация доказательств происходит с большой степенью детализации: наблюдаемые переменные (доказательства) «мелкие» и распределены по трем уровням: высокий, средний, низкий.
При построении модели учитывались: 1) характеристики поведения или продукта, которые влияют на оценку; 2) важные различия между «правильным» поведением или продуктом и «неправильным» поведением или продуктом; 3) легкость или трудность наблюдения важных различий; 4) аспекты поведения или продукта, которые будут наиболее релевантными или нерелевантными; 5) общие правила подсчета баллов (скоринг) или рубрики для заданий с развернутым ответом.
Таким образом, модель сбора доказательств предоставляет инструкции для интерпретации действий тестируемого и результатов оценивания и включает описания продуктов деятельности, правил доказательства и статистической модели [Mislevy et al., 2012]. В описании продуктов деятельности (work products) представлены результаты действий или объекты, которые тестируемый произведет в ходе оценки и которые позволят сделать желаемое заявление. Правила доказательства (evidence rules) предусматривают, что каждый продукт будет содержать некоторое количество наблюдаемых переменных, которым приписаны определенные значения (фрагмент модели идентификации доказательств для конструкта ЦГ приведен в табл. 1). Идентифицировать и оценивать эти переменные следует согласно правилам доказательства. Правила служат двум целям: они позволяют оценить и обновить представления о составляющих модели конструкта «цифровая грамотность», а также дают информацию, которая будет использована для предоставления тестируемому обратной связи по результатам выполнения отдельных заданий. На этом этапе разработки определяется в том числе шкала оценивания — политомическая или дихотомическая. Для конструкта ЦГ нами выбрана политомическая шкала. Статистическая модель (measurement model) — компонент модели сбора доказательств, который отвечает за аккумуляцию доказательств. Она связывает переменные, которые были включены в модель конструкта, с получаемыми наблюдаемыми переменными (доказательствами). Выбор метода статистического анализа данных — один из ключевых этапов разработки теста, он зависит от целей оценивания и типа создаваемого инструмента. При выборе метода необходимо учитывать:
• тип индикаторов (для дихотомических можно использовать классический конфирматорный факторный анализ или модель Раша современной теории тестирования (Item Response
Theory, IRT), для политомических потребуются специальные модели, например Graded Response Model в IRT или категориальный случай для конфирматорного факторного анализа);
• структуру конструкта (одномерный или многомерный);
• цели инструмента и вид обратной связи (в непрерывных моделях результатом оценки является положение респондента на непрерывной интервальной шкале, которую можно перевести в другую шкалу, например 100-балльную, в дискретных — уровень респондента, например высокий, средний, низкий; байесовские сети позволяют моделировать любой уровень сложности структуры, поэтому они особенно хорошо подходят для обработки результатов теста, основанного на методе доказательной аргументации, и определяют вероятность для респондента принадлежать к каждому из уровней).
Таблица 1. Фрагмент модели идентификации доказательств для конструкта ЦГ
Субкомпонент Кодировка задания Название индикатора Кодировка индикатора Уровень Описание уровня
2.3. Создание информации 1TLDCDSILC Содержание созданного продукта учитывает конкретную информаци- ILC4_1 Высокий Открывает и просматривает фото в папке «Театральные фото» ДО появления поп-апа от Глаши с советом = 2
онную потребность (подбирает контент для информационного продукта в соответствии с Средний Открывает и просматривает фото в папке «Театральные фото» ПОСЛЕ появления поп-апа от Глаши с советом = 1
поставленной задачей) Низкий Не открывает и не просматривает фото в папке «Театральные фото» и размещает одно из них, ориентируясь только на превью = 0
Рассмотрим пример реализации модели сбора доказательств. Тестируемый должен оценить надежность источника информации. Для подготовки доклада ему предлагается информация из нескольких источников: они различаются по степени надежности, а также по достоверности и релевантности представленных в них сведений. Ожидаемые результаты: какую информацию тестируемый использует в качестве основы для доклада; опре-
делит ли он, что ресурс является достаточно надежным, чтобы информацию из него можно было использовать для решения задачи. Индикатор фиксирует все предложения, которые тестируемый скопирует из разных источников и вставит в текстовый файл, в котором выполняет работу.
Максимальный балл начисляется, если тестируемый выбирает информацию для доклада из надежного источника. В приведенном примере, если он использует материал из энциклопедии, то это действие рассматривается как индикатор высокого уровня компонента «1.2. Анализ информации», входящего в субконструкт «Информационная грамотность».
Рис. 2. Применение методологии доказательной аргументации для измерения ЦГ
Дизайн ситуации, в которой возможно продемонстрировать компетенции, отраженные в модели конструкта
Модель конструкта (Student Model)
ЧТО ИЗМЕРЯЕМ?
Определяются компетенции респондета, которые являются целью оценивания. ЦГ - многомерный дискретный конструкт, 5 составляющих
Модель доказательств (Evidence Model)
Правила оценки
КАК ИЗМЕРЯЕМ?
Каким образом каждый из ожидаемых результатов связан с уровнем выраженности конструкта, шкала. Что мы можем узнать о компетенциях, наблюдая за деятельностью?
Модель задания (Task Model)
Ты участвуешь в конкурсе школьных проектов по экологии. Тебе необходимо найти инфо-графику о том, как растения влияют на жизнь людей и животных
Твои задачи
1. В интернете найди инфо-
графику для проекта «Роль растений в природе и жизни человека»
Нажмите, чтобы выбрать поисковый запрос
2. Выбери места сохранения инфографики
с учетом того, что тебе предстоит защищать проект в классе и выводить инфо-графику в общий экран
ГДЕ ИЗМЕРЯЕМ?
Тип задания, проблемная ситуация, стимульный материал, ожидаемые результаты, наблюдаемое поведение
Измерение компетенций на основе собранных доказательств
Модель конструкта, модель задания и модель сбора доказательств создают в совокупности дизайн ситуации, в которой тестируемый может показать компетенции, отраженные в модели конструкта (см. рис. 2).
2.4. Модель Модель сборки (assembly model) описывает, как будет выгля-сборки деть инструмент в целом, и представляет собой расширенную версию спецификации [Behrens et al., 2010]. Она содержит информацию о том, сколько и каких тестовых заданий требуется, каковы критерии отбора этих заданий, какие утверждения мы можем сделать по результатам выполнения каждого задания, содержащегося в инструменте. Модель сборки представляет также необходимую информацию для формирования параллельных форм теста. Как правило, она включает ряд характеристик инструмента оценивания, таких как:
• средняя сложность и/или комплексность варианта теста;
• средняя дискриминативность;
• распределение заданий по сложности и/или комплексности;
• желаемая надежность получаемых баллов;
• время, отведенное на оценивание.
Чтобы сделать связи между утверждениями, доказательствами и заданиями явными, в модели сборки указываются измеряемые субконструкты (и/или их составляющие) и утверждения, для которых задание обеспечивает конкретное доказательство.
Таким образом, в модели сборки учитывается, что в результате тестирования (выполнения респондентом аутентичных заданий в цифровой среде) должно быть сформулировано утверждение о том, что тестируемые должны знать и уметь. Утверждения — это средство сообщить, что означают оценочные баллы. У каждого утверждения есть обоснование, на котором оно основывается при оценке уровня цифровой грамотности (рис. 3).
Рис. 3. Процесс формирования утверждения об уровне цифровой грамотности
Индикатор/ Задание
Свидетельство/ Доказательство
Цель
Утверждение
Уровень ЦГ
На этапе сборки учитываются все элементы, который были описаны и структурированы в рамках модели конструкта, модели
задания и модели сбора доказательств. После этого в процессе реализации инструмента оценивания (assessment implementation) разрабатываются собственно тестовые задания для оценивания ЦГ. Модель сборки целенаправленно создавалась для компьютерного инструмента оценивания, реализуемого на базе многошаговых аутентичных заданий, и предусматривает ограничение по времени прохождения всего тестирования — 60 минут. Уровень трудности заданий должен обеспечивать возможность дифференцировать респондентов по определенным экспертной панелью уровням ЦГ. Формат обратной связи, который предполагает сообщение информации по каждому субконструкту, обусловил соблюдение принципа равнозначного покрытия доказательствами всех пяти составляющих концептуальной рамки ЦГ.
3. Инструмент При разработке инструмента измерения учитывалось, что ин-измерения терпретация результатов измерения, статистические характеристики инструмента, контент, который «покрывается» инструментом, утверждения, которые делаются на основе результатов оценивания, — все эти параметры поддерживаются доказательствами, полученными из разных источников, и должны быть собраны в единый аргумент.
На основании созданной концептуальной рамки разработаны инструменты для измерения ЦГ у учащихся 7-го и 8-го классов основной школы и базовой ЦГ взрослого трудоспособного населения. В данной статье далее приведены примеры измерения ЦГ у учащихся.
В тестовых заданиях моделируются ситуации (контекст заданий), стимулирующие тестируемого из целевой группы к совершению наблюдаемых действий, явно свидетельствующих об уровне сформированности ЦГ. Эти ситуации максимально приближены к повседневной жизни и представлены в форме сценариев с использованием симуляторов разнообразных цифровых инструментов и сервисов. Так, для учащихся основами сюжетных линий стали сбор информации для предстоящей школьной экскурсии, разработка информационного продукта для определенной целевой аудитории, организация школьного мероприятия и выполнение домашнего задания в среде программирования.
Тестовые задания интерактивны и разрабатывались таким образом, чтобы вызвать интерес целевой группы, усилить внутреннюю мотивацию к решению задачи, положенной в основу каждого сценария, повышая тем самым качество получаемых данных. При этом единицей измерения является не тестовое задание, а наблюдаемая переменная (доказательство), их количество различается в разных заданиях.
Задания предъявляются на экране компьютера последовательно. Каждое начинается с короткого текста, описывающего некоторую ситуацию, т.е. с постановки задачи (рис. 4).
Рис. 4. Пример экрана тестового задания с постановкой задачи
Задание 1/4
Твой класс собирается на экскурсию в Музей естествознания. Он находится в Восточном районе города
Твои задачи
1. В Интернете найди инфографику с развлечениями и интересными занятиями, временем их проведения и схемой передвижения по музею, которая будет помещена в буклеты. Она поможет всем участникам поездки ориентироваться на месте
Инфографика - это информация, которая могла бы быть написана текстом, но для легкости понимания она представляется в более компактном виде: картинки, графики, с использованием стрелок и цифр
П|№имущества инфографик
5 ,0 р*
■юуэлмоц»» Имформ»та.«кт, Уоаиюоиоет
л 80°« (2) ЙЕНЕ!?
Рабочая область представляет собой симулятор рабочего стола с панелью инструментов внизу. В правом верхнем углу расположены кнопки «Следующее задание», а также «Показать задание» — на случай, если потребуется перечитать текущее задание. Возможность вернуться к условию текущего задания позволяет снизить влияние на оценку ЦГ иррелевантных конструктов, таких как способность к запоминанию. В инструменте измерения ЦГ для учащихся реализован виртуальный помощник Глаша, помогающий учащемуся линейно проходить сюжет. Также помощник является формирующим элементом теста: если поведенческая траектория испытуемого неверна, особенно в части компонента «Цифровая безопасность», Глаша обучает верному (безопасному) способу действий в конкретной ситуации. В этом случае оценивание производится независимо от последующего сюжета. В ходе выполнения каждого задания могут использоваться несколько симуляций программ, сервисов и приложений с возможностью переключения между ними (рис. 5).
Согласно описанной модели задания важно сконструировать аутентичную тестовую среду, поэтому при разработке интерфейсов заданий необходимо придерживаться принципа узнаваемости и схожести с существующими инструментами и
Рис. 5. Пример рабочей области в тестовом задании для учащихся
операционными системами, чтобы переход от инструмента или операционной системы к интерфейсам заданий был удобным и понятным для конкретной целевой группы, чтобы внимание тестируемого удерживалось на существенных элементах задания, чтобы экран не был перегружен графическими элементами. Также в дизайне интерфейсов заданий предусмотрены предсказуемость действий пользователя до и после нажатия на кнопки, быстрое отображение экранных форм, удобство навигационных элементов.
Инструменты оценки ЦГ для учащихся и взрослого населения реализованы в форме компьютерной системы тестирования с автоматической обработкой результатов и визуализацией обратной связи сразу же по окончании прохождения теста тестируемым. Инструмент включает: 1) базу аутентичных интерактивных тестовых заданий с использованием симуляций на основе сценариев; 2) подсистему администрирования; 3) модуль предъявления варианта теста тестируемому; 4) подсистему автоматической обработки результатов; 5) модуль обратной связи с визуализацией результатов тестирования.
Разработка клиентской части осуществлена на основе Vue JS. Разработка серверной части модулей осуществлена на языке программирования PHP, в качестве системы управления базой данных использовалась MySQL.
4. Результаты Каждый из разработанных инструментов прошел апробацию с последующим психометрическим анализом полученных данных. Апробация инструмента измерения ЦГ учащихся проводи-
лась в марте-апреле 2022 г. Выборка состояла из 2797 учащихся 7-х классов московских школ.
При создании инструментов операционализация была проведена таким образом, что каждое доказательство и, соответственно, каждый индикатор разрабатывался для измерения только одного субконструкта. Так как ЦГ — комплексный конструкт, теоретически любая связь, которую можно наблюдать между индикаторами, вызвана общим конструктом, т.е. уровнем ЦГ. Поэтому сначала для исследования факторной структуры теста применен конфирматорный факторный анализ, модель которого основана на рамке теста с одним основным фактором второго порядка, отражавшим уровень ЦГ, и пятью факторами первого порядка, отражавшими ее субконструкты. В этой модели каждый из индикаторов теста вкладывался только в один из субконструктов, как и подразумевалось концептуальной рамкой. Первые результаты моделирования показали, что согласие модели с данными нельзя считать полностью удовлетворительным, поскольку только коэффициенты RMSEA (0,029) и SRMR (0,064) находились в пределах критических интервалов: RMSEA < 0,06; SRMR < 0,08; Ш > 0,95; Ш > 0,95 [Уи, Ми1^еп, 2002]. Эти значения критериев позволяют оценить согласие модели с эмпирическими данными, «истинная» структура которых заранее не известна: если статистики согласия укладываются в критические интервалы — значит, модель подходит данным. Далее на основании итеративного подхода к оптимизации модели с помощью модификационных индексов были отброшены три индикатора, которые имели статистически незначимые факторные нагрузки, и в модель добавлены 12 корреляций между остатками дисперсий индикаторов. В итоге достигнуто хорошее согласие между моделью и данными: CFI = = 0,96; Ш = 0,958; RMSEA = 0,019; SRMR = 0,051. Далее было проведено моделирование латентных субконструктов ЦГ при помощи одномерных и многомерных моделей современной теории тестов и проанализированы психометрические свойства индикаторов тестовых заданий. В итоге подтверждена теоретически обоснованная факторная структура инструмента измерения ЦГ, т.е. ЦГ действительно можно рассматривать как комплексный конструкт, состоящий из пяти субконструктов: информационной грамотности, вычислительной грамотности, коммуникационной грамотности, безопасности в Сети и технической грамотности. Анализ информационной функции и надежности подтвердил высокую надежность результатов. Эмпирическая надежность общего фактора ЦГ — 0,802. Это хороший результат для компьютерного инструмента измерения на основе заданий сценарного типа, в котором поведение тестируемого опосредуется множеством разных симулированных цифровых инстру-
ментов и сервисов и включает разные контексты деятельности. Рассмотрение статистик согласия, параметров дискриминатив-ности и трудностей из моделей современной теории тестов и стандартизированных факторных нагрузок из моделей конфир-маторного факторного анализа подтверждает высокое качество функционирования отдельных наблюдаемых переменных. При этом отдельные наблюдаемые переменные теста не дискриминируют тестируемых должным образом и требуют доработки, что предполагается сделать перед проведением дальнейших исследований. Но, в целом это не повлияло на качество разработанного инструмента измерения ЦГ.
5. Заключение Предложенная концептуальная рамка измерения цифровой грамотности, разработанная на основе принципов обоснованного дизайна, учитывает как техническую составляющую конструкта, так и его когнитивные аспекты.
Метод доказательной аргументации обеспечил прочную основу для аргументации валидности, требуя документированных, явных связей между целями теста, утверждениями, сделанными в отношении участников тестирования (например, об уровне сформированности измеряемого конструкта), доказательствами, поддерживающими эти утверждения, и результатами выполнения тестируемыми заданий, которые обеспечивают доказательства. Таким образом, следуя методу доказательной аргументации, мы обоснованно связали наблюдаемое поведение человека в ситуации тестирования с его способностью решать задачи в реальной цифровой среде (цифровой грамотностью) путем конструирования связей, отражающих сложную когнитивную и некогнитивную природу конструкта. Такой подход помогает обеспечить валидность уже на этапе проектирования теста. Кроме того, выбранная методология позволила создать единую модель ЦГ, в которую входят пять субконструктов, для всех целевых групп, и разработать паттерн-дизайны заданий, структурированно описывающие среду, в которой тестируемые совершают наблюдаемые действия (пишут, выбирают, создают и т.п.), и эти действия становятся доказательствами сформированности измеряемых субконструктов.
Использование при разработке инструмента измерения цифровой грамотности таких элементов метода, как четкая операционализация рамки измеряемого конструкта, дизайн паттернов и ступенчатая архитектура системы разработки, позволило не только создать линейку инструментов для разных целевых аудиторий, например взрослого населения и учащихся основной школы, но и ускорить процесс разработки тестовых заданий, по сути, автоматизируя его. Такое ускорение становит-
ся очень важным при создании компьютерных инструментов оценивания с автоматической обратной связью, и особенно инструментов, которые разрабатываются на основе интерактивных аутентичных заданий сценарного типа.
Разработанная форма обратной связи может быть использована и в качестве средства устранения выявленных дефицитов цифровых навыков на индивидуальном и групповом уровне, так и в качестве показателя эффективности реализации образовательных программ, в том числе для модернизации их содержания и внедрения цифровых образовательных технологий в школы.
Благодарности Исследование осуществлено в рамках Программы фундаментальных исследований НИУ ВШЭ в 2022 г.
References Almond R.G., Kim Y.J., Velasquez G., Shute V.J. (2014) How Task Features Impact Evidence from Assessments Embedded in Simulations and Games. Measurement: Interdisciplinary Research & Perspectives, vol. 12, no 1-2, pp. 1-33. https:// doi.org/10.1080/15366367.2014.910060 Behrens J., Mislevy R., DiCerbo K., Levy R. (2010) An Evidence Centered Design for Learning and Assessment in the Digital World (CRESST Report no 778). Los Angeles, CA: University of California, National Center for Research on Evaluation, Standards, and Student Testing (CRESST). Carretero S., Vuorikari R., Punie Y. (2017) DigComp 2.1: The Digital Competence Framework for Citizens. With Eight Proficiency Levels and Examples of Use. Luxembourg: Publications Office of the European Union. https://doi. org/10.2760/38842
Chetty K., Liu Q., Gcora N. et al. (2018) Bridging the Digital Divide: Measuring Digital Literacy. Economics E-Journal, vol. 12, no 1. http://dx.doi.org/10.5018/eco-nomics-ejournal.ja.2018-23 De Klerk S., Veldkamp B.P., Eggen T.J.H.M. (2015) Psychometric Analysis of the Performance Data of Simulation-Based Assessment: A Systematic Review and a Bayesian Network Example. Computers & Education, vol. 85, no 12, pp. 2334. https://doi.org/10.1016/j.compedu.2014.12.020 Eshet-Alkalai Y. (2012) Thinking in the Digital Era: A Revised Model for Digital Literacy. Issues in Informing Science and Information Technology, vol. 9, no 2, pp. 267-276. https://doi.org/10.28945/1621 Ferrara S., Lai E., Nichols P. (2016) Principled Approaches to Assessment Design, Development, and Implementation. The Handbook of Cognition and Assessment: Frameworks, Methodologies, and Applications (eds A.A. Rupp, J.P. Leigh-ton). Chichester, West Sussex, UK: Wiley-Blackwell, pp. 41-74. https://doi. org/10.1002/9781118956588.ch3 Ferrari A. (2013) DIGCOMP: A Framework for Developing and Understanding Digital Competence in Europe. Luxembourg: Publications Office of the European Union.
Fraillon J., Ainley J., Schulz W., Duckworth D., Friedman T. (2019) IEA International Computer and Information Literacy Study 2018. Assessment Framework. Cham, Switzerland: Springer Open. https://doi.org/10.1007/978-3-030-19389-8 Gee J.P. (2015) The New Literacy Studies. The Routledge Handbook of Literacy Studies (eds J. Rowsell, K. Pahl), Abingdon: Routledge, pp. 35-48.
Gee J.P., Hull G., Lankshear C. (2018) The New Work Order: Behind the Language of the New Capitalism. New York, London: Routledge. https://doi. org/10.4324/9780429496127 Gilster P. (1997) Digital Literacy. New York, NY: Wiley Computer Pub. Glaser R., Chudowsky N., Pellegrino J.W. (eds) (2001) Knowing What Students Know. The Science and Design of Educational Assessment. Washington, DC: National Academy Press.
Goodfellow R. (2011) Literacy, Literacies and the Digital in Higher Education. Teaching in Higher Education, vol. 16, no 1, pp. 131-144. https://doi.org/10.1080/13 562517.2011.544125
Green F. (2011) What Is Skill? An Inter-Disciplinary Synthesis. Centre for Learning and Life Chances in Knowledge Economies and Societies Research Paper no 20. London, England: LLAKES. Haas L., Tussey J. (eds) (2021) Connecting Disciplinary Literacy and Digital Storytelling in K-12 Education. Hershey, PA: IGI Global. https://doi.org/10.4018/978-1-7998-5770-9
He Q., von Davier M., Greiff S., Steinhauer E.W., Borysewicz P.B. (2017) Collaborative Problem Solving Measures in the Programme for International Student Assessment (PISA). Innovative Assessment of Collaboration (eds A.A. von Davier, M. Zhu, P.C. Kyllonen), Cham: Springer, pp. 95-111. https://doi.org/ 10.1007/978-3-319-33261-1_7 IEEE (2021) IEEE Standard for Digital Intelligence (DQ)-Framework for Digital Literacy, Skills, and Readiness. https://doi.org/10.1109/IEEESTD.2021.9321783 Marion S., Landl E. (2017) Principled Assessment Design for the Performance Assessment of Competency Education. Available at: https://www.nciea.org/wp-con-tent/uploads/2021/11/PACE-Principled-assessment-design_092417.pdf (accessed 20 May 2023). Messick S. (1994) Alternative Modes of Assessment, Uniform Standards of Validity. ETS Research Report Series, iss. 2, pp. 1-22. https://doi. org/10.1002/j.2333-8504.1994.tb01634.x Mislevy R.J. (2018) Sociocognitive Foundations of Educational Measurement. New
York, NY: Routledge. https://doi.org/10.4324/9781315871691 Mislevy R.J. (1994) Evidence and Inference in Educational Assessment. Psychometri-
ka, vol. 59, no 4, pp. 439-483. https://doi.org/10.1007/bf02294388 Mislevy R.J., Almond R.G., Lukas J.F. (2003) A Brief Introduction to Evidence-Centered Design. ETS Research Report Series, no 1, pp. 1-29. https://doi. org/10.1002/j.2333-8504.2003.tb01908.x Mislevy R.J., Behrens J.T., Dicerbo K.E., Levy R. (2012) Design and Discovery in Educational Assessment: Evidence-Centered Design, Psychometrics, and Educational Data Mining. Journal of Educational Data Mining, vol. 4, no 1, pp. 1148. https://doi.org/10.5281/zenodo.3554641 Mislevy R.J., Haertel G.D. (2006) Implications of Evidence-Centered Design for Educational Testing. Educational Measurement: Issues and Practice, vol. 25, no 4, pp. 6-20. https://doi.org/10.1111/j.1745-3992.2006.00075.x Moje E.B. (2009) Standpoints: A Call for New Research on New and Multi-Literacies. Research in the Teaching of English, vol. 43, no 4, pp. 348-362. Street B. (2003) What's "New" in New Literacy Studies? Critical Approaches to Literacy in Theory and Practice. Current Issues in Comparative Education, vol. 5, no 2, pp. 77-91.
Toulmin S. (2003) The Uses of Argument. Updated Edition. Cambridge, UK: Cambridge University.
UNESCO (2019) Recommendations on Assessment Tools for Monitoring Digital Literacy within UNESCO's Digital Literacy Global Framework. Information Paper no 56. Montreal, Quebec: UNESCO Institute for Statistics.
UNESCO (2018) A Global Framework of Reference on Digital Literacy Skills for Indicator 4.4.2. Information Paper no 51. Montreal, Quebec: UNESCO Institute for Statistics.
Vuorikari R., Kluzer S., Punie Y. (2022) DigComp. 2.2: The Digital Competence Framework for Citizens. With New Examples of Knowledge, Skills and Attitudes. Luxembourg: Publications Office of the European Union. https://dx.doi. org/10.2760/490274
Yu C., Muthen B. (2002) Evaluation of Model Fit Indices for Latent Variable Models with Categorical and Continuous Outcomes. Paper presented at the Annual conference of the American Educational Research Association (4 April 2002, New Orleans).
Zieky M.J. (2013) An Introduction to the Use of Evidence-Centered Design in Test Development. Psicología Educativa, vol. 20, no 2, pp. 79-87. https://doi. org/10.1016/j.pse.2014.11.003
