CC BY
52ОЦЕНКА ИНФОРМАЦИОННО-КОММУНИКАЦИОННОЙ КОМПЕТЕНТНОСТИ ОБУЧАЮЩИХСЯ В УСЛОВИЯХ РЕАЛИЗАЦИИ ОБРАЗОВАТЕЛЬНЫХ СТАНДАРТОВ НОВОГО ПОКОЛЕНИЯ
АВДЕЕВА СВЕТЛАНА МИХАЙЛОВНА
Заместитель исполнительного директора, Национальный фонд подготовки кадров; руководитель Центра образовательных информационных технологий и сетей, Федеральный институт развития образования, канд. техн. наук e-mail: avdeeva@ntf.ru Москва, Россия
ТАРАСОВА КСЕНИЯ ВАДИМОВНА
Ведущий специалист Департамента развития информационно-коммуникационных технологий в образовании, Национальный фонд подготовки кадров, канд. пед. наук e-mail: tarasova@ntf.ru Москва, Россия
АННОТАЦИЯ. Представлены результаты исследований по оценке информационно-коммуникационной компетентности обучающихся 8-х, 9-х и 10-х классов общеобразовательной школы в регионах Российской Федерации и странах СНГ с использованием инструмента The Information and Communication Literacy Test - ICL-тест (см. www.ictlit.com). В основу инструмента положена компетентностная модель решения информационных задач, включающая основные когнитивные действия при работе с информацией (анализ, синтез, передачу информации и др.).
КЛЮЧЕВЫЕ СЛОВА: информационно-коммуникационные технологии (ИКТ), метапредметные образовательные результаты, когнитивные способности по работе с информацией, информационно-коммуникационная компетентность (ИКК), лонгитюдные исследования, сети Байеса.
IC COMPETENCE ASSESSMENT OF SCHOOL STUDENTS IN THE CONTEXT OF NEW FEDERAL STATE EDUCATIONAL STANDARD IMPLEMENTATION
SVETLANA AVDEEVA
Deputy Executive Director, National Training Foundation; Head of the Centre for Educational Information Technologies, Resources and Networks, Federal Education Development Institute, PhD in Technical Sciences e-mail: avdeeva@ntf.ru Moscow, Russia
KSENIA TARASOVA
Leading Researcher, National Training Foundation, PhD in Pedagogy e-mail: tarasova@ntf.ru Moscow, Russia
ABSTRACT. The article presents the results of the study/research concerning the IC competence assessment of school students of Grade 8, 9 and 10 conducted in the regions of Russian Federation and in CIS states using the instrument - Information and Communication Literacy Test (www.ictlit.com). The instrument is based on the competence model of solving information tasks that includes basic cognitive operations when working with information (to analyze, to synthesize, to communicate, etc.).
KEY WORDS: information and communication technologies (ICT), metasubject educational results, cognitive skills, information and communication competence (IC competence, ICC), longitudinal investigation, Bayes network.
В федеральных государственных образовательных стандартах основного общего образования, которые введены в школе с сентября 2015 года, значимое место отводится вопросам достижения метапредметных результатов, включая формирование и развитие компетентности обучающихся в области использования информационно-коммуникационных технологий (ИКТ-компетентности) [3, разд. 18.2.1]. Для реализации образовательных стандартов необходимы инструменты, которые позволяют оценить достижение обучающимися метапредметных результатов (умение самостоятельно определять цели своего обучения, устанавливать причинно-следственные связи, строить логические рассуждения, анализировать информацию, выделять проблему, синтезировать решения, обобщать и делать выводы, используя навыки коммуникации, взаимодействия, коллективной работы и пр.), владение навыками эффективной работы с информацией, а также выявить факторы, влияющие на формирование ИКТ-компетентности.
В Национальном фонде подготовки кадров разработан инструмент, позволяющий оценить информационно-коммуникационную компетентность (ИК-компетентность, ИКК) выпускников основной школы, - The Information and Communication Literacy Test, сокращенно IC Literacy Test, ICT-test. Его особенностью является возможность определения способности обучающихся использовать информационно-коммуникационные технологии для получения новых знаний, осуществления коммуникации, проведения исследований, что в конечном счете должно помочь им приобрести навыки непрерывного обучения в течение всей жизни и добиться успеха в выбранных профессиях или специальностях [4]. IC Literacy Test - один из немногих инструментов, который позволяет решать проблему оценивания метапредметных результатов комплексно, с учетом требований образовательных стандартов. При этом получаемые данные позволяют не только определять уровень компетентности, но и выявлять факторы, влияющие на ее формирование и динамику развития, готовить рекомендации по дальнейшему развитию ИК-компетентности, предназначенные для обучающихся, образовательных организаций и системы образования в целом, а также оценить эффективность реализации различных аспектов национальных и региональных программ развития и модернизации образования в области внедрения новых стандартов, информатизации, оценки образовательных результатов и др.
Версии инструмента IC Literacy Test подготовлены на русском, английском и армянском языках с учетом культурологических, языковых осо-
бенностей, а также целей, задач и специфики содержания национальных систем общего среднего образования в странах, где этот инструмент использовался. Все тестовые задания на английском и русском языках были проверены с точки зрения их соответствия возрасту (понятность, удобочитаемость) целевой аудитории, которая состоит из подростков 13-15 лет. Кроме того, выполнена специальная процедура по сравнению стандартов, лежащих в основе инструмента по оценке ИКК выпускников основной школы IC Literacy Test, с законодательной базой Российской Федерации в области основного общего образования, что необходимо для встраивания инструмента в национальную систему оценки качества образования [8].
В Российской Федерации в рамках проекта «Электронное образование» в Республике Татарстан проведена оценка ИК-компетентности репрезентативной выборки всех обучающихся в 9-х классах Татарстана в 2010, 2012 и 2013 годах. Результаты оценки вошли в число показателей эффективности реализации проекта «Электронное образование» (рис. 1).
§§ продвинутый уровень Щ Уровень выше среднего [03 Базовый уровень Ц Уровень ниже среднего ¡|Г) Развивающийся уровень
2010 г.
2013 г.
Рис. 1. Результаты оценки ИК-компетентности обучающихся школ
Татарстана.
В 2013 году было осуществлено тестирование репрезентативных выборок обучающихся образовательных организаций Красноярска, Москвы и Барнаула (рис. 2).
^ Продвинутый уровень ^Уровень выше среднего [Л] Базовый уровень и Уровень ниже среднего ¡§3 Развивающийся уровень
Рис. 2. Результаты исследования ИК-компетентности обучающихся школ Красноярска, Москвы и Барнаула.
В 2014 году проведена оценка ИКК обучающихся 9-х классов школ Ямало-Ненецкого автономного округа с учетом требований региональной системы оценки качества образования. Дополнительно была разработана анкета учителя, посвященная различным аспектам использования информационно-коммуникационных технологий в профессиональной деятельности педагогов, которая позволила собрать информацию о практиках применения ИКТ в учебном процессе, опыте реализации личностно ориентированного и системно-деятельностного обучения, а также связать их с уровнем ИК-компетентности обучающихся. В ходе исследования осуществлено тестирование свыше 5000 обучающихся и опрошено более 1500 учителей. В 2016 году была составлена репрезентативная (на уровне региона исследования, с возможностью сравнения сельских и городских школ) выборка десятиклассников, представляющая когорту обучающихся, протестированных в 2014 году, что позволило провести лонгитюдное исследование (рис. 3).
Осенью 2016 года также были протестированы все восьмиклассники Ямало-Ненецкого автономного округа с целью корректировки основных образовательных программ, использовавшихся для восполнения дефицита знаний и умений в области работы с информацией на момент завершения обучающимися средней школы, а также для исследования методов формирования ИК-компетентности в процессе реализации образовательной деятельности.
70% 60%
Л ...
19%
4 ■
10%
■ :
:
■
24%
^ Продвинутый уровень ^Уровень выше базового |УП] Базовый уровень
Уровень ниже базового Развивающийся уровень
9-классники Полная выборка Выборка Повторный
2014 года 10-классников из 9-классников замер выборки
2016 года 2014 года в 2016 году
Рис. 3. Информационно-коммуникационная компетентность обучающихся школ Ямало-Ненецкого автономного округа по данным лонгитюдного исследования.
Осенью 2016 года было проведено исследование уровня ИК-компе-тентности репрезентативной выборки обучающихся 9-х классов Тамбовской области.
Помимо Российской Федерации, инструмент прошел успешную апробацию в Республике Армения, Республике Беларусь и Великобритании.
В Республике Армения осуществлено операциональное тестирование репрезентативной выборки выпускников основной школы. Им было охвачено 2474 обучающихся из 126 учебных заведений. Для более надежного и валидного измерения ИК-компетентности перед проведением операционного тестирования все тестовые задания, локализованные с учетом специфики национальной системы образования, были апробированы в рамках пилотных тестирований, в которых приняли участие 913 девятиклассников (298 в 2012 году и 615 в 2013 году).
В Республике Беларусь осуществлено тестирование ИК-компетентности обучающихся городских и сельских школ, расположенных в пятнадцати населенных пунктах Гомельской области и во всех девяти районах города Минска [5].
В Великобритании для пилотирования тестовых заданий инструмента для оценки ИКК на английском языке было проведено исследование 14-летних обучающихся тридцати школ в г. Манчестере. Примечательно, что некоторые из них входили в десять лучших школ страны.
Каждый вариант IC Literacy Test состоит из 16 тестовых заданий сценарного типа, включая 13 коротких, на выполнение которых предусмотрено не более четырех минут, 2 средних, которые могут занять до пятнадцати минут, и одного длинного, требующего для своего выполнения до тридцати минут. Тестовые задания разрабатывались с использованием систематического подхода к разработке тестов (Evidence centered design - метод, основанный на сборе свидетельств) [6, 7, 9].
Задания IC Literacy Test предъявляются на экране компьютера последовательно - от коротких к более длинным. Они воспроизводят реальные ситуации, с которыми обучающиеся сталкиваются как на учебе, так и в повседневной жизни. Сценарии заданий разработаны так, чтобы они вызывали интерес целевой аудитории, что, в свою очередь, способствует усилению мотивации к их выполнению и повышению степени достоверности полученных результатов. Учебный контекст заданий равномерно чередуется с внеучебным, основанным на проблематике современной культуры и бытовых аспектах. Каждый вариант теста (набор заданий) сбалансирован и включает задания, связанные с гуманитарными, общественными, естественными науками, поп-культурой и практическими повседневными вопросами [1].
Каждое задание теста направлено на оценку одной или нескольких составляющих ИК-компетентности: определение информации, доступ к ней, управление ею, интеграция информации, ее оценка, создание и передача информации. Каждая же из составляющих ИК-компетентности оценивается исходя из трех уровней: компетентного, приемлемого, неприемлемого [1, 2].
Действия обучающихся фиксируются компьютером и затем оцениваются с точки зрения их компетенций. По итогам обработки результатов тестирования каждому обучающемуся присваивается один из пяти уровней ИК-компетентности: продвинутый (самый высокий уровень), выше среднего, средний (базовый), ниже среднего и развивающийся (самый низкий уровень). Каждый уровень ИК-компетентности отражает градацию того, в какой степени обучающиеся могут работать с информацией в цифровой среде, указывает на определенные компетенции, которыми они обладают, и одновременно фиксирует те группы задач, для решения которых их компетенций не хватает.
Обработка результатов тестирования происходит автоматически с использованием байесовских сетей. Отнесение к одному из возможных
уровней ИКК является результатом теста, аккумулирующим в себе оценку различных компетенций, в том числе доступ к информации, постановку проблемы, коммуникацию, интеграцию, оценку, создание и управление информацией. Все они с помощью вероятностных оценок сводятся к пяти описанным выше уровням, которые используются в содержательном анализе.
На основании всех проведенных исследований были выделены основные факторы формирования ИК-компетентности обучающихся, значимость и влияние которых проверяется при каждом тестировании. Их можно разделить на две группы: 1) образовательные факторы, связанные с влиянием учебного процесса в школе; 2) индивидуальные факторы, связанные с личностными особенностями обучающихся, например культурно-образовательными и материальными ресурсами семьи, мотивацией к использованию ИКТ и др.
В рамках этих двух групп было установлено, что на формирование ИК-компетентности влияют:
1. Базовые характеристики обучающихся и их семьи - их пол, образование родителей, наличие дома образовательных ресурсов.
2. Доступность компьютера для школьника и практика его использования, не связанная со школой - наличие компьютера дома, цели его использования, поведение в сети, использование различных устройств, предпочитаемые виды досуга.
3. Влияние школы на ИК-компетентность - доступность компьютера в школе, использование его на различных уроках, частота коллективной работы в образовательном процессе, виды домашних и классных заданий; использование компьютера на уроках, внеурочных мероприятиях, в факультативной деятельности; роль библиотеки, использование электронного дневника.
4. Характеристики школы и педагогического состава - тип школы, размер, оснащенность компьютерами и их сетями, методическая поддержка учителей, использующих ИКТ. Характеристики педагогического состава -возраст, стаж, образование, переподготовка, достижения в педагогических конкурсах, личная вовлеченность в использование ИКТ.
5. Педагогические практики - тип классных и домашних заданий, использование ИКТ в профессиональной деятельности, вовлечение обучающихся в работу с ИКТ, использование электронного журнала, сайта школы, отношение к использованию ИКТ в обучении. Предполагается, что насыщенная ИКТ образовательная среда в сочетании с определенными
педагогическими практиками может существенно повлиять на повышение уровня ИК-компетентности.
Полученные после каждого тестирования данные позволяют судить о том, какие из указанных выше факторов в большей или меньшей степени повлияли на формирование ИК-компетентности обучающихся в конкретной школе, муниципалитете, регионе или стране.
ИКТ уже очень активно используются в учебном процессе. По результатам исследования в Ямало-Ненецком автономном округе почти 70% обучающихся отметили, что учителя-предметники каждый день используют компьютер не только на уроках информатики, но и на занятиях по другим предметам. При этом частота использования компьютера учителями как таковая действительно отражается на уровне ИКК обучающихся: очень редкое (реже раза в месяц) использование или неиспользование компьютера напрямую связано с более низкими уровнями ИКК, а доля «продвинутых» обучающихся выше в тех школах, где учителя используют компьютер каждый день (рис. 4).
Рис. 4. Зависимость уровня ИКК обучающихся в школе от частоты
использования компьютера на занятиях.
Более половины обучающихся в своих ответах на задания теста указали, что компьютер в школе используется для реализации обучающих программ, а также для контроля знаний. В результате обобщения этих данных выявлена закономерность, отражающая влияние способа при-
менения компьютера на ИК-компетентность обучающихся. Так, частое использование обучающих программ и компьютера в процессе обучения в урочной и неурочной деятельности вместо исключительно демонстрационных способов представления информации на уроках, не меняющих сути и формы обучения, связано с более высокими уровнями ИК-компе-тентности (рис. 5). Исследования показали, что инновационные педагогические практики в настоящее время распространены недостаточно широко. Но там, где они внедрены, наблюдается более высокий уровень ИК-компетентности.
Рис. 5. Влияние способов применения компьютера на ИК-компетентность обучающихся.
Из диаграммы, представленной на рис. 6, видно, что если 68% учителей используют компьютер каждый день или несколько раз в день (помимо информатики), т.е. практически на каждом уроке, то сами школьники получают доступ к компьютеру на уроке лишь в 10% случаев. Получается, что в большинстве случаев использование компьютера учителем носит чисто демонстрационный характер.
Другая тенденция, отмеченная во всех исследованиях, состоит в том, что улучшение оснащения школ средствами ИКТ способствует росту ИКК только на начальных уровнях. Гораздо большую роль играют используемые педагогические технологии и практики.
18,6
20 9,4
27,4
Несколько раз в день Примерно раз в день Несколько раз в неделю Раз в неделю или раз е месяц Менее одного раза в месяц Никогда
Обучающиеся
Рис. 6. Частота использования компьютера на уроке обучающимися
и учителями.
Это видно из последовательной связи между частотой использования дискуссий и обсуждений на уроках с уровнем ИК-компетентности: если среди тех обучающихся, которые каждый день принимают участие в дискуссиях в классе, 17% являются продвинутыми в области ИКК, а 11% находятся на развивающемся уровне, то среди тех, кто редко участвует в дискуссиях и отстаивает свое мнение, уровень ИКК ниже и составляет 10% на продвинутом уровне и 15% - на развивающемся. Остальные уровни также последовательно растут, так что эта связь неслучайна. Аналогичную взаимосвязь можно наблюдать с частотой выполнения самостоятельных работ, а вот частота проведения уроков-лекций никак не влияет на формирование ИКК, даже если они проходят с демонстрацией презентаций (рис. 7).
Если говорить о регионах, где во многих школах отсутствует насыщенная образовательная ИКТ-среда или она развита недостаточно, то большую роль в формировании ИКК играет внешкольная, домашняя активность обучающихся, связанная с использованием ИКТ: общение в социальных сетях, поиск информации для личных нужд, редактирование изображений и фотографий, монтаж фильмов и др. Исследования продемонстрировали, что частота использования компьютера в домашних условиях последовательно связана с ИК-компетентностью, при этом она отражается как на сокращении доли обучающихся, которые находятся на развивающемся уровне, так и на увеличении доли более «продвинутых».
Среди многих характеристик педагогов, рассмотренных при анализе данных исследования, лишь немногие демонстрируют связь с уровнем ИК-компетентности обучающихся.
100%
9ЮЙ 15% 13%
8«% 18% 20%
7СМ
60№
50« 36% 35%
ад%
30% Щ
20% 2цц
0%
, 9% 11%
36% ■
1;9%24%|||
¡¡¡¡¡Ив
^Развивающийся ^Ниже среднего О Средний Цвыше среднего ¡§3 Продвинутый
5 3 5 г § 5
£ г >3
I I
I 1
I »ж
« 5
-О 41 ГО -А Го-йо ^-йщ-та
| • 1 1 ? >1 £ 11 I I | * I
• * I I I : I I I ; *
я™ н £ 8 555™"
£ 8 I г 1 я
Лекция
Работа и группе
Самостоятельная работа
Дискуссии
15%
16%%
17%
17%
19%
19%
17%
17%
19%
20%%
21%
21%
31%
34%
31%
36%%
38%
34%
36%
Рис. 7. Взаимосвязь между видами учебной работы и ИКК обучающихся.
Так, например, средний возраст преподавателей, общий педагогический стаж учителей, участие в переподготовке оказались незначительно связаны с результатами тестирования обучающихся. Значимые же корреляции с ИКК демонстрируют две группы факторов:
1) Практики педагогов, связанные с работой в информационной образовательной среде школы, в том числе: коммуникация с родителями и коллегами; общение по электронной почте, использование возможностей сети Интернет для профессионального развития и поиска информации при подготовке к занятиям, а также для поурочного планирования. Отдельно можно отметить высокую связь многообразия использования возможностей электронного журнала: обучающиеся тех школ, в которых большая доля учителей используют его не только для выставления оценок и отчетов перед администрацией, но и для коммуникации с родителями и обучающимися и передачи им дидактической информации, демонстрируют существенно более высокие уровни ИКК.
2) Развитость информационной образовательной среды, в первую очередь доступность в школе высокоскоростного интернет-соединения и использование учителями цифровых образовательных ресурсов в учебном процессе.
Таким образом, значимыми для формирования ИКК оказываются в первую очередь те факторы, которые связаны с характером деятельности обучающихся в цифровой среде, а частота использования технологий оказывает на это слабое влияние.
Среди множества характеристик школы (эта тенденция прослеживается во всех исследованиях на разных выборках) наиболее значимыми оказываются ее тип и уровень ее информационной образовательной среды. Так, самый низкий уровень ИКК обычно наблюдается среди особой группы обучающихся - проживающих в интернатах, которые лишены семейных ресурсов, поэтому именно для них школа может и должна сыграть очень важную роль в развитии их ИКК. Также большое влияние оказывает место расположения школы: у обучающихся из сельской местности уровень ИКК гораздо ниже, чем среди городских школьников (рис. 8).
100%
о%
Продвинутый уровень ^Уровень выше среднего
Базовый уровень Щ Уровень ниже среднего [[§ Развивающийся уровень
Село, 2014 Село, 2016 Город, 2014 Город, 2016
Рис. 8. Повышение уровня ИКК городских и сельских обучающихся Ямало-Ненецкого автономного округа с 2014 по 2016 год.
ИК-компетентность предполагает целенаправленное, творческое и гибкое использование информационной образовательной среды для
решения учебных задач обучающимися, а главное - для решения проблем реальной жизни. Обучающийся должен понимать, как с помощью ИКТ можно справить с различными ежедневно возникающими задачами. Каждая отдельная компетенция в сфере работы с информацией в цифровой образовательной среде, интегрированная в процесс решения практических задач, приобретает для обучающегося совершенно иной, личностный смысл. Только в этом случае правомерно говорить о подлинной ИК-компетентности, поскольку именно тогда возникает понимание того, как современные технические средства могут превратиться в инструмент получения новых знаний.
Оценка ИК-компетентности обучающихся на основе инструмента IC Literacy Test позволяет получить данные, представляющие интерес для широкого круга педагогов и администраторов системы образования. Так, учителям результаты исследований помогают определять групповые и индивидуальные образовательные траектории обучающихся, выявлять наиболее эффективные педагогические практики, позволяющие формировать у них компетенции по работе с информацией и решению различных проблем.
Для директора и заместителя директора школы результаты исследования могут стать основой при принятии решения о корректировке основной образовательной программы школы в части не только построения более насыщенной образовательной ИКТ-среды, но и политики профессионального развития педагогов.
Сравнительные данные о положении дел в разных классах как в параллелях 8-х, 9-х и 10-х классов, так и по разным годам обучения позволяют выявить недостатки в работе школы в отношении обучающихся с низким уровнем ИКК (ниже базового или развивающегося). При использовании инструментов более глубокого анализа деятельности педагогов, например наблюдения за учебным процессом, анализа учебных планов, интервью педагогов и обучающихся, можно выяснить, в работе каких педагогов и в какой ее части требуются изменения. Вполне возможно, что где-то потребуется повышение квалификации педагогов, где-то - лишь небольшая корректировка учебных планов, а где-то - комплекс мер, связанный с модернизацией информационной образовательной среды и педагогических технологий.
Еще одна целевая аудитория, которой могут быть очень интересны результаты исследования по оценке ИК-компетентности, - это руководители, специалисты органов управления образованием как муниципального, так и регионального уровней. В ситуации региона, особенно с большой
численностью населения и в условиях ограниченных ресурсов, для получения информации о региональной системе оценки качества образования вполне достаточно проводить не сплошное исследование всех обучающихся школ, а лишь обучающихся из репрезентативной выборки. В этом случае при относительно небольшом объеме использованных ресурсов (административных, организационных и финансовых) можно получить информацию, позволяющую принимать обоснованные управленческие решения.
Конечно, наиболее объективный взгляд и возможность выработать многоплановые решения будут, вероятно, достигаться при комплексном исследовании, когда наряду с тестированием по оценке ИК-компетент-ности применяются и другие инструменты. А оценка ИКК на основе IC Literacy Test может стать одним из исследований, закладываемых в региональные системы независимой оценки качества образования (как это сделал Региональный центр оценки качества образования Ямало-Ненецкого автономного округа), что позволит на регулярной основе следить за эффективностью формирования метапредметных результатов обучающихся.
В любом случае следует помнить, что исследование по оценке ИК-ком-петентности само по себе не определяет содержание и методы работы в школе. Но его результаты помогают педагогам и администраторам всех уровней определять стратегию и тактику изменений образовательного процесса школы, используемых в нем методов и технологий.
СПИСОК ЛИТЕРАТУРЫ
1. Авдеева, С. М. О подходах к оценке информационно-коммуникационной компетентности выпускников основной школы // Образовательная политика. - 2012. - № 4 (60). - С. 102-111.
2. Авдеева, С. М. Об опыте реализации модели оценки ИКТ-компетент-ности / С. М. Авдеева, М. Ю. Барышникова, С. К. Коваленко, А. Е. Мельников // Информатизация образования и науки. - 2009. - № 2. - С. 62-71.
3. Об утверждении федерального государственного образовательного стандарта основного общего образования : приказ Минобрнауки России от 17.12.2010 № 1897 // Российская газета RG.ru [Электронный ресурс]. -Режим доступа : https://rg.ru/2010/12/19/obrstandart-site-dok.html.
4. Уваров, А. Ю. Об описании компетенций XXI в. // Образовательная политика. - 2014. - № 4 (66). - С. 13-30.
5. Худенко, Л. А. Исследование информационно-коммуникационной компетентности учащихся IX классов Республики Беларусь: цель и основные результаты / Л. А. Худенко, С. М. Авдеева // Вестник образования. - 2014. -№ 1. - С. 3-10.
6. Mislevy, R. J. 26 bayesian psychometric modeling from an evidence-centered design perspective / R. J. Mislevy, R. Levy // Handbook of Statistics. -2006. - Vol. 26. - P. 839-865.
7. Mislevy, R. J. A brief introduction to evidence-centered design. CSE report 632 / R. J. Mislevy, R. G. Almond, J. F. Lukas. - Los Angeles, CA : National Center for Research on Evaluation, Standards, and Student Testing (CRESST) UCLA, 2004. - 33 p.
8. Webb, N. L. Criteria for alignment of expectations and assessments in mathematics and science education. Research monograph No. 6 / N. L. Webb. -Washington, DC : Council of Chief State School Officers, 1997. - 46 p.
9. Zelman, M. Integration of evidencecentered design and universal design principles in developing information and communication literacy assessment / M. Zelman, S. Avdeeva, T. Shmis, K. Vasiliev // 38th annual conference "Designing the assessment of learning outcomes to make positive impact on individuals and Institutions", IAEA, 2012. - [Электронный ресурс]. - Режим доступа : www.iaea.info/papers.aspx?id=80.
