CC BY
166Применение тестирования как инструмента педагогических измерений: возможности и ограничения
Магомедов Ахмед Гусенович,
студент, ФГАОУ ВО «Национальный исследовательский университет «Высшая школа экономики» E-mail: akhmed1@yandex.ru
В современных условиях модернизации образования, в частности, системы среднего общего образования, широкое применение получило тестирование как метод измерения и оценивания учебных достижений учеников, обучающихся по разным школьным предметам как в процессе их усвоения, так и во время сдачи государственной итоговой аттестации. В статье проанализирован вопрос качества педагогической тестовой диагностики предметной компетентности учащихся, что связано с обеспечением валидности, объективности, надежности, точности метода тестирования как метода измерения учебных достижений учащихся, теста как инструмента этого метода и процедур измерения и оценивания. Особое внимание уделено вопросам основных понятий тестологии, классификации тестов и тестовых заданий, а также конструирования теста для измерения учебных достижений на конкретном примере изучения темы «Моя семья. Члены семьи. Профессии членов семьи» на уроках английского языка в школе.
Ключевые слова: тестология, языковой контроль, измерение, метод тестирования, принципы разработки теста, виды тестов, к разработке тестовых заданий, процедура оценивания.
о с
CJ
см см о см
СП
Актуальность темы. Необходимость внедрения современных технологий оценивания обусловлена, в том числе, устарелостью научных основ дидактики контроля, несовершенством системы оценивания образовательных достижений обучающихся, поскольку «только подготовленный определенным образом комплекс задач позволяет с использованием определенных диагностических методов правильно оценить уровень знаний и умений субъектов обучения» [1].
В педагогической диагностике ни один из методов измерения и оценки определенных свойств, качеств, уровня развития ученика в определенном аспекте и т.п. не является идеальным, абсолютно универсальным и точным, однако важным является вопрос обеспечения как можно большей точности измерения, получения максимально надежных результатов (информации) и максимально правильного и объективного оценивания.
К сожалению, должны признать, что на данный момент существует значительное количество неправильных тестов (псевдотестов) (иногда это -произвольно подобранные тестовые задания, которые нельзя считать тестами), которые создаются некомпетентными лицами, что, по мнению одного из ведущих специалистов в области отечественной педагогической тестологии Е.Н. Солововой, наносит значительный вред большому количеству объектов и субъектов педагогической диагностики и обществу в целом, а именно: «измеряемому - тем, что результаты его учебной деятельности неправильно оценивают и дают неправильные рекомендации; педагогу - тем, что создает иллюзию его профессионализма в этой сфере, приучает его к неправильным действиям, следовательно, имеет негативное моральное влияние; общественности - тем, что у нее формируется ложное представление о результативности отечественной системы образования и негативное отношение к тестированию вообще как методу» [2].
Целью статьи является раскрытие сущности, понятийного аппарата тестовой диагностики учебных достижений, особенностей применения алгоритма конструирования теста для измерения учебных достижений, процедуры их оценивания, технологии тестовых заданий.
Основные понятия тестологии
Понятие «тест», «тестирование» «измерение», «оценивание» относится к сфере тестологии - «науки о создании и использовании тестов» [2]. Стоит отметить, что тесты как средства различных испытаний появились, по мнению ученых, более четырех
тысяч лет назад, а тестология как экспериментальная наука развивалась сначала в рамках психологии [2 и др.]. Тестовые измерения в педагогике начали проводиться с 90-х годов Х1Х века - Д.А. Райс (США) применил разработанный им тест как инструмент для измерения длительного (в течение 8-и лет) обучения навыкам письма. Вообще история применения тестовых методов в системе образования характеризуется чередованием периодов абсолютного непризнания тестов с этапами активного их применения в образовательной практике. На протяжении последних лет метод тестирования получил широкое распространение в практике измерения и текущего и итогового оценивания учебных достижений учащихся по предметам в системе среднего общего образования, а с 2009 года введен Единый государственный экзамен для выпускников учебных заведений, практика которого в ведущих странах мира уже довольно давно стала общепризнанной, по достоинству оцененной и распространенной.
Итак, тестирование (тестовая диагностика) непосредственно связано с понятием «измерение», содержание которого учёные вполне мотивированно предлагают рассматривать в общем понимании и в контексте педагогических измерений [1]. В первом значении измерение (measurement) трактуется как процесс предоставления численного значения определенного показателя с применением четко определенных правил измерения; во втором (измерение как метод педагогических измерений) - это способ, с помощью которого осуществляется предоставление количественного значения показателя, который измеряется. Если в качестве метода измерения используется тестирование, оно рассматривается как «процесс измерения количественных показателей с помощью теста» [1]. Таким образом тестирование как метод предусматривает процедуру измерения - тестирование, в которой в качестве инструмента измерения используется тест.
Педагогические измерения - как самостоятельное направление научных исследований и часть более общей научной отрасли -педагогической диагностики) - это «процесс отражения числами уровней проявления качеств интересующего лица» [2], их можно рассматривать «как практическую образовательную деятельность, направленную на получение объективных оценок уровня текущей и итоговой подготовленности учащихся и студентов» [2], а главная цель педагогических измерений заключается в получении численных эквивалентов проявления признака, интересующего исследователя, педагога.
Итак, тестирование в педагогике - это метод и процесс педагогического измерения, заключающийся в количественном измерении уровня (степени проявления) знаний, умений, навыков, способностей, свойств, качеств, представлений того, кто испытывается, с целью оценки указанного. Средством или инструментом измерения (то, с помощью чего осуществляется измерение) в этом процессе является тест (так, как
в устном опросе - беседа или анкета; в письменных работах - диктант, ответ на вопрос и другие виды заданий).
Основными принципами педагогических измерений В.С. Аванесов считает следующие:
* взаимосвязи педагогических измерений и целей образования и обучения;
* объективности измерений;
* справедливости;
* научности и эффективности;
* систематичности;
* гуманности и этичности [3].
Понятие «тест» в тестологии трактуется как «совокупность тестовых заданий, подобранных по определенным правилам для измерения определенного качества» [1]; инструмент, состоящий из квалиметрично выверенной системы, стандартизированной процедуры проведения и заранее спроектированной технологии обработки и анализа результатов, предназначенный для измерения качеств и свойств личности, изменение которых возможно в процессе систематического обучения [4]; совокупность задач стандартной формы (от анг. тest - задание) (так называемых тестовых), подобранных по определенным правилам с целью установления степени наличия тех или иных качеств объекта [2]; «система заданий специфической формы, содержания, расположенных по возрастанию сложности, которая дает возможность измерить уровень подготовки испытуемых и оценить структуру их знаний» [2]. В целом современное понимание теста связано не с набором заданий, а с профессионально составленной, научно обоснованной, адаптированной и сертифицированной методикой разработки и использования тестов, то есть с тестированием.
Правильный, научно взвешенный тест должен быть качественным, то есть - валидным, объективным, надежным, точным. Это требование относится к тесту как инструменту измерения, методу тестирования как методу измерения и методу оценки.
Классификация тестов и тестовых заданий
Конечно, на данный момент даже в педагогике используются различные виды тестов, поэтому в педагогической теории тестирования имеются попытки классифицировать тесты по определенным критериям [1; 5; 6; 7 и др.]. Хотя общепризнанной классификации тестов не существует и, считаем, что не может быть. Обычно, в педагогических измерениях применяются диагностические тесты и тесты учебных достижений [2], первые из которых трактуются как тесты, ориентированные на выявление сильных и слабых качеств человека и применяются для диагностики ошибок, осложнений и особенностей процесса усвоения информации опрашиваемыми; вторые рассматриваются как часть дидактических тестов, широко используемых в системе образования и в профессиональном выборе» [2]. В отечественной педагогике такие тесты
сз о со "О
1=1 А
—I
о
сз т; о m О от
З
ы о со
строятся на дидактической основе и в зависимости от объемов контроля знаний могут быть предметно-тематическими тестами текущего, рубежного или итогового, входного контроля на вступительных экзаменах.
Различают также критериально-ориентированные (критериальные) и нормо-ориенти-рованные тесты (нормативные). Первые из указанных дают возможность оценить, насколько каждый ученик достиг спрогнозированного уровня знаний, умений и отношений, которые определены как критерий; при этом оценка каждого конкретного ученика не зависит от результатов других участников испытуемых. Особенностью нормативных тестов является ориентация на статистические нормы, определяемые для данной совокупности респондентов; учебные достижения отдельного ученика интерпретируется в зависимости от достижений всей совокупности испытуемых, так называемого, среднего показателя нормы.
Каждый тест состоит из тестовых заданий (ТЗ) - составных единиц теста, отвечающих требованиям технологичности, формы, содержания, и статистическим требованиям, а именно: определенному уровню сложности, достаточной вариации тестовых ответов и положительной корреляции баллов задания с баллами за весь тест [7]. Под формой тестового задания понимают такое расположение элементов, которое наиболее эффективно обеспечивает возможность реализовать функцию контроля или обучения [7]. Форма ТЗ - неизменна, то есть может меняться содержание (смысловое наполнение задания в зависимости от учебного предмета, учебной темы); форма ТЗ придает ему структурную целостность и определенность, внешнюю организованность. Присоединяемся к мнению исследователей теории тесто-логии [1; 2; 5; и др.], что основных форм ТЗ четыре:
- закрытого типа с выбором правильного ответа - одного или нескольких среди предложенных вариантов выбора;
- открытого типа как формы, не содержащей готового ответа. Обычно, такие задания должны формулироваться таким образом, чтобы ответ был как можно более лаконичным, то есть не стоит рассматривать указанную форму заданий как абстрактный ответ на вопрос, рассуждение, размышление и т.п. Если такие задания применяются, то для их правильного оценивания к ним нужно разработать критерии оценивания;
- на установление соответствия между элементами двух различных множеств, способствующие проверке знаний об их связях;
- на установление правильной последовательности для того, чтобы экзаменуемый определил правильную последовательность определен-
5 ных действий - шагов, операций, событий, со-о ставляющих процесса и тому подобное. й Указанные формы ТЗ являются основой разно° видностей всех форматов ТЗ, которых «за исто-SB рию существования ТЗ множественного типа бы-
ло апробировано более 40. Большинство из них не подтвердили свое качество и диагностические свойства» [2]. Форматами, которые обеспечивают высокую надежность, Е.Н. Соловова считает такие: А (ТЗ с одним правильным ответом), Х (ТЗ множественного выбора "правильно-неправильно"); N (ТЗ с несколькими лучшими ответами: например, "Что из указанного ... кроме?"; "Что из указанного не ...?»); R (ТЗ расширенного выбора, обычно, это ТЗ на установление соответствия - логических пар, где в перечне вариантов ответов предлагается большее количество предложений, чем в условиях); ситуационный кластер (состоит из описания ситуации со следующими задачами по предложенному сценарию).
Выбор определенной формы ТЗ зависит от цели тестирования, учебного предмета, учебной темы, технических возможностей и так далее; каждая форма ТЗ служит проверке уровня учебных достижений ученика в усвоении темы (раздела, предмета) и определенного вида его компетенций - знаний, умений и навыков, свойств, качеств, установок и тому подобное.
Итак, тест как инструмент тестирования должен удовлетворить ряд условий, которые и делают его средством измерения, а не обычным набором вопросов и задач. То есть технология конструирования тестовых заданий предусматривает соблюдение ряда правил:
- каждое тестовое задание должно оценивать достижение важной и существенной образовательной цели. Нужно избегать проверки незначащих или чрезмерно узкоспециализированных знаний;
- каждое тестовое задание должно проверять уровень усвоения знаний, в том числе и высшие уровни;
- условие должно содержать четко сформулированное, понятное, конкретное, без двусмысленностей в ответах задание. Задача должна фокусироваться на одной проблеме;
- оптимальным количеством вариантов ответов в ТЗ является 5-8, за исключением отдельных форматов ТЗ;
- предложенные ответы не должны быть субъективными суждениями, содержать субъективные оценки, быть противоречащими или спорными, необщепринятыми или недоказанными фактами. ТЗ должны содержать только современные элементы знаний;
- варианты ответов должны быть гомогенными (однородными);
- все дистракторы должны быть вероятными (правдоподобными).
- ТЗ не должны зависеть друг от друга: информация, содержащаяся в одном тестовом задании, не должна давать ответ на другое тестовое задание или, наоборот, незнание ответа на первое ТЗ не может мешать экзаменуемому ответить на следующий вопрос;
- запрещается использование алогичных дис-тракторов, то есть таких, которые не соответ-
ствуют условию ТЗ или не относятся к рассматриваемому понятию (объекту);
- не рекомендуется использовать как правильный ответ или дистрактор фразы с использованием абсолютных терминов «все из вышеуказанного», «ничего из вышеуказанного», а также слова «никогда», «всегда», «только», «иногда», «вероятно»;
- условие по возможности должно быть сформулировано положительно;
- необходимо избегать в формулировании условия подсказок типа: грамматическое несоответствие между условием и вариантами ответов; повторение в правильном ответе слов из условия; использование примеров из учебника или лекции в качестве тестовых заданий; самый длинный правильный ответ; дистракто-ры, исключающие друг друга; ситуации, когда одно тестовое задание является подсказкой для второго;
- для каждого ТЗ в процессе его апробации вычисляют среднее значение сложности и трудоемкости, что необходимо для определения общего времени выполнения теста [1; 4; 5 и др.].
Алгоритм конструирования теста для измерения учебных достижений
Учитывая первое из выдвинутых требований к ТЗ, при сдаче теста необходимо использовать тестовые задания разных видов и уровней сложности с тем, чтобы проверить все уровни усвоения материала, в том числе и более высокие, из всех важных положений учебной темы. С этой целью нужно использовать классификацию уровней когнитивной (познавательной)сферы, разработанную Б. Блюмом, которая является наиболее признанной и универсальной [1; 9 и др.]. Считается, что в тесте оптимально (пропорционально) должны быть представлены задания всех уровней сложности познавательной деятельности - знания, понимания, применения, анализа, синтеза и оценки. В целом на качество теста существенно влияет показатель сложности (индекс сложности) как тестовых заданий, так и теста в целом, который высчитывается по специальным подсчетам текстологами: если он является неоптимальным, то тест в целом будет иметь либо высокий, либо низкий уровень сложности, что влияет на результаты измерения и, соответственно, оценивания уровня учебных достижений. Однако, полагаем, непрофессионал также может приблизительно установить уровень сложности теста (без применения специальных формул и расчетов), выяснив соотношение в нем количества заданий разных уровней по классификации когнитивной сферы. Оптимальным, по нашему мнению, являются следующие соотношения: 60: 40 (то есть 60% ТЗ уровней знаний, понимания и применения так называемых низших уровней познавательной деятельности и 40% ТЗ высших уровней - анализа, синтеза, оценки); 65: 35 и 70: 30.
В качестве примера приводим образцы задач, которые диагностируют различные когнитивные уровни.
Для создания правильного теста (алгоритм конструирования теста для измерения учебных достижений) по определенной учебной теме необходимо осуществить следующее:
- определить цель тестирования (то есть применение теста), выбор вида теста;
- проанализировать содержание учебной темы (раздела, предмета), с тем, чтобы установить самое важное в этой теме, что является необходимым для усвоения, и компетенции, которые должен приобрести (совершенствовать) ученик, изучая тему;
- определить структуру теста и стратегию расположения заданий, то есть создать матрицу теста. Матрица теста - «это структура организации, а также определенный объем образовательного домена (знаний, умений, навыков, качеств, ценностей), выносимых для оценивания» [1].
Понятие «домен» может включать содержание программы по предмету, измерение уровней усвоения, требования образовательного стандарта, компетентность и тому подобное. В предметном тесте определение домена - это соответствие или, собственно, конечный результат изучения темы, раздела, предмета, соответствие этапа усвоения учебной программы и выводы на основе полученных результатов [1] (то, что является обязательным для проверки и раскрывает уровень усвоения учеником определенной темы). Например, для тестирования после изучения учебной темы «Моя семья. Члены семьи. Профессии членов семьи» в школьном курсе английского языка для проверки уровня учебных достижений учащихся следует:
- использовать такие домены: ключевые понятия темы - «семья», «члены семьи», «профессии»; содержание родственных связей между членами семьи; различные профессии в современном мире; выбор собственной профессии; семейные традиции; семейные праздники: день рождения, Новый год; домашние обязанности; возможность высказать собственное мнение.
- выбрать спецификацию теста, его длину (обычно, оптимальный тест состоит из 30-60 ТЗ) и время выполнения;
- отобрать ТЗ в тест и ранжировать их в соответствии с выбранной стратегией расположения;
- проанализировать тестовые задания, тест по содержанию, уровню сложности и усовершенствовать при необходимости.
Конечно, широкое применение каждого теста предполагает его предварительную апробацию и корректировку в случае необходимости.
Каждый тест должен включать творческое задание (задание уровня оценивания). В рассматриваемом нами случае (изучение указанной темы) как творческое стоит использовать одно из таких
сз о со "О
1=1 А
—I
о
сз т; о т О от
З
и о со
заданий: «Составить рассказ о своей семье»; «Написать краткое связное высказывание по предложенным темам (например, о своей будущей профессии; выразить свое отношение к ... и тому подобное)».
Кроме этого, его обязательными составляющими являются бланк правильных ответов (ключ) и критерии оценивания.
Обычно, структура (матрица) теста по определенной учебной теме имеет следующий вид (табл. 1).
Таблица 1. Матрица теста по учебной теме «Моя семья. Члены семьи. Профессии членов семьи» (5 класс школьного курса английского языка)
Домены Уровни Всего
Знание Понимание Применение Анализ Синтез Оценка
Ключевые понятия темы - "семья", "члены семья", "профессии" 3 1 - 1 - - 5
Содержание родственных связей между членами семьи 4 - - - 2 - 6
Различные профессии в современном мире 1 - 1 1 1 - 4
Выбор собственной профессии - 3 1 1 1 1 7
Семейные традиции - - - 1 - 1 2
Семейные праздники: день рождения, Новый год - - 1 1 - - 2
Домашние обязанности - - 2 - - - 2
Возможность высказать собственное мнение - - - - - 2 2
Общее число 8 4 5 5 5 3 30
Краткая сертификация теста, который будет создан по разработанной матрице, будет такой: тест учебных достижений для итогового (тематического) измерения, состоящий из 30 тестовых заданий: 27 заданий закрытого типа, 3 задания открытого типа, из них 1 творческое (связное высказывание); в тесте использовано 20 ТЗ формата А 4 ТЗ формата N и 6 ТЗ формата R. В целом сертификация теста - это «документ, в котором содержится информация о целях, задачах, плане и структуре теста, указаны основные требования к правилам проведения тестирования, обработке результатов тестирования и их интерпретации» [2].
Тестирование как процедура измерения уровня учебных достижений непосредственно связана с процедурой оценивания - «конвертацией полученного в процессе тестирования первичного результата (балла) в соответствующее число (оценку) по определенной шкале» [1]; процессом формулирования выводов на основе сравнивания количественных показателей со стандартом [2]. Процедура конвертации (интерпретации) называется шкалирование. Считаем, что в школьной практике оптимальным является критериальный подход в конвертации результатов тестирования в оценку (баллы). Для этого стоит определить «стоимость» правильного ответа на задания разных уровней сложности (по классификации Б. Блюма); скажем, за тестовое задание уровня знаний - 1 балл; ТЗ уровней понимания и применения - 2 балла; уров-о ней анализа и синтеза - 3 и задания уровня оце-£ нивания (кроме творческого задания) - 4 балла. й Таким образом, выполнив правильно все задания ^ теста по учебной теме «Моя семья. Члены семьи. ^ Профессии членов семьи» (кроме творческого за-
дания) ученик максимально может набрать 64 балла. Эти баллы конвертируются в 5-балльную шкалу таким образом: 5-64-51; 4-50-38; 3-37-20; 2 -менее 20 баллов.
Творческое задание максимально оценивается в 5 баллов. Полученные баллы (оценки) складываются и делятся пополам, что и является итоговой оценкой за тест.
Выводы. Измерение и оценивание результата обучения (учебных достижений) учащихся (студентов) в нашей стране на данный момент широко внедряется на практике и является важным для воспроизведения в России технологии стандартизированного тестирования, успешно используемого в большинстве стран. Качество и эффективность тестирования, а также достоверность и правильность зависят от компетентности специалистов, которые составляют тесты, и уровня осведомленности учителей (преподавателей) об основах теории тестологии, их способности не применять в учебно-воспитательном процессе общеобразовательных учебных заведений (ВУЗОВ) неудачно построенные тесты.
Литература
1. Соловова Е.Н., Козлова З. Английский язык как средство обучения в профильном вузе/ В сборнике: Язык, литература и культура как грани межкультурного общения. сборник научных трудов. Под редакцией О.Д. Вишняковой. 2017. С.48-58.
2. Вербицкая М.В., Махмурян К.С., Симкин В.Н., Соловова Е.Н. О разработке модели двухуровневого единого государственного экзамена
по иностранным языкам // Педагогическая диагностика. 2016. № 1. С. 18.
3. Аванесов В.С. Определение, предмет и основные функции педагогической диагностики / В.С. Аванесов // Педагогическая диагностика. - 2002. - № 1. - С. 32-46.
4. Майоров А.Н. Теория и практика создания тестов для системы образования /А.Н. Майоров. - М.: Интеллект-Центр, 2002. - 296 с.
5. Аванесов В.С. Композиция тестовых заданий /
B.С. Аванесов. - М.: Адепт, 1998. - 272 с.
6. Анастази А. Психологическое тестирование. -В 2-х кн. - Пер. с анг. / А. Анастази. - Кн. 2. -М.: Педагогика, 1982. - 316 с.
7. Аванесов В.С. Понятийный аппарат педагогической тестологии / В.С. Аванесов // Педагогическая диагностика. - 2002. - № 2. - С. 34-46.
8. Аванесов В.С. Определение исходных понятий теории педагогических измерений / В.С. Ава-несов // Педагогическая диагностика. - 2005. -№ 2. - С. 6-24.
9. Соловова Е.Н., Большакова Е.А. Контроль умений осуществлять различные формы записи информации на промежуточном этапе между чтением и созданием собственных текстов // Иностранные языки в школе. 2014. № 10. С. 2-9.
10. Лащенова Н.Е. Учебно-методическое обеспечение образовательных программ по английскому языку в начальной школе // В сборнике: РЕБЕНОК В СОВРЕМЕННОМ ОБРАЗОВАТЕЛЬНОМ ПРОСТРАНСТВЕ МЕГАПОЛИСА. Материалы VIII Международной научно-практической конференции. Москва, 2021.
C. 265-270.
APPLICATION OF TESTING AS A TOOL FOR
PEDAGOGICAL MEASUREMENTS: OPPORTUNITIES
AND LIMITATIONS
Magomedov A.G.
National Research University Higher School of Economics
In modern conditions of modernization of education, in particular,
the system of secondary general education, testing has been wide-
ly used as a method of measuring and evaluating the educational achievements of students studying in various school subjects both in the process of their assimilation and during the state final certification. The article analyzes the issue of the quality of pedagogical test diagnostics of students' subject competence, which is associated with ensuring the validity, objectivity, reliability, accuracy of the testing method as a method of measuring students' academic achievements, the test as a tool of this method and measurement and evaluation procedures. Special attention is drawn to the issues of the basic concepts of testology, classification of tests and test tasks, as well as the construction of a test that covers the topic "My family. Family member. Occupation of my family members" in English lessons at school to measure academic achievements.
Keywords: testology, language control, measurement, testing method, principles of test development, types of tests, development of test tasks, evaluation procedure.
References
1. Solovova E.N., Kozlova Z. English as a means of teaching at a specialized university/ Sourcebook: Language, literature and culture as facets of intercultural communication. Sourcebook of scientific papers. Edited by O.D. Vishnyakova. 2017. pp. 48-58.
2. Verbitskaya M.V., Makhmuryan K.S., Simkin V.N., Solovo-va E.N. On the development of a model of a two-level unified state exam in foreign languages // Pedagogical diagnostics. 2016. No. 1. p. 18.
3. Avanesov V.S. Definition, subject and main functions of pedagogical diagnostics / V.S. Avanesov // Pedagogical diagnostics. - 2002. - No. 1. - pp. 32-46.
4. Mayorov A.N. Theory and practice of creating tests for the education system / A.N. Mayorov. - M.: Intellect Center, 2002. -296 p.
5. Avanesov V.S. Composition of test tasks / V.S. Avanesov. - M.: Adept, 1998. - 272 p.
6. Anastasi A. Psychological testing. - In 2 books. - Translated from English / A. Anastasi. - Book 2. - M.: Pedagogy, 1982. -316 p.
7. Avanesov V.S. Conceptual apparatus of pedagogical testology / V.S. Avanesov // Pedagogical diagnostics. - 2002. - No. 2. -pp. 34-46.
8. Avanesov V.S. Definition of the initial concepts of the theory of pedagogical measurements / V.S. Avanesov // Pedagogical diagnostics. - 2005. - No. 2. - pp. 6-24.
9. Solovova E.N., bolshakova E.A. Control of the ability to carry out various forms of recording information at the intermediate stage between reading and creating your own texts // Foreign languages at school. 2014. No. 10. pp. 2-9.
10. Lashchenova N.E. Educational and methodological support of educational programs in English in primary school // Source-book: The child in the modern educational space of the metropolis. Materials of the VIII International Scientific and Practical Conference. Moscow, 2021. pp. 265-270.
