CC BY
13
УДК 376.42
МОДИФИКАЦИЯ ЗАРУБЕЖНОЙ ТЕХНОЛОГИИ «GENERAL OUTCOME MEASUREMENT» ДЛЯ ДИАГНОСТИКИ ОБРАЗОВАТЕЛЬНЫХ ДОСТИЖЕНИЙ ОБУЧАЮЩИХСЯ С УМСТВЕННОЙ ОТСТАЛОСТЬЮ В ИНТЕРАКТИВНОЙ СРЕДЕ (СООБЩЕНИЕ 3)
А.В. Мамаева (Красноярск, Россия) К.Ю. Денисова (Красноярск, Россия) Л.А. Брюховских (Красноярск, Россия) А.В. Диденко (Красноярск, Россия)
Аннотация
Проблема исследования. Статья посвящена проблеме модификации зарубежной технологии general outcome measurement (GOMs), одной из зарубежных технологий «формирующего оценивания», для диагностики образовательных достижений обучающихся с умственной отсталостью в интерактивной среде.
Цель исследования - определить и апробировать (на примере диагностики показателей сформирован- <; ности первоначальных навыков чтения) требования к процедуре диагностики, разработанные на основе тех- ^ нологии GOMs, для мониторинга образовательных достижений учеников с интеллектуальной недостаточно- ¡д| стью в интерактивной среде. <1
Методология (материалы и методы). Требования к диагностике определены на основе технологии о GOMs и модифицированы с учетом специфики русского языка и русской письменности, специфики обучения чтению детей с умственной отсталостью в России, особенностей применения в интерактивной среде. Тре- ^ бования апробированы на примере диагностики показателей сформированности первоначальных навыков чтения, результаты проанализированы с помощью методов статистического анализа. Для определения на- £ ® дежности выявлялись различия либо совпадения между стабильными результатами двух включений в близ- ^ н кий временной промежуток. Для определения валидности выявлялась взаимосвязь (корреляция) результатов Я н диагностики в интерактивной среде с результатами чтения вслух либо устного ответа. ffl ^
Результаты исследования не противоречат предположению о том, что соблюдение обозначенных тре- о ^
бований при диагностике образовательных достижений у обучающихся с умственной отсталостью в интерак- §
тивной среде позволяет получить надежные и валидные данные. Подтверждена надежность наборов зада- Р щ
ний для мониторинга, так как результаты показов двух включений в близкий временной промежуток совпа- О
дают на уровне значимости 0,05. Подтверждена тесная и значимая взаимосвязь результатов показа с резуль- 2
татами устных ответов, что позволяет сделать вывод о валидности наборов заданий. О §
Заключение. Определены требования модифицированного варианта технологии GOMs к процедуре диаг- ^ ^
ностики образовательных достижений обучающихся с умственной отсталостью в интерактивной среде, которые о ^
позволяют получать точные результаты с оптимизацией временных затрат. В результате апробации подтвержде- (-н
ны надежность и валидность наборов заданий, разработанных с учетом обозначенных требований, для диагно- ^ В
стики образовательных достижений у обучающихся с умственной отсталостью в интерактивной среде. ^
Ключевые слова: умственная отсталость, образовательный мониторинг, формирующее оценива- Рн М ние, оценивание на основе учебных планов, измерение общего результата, информационно-компьютерные технологии, обучение грамоте, навык чтения.
И С
S
к
Мамаева Анастасия Викторовна - кандидат педагогических наук, доцент кафедры коррекционной педагогики, КГПУ им. В.П. Астафьева; e-mail: avmama_eva@mail.ru
Денисова Ксения Юрьевна - учитель, Сухобузимская средняя школа (Сухобузимский р-н, с. Сухобузимское); e-mail: ksyukusinatra@mail.ru piH
Брюховских Людмила Александровна - кандидат педагогических наук, доцент кафедры коррекционной педагогики, КГПУ им. В.П. Астафьева; e-mail: ladakspu@mail.ru
Диденко Александра Валерьевна - магистрант, КГПУ им. В.П. Астафьева; e-mail: asya.didenko.00@mail.ru
и
w
PQ
Постановка проблемы. Проблемы мониторинга в образовании приобретают особую актуальность. Относительно детей с трудностями в обучении актуализируются проблемы как «стартовой» диагностики, так и отслеживания результативности обучения, востребованы новые технологии и практический инструментарий для планирования ожидаемых возможных результатов в ближайшей перспективе и получения информации об эффективности коррекционно-педагогических мероприятий, так называемой «обратной связи» [Ruiz, 2020, p. 36].
В контексте настоящего исследования представляет интерес технология general outcome measurements (GOMs) [Wayman et al., 2009], разработанная на базе curriculum-based measurement (СВМ) [Deno, 2003, p. 184]. GOMs относится к технологиям «формирующего оценивания», вариантам, адаптированным для обучающихся с нарушениями интеллекта и предназначенным для отслеживания их продвижений за короткие промежутки с целью обеспечения учителей информацией об эффективности обучения и оперативной корректировки программ при необходимости.
Возможности применения модифицированного русскоязычного варианта технологии GOMs для отслеживания образовательных достижений учеников с интеллектуальной недостаточностью (на примере диагностики навыка чтения) подтверждены в серии исследований, которые проводились в КГПУ им. В.П. Астафьева в 2016-2022 гг. [Мамаева и др., 2021, с. 1474]. Проведены исследования, результаты которых подтверждают целесообразность применения модифицированного варианта GOMs с использованием компьютерных технологий на локальном носителе (планшетном компьютере с сенсорным экраном) [Мамаева и др., 2020, с. 226]. Получены первые данные о надежности и валидности наборов заданий для диагностики образовательных результатов в интерактивной среде (в частности, для диагностики сформированности звуко-буквенного анализа) [Мамаева, Брюховских, Куйдина, 2020, с. 7].
Реализация обследования в интерактивной среде имеет ряд безусловных преимуществ (прозрачность результатов при доступности их
ограниченному кругу лиц, возможность проводить диагностику дистанционно и др.), но перенос имеющихся технологий и методов диагностики в интерактивную среду требует их адаптации и модификации.
Проблемы исследования заключаются в определении и апробации требований к процедуре диагностики образовательных достижений умственно отсталых школьников в интерактивной среде.
В соответствии с обозначенной проблемой возникают следующие вопросы исследования.
- Каковы требования к процедуре диагностики образовательных достижений умственно отсталых школьников в интерактивной среде?
- Являются ли данные, полученные в интерактивной среде с соблюдением обозначенных нами требований (на примере диагностики показателей сформированности первоначальных навыков чтения), надежными и валидными?
Цель исследования - определить и апробировать (на примере диагностики показателей сформированности первоначальных навыков чтения) требования к процедуре диагностики, разработанные на основе технологии GOMs, для мониторинга образовательных достижений учеников с интеллектуальной недостаточностью в интерактивной среде.
Обзор научной литературы. Проблемам мониторинга в образовании в последние годы посвящено множество отечественных, зарубежных, а также международных исследований [Farley et al., 2016, p. 196; Hill, Lemons, 2015, p. 312; Jones et al., 2018, p. 42; Kearns et al., 2015, p. 20; Hopfenbeck et al., 2018, p. 333]. Например, в системе образования многих стран в связи с использованием различных уровней поддержки учеников с трудностями в обучении обсуждаются процедуры оценки «ответа на коррекцион-ное воздействие» (response to intervention - RTI) [Solheima et al., 2018, p. 65]. Для обеспечения учителей информацией об эффективности их профессиональных действий разрабатываются и апробируются технологии «формирующего оценивания», предполагающие регулярные и частые оценки и на их основе при необходи-
мости - оперативную корректировку программ обучения [Lee et al., 2020, p. 124; Wallace, Ticha, Gustafson, 2010, p. 333; Yan, Pastore, 2022, p. 1]. Можно отметить тенденцию к конвергенции мнений специалистов разных стран - представителей различных научных школ. В частности, методологические основы RTI-модели диагностики перекликаются с концепцией «зоны ближайшего развития» Л.С. Выготского [Выготский, 1935, с. 33; Eun, 2019, p. 19], основные положения «формирующего оценивания» - с принципом единства диагностики и коррекции.
В контексте нашего исследования представляет интерес технология general outcome measurements (GOMs) [Wayman et al., 2009], разработанная на базе curriculum-based measurement (СВМ) [Deno, 2003, p. 184]. GOMs, по сути, является своеобразным вариантом тестирования, но учитывает особенности обучающихся с когнитивными расстройствами через соблюдение ряда требований:
- распределение заданий по показателям с регламентированным количеством заданий по каждому из тестируемых показателей;
- использование невербального ответа ученика (указательного жеста на правильный вариант ответа из 3 предложенных для выбора);
- соблюдение правила «трех ошибок», в соответствии с которым обследование по показателю завершается, если по нему подряд совершены три ошибки;
- небольшая продолжительность обследования (не более 3 минут по показателю);
- проведение в качестве обучающих первых трех заданий по каждому показателю (при их предъявлении используется четко регламентированная «система помощи», их результаты при подсчете баллов за показатель не учитываются) [Мамаева и др., 2019, с. 41].
Кроме того, использование невербального ответа через показ правильного варианта из трех предложенных для выбора (данный метод изначально применялся для включения в процесс мониторинга детей с отсутствием общеупотребительной речи) оказалось удобным программирования способом.
Исследования, проведенные в КГПУ им. В.П. Астафьева в 2016-2022 гг., позволяют сделать вывод об универсальности требований GOMs для применения в различных культурных контекстах и на различных языках [Мамаева и др., 2021, с. 1474]. Также проведены исследования, подтверждающие достоверность и надежность данных о сформированности первоначальных навыков чтения у учеников с умственной отсталостью, полученных с помощью модифицированного варианта GOMs с использованием компьютерных технологий на локальном носителе (планшетном компьютере с сенсорным экраном) [Мамаева и др., 2020, с. 226]. Получены первые данные, подтверждающие правомерность проведения мониторинга в интерактивной среде (на примере наборов заданий для диагностики сформированности звуко-буквенного анализа у обучающихся с умственной отсталостью) [Мамаева, Брюховских, Куйдина, 2020, с. 7].
Проведенные исследования ориентированы на проведение отслеживания эффективности формирования навыков чтения у детей с интеллектуальной недостаточностью. Актуальность мониторинга обучения чтению детей данной категории обусловлена, с одной стороны, значимостью данного умения для социализации в обществе, с другой - стойкими трудностями, которые испытывают обучающиеся с умственной отсталостью при овладении первоначальными навыками чтения ^асап, Wilkerson, Ruppar, 2017, р. 229; Ainsworth et а1., 2016, р. 165]. Также за последние годы возрастает интерес к использованию компьютерных технологий в образовании, регулярно появляются новые отечественные и зарубежные исследования и практические разработки [Алейникова, 2022, с. 53; Соболева и др., 2017, с. 7].
Проведение диагностики с использованием компьютерных технологий «имеет ряд преимуществ:
- объективность оценивания, независимость от мнения эксперта;
- простота в использовании;
- возможность включения в систему оценивания детей с отсутствием речи;
С И
а
4
с
PQ
5 к
ш н S
и ^
д и к
0
1
к
ш PQ Н
и fc с
и
о
[-4
0
ё
и
Ин
3
1
и
>>
0
1
и
W V S
ь
[-4 <
э
с
S
к
н и
w
PQ
- оптимизация временных затрат на обработку результатов (обработка осуществляется компьютерной программой, автоматически)» [Мамаева и др., 2020, с. 228].
Проведение диагностики в интерактивной среде, в отличие от локального носителя, также обеспечивает «прозрачность» его результатов, не противореча при этом принципам деон-тологической этики, так как результаты конкретного ребенка доступны лишь ограниченному кругу лиц, способствует продуктивному сотрудничеству с семьей и позволяет проводить мониторинг дистанционно. Но перенос диагностики с локального носителя в интерактивную среду требует уточнения требований к процедуре и их апробацию в изменившихся условиях.
Методология (материалы и методы). Для ответа на первый вопрос исследования при определении требований к процедуре диагностики достижений умственно отсталых школьников в интерактивной среде мы опирались на основные положения технологии GOMs. Но «первоначальный вариант технологии GOMs, предложенный сотрудниками Университета Миннесоты, модифицирован нами с учетом:
- специфики русского языка и русской письменности;
- специфики обучения чтению детей с умственной отсталостью в России;
- особенностей применения в интерактивной среде» [Мамаева, Брюховских, Куйдина, 2020, с. 9].
В качестве ведущих определены следующие требования.
1. Выделение системы последовательно усложняющихся показателей для диагностики определенного умения или навыка. Данное положение является одним из ключевых положений технологии GOMs и соотносимо с таким принципом отечественной коррекци-онной педагогики, как принцип «поэтапности обучения», и положением об ориентированности обучения на «зону ближайшего развития». Для диагностики сформированности первоначальных навыков чтения, в случаях когда обучение ведется на основе звукового аналитико-
синтетического метода, нами выделены следующие показатели:
- знание букв;
- навыки языкового анализа (определение первой буквы в слове, последней буквы в слове, наличия буквы в слове, слоговой анализ);
- чтение слогов;
- чтение слов;
- чтение предложений (подбор картинки к предложению; завершение предложения словом, подходящим по смыслу).
Для детей, которым овладение чтением на основе общепринятых подходов недоступно, предложены показатели сформированности альтернативного чтения: зрительное восприятие, узнавание пиктограмм, «чтение» пиктографических предложений.
Некоторые из вышеперечисленных показателей апробированы на бумажном носителе, локальном носителе с использованием компьютерных технологий (планшетном компьютере с сенсорным экраном) и в интерактивной среде; другие же находятся на этапе разработки и апробации. В данном сообщении будут представлены результаты апробации требований к процедуре диагностики сформированности первоначальных навыков чтения умственно отсталых школьников в интерактивной среде на примере показателей: определение первой и последней буквы в слове, чтение слогов и чтение слов.
2. Структурирование диагностических заданий не только по показателям, но и материалам букв. Так как овладение грамотой у обучающихся с умственной отсталостью - процесс пролонгированный (иногда изучение всех букв алфавита продолжается несколько лет) и первоначально чтение слогов, слов и предложений осуществляется на ограниченном материале букв, целесообразно мониторинг сформированности данных показателей начинать также на ограниченном материале букв. Задания распределены на три материала.
Материал 1: А О У М С Х.
Материал 2: материал 1 + Ш Л Н Ы Р К П Т И З В Ж Б Г Д.
Материал 3 - все буквы: материал 2 + Е Е Й Э Ю Я Ф Ц Ч Щ Ъ Ь.
Таким образом, диагностика по предложенному нами алгоритму предполагает первоначальное обследование знания букв учениками, а затем обследование по остальным показателям на материале букв, находящемся в «зоне ближайшего развития» конкретного ученика. При этом в рамках каждого материала букв обозначены как рекомендуемые, так и дополнительные показатели. Например, на материале 3 (все буквы) рекомендуемые показатели: чтение слогов, слов, предложений; остальные показатели рассматриваются в качестве дополнительных.
3. Следует отметить еще одно отличие от зарубежной версии, где все задания внутри показателя рассматривались как равнозначные, - это выделение уровней сложности внутри каждого показателя и равномерное распределение заданий внутри показателя на уровни сложности. Например, по показателю «Чтение слогов»: первый уровень сложности - чтение обратных слогов (ГС); второй уровень сложности - прямые слоги (СГ); третий уровень сложности - слоги из трех букв (ССГ, ГСС, СГС). При диагностике каждого из показателей задания предъявляют последовательно «пачками», в каждой из которых имеется по одному заданию из каждого уровня сложности обследуемого показателя. Например, при диагностике чтения слогов материал может быть предложен в такой последовательности:
- первая «пачка» слогов: МА (второй уровень сложности слогов), АС (первый уровень сложности), ХОМ (третий уровень);
- вторая «пачка» слогов: МСА (третий уровень сложности слогов), ОМ (первый уровень сложности), ХУ (второй уровень сложности) и т.д.
Как видно из приведенного примера, последовательность уровней сложности внутри «пачки» определяется случайным образом, выбор заданий из набора конкретного уровня сложности также осуществляется в произвольной последовательности, но не допускается повторение заданий в рамках одного обследования.
Таким образом, «поэтапность», предлагаемая нами в модифицированном варианте технологии GOMs, более конкретизирована, что позволяет получить более точные данные
о сформированности умений внутри каждого конкретного показателя, так как компьютерной программой осуществляется подсчет правильных показов как в целом, так и по каждому уровню сложности обследуемого показателя.
4. Так как обследование по каждому показателю ограничено во времени, нами определено требование - внутри каждого показателя допустимо не более трех уровней сложности.
5. Небольшая продолжительность диагностики (три минуты на показатель). Данное требование обозначено в рамках технологии GOMs и обусловлено такими психофизическими особенностями обучающихся с когнитивными расстройствами, как: низкая работоспособность, повышенная утомляемость, отвлекаемость, трудности концентрации внимания, сниженная мотивация [Защирская и др., 2017, с. 81]. Но так как в модифицированном нами варианте внутри каждого показателя выделены 2-3 уровня сложности, то введено требование равномерного распределения времени между уровнями сложности: в случае трех уровней сложности внутри показателя -по 60 секунд на каждый уровень, при двух уровнях сложности - по 90 секунд на уровень.
6. Ответ ученика через показ правильного варианта ответа из трех предложенных для выбора. Автоматически производится подсчет правильных показов за единицу времени (3 минуты на показатель) как по показателю в целом, так и по каждому уровню сложности обследуемого показателя. При проведении исследования дети осуществляли показ с использованием компьютерной мыши, указательного жеста (ребенок на экране компьютера показывает ответ рукой, а педагог реализует его ответ с помощью компьютерной мыши), а также через касание изображения на сенсорном экране. Способ показа и техническое решение (вариант электронного носителя) в каждом конкретном случае выбирает педагог, ориентируясь на двигательные возможности конкретного ученика и техническую обеспеченность образовательного процесса в конкретной организации. При этом в работе с каждым конкретным учеником в ходе эксперимента использовалось лишь единообразное техническое решение, так
< И
а
4
с
PQ
5 к
ш н S
и ^
д и к
0
1
к
ш PQ Н
и fc с
и
о
[-4
0
ё
и
Ин
3
1
и
>>
0
1
и
W V S
ь
[-4 <
э
с
S
к
Н U
w
PQ
как гипотетически можно предположить, что изменение условий осуществления показа повлияет на количественные показатели диагностики. Сравнение результатов диагностики при использовании различных электронных носителей и различных способов показа в рамках данного исследования не проводилось, но рассматривается нами в качестве дальнейшей перспективы.
7. Правило «трех ошибок», которое в первоначальной зарубежной версии предполагает окончание диагностики по показателю, если учеником допущены три ошибки подряд. Соблюдение данного требования, с одной стороны, позволяет сократить время обследования, сохранив при этом точность результатов, а также предотвращает утомление и негативную реакцию учеников на повторяющиеся ошибки при предъявлении непосильных для выполнения и не понимаемых ими заданий, что особенно трудно для учеников с умственной отсталостью, когда затруднена регуляция аффекта интеллектом. Учитывая зарубежные исследования о правомерности применения правил как трех, так и двух ошибок [Wayman et al., 2009], мы сделали выбор на правиле «трех ошибок». Но его реализация в нашем варианте модифицирована, что связано с выделением уровней сложности внутри каждого показателя. Подсчет ошибок осуществляется не по показателю в целом, а по каждому уровню сложности по отдельности: если допущено три ошибки подряд в заданиях конкретного уровня сложности, то прекращается обследование только этого уровня, но обследование по остальным уровням сложности показателя продолжается.
8. Использование первых трех заданий каждого показателя как обучающих. Данное положение технологии GOMs используется в предлагаемом нами варианте без изменений и предполагает использование системы подсказок с постепенным усилением помощи (допустимо четырехкратное предъявление обучающих заданий), что позволяет ученику с умственной отсталостью сориентироваться при применении знаний в новых условиях. В качестве обучающих используются самые простые задания показателя,
которые затем как оценочные не используются. Результаты обучающих заданий не учитываются при подсчете баллов за показатель.
9. При выполнении оценочных заданий используется организующая помощь: при неправильном показе инструкция повторяется (оценочными являются задания, начиная с четвертого, внутри каждого показателя). Если показ произведен с ошибкой или не осуществляется в течение определенного времени (от 5 до 30 секунд, в зависимости от показателя), то вопрос повторяется, но уже развернуто. Правильный показ с первого предъявления задания в каждом оценочном задании оценивается в 1 балл, но за правильный показ после повторной инструкции баллы не начисляются. Выделение требования обусловлено необходимостью в дополнительной помощи, связанной с недостаточной сформированностью мотивационно-энергетического и регулятивного компонентов познавательной деятельности у детей с умственной отсталостью [Дмитриев, Вер-хотурова, 2019, с. 537; Верхотурова, Дмитриев, Дмитриева, 2020, с. 18109]. Повторение инструкции в данном случае является переносом действий контроля во внешний план и снижает риск упрощения инструкции обучающимися («скатывания» до действий показа наугад).
10. Возможность до четырех включений в близкий временной промежуток (в течение двух недель) для получения достоверных результатов, что является значимым условием, обеспечивающим надежность данных. Проведение нескольких включений особенно значимо при обучении работе с программой, а также при ситуативном снижении результатов по показателю, для этого в программе предусмотрена функция выбора ведущего значения показателя за период. Необходимость соблюдения данного требования подтверждено нами ранее через серию исследований 2016-2022 гг.
11. Интерпретация результатов диагностики на основе их количественно-качественного анализа. Подсчет баллов по показателям и уровням сложности осуществляется автоматически, но именно на основе количественно-качественного анализа педагог выбирает материал букв, пока-
затели для оценивания, ведущее значение показателя за период, а также дополняет и интерпретирует числовые значения с учетом качественных особенностей выполнения заданий, наблюдения за поведением и состоянием детей в ходе диагностики. Например, ученик, выбравший при чтении предложений стратегию «показа наугад», может набрать больше баллов, чем ученик, выполняющий задания осознанно, но медленно, у которого чтение по слогам только формируется.
Нужно отметить также, что в рамках данного сообщения не стоит задача представления требований к содержанию и оформлению заданий по каждому конкретному показателю (например, к подбору материала, голосовой инструкции, изображениям, шрифтовому оформлению и т.д.), которые носят частный характер и распространяются именно на один конкретный показатель.
Данные требования к содержанию и процедуре диагностики сформированности первоначальных навыков чтения у умственно отсталых
школьников в интерактивной среде были апробированы нами по показателям: определение первой буквы в слове, последней буквы в слове, чтение слогов и чтение слов.
Для ответа на второй вопрос исследования (определения надежности и валидности данных, полученных в интерактивной среде с соблюдением обозначенных нами требований) в период с 2018 по 2020 г. была организована серия исследований по вышеобозначенным показателям. Обследование по разным показателям проводилось на базе различных организаций с различными обучающимися и в различные сроки. Основными критериями для включения в эксперимент явились: наличие умственной отсталости и сформированное^ показателя (обследуемый показатель сформированности первоначальных навыков чтения на момент диагностики должен находиться в «зоне ближайшего развития»). Данные об организации экспериментального исследования по показателям отражены в табл. 1.
Данные об организации экспериментального исследования Data on the arrangement of the experimental research
Таблица 1 Table 1
Показатель Сроки исследования Количество участников Возраст участников Степень умственной отсталости участников
1. Определение первой буквы в слове Весна 2020 г. -15 чел., осень 2020 г. - 20 чел. 35 чел., из них 30 мальчиков и 5 девочек 8 лет - 15 чел., 9 лет - 7 чел., 10 лет - 5 чел., 11 лет - 6 чел., 12 лет - 2 чел. Легкая умственная отсталость - 22 чел., умеренная умственная отсталость - 13 чел.
2. Определение последней буквы в слове Весна 2020 г. -11 чел., осень 2020 г. - 16 чел. 27 чел., из них 18 мальчиков и 9 девочек 8 лет - 15 чел., 9 лет - 5 чел., 10 лет - 4 чел., 11 лет - 3 чел. Легкая умственная отсталость - 20 чел., умеренная умственная отсталость - 7 чел.
3. Чтение слогов Осень 2018 г. 27 чел., из них 23 мальчика и 4 девочки 9 лет - 1 чел., 10 лет - 3 чел., 11 лет - 6 чел., 12 лет - 6 чел., 13 лет - 5 чел., 15 лет - 6 чел. Умеренная умственная отсталость - 27 чел.
4. Чтение слов Весна 2019 г. 30 чел., из них 18 мальчиков и 12 девочек 10 лет - 1 чел., 11 лет - 6 чел., 12 лет - 8 чел., 13 лет - 10 чел., 14 лет - 5 чел. Умеренная умственная отсталость - 30 чел.
<
PQ £ a
4
с
PQ
S s
ES
w
H
S
и ^
д
PQ ■S
о
ü к
w PQ H
и
ft <
и о
l-ч
о
ë и ft
s
>>
0
1
и w V
s
Ь
1-й <
G
«
s к
H
и
W PQ
Экспериментальное исследование было ор- - для определения валидности анализи-
ганизовано следующим образом: ровалась взаимозависимость между данны-
- для определения надежности было про- ми показа в интерактивной среде и результа-
ведено от двух до четырех включений в течение тами чтения вслух слогов и слов либо устного
двух недель, а затем сравнивались результаты ответа на вопрос о первой и последней букве
двух стабильных включений; в слове.
Результаты проанализированы с помощью методов статистического анализа, применялся программный пакет 10». Использовались непараметрические статистические критерии для связанных выборок: тест знаков,
Результаты, представленные в табл. 2, иллюстрируют, что по всем показателям медиальные, максимальные и минимальные значения показов во время двух стабильных включений, проводимых в течение двух недель, очень близки, что согласуется с предположением о надежности апробированных наборов заданий. Медиальные, максимальные и минимальные значения показов и соответствующие им значения устных ответов также близки, но при этом результаты показа выше результатов устных ответов. Данный факт объясняется тем, что действия показа и чтения вслух (либо называния первого и последнего звука в слове) близки, но не тождественны, чтение вслух имеет более сложную психологическую структуру. При этом результаты показа в интерактивной среде и результаты
критерий Уилкоксона, а также коэффициент корреляции Спирмена.
Результаты исследования. Первичный анализ. Результаты первичного анализа данных отражены в табл. 2.
Таблица 2 Table 2
устных ответов могут быть тесно взаимосвязаны, что соответствует выводам по результатам исследования, проведенного нами ранее на локальном носителе, и не противоречит предположению о валидности наборов заданий, апробированных в интерактивной среде. Для подтверждения выводов о валидности и надежности заданий, размещенных в интерактивной среде с соблюдением обозначенных выше требований, результаты апробации проанализированы с помощью методов статистического анализа.
Определение надежности наборов заданий. Для определения надежности наборов заданий проводилось сравнение результатов двух стабильных включений по каждому показателю в близкий временной промежуток (до двух недель) (табл. 3).
Таблица 3
Сравнение результатов двух включений по показателям
Table 3
Comparison of the two inclusions by indicators
Показатель I определение первой буквы в слове II определение последней буквы в слове III чтение слогов IV чтение слов
p-value (Wilcoxon) 0,33 0,36 0,05 0,46
p-value (Sing Test) 0,36 0,42 0,06 0,52
Первичный анализ результатов экспериментального исследования
Initial analysis of the experimental research results
Показатель Показ правильного варианта Чтение вслух
к-во 1-е включение со стабильным результатом 2-е включение со стабильным результатом к-во median max min
median max min median max min
1. Определение первой буквы в слове 35 29 39 3 28 37 2 35 25 36,7 1,7
2. Определение последней буквы в слове 27 24 37 7 25 33 9 27 27 31,3 6,7
3. Чтение слогов 27 16 27 8 16 28 8 27 15 23,3 7,7
4. Чтение слов 30 17,5 44 3 17 43 4 30 14 43 0
Данные табл. 3 позволяют сделать вывод об отсутствии статистической значимости изменений показателя при повторении включений в течение двух недель. Результаты совпадают на уровне значимости 0,05, следовательно, наборы заданий, размещенные в интерактивной среде с соблюдением обозначенных нами требований, надежны.
Определение валидности наборов заданий. Для определения валидности наборов заданий мы определяли корреляцию между результатами, полученными с помощью чтения вслух (либо устных ответов на определение первого и последнего звука), и результатами, полученными в интерактивной среде методом показа.
Таблица 4 Table 4
Корреляция результатов показа и чтения Correlation of reading and demonstration results
Показатель I определение первой буквы в слове II определение последней буквы в слове III чтение слогов IV чтение слов
Коэффициент корреляции (Spearman) 0,72 0,81 0,97 0,94
Результаты, представленные в табл. 4, иллюстрируют, что по всем показателям выявлена тесная взаимосвязь между данными, полученными в интерактивной среде методом показа, и данными, полученными традиционными методами чтения вслух (либо устного ответа). Коэффициент корреляции достигает статистической достоверности по всем показателям, что дает основание для вывода о валидности заданий, размещенных в интерактивной среде с соблюдением обозначенных нами требований. Так как по показателям I и II (определение первой буквы в слове и последней буквы в слове) проводится обследование не самого навыка чтения, а одной из предпосылок для его формирования, а именно элементарных форм звуко-буквенного анализа, то коэффициент корреляции с результатами называния несколько ниже, чем по показателям III и IV, в рамках которых проводится обследование чтения слогов и слов.
Заключение
1. Диагностику образовательных достижений обучающихся с умственной отсталостью эффективно проводить в интерактивной среде на основе русскоязычного модифицированного варианта технологии GOMs (general outcome measurement).
2. Для получения более точных данных за короткое время диагностику в интерактивной сре-
де рекомендуется проводить с учетом следующих требований: выделение системы последовательно усложняющихся показателей для диагностики определенного умения или навыка; равномерное распределение на уровни сложности (не более трех уровней внутри показателя); предъявление заданий внутри показателя группами, в каждую из которых включено по одному заданию всех уровней сложности в произвольной последовательности; небольшая продолжительность диагностики (три минуты на показатель); ответ ученика через показ правильного варианта из трех предложенных; завершение обследования по каждому уровню сложности внутри показателя при совершении трех ошибок подряд; использование первых трех заданий в качестве обучающих; использование организующей помощи; возможность до четырех включений в близкий временной промежуток для получения достоверных результатов. Для диагностики сформированности первоначальных навыков чтения целесообразно структурировать задания по материалам букв.
3. Данные требования апробированы в интерактивной среде на примере диагностики сформированности первоначальных навыков чтения, подтверждены надежность и валид-ность наборов заданий по следующим показателям: определение первой и последней буквы в слове, чтение слогов и чтение слов.
< И
а
4
с
PQ
5 к
ш н S
и ^
д и к
0
1
к
ш PQ Н
и fc с
и
о
[-4
0
ё
и
Ин
3
1
и
>>
0
1
и
W V S
ь
[-4 <
э
с
S К
Н
и
w
PQ
Вместе с тем результаты, представленные в данной статье, не раскрывают всех вопросов по проблеме мониторинга образовательных достижений обучающихся с ограниченными возможностями здоровья в интерактивной среде. В качестве дальнейшей перспективы предполагается: расширение и апробация наборов заданий для диагностики достижений обучающих-
ся в других образовательных областях; определение чувствительности к изменениям разработанных наборов заданий; уточнение требований к процедуре мониторинга для работы с обучающимися различных нозологических групп, а также с обучающимися с умственной отсталостью, осложненной двигательными и поведенческими нарушениями.
Библиографический список
1. Алейникова К.А. Интерактивный метод мобильного обучения на базе SMILE // Педагогика. 2022. № 7. С. 53-56.
2. Верхотурова Н.Ю, Дмитриев А.А., Дмитриева С.А. К проблеме актуальности развития эмоционально грамотного поведения у детей с интеллектуальными нарушениями // Веб-конференция E3S. Инновационные технологии в науке и образовании (ITSE-2020). 2020. № 210. С. 18109. DOI: 10.1051/e3sconf/202021018109
3. Выготский Л.С. Динамика умственного развития школьника в связи с обучением // Умственное развитие детей в процессе обучения: сб. ст. М.; Л.: Гос. учеб.-педагогическое изд-во. 1935. С. 33-52. URL: https://psychlib.ru/mgppu/vur/vur-0331.htm#$p33
4. Дмитриев А.А., Верхотурова Н.Ю. Социально-психологические аспекты эмоционального реагирования в детском возрасте // Журнал Сибирского федерального университета. Гуманитарные и социальные науки. 2019. № 15 (4). С. 537-545. DOI: 10.17516/1997-1370-0469
5. Заширская О.В., Николаева Е.А., Рыбников В.Ю., Бызова В.М. Влияние внутрисемейной коммуникации на специфику восприятия жестов детьми младшего школьного возраста с легкой умственной отсталостью // Вестник Новосибирского государственного педагогического университета. 2017. № 7 (5). С. 81-93. DOI: 10.15293/2226-3365.1705.06
6. Мамаева А.В., Антонова Т.С., Денисова К.Ю., Килина С.Ю. Мониторинг учебных достижений обучающихся с умственной отсталостью (на примере навыка чтения): сообщение 1 // Вестник КГПУ им. В.П. Астафьева. 2019. № 2 (48). С. 41-51. DOI: 10.25146/1995-0861-2019-41-1-119
7. Мамаева А.В., Брюховских Л.А., Куйдина Е.Е. Мониторинг учебных достижений обучающихся с умственной отсталостью (на примере звукового анализа): сообщение 2 // Вестник КГПУ им. В.П. Астафьева. 2020. № 4 (54). С. 7-17. DOI: 10.25146/1995-0861-2020-54-4-237
8. Мамаева А.В., Антонова Т.С., Денисова К.Ю., Килина С.Ю. Применение зарубежных технологий на сенсорном экране для мониторинга достижений умственно отсталых школьников // European Proceedings of Social and Behavioural Sciences EpSBS. Krasnoyarsk Science and Technology City Hall. 2020. Т. 90, № 27. С. 226-235. DOI: 10.15405/epsbs.2020.10.03.27
9. Мамаева А.В., Антонова Т.С., Денисова К.Ю., Брюховских Л.А., Куйдина Е.Е. Требования к оценке достижений умственно отсталых учащихся в интерактивной среде // European Proceedings of Social and Behavioural Sciences. 2021. № 116 (165) С. 1474-1484. DOI: 10.15405/epsbs.2021.09.02.165
10. Соболева Е.В., Соколова А.Н., Исупова Н.И., Суворова Т.Н. Применение обучающих программ на игровых платформах для повышения эффективности образования // Вестник Новосибирского государственного педагогического университета. 2017. № 7 (4). С. 7-25. DOI: 10.15293/22263365.1704.01
11. Afacan K., Wilkerson K.L., Ruppar A.L. Multicomponent reading interventions for students with intellectual disabilities // Remedial and Special Education. 2017. No. 39 (4). P. 229-242. DOI: 10.1177/0741932517702444
12. Ainsworth M.K., Evmenova A.S., Behrmann M., Jerome M. Teaching phonics to groups of middle school students with autism, intellectual disabilities and complex communication needs // Research in Developmental Disabilities. 2016. No. 56. P. 165-176. URL: https://www.deepdyve.com/lp/else-vier/ teaching-phonics-to-groups-of-middle-school-students-with-autism-7ICzoO60o9
13. Deno S.L. Developments in curriculum-based measurement // The Journal of Special Education. 2003. No. 37 (3). P. 184-192. URL: https://eric.ed.gov/?id=EJ785942
14. Eun B. The zone of proximal development as an overarching concept: A framework for synthesizing Vygotsky's theories // Educational Philosophy and Theory. 2019. No. 51 (1). P. 18-30. DOI: 10.1080/00131857.2017.1421941
15. Farley D., Anderson D., Irvin Sh. Modeling reading growth in grades 3 to 5 with an alternate assessment // Remedial and Special Education. 2016. No. 38 (4). P. 195-206. DOI: 10.1177/ 0741932516678661
16. Hill D.R., Lemons C.J. Early grade curriculum-based reading measures for students with intellectual disability // Journal of Intellectual Disabilities. 2015. No. 19 (4). P. 311-325. DOI: 10.1177/1744629515574812
17. Hopfenbeck T.N., Lenkeit J., Masri Y.El., Cantrell K., Ryan J., Baird J. Lessons learned from PISA: A systematic review of peer-reviewed articles on the programme for international student assessment // Scandinavian Journal of Educational Research. 2018. No. 62 (3). P. 333-353. DOI: 10.1080/00313831.2016.1258726
PQ
18. Jones F.G., Gifford D., Yovanoff P., Otaiba S.Al, Levy D., Allor J. Alternate assessment formats for g progress monitoring students with intellectual disabilities and below average IQ: an exploratory ^ study // Focus on Autism and Other Developmental Disabilities. 2018. No. 34 (1). P. 41-51. DOI: u 0.1177/1088357618762749
19. Kearns J.F., Kleinert H.L., Thurlow M.L. Alternate assessment as one measure of teacher effectiveness: W implication for our field // Research and Practice for Persons with Severe Disabilities. 2015. No. 40 (1). O s P. 20-35. DOI: 10.1177/1540796915585105 S
ffi s
20. Lee H., Chung H.Q., Zhang Y., Abedi J., Warschauer M. The effectiveness and features of formative pq g assessment in US K-12 education: A Systematic review // Applied Measurement in Education. 2020. H ^ No. 33 (2). P. 124-140. DOI: 10.1177/8756870519894661 ^ §
21. Ruiz M.I. Beyond traditional response to intervention: Helping rural educators understand >i ® English learners' needs // Rural Special Education Quarterly. 2020. No. 39 (1). P. 35-53. DOI: o O 10.1177/8756870519894661
у
22. Solheima O.J., Frijtersa J.C., Lundetra K., Uppstada P.H. Effectiveness of an early reading intervention Q ^
ft ^
in a semi-transparent orthography: A group randomised controlled trial // Learning and Instruction. g s 2018. Is. 58. P. 65-79. DOI: 10.1016/j.learninstruc.2018.05.004 § O
23. Wallace T., Ticha R., Gustafson K. Technical characteristics of general outcome measures (GOMs) Cj S
S rrT
in reading for students with significant cognitive disabilities // Reading & Writing Quarterly. 2010. g G Vol. 26, is. 4. P. 333-360. DOI: 10.1080/10573569.2010.500264
24. Wayman M.M., Ticha R, Wallace T., Espin C.A, Wiley H.I, Du X., Long J. Comparison of different scoring procedures for the CBM maze selection measure. Technical Report. University of Minnesota, 2009. 19 p. URL: https://www.progressmonitoring.org/pdf/tr10asls.pdf
25. Yan Z., Pastore S. Assessing teachers' strategies in formative assessment: The teacher formative assessment practice scale // Journal of Psychoeducational Assessment. 2022. No. 40 (5). P 1-28. DOI: ^H 10.1177/07342829221075121
s к
и
w
PQ
MODIFICATION OF THE GENERAL OUTCOME MEASUREMENT FOREIGN TECHNOLOGY
FOR DIAGNOSING EDUCATIONAL ACHIEVEMENTS OF MENTALLY CHALLENGED SCHOOLCHILDREN IN AN INTERACTIVE ENVIRONMENT (REPORT 3)
A.V. Mamaeva (Krasnoyarsk, Russia)
X.Yu. Denisova (Krasnoyarsk, Russia)
L.A Bryukhovskikh (Krasnoyarsk, Russia)
A.V. Didenko (Krasnoyarsk, Russia)
Abstract
Statement of the problem. The article conveys the problem of modification of general outcome measurement (GOMs) which is one of the foreign formative assessment technologies for diagnosing educational achievements of mentally retarded school children in an interactive environment.
The purpose of the study is to determine and test the requirements to diagnostics procedure of educational achievements of mentally retarded school children in an interactive environment (on the example of diagnosing the indicators of initial reading skills formation).
Methodology (materials and methods). The requirements to diagnostics have been determined on the basis of GOMs technology and modified taking into account the specifics of the Russian language and Russian literacy, specifics of teaching Russian mentally retarded children to read, application features in the interactive environment. These requirements were tested on the example of diagnostics indicators of initial reading skills formation; the results were analyzed applying the methods of statistical analysis. For determining reliability, the differences or coincidences between the stable results of two inclusions in a close time period were revealed. For determining validity, the correlation of diagnostics results in the interactive environment with the results of reading aloud or a verbal response was revealed.
Research results do not contradict the assumption that observing the indicated requirements allows gaining reliable and valid data in the diagnostics of educational achievements of mentally retarded school children in the interactive environment. The reliability of monitoring task sets was confirmed as the results of two inclusion demonstrations in a close time period coincide on the level of significance 0.05. The close and significant connection of the demonstration results with the verbal response results was confirmed as well as the task set validity.
Conclusion. The requirements have been determined of modified general outcome measurement technology variant to diagnostics procedure of educational assessment of mentally retarded schoolchildren in the interactive environment. They allow gaining accurate results with time optimization. As a result of approbation, the task set reliability and validity have been determined. And all the task sets were created taking into account the indicates demands for diagnosing the educational achievements of mentally retarded students in the interactive environment.
Keywords: mental retardation, educational monitoring, formative assessment, curriculum based measurement, general outcome measurement, information and communication technologies, literacy, reading skill.
Mamaeva Anastasia V. - PhD (Pedagogy), Associate Professor, Department of Correctional Pedagogy, Institute of Social and Humanitarian Technologies, KSPU named after V.P. Astafyev (Krasnoyarsk, Russia); e-mail: avmama_eva@mail.ru Denisova Xeniia Yu. - Teacher, Sukhobuzimskaya Secondary School (Sukhobuzimskoye, Russia); e-mail: Ksyukusinatra@mail.ru Bryukhovskikh Lyudmila A. - PhD (Pedagogy), Associate Professor, Department of Correctional Pedagogy, Institute of Social and Humanitarian Technologies, KSPU named after V.P. Astafyev (Krasnoyarsk, Russia); e-mail: ladakspu@mail.ru Didenko Alexandra V. - MA Candidate, KSPU named after V.P. Astafyev (Krasnoyarsk, Russia); e-mail: asya.didenko.00@mail.ru
References
1. Aleynikova K.A. Interactive mobile learning method based on SMILE // Pedagogika (Pedagogy). 2022. No. 7. P. 53-56.
2. Verkhoturova N.Y., Dmitriev A.A., Dmitrieva S.A. On the problem of relevance to develop emotionally competent behavior in children with intellectual disabilities // Veb-konferentsiya E3S. Innovatsionnye tekhnologii v nauke i obrazovanii (E3S Web of Conferences. Innovative Technologies in Science and Education) (ITSE-2020). 2020. No. 210. P. 18109. DOI: 10.1051/e3sconf/202021018109
3. Vygotsky L. S. The dynamic of the mental development of students in connection with the educational process. In: Mental development of children in the learning process: Collection of articles. Moscow; Leningrad: Gosudarstvennoe uchebno-pedagogicheskoe izdatelstvo. 1935. P. 33-52. URL: https://psy-chlib.ru/mgppu/vur/vur-0331.htm#$p33
4. Dmitriev A.A., Verkhoturova N. Yu. Social and psychological aspects of emotional response in childhood // Zhurnal Sibirskogo federalnogo universiteta. Gumanitarnye i sotsialnye nauki (Journal of Siberian Federal University. Humanities & Social Sciences). 2019. No. 15 (4). P. 537-545. DOI: 10.17516/1997-1370-0469
5. Zashirinskaya O.V., Nikolaeva E.I., Rybnikov V.Y., Byzova V.M. The influence of family communication on the specificity of the gestures perception by children of primary school age with mild mental retardation // Vestnik Novosibirskogo gosudarstvennogo pedagogicheskogo universiteta (Novosibirsk State Pedagogical University Bulletin). 2017. No. 7 (5). P. 81-93. DOI: 10.15293/2226-3365.1705.06
6. Mamaeva A.V., Antonova T.S., Denisova K.Yu., Bryukhovskikh L.A., Kuidina E.E. The requirements to assessing of mentally retarded students' achievements in interactive environment // European Proceedings of Social and Behavioural Sciences. 2021. No. 116 (165). P. 1474-1484. DOI: 10.15405/eps-bs.2021.09.02.165
7. Mamaeva A.V., Bryukhovskikh L.A., Kuydina E.E. Monitoring of school achievements among students with mental retardation (sound and letter analysis): report 2 // Vestnik KGPU im. V.P. Astafyeva (Bulletin of Krasnoyarsk State Pedagogical University named after V.P. Astafyev). 2020. No. 4 (54). P. 7-17. <; DOI: 10.25146/1995-0861-2020-54-4-237
H
8. Mamaeva A.V., Antonova T.S., Denisova K.Yu., Kilina S.Yu. Monitoring of school achievements among 5
^
students with mental retardation (reading skill): report 1 // Vestnik KGPU im. V.P. Astafyeva (Bulletin o
<J
of Krasnoyarsk State Pedagogical University named after V.P. Astafyev). 2019. No. 2 (48). P. 41-51. ^ DOI: https://doi.org/10.25146/1995-0861-2019-41-1-119 «
9. Mamaeva A.V., Antonova T.S., Denisova K.Yu., Kilina S.Yu. Application of foreign technologies on p s touch screen for monitoring achievements of mentally retarded schoolchildren // European Proceed- § H ings of Social and Behavioural Sciences (EpSBS). 2020. No. 90 (27). P. 226-235. DOI: 10.15405/eps- ® g bs.2020.10.03.27 H 2
U ft
ш
10. Soboleva E.V., Sokolova A.N., Isupova N.I., Suvorova T.N. Use of training programs based on gaming g
platforms for improving the effectiveness of education // Vestnik Novosibirskogo gosudarstvennogo ®
pedagogicheskogo universiteta (Novosibirsk State Pedagogical University Bulletin). 2017. No. 7 (4). o O
P. 7-25. DOI: 10.15293/2226-3365.1704.01 O g
у
11. Afacan K., Wilkerson K.L., Ruppar A.L. Multicomponent reading interventions for students with jg! ^ intellectual disabilities // Remedial and Special Education. 2017. No. 39 (4). P. 229-242. DOI: ^ S 10.1177/0741932517702444
12. Ainsworth M.K., Evmenova A.S., Behrmann M., Jerome M. Teaching phonics to groups of middle U
S rrT
school students with autism, intellectual disabilities and complex communication needs // Research ^ p in Developmental Disabilities. 2016. No. 56. P. 165-176. URL: https://www.deepdyve.com/lp/else-vier/ teaching-phonics-to-groups-of-middle-school-students-with-autism-7ICzoO60o9
13. Deno S.L. Developments in curriculum-based measurement // The Journal of Special Education. 2003. No. 37 (3). P. 184-192. URL: https://eric.ed.gov/?id=EJ785942
14. Eun B. The zone of proximal development as an overarching concept: A framework for synthesizing Vygotsky's theories // Educational Philosophy and Theory. 2019. No. 51 (1). P. 18-30. DOI: ^H 10.1080/00131857.2017.1421941
15. Farley D., Anderson D., Irvin Sh. Modeling reading growth in grades 3 to 5 with an alternate assessment // Remedial and Special Education. 2016. No. 38 (4). P. 195-206. DOI: 10.1177/0741932516678661
s к
и
w
PQ
16. Hill D.R., Lemons C.J. Early grade curriculum-based reading measures for students with intellectual disability. Journal of Intellectual Disabilities. 2015.No.19 (4). P. 311-325. DOI: 10.1177/1744629515574812
17. Hopfenbeck T.N., Lenkeit J., Masri Y.El., Cantrell K., Ryan J., Baird J. Lessons learned from PISA: A systematic review of peer-reviewed articles on the programme for international student assessment // Scandinavian Journal of Educational Research. 2018. No. 62 (3). P. 333-353. DOI: 10.1080/00313831.2016.1258726
18. Jones F.G., Gifford D., Yovanoff P., Otaiba S.Al, Levy D., Allor J. Alternate assessment formats for progress monitoring students with intellectual disabilities and below average IQ: an exploratory study // Focus on Autism and Other Developmental Disabilities. 2018. No. 34 (1). P. 41-51. DOI: 0.1177/1088357618762749
19. Kearns J.F., Kleinert H.L., Thurlow M.L. Alternate assessment as one measure of teacher effectiveness: implication for our field // Research and Practice for Persons with Severe Disabilities. 2015. No. 40 (1). P. 20-35. DOI: 10.1177/1540796915585105
20. Lee H., Chung H.Q., Zhang Y., Abedi J., Warschauer M. The effectiveness and features of formative assessment in US K-12 education: A Systematic review // Applied Measurement in Education. 2020. No. 33 (2). P. 124-140. DOI: 10.1177/8756870519894661
21. Ruiz M.I. Beyond traditional response to intervention: Helping rural educators understand English learners' needs // Rural Special Education Quarterly. 2020. No. 39 (1). P 35-53. DOI: 10.1177/8756870519894661
22. Solheima O.J., Frijtersa J.C., Lundetra K., Uppstada P.H. Effectiveness of an early reading intervention in a semi-transparent orthography: A group randomised controlled trial // Learning and Instruction. 2018. Is. 58. P. 65-79. DOI: 10.1016/j.learninstruc.2018.05.004
23. Wallace T., Ticha R., Gustafson K. Technical characteristics of general outcome measures (GOMs) in reading for students with significant cognitive disabilities // Reading & Writing Quarterly. 2010. Vol. 26, is. 4. P. 333-360. DOI: 10.1080/10573569.2010.500264
24. Wayman M.M., Ticha R, Wallace T., Espin C.A, Wiley H.I, Du X., Long J. Comparison of different scoring procedures for the CBM maze selection measure. Technical Report. University of Minnesota, 2009. 19 p. URL: https://www.progressmonitoring.org/pdf/tr10asls.pdf
25. Yan Z., Pastore S. Assessing teachers' strategies in formative assessment: The teacher formative assessment practice scale // Journal of Psychoeducational Assessment. 2022. No. 40 (5). P 1-28. DOI: 10.1177/07342829221075121
