CC BY-NC-ND
19
Читают или делают вид? Анализ поведения учащихся начальных классов при выполнении заданий теста читательской грамотности
Екатерина Бакай, Элен Юсупова, Инна Антипкина
Статья поступила Бакай Екатерина Анатольевна — стажер-исследователь Центра психометри-в редакцию ки и измерений в образовании Института образования, Национальный ис-в декабре 2022 г. следовательский университет «Высшая школа экономики». Адрес: 101000 Москва, Потаповский пер., 16, стр. 10. E-mail: ebakay@hse.ru, ORCID: https://orcid. org/0000-0002-7513-5554 (контактное лицо для переписки) Юсупова Элен Магомедовна — младший научный сотрудник Центра психометрики и измерений в образовании Института образования, Национальный исследовательский университет «Высшая школа экономики». E-mail: eab-durakhmanova@hse.ru, ORCID: https://orcid.org/0000-0002-8332-681X Антипкина Инна Вениаминовна — кандидат наук об образовании, научный сотрудник Центра психометрики и измерений в образовании Института образования, Национальный исследовательский университет «Высшая школа экономики». E-mail: iantipkina@hse.ru, ORCID: https://orcid.org/0000-0003-4865-3433
Аннотация Исследование посвящено анализу поведения учащихся при выполнении компьютеризированного теста смыслового чтения. На выборке 2157 учащихся четвертых классов школ г. Красноярска с помощью анализа латентных профилей выявлены пять кластеров учащихся на основании комбинаций следующих переменных: время чтения текста, количество быстрых ответов на задание, количество времени чтения вспомогательного текста, общее время выполнения теста. Выявленные кластеры будут полезны для более глубокой интерпретации результатов оценивания и в качестве практического основания для разработки приемов дифференцированного подхода к обучению.
Ключевые слова смысловое чтение, время чтения, анализ латентных профилей, начальная школа.
Для цитирования Бакай Е.А., Юсупова Э.М., Антипкина И.В. (2023) Читают или делают вид? Анализ поведения учащихся начальных классов при выполнении заданий теста читательской грамотности. Вопросы образования / Educational Studies Moscow, № 1, сс. 8-28. https://doi.org/10.17323/1814-9545-2023-1-8-28
Reading or Pretending to Read? Analysis
of the Behavior of Primary School Students during
a Reading Comprehension Test
Ekaterina Bakai, Elen Yusupova, Inna Antipkina
Ekaterina A. Bakai — Researcher at the Center for Psychometrics and Measurements in Education, Institute of Education, National Research University "Higher School of Economics". Address: Bld. 10, 16 Potapovsky Ln, 101000 Moscow, Russian Federation. E-mail: ebakay@hse.ru, ORCID: https://orcid.org/0000-0002-7513-5554 (corresponding author)
Elen M. Yusupova — Junior Research Fellow, Center for Psychometrics and Measurements in Education, Institute of Education, National Research University "Higher School of Economics". Email: eabdurakhmanova@hse.ru, ORCID: https:// orcid.org/0000-0002-8332-681X
Inna V. Antipkina — Research Fellow, Center for Psychometrics and Measurements in Education, Institute of Education, National Research University "Higher School of Economics". Email: iantipkina@hse.ru, ORCID: https://orcid.org/ 00000003-4865-3433
Abstract The article describes the analysis of students' behavior when performing a computerized test of reading comprehension. On a sample of 2157 fourth graders in Krasnoyarsk, using the method of latent profile analysis, five typical profiles of students were identified based on combinations of variables: "average text reading time", "number of quick answers", "amount of time to read auxiliary text", "total test time". The identified groups of students are interpreted using the assessment results. The identified profiles will be useful for a deeper interpretation of the assessment results and as a practical basis for developing methods for a differential approach to teaching.
Keywords reading comprehension, reading time, latent profile analysis, primary school.
For citing Bakai E.A., Yusupova E.M., Antipkina I.V. (2023) Chitayut ili delayut vid? Ana-liz povedeniya uchashchikhsya nachal'nykh klassov pri vypolnenii zadaniy testa chitatel'skoy gramotnosti [Reading or Pretending to Read? Analysis of the Behavior of Primary School Students during a Reading Comprehension Test]. Voprosy obrazovaniya / Educational Studies Moscow, no 1, pp. 8-28. https://doi. org/10.17323/1814-9545-2023-1-8-28
В рабочих программах, соответствующих Федеральному государственному образовательному стандарту начального общего образования, читательские умения позиционируются как важный образовательный результат1. Сталкиваясь с трудностями анализа и интерпретации результатов оценки чтения, полученных с помощью разных инструментов оценивания, ис-
1 Приказ Министерства просвещения Российской Федерации от 31.05.2021 № 286 «Об утверждении федерального государственного образовательного стандарта начального общего образования»: https://base. garant. ru/400907193/
следователи сходятся во мнении, что чтение — это «сложно организованная деятельность по восприятию, пониманию и использованию текстов» [Гостева и др., 2019]. Долгое время применение преимущественно бланкового оценивания не давало возможности собирать и анализировать информацию о поведении учащихся в процессе взаимодействия с заданиями. В отличие от бланковых, цифровые тесты позволяют фиксировать и сохранять ряд потенциально полезных для анализа операций учащихся действий: открывание страниц, возвращения, пропуски и время выполнения каждого задания.
В данном исследовании реализован процессно-ориентиро-ванный подход к интерпретации результатов оценивания чтения. В нем учитывается не только результат оценивания, но и как именно учащийся получил свой балл [Cohen, 2006; 2012; Cohen, Upton, 2006; Lee, 2018]. Поиск типичных успешных и неуспешных стратегий чтения важен для обеспечения дифференцированного подхода к обучению.
1. Цель Тестовое поведение (в нашем случае — действия учащихся при исследования выполнении тестовых заданий) можно описать через фиксируемые во время выполнения заданий показатели. Один из таких показателей — время отклика на задание [Wise, Kong, 2005; Scherer, Greiff, Hautamaki, 2015]. В ранних исследованиях время отклика на задание или его модификация — скорость чтения — использовались как параметр производительности испытуемого, а затем как основание для определения продолжительности теста [Wise, Kong, 2005]. В исследованиях последнего десятилетия время отклика на задание рассматривается как показатель тестовой вовлеченности респондентов: ответы с минимальным временем отклика (быстрые ответы) расцениваются как свидетельство низкой тестовой мотивации или применения стратегии быстрого угадывания — а значит, по таким ответам нельзя вынести надежные суждения о читательских умениях [Al-Khasawneh, 2020].
В широком смысле читательская стратегия представляет собой совокупность произвольных, осознанных и конструктивных действий учащихся, направленных на понимание прочитанного. В более узком смысле это действия по поиску слов, предложений, идей, т.е. взаимодействие с заданиями теста [Cerdán et al., 2009; Cerdán et al., 2019; Bayrak Karsli, Demirel, Kur§un, 2020; Marjerison et al., 2020].
Исследователи выделяют стратегии непосредственной работы над тестом (test management) и стратегии манипулирования тестом/тестовой предприимчивости (test wiseness). Стратегии непосредственной работы над тестом подразумевают наличие умения работать с тестом и обрабатывать полученную
информацию для поиска ответа, а стратегии манипулирования могут быть реализованы и в отсутствие таких умений: в этом случае ответ получают посредством работы с формулировками вопросов, внешним видом вариантов [Assiri, Alodhahi, 2018].
На основании анализа времени, затраченного на те или иные операции, которые совершаются во время прохождения теста, можно идентифицировать поведение, направленное на чтение текста, и поведение, направленное на работу с вопросами. Первый тип поведения подразумевает, что учащийся сначала детально знакомится с текстом, делает выводы, составляет целостную картину прочитанного, а затем уже работает с вопросами [Bayrak Karsli, Demirel, Kur§un, 2020; Salmerón et al., 2015; Cerdán et al., 2009; Yeari, Schlesinger, Moshka, 2021]. При такой стратегии быстрые ответы на вопросы без повторного обращения к тексту возможны, если благодаря внимательному, вдумчивому прочтению респондент детально помнит нужный фрагмент текста и узнает верный ответ [Vidal-Abarca, Mañá, Gil, 2010]. При втором типе поведения чтение текста ведется поверхностно, причем чтение вопросов может предшествовать чтению текста или вестись параллельно с ним в режиме просмотра. Вероятно, восприятие текста в этом случае будет фрагментарным, но респонденты сберегут время и ресурсы для прицельного поискового чтения релевантных фрагментов текста [Salmerón et al., 2015].
Цель исследования заключается в том, чтобы выявить типичные профили читательских умений учащихся с помощью анализа их поведения в ходе выполнения учебных задач на чтение и интерпретировать характеристики групп учащихся, сформированных на основании комбинаций параметров чтения, через привлечение сведений о результатах оценивания. Исследовательский вопрос работы: какие группы учащихся могут быть выделены на основании параметров их поведения в ходе выполнения теста читательской грамотности в начальной школе?
2. Методология В исследовании использован модуль смыслового чтения «Про-2.1. Инструменты гресс» для учащихся 4-го класса (в конце периода обучения), разработанный в Центре психометрики и измерений в образовании НИУ ВШЭ. Теоретическая рамка этого компьютеризированного инструмента схожа с теоретической рамкой PIRLS [Mullis, Martin, Sainsbury, 2016] и предполагает наличие вопросов, направленных на оценку четырех групп читательских умений: поиск информации, заданной в явном виде; простые выводы; сложные выводы — анализ и синтез. Стимульный материал теста представляет собой три самостоятельных информационных мини-текста, связанных сюжетом истории «Модный попу-
гай» о младших школьниках, которые решили научить разговаривать домашнего питомца. Первый мини-текст рассказывает о дрессировке попугаев, после чего следует блок вопросов по прочитанному. Далее история продолжается короткой перебивкой: попугай выглядит «заскучавшим», поэтому следующий за перебивкой второй информационный текст посвящен особенностям содержания попугаев в неволе, после чего также появляется блок вопросов. Дети убедились, что у попугая есть все необходимое, кроме развлечений, — это вторая сюжетная перебивка, за которой следуют третий информационный текст об игрушках для разных животных в зоопарке и новые вопросы. Последняя перебивка завершает сюжет на том, что дети создали попугаю насыщенную игрушками среду и скоро питомец стал выглядеть лучше и научился говорить.
Сюжетные перебивки призваны создать мотивацию для прочтения информационных текстов — их наличие в инструменте продиктовано международными стандартами оценки чтения и письма [International Reading Association, National Council of Teachers of English, 2009]. Предъявление учащимся стимульного материала в виде трех самостоятельных информационных текстов имитирует характерные для цифрового чтения гипертексты [Мелентьева, 2015]. Задания даются только к информационным текстам, а не к сюжетным перебивкам, однако в конце теста есть вопрос, ответ на который требует осмысления всего прочитанного.
Оценивание проходило в режиме самостоятельной работы учащихся на школьных компьютерах под руководством педагога, прошедшего специальный инструктаж. Время выполнения теста ограничивалось 45 минутами. В середине тестовой сессии в соответствии с санитарными нормами программа предлагала короткий перерыв. Учащиеся могли пропускать задания и возвращаться к ним.
Задания и тексты предъявлялись линейно: на экране может быть представлен либо текст, либо одно задание. При помощи кнопки «Посмотреть текст» можно вернуться к текстам на любом этапе работы. Контекст стимульного материала — уход за домашними питомцами, наблюдение за животными — выбран с таким расчетом, чтобы он был знаком ученикам данного возраста, поскольку эмпирически установлено, что понимание текста обусловлено интеграцией с фоновыми знаниями [Ashraf, Zaki, 2016].
Трудность текстов оценена с помощью инструмента «Тексто-метр»2 [Лапошина, Лебедева, 2021], их описание представлено в табл. 1. Лингвистические характеристики текстов не исполь-
2 textometr.ru
Таблица 1. Описание информационных текстов инструмента для оценки смыслового чтения
Информационный текст № 1 Информационный текст № 2 Информационный текст № 3
Длина текста (количество слов) 234 147 235
Структурная сложность (баллы по шкале от 1 до 10) 5 из 10 5 из 10 6 из 10
Лексическая сложность (баллы по шкале от 1 до 10) 5 из 10 5 из 10 5 из 10
Доля слов, соответствующих лексическому запасу четвероклассника (%) 82 82 80
Редкие слова Осмысленно, жако, копировать, виноградина, сообразительный, пернатый, зоомагазин, сородич, звукоподражание, зоопсихолог Подкормка, поилка, жердочка, кормушка, понаблюдать, ночлег, питомец, рацион, брусочек, стачивать Грызун, енот, неестественно, скорлупка, тренажер, неволя, бочонок, смотритель, вольер, обогащать, укромный
Вывод Текст соответствует 5-му классу общеобразовательной школы Текст соответствует 5-му классу общеобразовательной школы Текст соответствует 5-му классу общеобразовательной школы
зовались в дальнейшем анализе и приведены здесь для лучшего понимания инструмента и подтверждения соответствия сюжетов и текста возрасту оцениваемых учащихся.
Для диагностики читательских умений использовался набор из 17 заданий: 9 текстовых заданий с выбором единственного правильного ответа, 5 заданий с множественным выбором (два задания представлены в виде таблиц) и 3 открытых вопроса. Примеры заданий: «Опираясь на текст, отметь, верны ли утверждения...», «На основании прочитанного предположи..., «В каком значении используется слово.», «Есть ли в прочитанных текстах ответы на следующие вопросы.». Задания с выбором нескольких верных ответов оценивались полито-мически. В ходе раш-моделирования результатов оценивания проверялась и при необходимости корректировалась работа ответных категорий каждого политомического задания, некоторые категории оптимизировались. Открытые вопросы включены в набор в соответствии с рекомендациями, сформулированными по результатам исследований тестов читательской грамотности ^^а^ Zaki, 2016]. Одно задание предполагает в качестве ответа односложное высказывание, прообраз которого присутствует в тексте в явном виде, два других задания требуют осмысленного высказывания на основании интеграции прочитанного. Оценка ответов на открытые вопросы проводилась экспертно, вручную. Двумя баллами оценивались ответы в виде осмысленного высказывания, основанного на информации из текста. Одним баллом оценивались неполные ответы, в
которых не использована интегративно вся представленная в тексте информация. Неверными (0 баллов) считались ответы, основанные на личном опыте по уходу за домашними животными и не использующие текстовую информацию, содержащие логические ошибки, ответы в виде максимально обобщенных высказываний без предъявления какой-либо информации.
Итоговые результаты теста не считались суммарным тестовым баллом, а были получены с использованием психометрического моделирования в рамках современной теории тестирования. Психометрический анализ подтвердил отличные характеристики инструмента. Анализ проводился с использованием политомической модели PCM [Masters, 1982] из группы моделей Раша с использованием ПО Winsteps [Linacre, 2017]. IRT-надежность теста (person reliability) составила 0,78, этот показатель свидетельствует о том, что в выборке можно выделить три группы респондентов с разными уровнями подготовки. Коэффициент внутренней согласованности альфа Кронбаха, равный 0,8, дает основание для вывода о высокой классической надежности теста. Тест является существенно одномерным: размер первого контраста при анализе остатков составил 1,6, что меньше конвенциональной границы 2,0 [Smith, 1996]. Все задания имеют хорошие статистики согласия с моделью (все среднеквадратичные статистики согласия заданий меньше конвенциональных 1,3 [Boone, Noltemeyer, 2017]).
На рис. 1 представлена карта переменных теста. Вертикальная ось обозначает континуум измеряемого конструкта (читательские умения) от низких уровней к высоким. Числа слева — это логиты, единицы измерения, используемые в современной теории тестирования (от log-odds, логарифмический шанс), ноль шкалы установлен в средней трудности всех заданий. Справа от оси расположены метки заданий, слева — респонденты. Шкала логитов — общая для оценки параметров заданий и респондентов. В нижней части карты находятся менее подготовленные учащиеся и легкие задания, в верхней части — более подготовленные учащиеся и более трудные задания. У учащихся, размещенных на рисунке напротив задания, вероятность выполнить это задание верно составляет 0,5. Учащиеся, расположенные по оси ниже конкретного задания, выполнят это задание верно с вероятностью менее 0,5, находящиеся выше задания — с вероятностью более 0,5. Карта переменных показывает отличную центрацию трудности заданий теста относительно уровня учащихся: среднее значение трудностей всех заданий (буква М справа от вертикальной оси) близко к среднему уровню подготовки респондентов (обозначенному буквой М с левой стороны оси). Буквы S и T обозначают соответственно одно и два стандартных отклонения оценок параметров учащихся и заданий.
Рис. 1. Карта переменных теста смыслового чтения. Каждый знак «#» обозначает 17 учащихся. Каждый знак «.» обозначает от 1 до 16 учащихся.
.## .###
.### .##### .###### .####### .######## .#######
.####### ########
.############ .###### .####### .##### .##### .##### .#### .#### .### .## .## .#
Т +
|Т
э |
|Э
м |
| м
+
Э | Э
+
|Т
Т|
р_14
р_17
р_10_вит_2
р_12
р_7
р_11_зит
р_10_Бит_1
р_1_эит
р_3_вит
р_4
р_16
-2
.# | р_2_зсоге .|
р_13
р_6_эит
р_9_зсоге
р_5_вит
р_15_эит
р_8_эит
2
+
0
+
Карта подтверждает отличное соответствие трудности заданий уровню учащихся. Распределение меток заданий вдоль оси показывает, что в тесте имелись задания для оценки респондентов разных уровней подготовки.
Карта переменных использована для выделения пороговых баллов с целью распределения учащихся на три группы по уровню подготовленности на основании метода, описанного, например, в [Guttersrud et al., 2019]. Этот метод представляет собой экспертную оценку специалистов по чтению в начальной школе с опорой на интерпретацию трудностей в заданиях
теста. При этом учащиеся, уровень подготовленности которых оценивается как базовый, должны показать все умения, необходимые для успешного продолжения школьного обучения; к уровню «ниже базового» относятся те учащиеся, которым, судя по результатам оценивания, для успешного освоения школьной программы в области чтения необходимы дополнительные интервенции педагога, усиленная помощь; наконец, учащимися с уровнем выше базового считаются те, кому типовой школьной программы будет недостаточно и кому рекомендованы более сложные задания и углубленная программа обучения в области чтения. К уровню подготовленности ниже базового отнесены учащиеся с оценками в диапазоне (да; 0,5) логита, к уровню подготовленности выше базового — учащиеся с оценками в диапазоне [1;+да) логитов.
2.2. Выборка Выборка состояла из 2172 учеников 4-х классов школ г. Красно-исследования ярска. Они выполняли тест в апреле 2022 г. Единица выборки — школа, оценивались все присутствующие в день тестирования учащиеся параллели 4-х классов. Изначально (на начало обучения в 1-м классе) выборка составлялась как репрезентативная, стратифицированная по типу школы и району города. Из базы данных удалены 15 записей из-за экстремально низких показателей времени выполнения теста (менее 4 минут) в сочетании с низким результатом. Итоговая выборка, на которой проведен анализ, включала 2157 записей.
2.3. Метод Для выявления групп учащихся в исследовании использовался анализа анализ латентных профилей (latent profile analysis, LPA) [Williams, Kibowski, 2016]. Этот метод позволяет найти скрытые группы испытуемых на основании наблюдаемых характеристик. Метод находит решение с заданным числом профилей, которое раскрывает содержание различий в индикаторах для наблюдаемых переменных между разными профилями, но внутри профиля индикаторы для наблюдаемых переменных относительно однородны [Oberski, 2016].
Анализ латентных профилей представляет собой модельный метод обработки данных, основанный на предположении о виде распределения наблюдений (переменных) и содержащий параметры, которые оцениваются в процессе анализа [Masyn, 2013]. В анализе латентных профилей предполагается, что внутри латентного профиля наблюдения соответствуют многомерному нормальному распределению [Bauer, 2021]. Каждый профиль k £ (1, ..., K) имеет свою функцию плотности: fk (xjpk, Xk), где xi — вектор наблюдаемых переменных i-го уча-
щегося, pk — вектор средних наблюдаемых переменных в k-м профиле, а Тк — матрица ковариаций, в которой по диагонали находятся дисперсии наблюдаемых переменных, в k-м профиле [Bauer, 2021].
Анализ латентных профилей дает вероятностную оценку попадания респондента в ту или иную группу [Olivera-Aguilar, Ri-koon, Robbins, 2016]. Это означает, что респондент может быть отнесен к нескольким профилям, но с разной вероятностью. Математически это описывается формулой:
K
f (x) = (x1 ^, ),
k=1
где nk — вероятность профиля.
Таким образом, оцениваемыми параметрами модели являются pk (вектор средних наблюдаемых переменных), Тк (матрица ковариаций) и вероятности nk — при условии, что не налагаются дополнительные ограничения [Bauer, 2021]. Поскольку количество свободных параметров быстро растет вместе с количеством скрытых профилей и наблюдаемых переменных, для повышения экономичности модели и стабильности оценки обычно указывают дополнительные ограничения [Vermunt, Magidson, 2002]. В частности, накладываются следующие ограничения на матрицу ковариаций: 1) дисперсии одинаковы для всех групп, ковариации между группами равны нулю; 2) дисперсии разные для всех групп, ковариации между группами равны нулю; 3) дисперсии и ковариации равны для всех скрытых групп; 4) дисперсии и ковариации разные для всех скрытых групп [Masyn, 2013]. Выбирая модель, мы рассматривали только те, в которых дисперсии переменных могут варьировать в разных профилях, поскольку теоретически мы ожидали, что в разные профили могут попасть учащиеся с разным уровнем навыков чтения — а значит, нельзя ожидать, что дисперсия их результатов будет одинаковой. С учетом этого условия была выбрана модель с пятью профилями.
Число профилей задает исследователь, так как оно не является оцениваемым параметром. Анализ латентных профилей как модельный метод позволяет количественно сравнивать несколько моделей с разным числом профилей для выбора одного, наиболее подходящего к конкретным данным [Pastor et al., 2007]. Для ответа на вопрос исследования нами протестированы четыре описанные в методологии модели LPA с количеством профилей от двух до шести.
Оптимальная модель выбирается по результатам оценки соответствия модели конкретным данным с помощью статистик соответствия, таких как хи-квадрат отношения правдоподобия (likelihood ratio chi-square, х2), байесовский информацион-
ный критерий (BIC) и информационный критерий Акаике (Akaike information criterion, AIC) [Williams, Kibowski, 2016]. Мы при выборе оптимальной модели опирались на BIC, поскольку он лучше, чем AIC, подходит для больших выборок [Nylund, Asparouhov, Muthen, 2007], а наше исследование проводилось на выборке более 2 тыс. человек. Низкие значения BIC указывают на наиболее желательное решение [Williams, Kibowski, 2016]. Не менее важно при выборе числа профилей учитывать и возможность их интерпретации. Таким образом, выбор оптимального решения осуществлялся путем сравнения статистик согласия, на основании оценки возможностей интерпретации профилей и наполняемости профиля (желательная минимальная доля в самом малочисленном классе — больше 5% [Nylund, Asparouhov, Muthen, 2007]).
Анализ латентных профилей проводился в программе RStu-dio версии 1.3.1093 (пакеты tidyLPA [Rosenberg et al., 2018], mclust [Scrucca et al., 2016]).
2.4. Переменные Для выделения профилей использованы следующие переменные: число быстрых ответов, общее время выполнения теста, время чтения перебивок, время чтения информационных текстов.
Число быстрых ответов рассчитывалось на основании анализа распределения времени выполнения задания, а также с учетом количества слов в задании. К «быстрым» были отнесены задания, которые учащиеся выполняли быстрее, чем со скоростью чтения текста задания 130 слов в минуту.
Общее время выполнения теста состоит из времени чтения информационных фрагментов, чтения перебивок и взаимодействия с вопросами, т.е. поиска и ввода ответов. Эта переменная рассчитывалась как разница между временем начала выполнения теста и временем завершения теста.
Перебивки, объединяющие все информационные тексты в один сюжет, не являлись стимульным материалом, и разработчики стремились сделать их максимально краткими.
Время чтения информационных текстов рассчитывалось как сумма показателей времени, затраченного на чтение каждого из трех текстов, которые и были основой для заданий смыслового чтения.
Тестовый балл учащихся не включен в состав переменных, на основании которых строились профили, поскольку исследовались сами тестовые стратегии и их вариативность — составляющие, а не результат учебной деятельности. Например, мы изначально предполагали, что очень быстрое прохождение теста может быть связано со значительно различающи-
мися результатами у разных испытуемых, что и было выявлено в ходе анализа.
Все переменные предварительно стандартизированы (среднее значение — 0, дисперсия — 1).
3. Результаты В табл. 2 представлены описательные статистики переменных, использованных для построения латентных групп, и переменных, использованных для интерпретации полученных латентных групп.
Таблица 2. Описательная статистика переменных
Переменная Среднее 1 Стандартное отклонение Медиана Размах
Число быстрых ответов 2,98 I 3,17 2,00 17 (0-17)
Время чтения перебивок 1,90 | 0,97 1,73 18,28 (0,15-18,43)
Время чтения только текстов 5,75 | 3,31 5,88 19,43 (0,07-19,5)
Время чтения заданий 15,65 | 5,72 15,12 38,75 (2,12-40,87)
Общее время выполнения теста 23,30 | 7,61 23,13 40,93 (4,30-44,8)
Число возвращений к текстам 1,33 ! 2,34 0,00 30 (0-30)
Тестовый балл 50 ; 10 50,22 73,52 (7,27-80,78)
В соответствии с критерием BIC модель 4, допускающая вариативность дисперсий и ковариаций переменных внутри всех скрытых групп, с пятью профилями оказалась наиболее подходящей для наших данных. Самое низкое значение критерия соответствия BIC получено в случае пяти профилей (табл. 3).
Таблица 3. Показатели статистик соответствия
Модель 4 Количество профилей А1С В1С
2 19186,758 19351,376
3 18457,389 18707,154
4 18013,836 18348,748
5 17770,907 18190,966
6 17697,115 18202,321
В табл. 4 представлено описание кластеров выбранного решения LPA. Два полученных кластера малочисленны (менее 10% выборки), однако их характеристики представляют интерес для интерпретации.
Средние значения переменных в кластерах наглядно представлены на рис. 2.
В табл. 5 представлены средние значения по переменным.
Таблица 4. Описание кластеров выбранного решения ЬРЛ
Номер кластера Число детей в кластере Доля выборки (%) Средний тестовый балл по чтению
1 333 15 41,63
2 676 31 51,83
3 116 6 43,43
4 201 9 46,27
5 831 39 53,78
Рис. 2. Характеристики полученных латентных групп.
Средние значения по переменным в профилях
2,5—1
0,0
- г~ ш 1—
- — 1 1
-2,0
Профиль 1
Профиль 2
Профиль 3
Профиль 4
Профиль 5
■ Число быстрых ответов □ Общее время выполнения теста □ Время чтения перебивок □ Время чтения только текстов
Таблица 5. Средние значения по переменным
Профиль Число быстрых ответов (95% CI) Общее время выполнения теста (95% CI) Время чтения перебивок (95% CI) Время чтения только текстов (95% CI)
Профиль 1 1,72 (1,61; 1,83) -1,31 (-1,38; -1,25) -0,41 (-0,49; -0,33) -0,87 (-0,95; -0,80)
Профиль 2 -0,68 (-0,70; -0,66) 0,83 (0,77; 0,88) 0,34 (0,29; 0,39) 0,59 (0,52; 0,66)
Профиль 3 0,51 (0,32; 0,70) 0,83 (0,61; 1,04) 2,12 (1,70; 2,55) 0,13 (-0,11; 0,37)
Профиль 4 -0,18 (-0,26; -0,10) -0,36 (-0,49; -0,24) -0,12 (-0,25; 0,01) -1,45 (-1,47; -1,42)
Профиль 5 -0,17 (-0,20; -0,13) -0,17 (-0,21; -0,14) -0,38 (-0,40; -0,35) 0,20 (0,17; 0,24)
На основании полученных результатов мы интерпретировали полученные кластеры.
3.1. Первый Первая группа составляет 15% выборки. Она характеризуется кластер стремительным прохождением теста: среднее для этой группы общее время выполнения теста не превышает и полови-
ны предусмотренного. Ученики бегло просматривали тексты (среднее время работы с тремя текстами — меньше 3 минут) и связующие истории. Время работы над вопросами также короткое: в среднем ответы на половину заданий теста были «быстрыми». Уровень читательских навыков у большинства учащихся — ниже базового (193 человека) и базовый (112 человек). Среднее значение тестового балла данной группы оказалось самым низким в выборке. О результатах учащихся этой группы, относящихся к уровню «ниже базового» и «базовый», вероятно, следует сообщать педагогу. Возможно, тестовый балл у таких учеников не может быть использован для оценки читательских умений, так как испытуемые частично или полностью не приняли или не удержали учебную задачу теста.
3.2. Второй Группа с достаточно длительным общим временем выполне-кластер ния теста (среднее время работы около 30 минут) — вторая по численности в выборке. У учащихся этой группы самое продолжительное в выборке время на чтение всех текстов (в среднем 8 минут). Они также долго читали связующие истории между информационными текстами. Среднее количество быстрых ответов — минимальное по выборке (не более трех). Оценки большинства респондентов группы соответствовали уровню «базовый» (444 участника). 182 участника показали результат «ниже базового», 143 участника — «выше базового». У школьников с уровнем читательских навыков «выше базового» (143 ученика) длительное время чтения и взаимодействия с вопросами является показателем высокого уровня сформированно-сти читательских умений.
3.3. Третий Группа малочисленная, характеризующаяся длительным об-кластер щим временем выполнения теста (среднее время чуть меньше 30 минут) и самым высоким в выборке временем чтения связующих историй (в 2-3 раза выше этого показателя в других группах). Время чтения информационных текстов близко к среднему. Возможно, именно короткие перебивки показались школьникам привлекательно простыми. Скорость чтения существенно повышалась по мере прохождения теста, третий фрагмент эти учащиеся в среднем прочитали (пролистнули?) в 2 раза быстрее, чем первый, схожий по объему. Ученики дали достаточно много быстрых ответов (в среднем пять быстрых ответов). В данной группе самый высокий по выборке показатель возвратов к текстам — в среднем два возврата. Оценки читательских навыков на уровне «ниже базового» в этой группе получили 56 учеников, «базовый» — 51 ученик, «выше базового» — 9 учеников.
3.4. Четвертый Относительно малочисленную группу (201 человек) состави-кластер ли учащиеся, у которых общее время выполнения теста близко к среднему по выборке, однако чтение каждого из трех текстов оказалось нереалистично коротким. Количество быстрых ответов минимальное в выборке, и этим четвертый профиль значимо отличается от первого. Эти учащиеся, как правило, просматривали задания в течение времени, достаточного для обдумывания ответа, однако не смогли дать верный ответ во многих заданиях. Только 8% учащихся этой группы показали высокий результат в тесте. На показатели остальных учеников могло повлиять неумение удерживать учебную задачу, либо несформированность навыка самостоятельной работы в цифровой среде, либо низкая тестовая мотивация. Участники данной группы делали попытки отвечать на вопросы текста, но информации для правильного ответа оказалось недостаточно из-за слишком быстрого чтения текстов. Использовать тестовый балл для оценки читательских навыков этих учащихся было бы неправильно, поскольку чтения как такового фактически не происходило.
3.5. Пятый Самой многочисленной оказалась группа, в которой все наблю-кластер даемые параметры близки к средним значениям по выборке: чуть меньше среднего общее время выполнения теста, чуть меньше быстрых ответов, чуть больше время чтения текстов. В ней мало участников с уровнем читательских навыков «ниже базового» (7% участников данной группы) и значительное число участников с высокими результатами (26% участников данной группы). Вероятно, достаточное время чтения и вдумчивое взаимодействие с вопросами, т.е. высокий уровень саморегуляции, в совокупности с высоким уровнем читательских умений, позволили этим учащимся верно ответить на большинство заданий. Для этой категории участников тестовый балл точно оценивает читательские умения.
4. Дискуссия В проведенном исследовании предпринята попытка выявить типичные профили читательских умений учащихся на основании характеристик их поведения по время выполнения теста смыслового чтения. Мы действовали в рамках процессно-ори-ентированного подхода и старались использовать количественные данные, полученные в ходе оценивания, для обогащения интерпретации результатов.
Пять выявленных кластеров описаны на основании использованных для анализа латентных профилей переменных с привлечением дополнительных переменных, таких как результа-
ты оценивания и возвраты к тексту. Нам удалось показать, что один и тот же результат учащихся может интерпретироваться по-разному в зависимости от их поведения во время выполнения теста. Внедрение описаний тестового поведения в практику сообщения результатов оценивания поможет учителям индивидуализировать работу с учащимися по развитию навыков чтения, лучше понимать слабые стороны юных читателей.
Полученные в исследовании кластеры учащихся, для каждого из которых характерно определенное сочетание параметров чтения, открывают новые перспективы анализа учебного поведения учащихся. Например, можно ли говорить о высокой саморегуляции у 28 обучающихся первого кластера с высокими баллами и небольшим временем прохождения теста? Свидетельствует ли достаточно долгое время прохождения теста об умении обучающихся удерживать учебную задачу или это следствие низкой скорости работы? В чем причина замедления некоторых учащихся на текстах-перебивках и беглого просмотра информационных фрагментов — в их неумении выделять значимое или в боязни достаточно больших фрагментов? Читатели второго кластера увеличивали скорость чтения текстов по мере продвижения — связано ли это с адаптацией к цифровому чтению? Полученные данные выдвигают дополнительные вопросы о связи фоновых знаний с тестовым поведением и выбором ответов — например, можно ли объяснить беглый просмотр текстов обучающимися четвертого кластера их убежденностью в том, что их личный опыт достаточен для ответа на вопросы и у них нет необходимости вдумчиво знакомиться с текстом.
Некоторые результаты, полученные в исследовании, не соответствовали нашим ожиданиям. В частности, мы рассчитывали на большую информативность использования в анализе переменной «возвраты к тексту» (ее можно интерпретировать как сознательное поисковое чтение) и переменной «количество переходов по тесту, не обусловленных линейной логикой предъявления заданий». Тест выстроен линейно, поэтому большое количество необоснованных переходов со страницы на страницу можно расценивать как ознакомительное поведение или как стратегию пропуска сложного с намерением вернуться и доделать. Однако введение этих переменных в разных комбинациях в анализ не позволило получить интерпретируемые решения LPA. Корреляции переменных «возвраты к тексту» и «хождения по тесту» со всеми использованными в анализе переменными, включая результаты оценивания, также были практически нулевыми. Можно предположить, что для четвероклассников в условиях цифрового тестирования с заданиями на отдельных экранах и возможностью вернуться к тексту нажати-
ем кнопки факт возврата к тексту не является системным индикатором стратегии чтения. Возможно, у большинства учащихся еще не сформировано представление о том, что в целях поиска ответа на вопрос необходимо целенаправленно обращаться к стимульному тексту. Не исключено, что для осознанного использования этой возможности учащимся не хватило цифровых навыков или опыта выполнения компьютеризированных тестов.
В дальнейшем целесообразно повторить осуществленный в данном исследовании анализ на материалах оценивания не только чтения, но и математических навыков или других областей знания. Таким образом можно оценить стабильность паттернов тестового поведения для разных предметных областей. Мы также считаем важным проверить стабильность полученных профилей читательских умений в динамике, например через год или два, когда учащиеся будут старше и расширят свой школьный опыт и опыт работы на компьютере.
БлагодаРности Статья подготовлена в рамках гранта, предоставленного Министерством науки и высшего образования Российской Федерации (соглашение о предоставлении гранта № 075-15-2022-325 от 25.04.2022).
Литература 1. Гостева Ю.Н., Кузнецова М.И., Рябинина Л.А., Сидорова Г.А., Чабан Т.Ю.
(2019) Теория и практика оценивания читательской грамотности как компонента функциональной грамотности. Отечественная и зарубежная педагогика, т. 1, № 4 (61), сс. 34-57.
2. Лапошина А.Н., Лебедева М.Ю. (2021) Текстометр: онлайн-инструмент определения уровня сложности текста по русскому языку как иностранному. Русистика, т. 19, № 3, сс. 331-345. https://doi.org/10.22363/2618-8163-2021-19-3-331-345
3. Мелентьева Ю.П. (2015) Общая теория чтения. М.: Наука.
4. Al-Khasawneh F. (2020) Test-Taking Strategies and Reading Comprehension: A Correlational Investigation. Issues in Language Studies, vol. 9, no 1, pp. 155165. https://doi.org/10.33736/ils.2161.2020
5. Ashraf A., Zaki S. (2016) Analyzing Characteristics of Reading Test Tasks Designed for Undergraduate Language Assessment. Journal of Independent Studies & Research: Management & Social Sciences & Economics, vol. 14, no 1, pp. 89-104. https://doi.org/10.31384/jisrmsse/2016.14.1.7
6. Assiri M.S., Alodhahi E.A. (2018) Test-Taking Strategies on Reading Comprehension Tests: A Review of Major Research Themes. Studies in English Language Teaching, vol. 6, no 3, pp. 207-227. https://doi.org/10.22158/selt. v6n3p207
7. Bauer J. (2021) A Primer to Latent Profile and Latent Class Analysis. PsyArXiv. https://doi.org/10.31234/osf.io/97uab
8. Bayrak Karsli M., Demirel T., Kur§un E. (2020) Examination of Different Reading Strategies with Eye Tracking Measures in Paragraph Questions. Ha-cettepe University Journal of Education, vol. 35, no 1, pp. 92-106. https://doi. org/10.16986/HUJE.2019051160
9. Boone W.J., Noltemeyer A. (2017) Rasch Analysis: A Primer for School Psychology Researchers and Practitioners. Cogent Education, vol. 4, no 1, Article no 1416898. https://doi.org/10.1080/2331186X.2017.1416898
10. Cerdán R., Pérez A., Vidal-Abarca E., Rouet J.F. (2019) To Answer Questions from Text, One Has to Understand What the Question Is Asking: Differential Effects of Question Aids as a Function of Comprehension Skill. Reading and Writing, vol. 32, no 8, pp. 2111-2124. https://doi.org/10.1007/s11145-019-09943-w
11. Cerdán R., Vidal-Abarca E., Martínez T., Gilabert R., Gil L. (2009) Impact of Question-Answering Tasks on Search Processes and Reading Comprehension. Learning and Instruction, vol. 19, no 1, pp. 13-27. https://doi.org/10.1016/j. learninstruc.2007.12.003
12. Cohen A.D. (2012) Test Taker Strategies and Task Design. The Routledge Handbook of Language Testing (eds G. Fulcher, F. Davidson), Abingdon, England: Routledge, pp. 262-277. https://doi.org/10.4324/9780203181287
13. Cohen A.D. (2006) The Coming of Age of Research on Test-Taking Strategies. Language Assessment Quarterly, vol. 3, no 4, pp. 307-331. https://doi. org/10.1080/15434300701333129
14. Cohen A.D., Upton T.A. (2006) Strategies in Responding to the New TOEFL Reading Tasks. TOEFL Monograph Serie no 33. Princeton, NJ: Test of English as a Foreign Language.
15. Guttersrud O., Le C., Pettersen K.S., Helseth S., Finbráten H.S. (2019) Towards a Progression of Health Literacy Skills: Establishing the HLS-Q12 Cutoff Scores. Preprint. https://doi.org/10.21203/rs.2.13456/v2
16. International Reading Association, National Council of Teachers of English (2009) Standards for the Assessment of Reading and Writing. Available at: https://ncte.org/resources/standards/standards-for-the-assessment-of-rea-ding-and-writing-revised-edition-2009/ (accessed 2 February 2023).
17. Lee J.-Y. (2018) The Use of Test-Taking Strategies and Students' Performances in Answering TOEIC Reading Comprehension Questions. Taiwan Journal of TE-SOL, vol. 15.2, pp. 33-64. https://doi.org/10.30397/TJTES0L.201810_15(2).0002
18. Linacre J.M. (2017) Winsteps [R] Rasch Measurement Computer Program, Version 4.1. Beaverton: Winsteps.com.
19. Marjerison R.K., Liu P., Duffy L.P., Chen R. (2020) An Exploration of the Relationships between Different Reading Strategies and IELTS Test Performance: IELTS Test Taking Strategies—Chinese Students. International Journal of Translation, Interpretation, and Applied Linguistics (IJTIAL), vol. 2, no 1, pp. 1-19. https://doi.org/10.4018/IJTIAL.2020010101
20. Masters G.N. (1982) A Rasch Model for Partial Credit Scoring. Psychometri-ka, vol. 47, no 2, pp. 149-174. https://doi.org/10.1007/BF02296272
21. Masyn K.E. (2013) Latent Class Analysis and Finite Mixture Modeling. The Oxford Handbook of Quantitative Methods. Vol. 2: Statistical Analysis (ed. T.D. Little), Oxford: Oxford University, pp. 551-611. https://doi.org/10.1093/ oxfordhb/9780199934898.013.0025
22. Mullis I.V., Martin M.O., Sainsbury M. (2016) PIRLS 2016 Reading Framework. PIR-LS 2016 Assessment Framework (eds I.V.S. Mullis, M.O. Martin). Boston, MA: Boston College, TIMSS & PIRLS International Study Center, pp. 11-29.
23. Nylund K.L., Asparouhov T., Muthén B.O. (2007) Deciding on the Number of Classes in Latent Class Analysis and Growth Mixture Modeling: A Monte Carlo Simulation Study. Structural Equation Modeling, A Multidisciplinary Journal, vol. 14, no 4, pp. 535-569. https://doi.org/10.1080/10705510701575396
24. Oberski D. (2016) Mixture Models: Latent Profile and Latent Class Analysis. Modern Statistical Methods for HCI (eds J. Robertson, M. Kaptein), Cham: Springer, pp. 275-287. https://doi.org/10.1007/978-3-319-26633-6
25. Olivera-Aguilar M., Rikoon S.H., Robbins S.B. (2017) Using Latent Profile Analysis to Identify Noncognitive Skill Profiles among College Students. The Journal of Higher Education, vol. 88, no 2, pp. 234-257. https://doi.org/ 10.1080/00221546.2016.1244413
26. Pastor D.A., Barron K.E., Miller B.J., Davis S.L. (2007) A Latent Profile Analysis of College Students' Achievement Goal Orientation. Contemporary Educational Psychology, vol. 32, no 1, pp. 8-47. https://doi.org/10.1016/_j.cedpsy-ch.2006.10.003
27. Rosenberg J.M., Beymer P.N., Anderson D.J., van Lissa C.J., Schmidt J.A. (2018) tidyLPA: An R Package to Easily Carry out Latent Profile Analysis (LPA) Using Open-Source or Commercial Software. Journal of Open Source Software, vol. 3, no 30, Article no 978. https://doi.org/10.21105/joss.00978
28. Salmerón L., Vidal-Abarca E., Martínez T., Mañá A., Gil L., Naumann J. (2015) Strategic Decisions in Task-Oriented Reading. The Spanish Journal of Psychology, vol. 18, December, Article no E102. https://doi.org/10.1017/ sjp.2015.101
29. Scherer R., Greiff S., Hautamaki J. (2015) Exploring the Relation between Time on Task and Ability in Complex Problem Solving. Intelligence, vol. 48, January, pp. 37-50. https://doi.org/10.1016/j.intell.2014.10.003
30. Scrucca L., Fop M., Murphy T.B., Raftery A.E. (2016) mclust 5: Clustering, Classification and Density Estimation Using Gaussian Finite Mixture Models. The RJournal, vol. 8, no 1, pp. 289-317. https://doi.org/10.32614/RJ-2016-021
31. Smith R.M. (1996) A Comparison of Methods for Determining Dimensionality in Rasch Measurement. Structural Equation Modeling: A Multidisciplinary Journal, vol. 3, no 1, pp. 25-40. http://dx.doi.org/10.1080/10705519609540027
32. Vermunt J.K., Magidson J. (2002) Latent Class Cluster Analysis. Applied Latent Class Analysis (eds J.A. Hagenaars, A.L. McCutcheon), Cambridge: Cambridge University, pp. 89-106.
33. Vidal-Abarca E., Mañá A., Gil L. (2010) Individual Differences for Self-Regulating Task-Oriented Reading Activities. Journal of Educational Psychology, vol. 102, no 4, pp. 817-826. https://doi.org/10.1037/a0020062
34. Williams G.A., Kibowski F. (2016) Latent Class Analysis and Latent Profile Analysis. Handbook of Methodological Approaches to Community-Based Research. Qualitative, Quantitative, and Mixed Methods (eds L.A. Jason, D.S. Glenwick), Oxford: Oxford University, pp. 143-151. https://doi.org/10.1093/med:psy-ch/9780190243654.003.0015
35. Wise S.L., Kong X. (2005) Response Time Effort: A New Measure of Examinee Motivation in Computer-Based Tests. Applied Measurement in Education, vol. 18, no 2, pp. 163-183. https://doi.org/10.1207/s15324818ame1802_2
36. Yeari M., Schlesinger L.M., Moshka E. (2021) The Role of Time Constraints and Domain Knowledge in Reading Comprehension Tests: The Case of Text-First versus Questions-First Strategies. Reading Research Quarterly, vol. 57, no 3, pp. 913-936. https://doi.org/10.1002/rrq.452
References Al-Khasawneh F. (2020) Test-Taking Strategies and Reading Comprehension: A Correlational Investigation. Issues in Language Studies, vol. 9, no 1, pp. 155165. https://doi.org/10.33736/ils.2161.2020 Ashraf A., Zaki S. (2016) Analyzing Characteristics of Reading Test Tasks Designed for Undergraduate Language Assessment. Journal of Independent Studies & Research: Management & Social Sciences & Economics, vol. 14, no 1, pp. 89104. https://doi.org/10.31384/jisrmsse/2016.14.1.7 Assiri M.S., Alodhahi E.A. (2018) Test-Taking Strategies on Reading Comprehension Tests: A Review of Major Research Themes. Studies in English Language Teaching, vol. 6, no 3, pp. 207-227. https://doi.org/10.22158/selt.v6n3p207
Bauer J. (2021) A Primer to Latent Profile and Latent Class Analysis. PsyArXiv.
https://doi.org/10.31234/osf.io/97uab Bayrak Karsli M., Demirel T., Kur§un E. (2020) Examination of Different Reading Strategies with Eye Tracking Measures in Paragraph Questions. Hacettepe University Journal of Education, vol. 35, no 1, pp. 92-106. https://doi.org/10.16986/ HUJE.2019051160
Boone W.J., Noltemeyer A. (2017) Rasch Analysis: A Primer for School Psychology Researchers and Practitioners. Cogent Education, vol. 4, no 1, Article no 1416898. https://doi.org/10.1080/2331186X.2017.1416898 Cerdán R., Pérez A., Vidal-Abarca E., Rouet J.F. (2019) To Answer Questions from Text, One Has to Understand What the Question Is Asking: Differential Effects of Question Aids as a Function of Comprehension Skill. Reading and Writing, vol. 32, no 8, pp. 2111-2124. https://doi.org/10.1007/s11145-019-09943-w Cerdán R., Vidal-Abarca E., Martínez T., Gilabert R., Gil L. (2009) Impact of Question-Answering Tasks on Search Processes and Reading Comprehension. Learning and Instruction, vol. 19, no 1, pp. 13-27. https://doi.org/10.1016/j. learninstruc.2007.12.003 Cohen A.D. (2012) Test Taker Strategies and Task Design. The Routledge Handbook of Language Testing (eds G. Fulcher, F. Davidson), Abingdon, England: Rout-ledge, pp. 262-277. https://doi.org/10.4324/9780203181287 Cohen A.D. (2006) The Coming of Age of Research on Test-Taking Strategies. Language Assessment Quarterly, vol. 3, no 4, pp. 307-331. https://doi. org/10.1080/15434300701333129 Cohen A.D., Upton T.A. (2006) Strategies in Responding to the New TOEFL Reading Tasks. TOEFL Monograph Serie no 33. Princeton, NJ: Test of English as a Foreign Language.
Gosteva Yu.N., Kuznetsova M.I., Ryabinina L.A., Sidorova G.A., Chaban T.Yu. (2019) Teoriya i praktika otsenivaniya chitatel'skoy gramotnosti kak komponenta funktsional'noy gramotnosti [Theory and Practice of Reading Literacy as a Component of Functional Literacy]. Otechestvennaya izarubezhnayapedagogi-ka, vol. 1, no 4 (61), pp. 34-57. Guttersrud O., Le C., Pettersen K.S., Helseth S., Finbráten H.S. (2019) Towards a Progression of Health Literacy Skills: Establishing the HLS-Q12 Cutoff Scores. Preprint. https://doi.org/10.21203/rs.2.13456/v2 International Reading Association, National Council of Teachers of English (2009) Standards for the Assessment of Reading and Writing. Available at: https://ncte.org/resources/standards/standards-for-the-assessment-of-read-ing-and-writing-revised-edition-2009/ (accessed 2 February 2023). Laposhina A.N., Lebedeva M.Yu. (2021) Tekstometr: onlain-instrument opredele-niya urovnya slozhnosti teksta po russkomu yazyku kak inostrannomu [Tex-tometr: An Online Tool for Automated Complexity Level Assessment of Texts for Russian Language Learners]. Russian Language Studies, vol. 19, no 3, pp. 331-345. https://doi.org/10.22363/2618-8163-2021-19-3-331-345 Lee J.-Y. (2018) The Use of Test-Taking Strategies and Students' Performances in Answering TOEIC Reading Comprehension Questions. Taiwan Journal of TESOL, vol. 15.2, pp. 33-64. https://doi.org/10.30397/TJTESOL.201810_15(2).0002 Linacre J.M. (2017) Winsteps [R] Rasch Measurement Computer Program, Version 4.1. Beaverton: Winsteps.com. Marjerison R.K., Liu P., Duffy L.P., Chen R. (2020) An Exploration of the Relationships between Different Reading Strategies and IELTS Test Performance: IELTS Test Taking Strategies—Chinese Students. International Journal of Translation, Interpretation, and Applied Linguistics (IJTIAL), vol. 2, no 1, pp. 1-19. https://doi.org/10.4018/IJTIAL.2020010101 Masters G.N. (1982) A Rasch Model for Partial Credit Scoring. Psychometri-
ka, vol. 47, no 2, pp. 149-174. https://doi.org/10.1007/BF02296272 Masyn K.E. (2013) Latent Class Analysis and Finite Mixture Modeling. The Oxford Handbook of Quantitative Methods. Vol. 2: Statistical Analysis (ed. T.D. Lit-
tle), Oxford: Oxford University, pp. 551-611. https://doi.org/10.1093/oxford-hb/9780199934898.013.0025 Melentieva Yu.P. (2016) Obshchaya teoriya chteniya [General Theory of Reading]. Moscow: Nauka.
Mullis I.V., Martin M.O., Sainsbury M. (2016) PIRLS 2016 Reading Framework. PIRLS 2016 Assessment Framework (eds I.V.S. Mullis, M.O. Martin). Boston, MA: Boston College, TIMSS & PIRLS International Study Center, pp. 11-29. Nylund K.L., Asparouhov T., Muthén B.O. (2007) Deciding on the Number of Classes in Latent Class Analysis and Growth Mixture Modeling: A Monte Carlo Simulation Study. Structural Equation Modeling: A Multidisciplinary Journal, vol. 14, no 4, pp. 535-569. https://doi.org/10.1080/10705510701575396 Oberski D. (2016) Mixture Models: Latent Profile and Latent Class Analysis. Modern Statistical Methods for HCI (eds J. Robertson, M. Kaptein), Cham: Springer, pp. 275-287. https://doi.org/10.1007/978-3-319-26633-6 Olivera-Aguilar M., Rikoon S.H., Robbins S.B. (2017) Using Latent Profile Analysis to Identify Noncognitive Skill Profiles among College Students. The Journal of Higher Education, vol. 88, no 2, pp. 234-257. https://doi.org/ 10.1080/00221546.2016.1244413 Pastor D.A., Barron K.E., Miller B.J., Davis S.L. (2007) A Latent Profile Analysis of College Students' Achievement Goal Orientation. Contemporary Educational Psychology, vol. 32, no 1, pp. 8-47. https://doi.org/10.1016/j.cedpsych.2006.10.003 Rosenberg J.M., Beymer P.N., Anderson D.J., van Lissa C.J., Schmidt J.A. (2018) tidyLPA: An R Package to Easily Carry out Latent Profile Analysis (LPA) Using Open-Source or Commercial Software. Journal of Open Source Software, vol. 3, no 30, Article no 978. https://doi.org/10.21105/joss.00978 Salmerón L., Vidal-Abarca E., Martínez T., Mañá A., Gil L., Naumann J. (2015) Strategic Decisions in Task-Oriented Reading. The Spanish Journal of Psychology, vol. 18, December, Article no E102. https://doi.org/10.1017/ sjp.2015.101 Scherer R., Greiff S., Hautamaki J. (2015) Exploring the Relation between Time on Task and Ability in Complex Problem Solving. Intelligence, vol. 48, January, pp. 37-50. https://doi.org/10.1016/j.intell.2014.10.003 Scrucca L., Fop M., Murphy T.B., Raftery A.E. (2016) mclust 5: Clustering, Classification and Density Estimation Using Gaussian Finite Mixture Models. The R Journal, vol. 8, no 1, pp. 289-317. https://doi.org/10.32614/RJ-2016-021 Smith R.M. (1996) A Comparison of Methods for Determining Dimensionality in Rasch Measurement. Structural Equation Modeling: A Multidisciplinary Journal, vol. 3, no 1, pp. 25-40. http://dx.doi.org/10.1080/10705519609540027 Vermunt J.K., Magidson J. (2002) Latent Class Cluster Analysis. Applied Latent Class Analysis (eds J.A. Hagenaars, A.L. McCutcheon), Cambridge: Cambridge University, pp. 89-106.
Vidal-Abarca E., Mañá A., Gil L. (2010) Individual Differences for Self-Regulating Task-Oriented Reading Activities. Journal of Educational Psychology, vol. 102, no 4, pp. 817-826. https://doi.org/10.1037/a0020062 Williams G.A., Kibowski F. (2016) Latent Class Analysis and Latent Profile Analysis. Handbook of Methodological Approaches to Community-Based Research. Qualitative, Quantitative, and Mixed Methods (eds L.A. Jason, D.S. Glenwick), Oxford: Oxford University, pp. 143-151. https://doi.org/10.1093/med:psy ch/9780190243654.003.0015 Wise S.L., Kong X. (2005) Response Time Effort: A New Measure of Examinee Motivation in Computer-Based Tests. Applied Measurement in Education, vol. 18, no 2, pp. 163-183. https://doi.org/10.1207/s15324818ame1802_2 Yeari M., Schlesinger L.M., Moshka E. (2021) The Role of Time Constraints and Domain Knowledge in Reading Comprehension Tests: The Case of Text-First versus Questions-First Strategies. Reading Research Quarterly, vol. 57, no 3, pp. 913-936. https://doi.org/10.1002/rrq.452
