CC BY
16
DOI: https://doi.org/10.25146/1995-0861-2021-55-1-258
УДК 376.42
КОМПЬЮТЕРИЗИРОВАННАЯ ДИНАМИЧЕСКАЯ ОЦЕНКА ОБУЧАЕМОСТИ СТУДЕНТОВ ВРЕМЕНАМ ГЛАГОЛОВ В АНГЛИЙСКОМ ЯЗЫКЕ1
И.П. Перегудова (Красноярск, Россия) П.П. Дьячук (Красноярск, Россия) И.В. Шадрин (Красноярск, Россия) С.А. Виденин (Красноярск, Россия)
Аннотация
Проблема исследования. Компьютеризированная динамическая оценка обучаемости иностранным языкам в недостаточной степени представлена в образовательной практике. Раскрыты новые возможности применения информационных технологий для решения актуальной проблемы диагностики обучаемости иностранному языку как интегрального динамического индикатора мониторинга качества иноязычного образования. Инструментальной основой компьютеризированной динамической оценки критериев обучаемости являются динамические компьютерные тесты-тренажеры (ДКТТ) учебной деятельности.
Цель статьи - изучить возможности динамических компьютерных тестов-тренажеров «Времена английского языка» как инструментального средства динамической оценки обучаемости студентов временам глаголов в английском языке.
Методология исследования включает анализ исследований отечественных и зарубежных ученых, посвященных компьютеризации динамической оценки обучаемости английскому языку. Методы, применяемые при компьютеризации динамической оценки обучаемости, основаны на теории развития Ж. Пиаже и обучения с подкреплением, деятельност-ном и средовом подходах к анализу процессуальных характеристик учебной деятельности.
Результаты. Разработаны инструментальные средства диагностики обучаемости ДКТТ «Времена английского языка». Экспериментально выявлено
две группы испытуемых, отличающихся друг от друга динамикой процессуальных характеристик учебной деятельности: первая группа характеризуется монотонным уменьшением числа ошибок с возрастанием номера выполняемого задания; вторая - немонотонным уменьшением числа ошибок, нарушаемым скачкообразным возрастанием числа ошибок. Испытуемые первой группы обучающихся, как правило, имеют больший потенциал обучения, или обучаемости, по сравнению с испытуемыми из второй группы. Проведена апробация, и даны рекомендации к применению ДКТТ «Времена английского языка» для мониторинга процесса обучения английскому языку.
Выводы. Анализируя результаты экспериментальной проверки ДКТТ «Времена английского языка» при динамической оценки обучаемости английскому языку, авторы приходят к выводу о целесообразности использования процессуальных характеристик учебной деятельности: трудоемкости, временного темпа, частоты ошибок и подкреплений учебной деятельности в качестве индикаторов мониторинга обучаемости английскому языку. Рассматриваемый подход к диагностике обучаемости временам глаголов в английском языке позволяет получать информацию об особенностях развития когнитивных функций обучающихся.
Ключевые слова: динамическая оценка, обучаемость, обратная оценочная связь, времена английского языка, подкрепления, трудоемкость, актио-грамма, уровни самостоятельности.
Проблема исследования. Проблема мониторинга качества обучения иностранному языку является актуальной и социально значимой проблемой [Байтукаева, 2011, с. 225; и др.].
Интегральными характеристиками качества обучения являются обученность и обучаемость. Для мониторинга качества обучения обычно применяют статические адаптивные тесты достиже-
1 Исследование выполнено при финансовой поддержке Красноярского краевого фонда науки в рамках реализации проекта № 12/19, 2019 г. «Цифровизация билингвального динамического адаптивного мониторинга экосистемы образования в учебных заведениях и экономики Красноярского края».
ния, позволяющие диагностировать результаты обучения, т.е. обученность [Sheng, 2017, p. 417; Sun et al., 2017, p. 41]. Тестирование обученности носит статический характер и представляет собой срез результатов обучения за время, предшествующее тестированию. Предполагается, что при традиционном, статическом тестировании учащихся внешние обучающиеся воздействия, вмешательства с чьей-либо стороны отсутствуют, т.е. традиционная система тестирования обу-ченности учащихся является закрытой системой. Этим достигается объективность результатов тестирования.
Обучаемость является интегральным динамическим параметром процесса обучения, характеризующим способность обучающегося к усвоению знаний, научению решению задач и т.п., включающим «...следующие критерии:
1) темп продвижения в новом материале;
2) особенности обобщения и абстрагирования признаков;
3) экономичность мышления;
4) самостоятельность мышления;
5) гибкость (или инертность) мышления;
6) осознанность действий»[Холодная, 2015, с. 5].
Цель статьи - изучить возможности динамических компьютерных тестов-тренажеров «Времена английского языка» как инструментального средства динамической оценки обучаемости студентов временам глаголов в английском языке.
Обзор научной литературы. Вопросам диагностики обучаемости учащихся (студентов, мигрантов и т.п.) иностранным языкам, в том числе и английскому языку, посвящен ряд исследований отечественных и зарубежных ученых [Mizumoto et al., 2019, p. 101; Kamrood et al., 2018, p. 23; Hidri et al., 2020; Estaji, Saeedian, 2020, p. 347]. Обучаемость, являясь интегральным динамическим параметром процесса обучения, определяется процессуальными характеристиками учебной деятельности испытуемого. Поэтому диагностика обучаемости может быть основана на динамической оценке процессуальных характеристик учебной деятельности
испытуемого. В отличие от статического тестирования, динамическая оценка или динамическое адаптивное тестирование представляет собой открытую, интерактивную систему. При динамическом подходе к тестированию обучение не прерывается. Динамическая оценка включает возможность вмешательства в процесс тестирования со стороны учителя (посредника или медиатора), который может оказать помощь, подсказку, если испытуемый испытывает затруднения при выполнении тестовых заданий.
Первоначально динамический адаптивный подход к тестированию процесса обучения был развит в социокультурной теории развития Л.С. Выготского [Vygotsky, 1978, p. 175]. Его основу составляет представление о зонах актуального и ближайшего развития. Зона актуального развития характеризуется задачами, для решения которых обучающийся обеспечен развитыми когнитивными функциями, позволяющими обучающемуся самостоятельно решать задачи. Зона ближайшего развития характеризуется задачами, которые обучающийся решить самостоятельно не может, так как необходимые для этого когнитивные функции находятся в стадии развития. Учитель или медиатор, наблюдая за попытками испытуемого выполнить задания, оказывает ему помощь, содействуя развитию когнитивных функций. По мере формирования когнитивных функций вмешательство посредника в процесс решения задачи уменьшается, а самостоятельность обучающегося возрастает. По достижении автономности учебной деятельности испытуемого процесс динамической оценки завершается. Посредник (учитель) взаимодействует с испытуемым, активно участвуя в процессе динамического адаптивного тестирования [Ebadi, 2017, p. 17; Poehner et al., 2015, p. 1].
Исследования динамической оценки обучаемости английскому языку получили широкое развитие и социальную значимость в связи с миграцией людей и возникшей проблемой билинг-вальности мигрантов в странах постоянного пребывания [Arias, Friberg, 2017; Vergara et al., 2019, p. 82 et al.]. Как следствие, возникла необходимость обучения второму иностранному языку и
С И
я
а
4
tí PQ
5 s
ÈÎ W H
S
и ^
д и s
0
1
к
W PQ H
и fc с £tí
и
о
[-4
0
ё
и
Ян
1
>>
0
1
и
W tr
s
ь
í-ч <
э
G
« S
к
H
и
w
PQ
соответствующим информационным технологиям тестирования обучаемости [Resing et al., 2015, p. 231; Hidri, 2019, p. 239] иностранным языкам.
Диагностика обучаемости иностранному языку большого числа людей потребовала компьютеризации процедуры динамической оценки обучаемости. Существует множество работ зарубежных авторов [Kamrood et al., 2019, p. 12; Poehner et al., 2019, p. 238; Elliott et al., 2018, p. 7], в которых компьютеризированная динамическая оценка обучаемости иностранному языку реализована на основе инструктивной обратной связи. Однако окончательного решения проблемы создания компьютерных систем с инструктивной обратной связью в настоящее время не существует. Это обусловлено тем, что моделирование медиатора, адекватно взаимодействующего с испытуемым, представляет собой чрезвычайно сложную и дорогую процедуру. В простом варианте взаимодействие моделируется жесткой системой «подсказок». Это так называемый интервенционистский подход к организации обратной связи [Kamrood et al., 2019, p. 23]. Второй подход -интерактивный [McNeil, 2018, p. 221] - отличается тем, что взаимодействие медиатора с испытуемым носит ситуативный характер. В интерактивном подходе помощь медиатора (подсказки) должна гибко учитывать обстоятельства конкретной ситуации, требующей вмешательства медиатора. Этот подход требует использование элементов искусственного интеллекта для моделирования деятельности медиатора.
Методология и методы исследования основаны на теории развития Ж. Пиаже [Пиаже, 2003, с. 192] и теории обучения с подкреплением [Саттон, Барто 2014, с. 35]. Согласно теории развития Ж. Пиаже, информация, поступающая от электронной проблемной среды ДКТТ, усваивается или ассимилируется испытуемым до тех пор, пока внешние условия (частота подкреплений, условия задач и т.п.) остаются неизменными. Если неопределенность проблемной среды увеличится (например, уменьшится частота подкреплений или усложнится постановка задачи и т.п.), то процесс ассимиляции информации нарушится. Возникший когнитивный диссонанс ини-
циирует аккомодацию сенсорных механизмов и органов анализа и переработки информации. Процесс аккомодации будет протекать до «снятия» состояния когнитивного диссонанса обучающегося и восстановления равновесия между процессами ассимиляции и аккомодации. Если равновесие не восстановится, то когнитивная неустойчивость (диссонанс), вызванная изменением неопределенности проблемной среды, приведет к бифуркации учебной деятельности испытуемых [Дьячук и др., 2016, с. 259].
Функцию медиатора в ДКТТ выполняет электронная проблемная среда, обеспечивающая обучающимся условия, необходимые для поиска решения задач. К ним относятся: множество действий; пазловые объекты, с которыми совершают действия (просматривают, перемещают, отменяют перемещение); каналы обратной связи, обеспечивающие испытуемых информацией о состоянии решения задачи, о результатах действий и деятельности в целом.
Одной из главных особенностей деятельности медиатора является непрерывное наблюдение за испытуемым и своевременное вмешательство в процесс выполнения задания с целью оказания помощи и коррекции действий испытуемого. Поэтому в ДКТТ «Времена английского языка» имеется модуль слежения и протоколирования в режиме реального времени действий испытуемого и реакций электронной проблемной среды.
Интерфейс электронной проблемной среды (рис. 1) включает: окно просмотра пазлов; «Статусограмму» - уровни самостоятельности; «Актиограмму» - подкрепления; Рабочее поле -установки пазлов, соответствующих временам английского языка.
Подкреплениям действий испытуемых соответствуют численные значения или численные оценки: +1 - правильное действие; -1 - неправильное действие; 0 - действие, не изменяющее состояния решения задачи (просмотры, прослушивание). Информацию о подкреплениях испытуемый получает от датчиков «Актиограммы» (см. рис. 1). Частота подачи информации о подкреплениях действий при выполнении иго зада]
I will be playing
Статусограмма
10
5
1 П
LlLI 4
Актиограмма
гиииШЛцЛЛЛЛ, hiuinj1* ♦ • w
L±l _LlI
ГОТОВО
Perfekt I have been playing I was playing
Simple Indefinite I had played ?
Perfect Continuous I play I had been playing
Continuous / Progressive I am playing ?
Рис. 1. Интерфейс ДКТТ «Времена английского языка» Fig. 1. Dynamic computer test simulator interface "Tenses of the English language"
ния определяется уровнем самостоятельности деятельности, который испытуемый достиг при выполнении 0 - 1)-го задания. Информацию о номере уровня самостоятельности испытуемый получает в «Статусограмме».
Первое задание испытуемый выполняет на первом уровне самостоятельности. На первом уровне самостоятельности испытуемый получает подкрепление каждого действия. В последующем по мере уменьшения числа ошибочных действий уровень самостоятельности возрастает, а частота подкреплений уменьшается. При безошибочном выполнении заданий испытуемый переходит на 10-й уровень автономной деятельности, при котором частота подкреплений равна нулю.
Выбор вариантов пазлов с предложениями на английском языке испытуемый производит в окне просмотра. Численная оценка действий, связанных с просмотром, равна нулю. Активируя курсором мышки соответствующее место в таблице классификации времен английского
языка (см. рис. 1), испытуемый перемещает пазл из окна просмотра на это место.
Результаты. В эксперименте по динамической оценке обучаемости участвовало 117 студентов. Обработка протоколов динамической оценки обучаемости проводилась с помощью специальной электронной программы «Обработка данных протоколов» [Дьячук, Шадрин, 2020].
Одним из критериев обучаемости является трудоемкость выполнения заданий в процессе перехода обучающихся в состояние самостоятельной автономной деятельности. Трудоемкость характеризует критерий экономичности мышления испытуемого при выполнении заданий в процессе научения и равна количеству действий, совершенных испытуемым при выполнении задания. На рис. 2 приведены графики трудоемкости и количества подкреплений (информационных подсказок) в зависимости от номера заданий для испытуемых № 1 и 2 при формировании самостоятельной автономной деятельности.
<
PQ И
£
%
С
PQ
к Й
Is е о
и й
>> 5
о о
"-1 h RS
ь s
a a
G F
es «
S ffi
H
и
W PQ
Испытуемый № 1
Испытуемый № 2
Рис. 2. Верхние графики представляют зависимости трудоемкости n от номера задания i. Нижние графики представляют зависимости числа подкреплений действий от номера задания i
Subject No. 1 Subject No. 2
Fig. 2. The upper graphs represent dependence of the labor intensity n on the task number i. The lower graphs represent dependence of the number of action reinforcements on the task number i
Из графиков трудоемкости можно сделать вывод о том, что суммарная трудоемкость перехода к самостоятельной автономной деятельности у испытуемого № 1 существенно больше, чем у испытуемого № 2. Это означает, что экономичность мышления у испытуемого № 2 существенно больше, чем у испытуемого № 1. Причина этого состоит в том, что изначально испытуемый № 1 в своей деятельности использовал метод проб и ошибок и опирался при принятии решений о выборе действий на внешний контекст, т.е. на информацию, которая поступала от проблемной среды в виде подкреплений. Поэтому уже на первом задании испытуемый № 1 совершил (см. рис. 2) в три раза больше ошибок, чем испытуемый № 2. Для их исключения первому испытуемому потребовалось в 2 раза больше подкреплений. Трудоемкость у испытуемого № 1 при выполнении 1-го задания составила 67 действий, а у испытуемого № 2 - 32 действия. У испытуемого № 1 внешние аспекты деятельности не преобразуются в действия внутреннего плана, как это происходит у испытуемого № 2.
Использование подкреплений с опорой на запоминание конкретных ситуаций привело испытуемого № 1 к успеху только при выполнении 5-го задания. Это задание, как это видно из графика на рис. 3, испытуемый выполнил без ошибок. Поэтому компьютерная система управления
ДКТТ перевела его на 10-й уровень самостоятельности, который соответствует автономной деятельности. При этом испытуемый № 1 лишился источника внешней информации - подкреплений. Вследствие отсутствия внешних подкреплений, служивших источником информации (подсказок), испытуемый № 1 попал в состояние бифуркации или когнитивного диссонанса, который не смог преодолеть. Испытуемый № 1, выполняя 6-е задание без подкреплений, не смог в изменившихся условиях перестроить свою деятельность. Это привело к тому, что в 6-м задании резко возросли трудоемкость и количество ошибок у испытуемого № 1 (см. рис. 2, 3).
Важным критерием обучаемости является временной темп выполнения заданий в условиях динамической оценки. На рис. 4 приведены графики зависимости времени выполнения задания t от номера задания i для испытуемых № 1 и 2.
Из анализа графика времени выполнения заданий t в зависимости от номера задания i следует, что испытуемый № 2 после выполнения 1-го задания увеличил время выполнения второго задания, т.е. он больше тратил времени на просмотр фрагментов, перебирая варианты действий в уме. Поэтому он совершал, как это видно из рис. 2, существенно меньше ошибок по сравнению с испытуемым № 1. Трудоемкость и, со-
Испытуемый № 1 Испытуемый № 2
Рис. 3. Графики зависимости числа ошибок k от номера задания i Subject No. 1 Subject No. 2
Fig. 3. Graphs showing dependence of the number of errors k on the task number i
Испытуемый № 1 Испытуемый № 2
Рис. 4. Время выполнения заданий t испытуемыми № 1 и 2 в зависимости от номера задания i Subject No.1 Subject No. 2
Fig. 4. Time of task execution t by subjects No. 1 and 2 depending on the task number i
ответственно, время выполнения последнего, 5-го задания увеличились, но при этом ошибки при классификации предложений по временам английского языка не совершались. Увеличение трудоемкости и времени выполнения 5-го задания произошло за счет перебора вариантов действий и мысленной деятельности по классификации пазловых объектов с предложениями на английском языке.
Выводы. Динамическая оценка обучаемости проводилась в условиях отсутствия ограничений на время прохождения динамической оценки и числа заданий, выполнение которых необходимо для перехода испытуемых в самостоятельное автономное состояние учебной де-
ятельности. Поэтому все студенты, участвующие в эксперименте, достигали состояния автономной учебной деятельности. По результатам эксперимента компьютеризированной динамической оценки обучаемости временам английского языка все множество испытуемых можно разбить на две группы.
1. Учебная деятельность студентов первой группы, составляющей 47 % от общей численности студентов, характеризуется состояниями когнитивной неустойчивости, проявлявшимися в резком увеличении числа ошибок. Ярким представителем этой группы студентов является испытуемый № 1. Всякий раз, когда испытуе-мый попадает в состояние когнитивной неустойчи-
С И
а
ч
с
PQ
О t О 4
а й S к
Я и
PQ
о ^ о о
Ъ 8
§ 0
П F gg
si
« w
« с «
S
к
н и
W PQ
вости, процесс решения задачи сопровождается возрастанием значений параметров процессуальных характеристик: числа ошибок, трудоемкости, временного темпа (см. испытуемый № 1, рис. 2, 3, 4). Самосогласованное при решении следующего задания увеличение числа подкреплений обусловлено возрастанием числа ошибок в предыдущем задании. Подкрепления «гасят» неопределенность в выборе действия, снимая когнитивную неустойчивость поведения обучающегося.
2. Вторая группа испытуемых, составляющая 53 % от общей выборки, состоит из студентов, учебная деятельность которых аналогична учебной деятельности испытуемого № 2, т.е. не содержит скачкообразного возрастания числа ошибок (см. рис. 4, испытуемый № 2). Процесс научения решению задач классификации предложений по временам глаголов в английском языке у испытуемых этой группы характеризуется экономичностью мышления и высоким временным темпом выполнения заданий. Поэтому студенты этой группы эффективно, т.е. за небольшое число заданий, переводят деятельность по классификации предложений по временам английского языка из внешнего контекста во внутренний, умственный план. Это приводит к быстрому уменьшению числа ошибочных действий и подкреплений и, соответственно, относительно небольшой трудоемкости решения задач. Уменьшение частоты подкреплений для испытуемых данной группы не приводит к скачкообразному увеличению числа ошибок. Однако при увеличении неопределенности проблемной среды, когда испытуемый не обнаруживает датчик «Расстояния до цели», у испытуемых этой группы студентов также возникает когнитивный диссонанс. Но потенциал обучения испытуемых этой группы позволяет им справиться с возникшей проблемой когнитивной фрустрации. Испытуемые этой группы студентов не допускают увеличения числа ошибок и регресса деятельности. Единственное, в чем может проявляться когнитивный диссонанс, так это в увеличении времени выполнения задания и числа просмотров вариантов действий (см. испытуемый № 2, рис. 2).
Заключение. Таким образом, перевод испытуемых первой группы на самостоятельный автономный режим решения задач инициирует состояние когнитивной неустойчивости или бифуркации учебной деятельности. Причиной скачкообразного возрастания числа ошибочных действий является когнитивная стратегия поиска решения методом проб и ошибок с «жесткой привязкой» поведения испытуемого к внешним условиям проблемной среды. Перевод обучающегося на самостоятельный автономный режим решения задач требует от него перехода от внешнего контекста деятельности к внутреннему контексту, к деятельности «в уме». Поскольку испытуемый не готов к этому переходу, то у него возникает состояние когнитивного диссонанса, или внутреннего конфликта. У испытуемого, с одной стороны, есть необходимость и желание самостоятельного решения задач, но с другой -когнитивных возможностей для реализации своих желаний нет. Это обусловлено тем, что соответствующие когнитивные функции у него находятся в стадии развития. Как следствие когнитивной неустойчивости процесса обучения возникает бифуркация учебной деятельности испытуемых. Выход из состояния бифуркации учебной деятельности приводит студентов 1-й группы к регрессу и новому повторному этапу развития. Соответственно, студентов 2-й группы бифуркация учебной деятельности переводит на прогрессивный путь развития учебной деятельности. Прогрессивный путь развития характеризуется самоорганизацией учебной деятельности, сопровождаемой уменьшением числа ошибок, числа подкреплений и т.п.
Библиографический список
1. Байтукаева А.Ш. Лингводидактическое тестирование как инструмент педагогического мониторинга // Ученые записки Таврического национального университета им. В.И. Вернадского. Сер.: Филология. Социальные коммуникации. 2011. Т. 24 (63), № 3-2. С. 225-230.
2. Дьячук П.П., Дьячук П.П., Карабалыков С.А., Шадрин И.В. Диагностика неустойчивых когнитивных состояний активных агентов
// Нейроинформатика - 2016: сб. науч. тр.: 13. в 3 ч. 2016. С. 259-270.
3. Дьячук П.П., Шадрин И.В., Перегудова И.П. Динамический компьютерный тест-тренажер «Времена английского языка» / Свидетельство о государственной регистра- 14. ции программы для ЭВМ № 2020663077 от 22.10.2020 г.
4. Дьячук П.П., Шадрин И.В. Программа обработки протоколов динамического компьютерного теста-тренажера / Свидетельство о 15. государственной регистрации программы
для ЭВМ № 2020662970 от 21.10.2020 г.
5. Перегудова И.П. Динамическая оценка корреляции количества действий и временного темпа учебной деятельности при мониторинге иноязычного образования // Информатика 16. и образование. 2020. № 6 (315). С. 61-67.
6. Пиаже Ж. Психология интеллекта. СПб.: Питер, 2003.
7. Саттон Р.С., Барто Э.Г. Обучение с подкреплением. М.: БИНОМ. Лабор. знаний, 2014.
402 с. 17.
8. Холодная М.А. Интеллект. Креативность. Обучаемость: Ресурсный подход (О развитии идей В.Н. Дружинина) // Психологический журнал. 2015. Т. 36, № 5. С. 5-14.
9. Arias G., Friberg J. Bilingual language assess- 18. ment: Contemporary versus recommended practice in American schools // Language, Speech, and Hearing Services in Schools. 2017. Vol. 48, is. 1. P. 1-15. URL: https://doi. org/10.1044/2016_LSHSS-15-0090 19.
10. Chapelle C.A., Voss E. 20 years of technology and language assessment in Language Learning & Technology // Language Learning & Technology. 2016. Is. 20 (2). P. 116-128. URL: http: //llt. msu.edu /issues/ june 2016/ chapellevoss .pdf 20.
11. Ebadi S. Mediation and reciprocity in online L2 dynamic assessment // CALL-EJ. 2017. Is. 17 (2). P. 16-40.
12. Elliott J.G., Resing W.C., Beckmann J.F. Dynamic assessment: A case of unfulfilled potential?
// Educational Review. 2018. Vol. 70. P. 7-17. 21. URL: https://doi.org/10.1080/00131911.2018. 1396806
Estaji M., Saeedian A. Developing EFL learners' reading comprehension through computerized dynamic assessment // Reading Psychology. 2020. Vol. 41, is. 4. P. 347-358. DOI: https:// doi.org/10.1080/02702711.2020.1768981 Hidri S., Pileh Roud L.F. Developing and using hints in computerized dynamic assessment of a TOEFL iBT reading exam // Heliyon. 2020. Vol. 6. P. 1-10. e04985. DOI: https://doi. org/10.1016/j.heliyon.2020. e04985 Hidri S. Static vs. dynamic assessment of students' writing exams: a comparison of two assessment modes // International Multilingual Research Journal. 2019. Vol. 13, is. 4. P. 239-256. URL: https://doi.org/10.1080/193 13152.2019.1606875
Kamrood A.M., Davoudi M., Ghaniabadi S., Reza Amirian S.M. Diagnosing L2 learners' development through online computerized dynamic assessment // Computer Assisted Language Learning. 2019. P. 1-30. DOI: 10.1080/09588221. 2019.1645181 Kamrood A.M., Davoudi M., Amirian M.R., Ghaniabadi S. Transcendence of learning in an online computerized dynamic test of English listening // CALL-EJ. 2018. Is. 19 (1). P. 23-42. DOI: 10.1177/0265532217725776 McNeil L. Understanding and addressing the challenges of learning computer-mediated dynamic assessment: A teacher education study // Language Teaching Research. 2018. Vol. 22. P. 221-289. DOI: 10.1177/1362168816668675 Mizumoto A., Sasao Y., Webb S.A. Developing and evaluating a computerized adaptive testing version of the Word Part Levels Test // Language Testing. 2019. Vol. 36 (1). P. 101-123. DOI: 10.1177/0265532217725776 Poehner M.E., van Compernolle R.A., Esteve O., Lantolf J.P. A Vygotskian developmental approach to second language education // J. Cognit. Educ. Psychol. 2019. Is. 17 (3). P.238-259. URL:https://doi.org/10.1891/1945-8959.17.3.238
Poehner M.E., Zhang J., Lu X. Computerized dynamic assessment (C-DA): Diagnosing L2 development according to learner responsiveness to
С
PQ £ a
4
с
PQ
¡5 к
£
w
H Я
и ^
ш PQ
к
0
1
к
w PQ H
и
fc <
и
о
l-ч
0
ё и fc
s
1
и
>>
0
1
и w V
к
ь
l-ч <
э
с
S
к
Н U
w
PQ
mediation [Special Issue] // Language Testing. 2015. P. 1-21. DOI: https://doi.org/10.1177 /0265532214560390
22. Resing W.C., Tunteler E., Elliott J.G. The effect of dynamic testing with electronic prompts and scaffolds on children's inductive reasoning: A microgenetic study // Journal of Cognitive Education and Psychology. 2015. No. 14. P. 231-251. DOI: 10.1891/1945-8959.14.2.231
23. Sheng D. Applied research of Krashen's language monitoring model theory in college English listening teaching // Advances in Computer Science Research (ACSR). 7th International Conference on Education, Management, Information and Computer Science (ICEMC 2017). 2017. Vol. 73. P. 417-420.
24. Sun M., Li Y., He B. Study on a quality evaluation method for college English classroom teaching // Future Internet. 2017. Is. 9 (3). P. 41. DOI: https://doi.org/10.3390/fi9030041
25. Vergara L., Caraballo J., Castellon D. V ásquez C., Becker E. Dynamic assessment approach in language teaching: A Review // Zona Próxima. 2019. No. 30. P. 82-99. DOI: 10.14482/ zp.30.371.3
26. Vygotsky L.S. Mind in society. London, Harvard University Press, 1978. 176 p.
27. Yang Y., Qian D.D. Assessing English reading comprehension by Chinese EFL learners in computerized dynamic assessment // Language Testing in Asia. 2017. Vol. 7 (11). P. 1-15. DOI: https://doi.org/10.1186/s40468-017-0042-3
DOI: https://doi.org/10.25146/1995-0861-2021-55-1-258
COMPUTERIZED DYNAMIC ASSESSMENT OF STUDENTS' APTITUDE FOR ENGLISH LANGUAGE TENSES
I.P. Peregudova (Krasnoyarsk, Russia) P.P. Dyachuk (Krasnoyarsk, Russia) I.V. Shadrin (Krasnoyarsk, Russia) S.A. Videnin (Krasnoyarsk, Russia)
Abstract
Statement of the problem. Computerized dynamic assessment of aptitude for learning foreign languages is insufficiently represented in educational practice. The paper reveals new possibilities of using information technologies for solving a topical issue of diagnosing aptitude for learning a foreign language as an integral dynamic indicator for monitoring the quality of foreign language teaching. The instrumental basis for the computerized dynamic assessment of learning criteria is the dynamic computerized test simulators (DCTS) of educational activity.
The purpose of the article is to study the potential of dynamic computer test simulators "English Language Tenses" as an instrument of dynamic assessment of students' aptitude for learning the English language verbal tenses.
Research methodology includes analysis of studies by Russian and international scientists on computerization of dynamic assessment of English language learning. The methods used in the computerization of dynamic learning assessment are based on the theory of development by J. Piaget, reinforcement learning, activity and environment approaches to the analysis of procedural characteristics of learning activities.
Research results. We developed instrumental tools for diagnostics of learning aptitude - DCTS "English Language Tenses". Experimentally, two groups of subjects were chosen so that they differed from each other
in the dynamics of procedural characteristics of educational activity: the first group was characterized by a monotonous decrease in the number of errors with an increase in the number of the task being performed; the second group was characterized by a non-monotonous decrease in the number of errors, disturbed by an abrupt increase in the number of errors. The subjects of the first student group, as a rule, have a greater learning potential or learning aptitude, in comparison with the subjects of the second group. Approbation was carried out and recommendations were given for the use of the DCTS "English Language Tenses" for monitoring the process of teaching English.
Conclusions. Analyzing the results of experimental testing of the DCTS "English Language Tenses" in the dynamic assessment of English learning, the authors come to the conclusion that it is advisable to use the procedural characteristics of learning activities: labor intensity, temporal pace, frequency of errors and reinforcement of learning activities as indicators for monitoring English language learning. The considered approach to the diagnostics of students' aptitude for learning the tenses of the English language provides information about features of developing cognitive functions in students.
Keywords: dynamic assessment, learning aptitude, feedback assessment, English language tenses, reinforcement, labor intensity, actiogram, levels of independence.
References
1. Baytukaeva A.Sh. Linguodidactic testing as a tool for pedagogical monitoring // Uchenye zapiski Tavricheskogo natsional'nogo universiteta imeni V.I. Vernadskogo. Seriya: Filologiya. Sotsial'nye kommunikatsii (Scientific notes of the Taurian National University named after V.I. Vernadsky. Series: Philology. Social communications). 2011. Vol. 24 (63), No. 3-2. P. 225-230.
2. Dyachuk P.P., Dyachuk P.P. (Jr.), Karabalykov S.A., Shadrin I.V. Diagnostics of unstable cog-
nitive states of active agents. In: Neuroinfor-matics - 2016. Collection of scientific papers: in 3 parts. 2016. P. 259-270.
3. Dyachuk P.P., Shadrin I.V., Peregudova I.P. Dynamic computer test simulator "English Language Tenses". Certificate of state registration of the computer program No. 2020663077 dated October 22, 2020.
4. Dyachuk P.P., Shadrin I.V. The program for processing protocols of the dynamic computer test-simulator. Certificate of state registration
С
PQ £ a
4
с
PQ
s
ÈÎ w
H
5
и ^
д
PQ S
0
1
к
w PQ H
и
fc <
и
о
l-ч
о
ë
и
PL,
s
>>
0
1
и w V
s
Ь
1-й <
с
«
s к
H U
W PQ
of the computer program No. 2020662970 dated October 21, 2020.
5. Peregudova I.P. Dynamic assessment of the 15. correlation between the number of actions
and the temporal pace of learning activity in monitoring foreign language education // In-formatika i obrazovanie (Informatics and Education). 2020. No. 6 (315). P. 61-67.
6. Piaget J. Psychology of intelligence. Saint-Pe- 16. tersburg: Piter, 2003.192 p.
7. Sutton R.S., Barto E.G. Reinforcement learning. Moscow: BINOM. Labor. Znaniy, 2014. 402 p.
8. Kholodnaya M.A. Intelligence, creativity, learnability: A resource approach (On the De- 17. velopment of V.N. Druzhinin's Ideas) // Psik-hologicheskiy zhurnal (Psychological Journal). 2015. Vol. 36, No. 5. P. 5-14.
9. Arias G., Friberg J. Bilingual language assessment: Contemporary versus recommended 18. practice in American schools // Language, Speech, and Hearing Services in Schools. 2017. Vol. 48, is. 1. P. 1-15. DOI: https://doi. org/10.1044/2016_LSHSS-15-0090
10. Chapelle C.A., Voss E. 20 years of technology 19. and language assessment in Language Learning & Technology // Language Learning & Technology. 2016. Is. 20 (2). P. 116-128. URL: http: //llt.msu.edu /issues/ june 2016/ cha-pellevoss.pdf 20.
11. Ebadi S. Mediation and reciprocity in online L2 dynamic assessment // CALL-EJ. 2017. Is. 17 (2). P. 16-40.
12. Elliott J.G., Resing W.C., Beckmann J.F. Dynamic assessment: A case of unfulfilled po- 21. tential? // Educational Review. 2018. Vol. 70.
P. 7-17. DOI: https://doi.org/10.1080/00131 911.2018.1396806
13. Estaji M., Saeedian A. Developing EFL learners' reading comprehension through computerized dynamic assessment // Reading Psychology. 22. 2020. Vol. 41, is. 4. P. 347-358. DOI: https:// doi.org/10.1080/02702711.2020.1768981
14. Hidri S., Pileh Roud L.F. Developing and using hints in computerized dynamic assessment of a TOEFL iBT reading exam // Heliyon. 2020.
Vol. 6. P. 1-10. e04985. DOI: https://doi. org/10.1016/j.heliyon.2020. e04985 Hidri S. Static vs. dynamic assessment of students' writing exams: a comparison of two assessment modes // International Multilingual Research Journal. 2019. Vol. 13, is. 4. P. 239-256. URL: https://doi.org/10.1080/19 313152.2019.1606875
Kamrood A.M., Davoudi M., Ghaniabadi S., Reza Amirian S.M. Diagnosing L2 learners' development through online computerized dynamic assessment // Computer Assisted Language Learning. 2019. P. 1-30. DOI: 10.1080/09588221. 2019.1645181 Kamrood A.M., Davoudi M., Amirian M.R., Ghaniabadi S. Transcendence of learning in an online computerized dynamic test of English listening // CALL-EJ. 2018. Is. 19 (1). P. 23-42. DOI: 10.1177/0265532217725776 McNeil L. Understanding and addressing the challenges of learning computer-mediated dynamic assessment: A teacher education study // Language Teaching Research. 2018. Vol. 22. P. 221-289. DOI: 10.1177/1362168816668675 Mizumoto A., Sasao Y., Webb S.A. Developing and evaluating a computerized adaptive testing version of the Word Part Levels Test // Language Testing. 2019. Vol. 36 (1). P. 101-123. DOI: 10.1177/0265532217725776 Poehner M.E., van Compernolle R.A., Esteve O., Lantolf J.P. A Vygotskian developmental approach to second language education // J. Cog-nit. Educ. Psychol. 2019. Is. 17 (3). P. 238-259. https://doi.org/10.1891/1945-8959.17.3.238 Poehner M.E., Zhang J., Lu X. Computerized dynamic assessment (C-DA): Diagnosing L2 development according to learner responsiveness to mediation [Special Issue] // Language Testing. 2015. P. 1-21. DOI: https://doi. org/10.1177 /0265532214560390 Resing W.C., Tunteler E., Elliott J.G. The effect of dynamic testing with electronic prompts and scaffolds on children's inductive reasoning: A microgenetic study // Journal of Cognitive Education and Psychology. 2015. No. 14. P. 231-251. DOI: 10.1891/1945-8959.14.2.231
23. Sheng D. Applied research of Krashen's language monitoring model theory in college English listening teaching // Advances in Computer Science Research (ACSR). 7th International Conference on Education, Management, Information and Computer Science (ICEMC 2017). 2017. Vol. 73. P. 417-420.
24. Sun M., Li Y., He B. Study on a quality evaluation method for college English classroom teaching // Future Internet. 2017. Is. 9 (3). P. 41. https://doi.org/10.3390/fi9030041
. Vergara L., Caraballo J., Castellon D. Vásquez C., Becker E. Dynamic assessment approach in language teaching: A Review // Zona Próxima. 2019. No. 30. P. 82-99. DOI: 10.14482/zp.30.371.3 i. Vygotsky L.S. Mind in society. London, Harvard University Press, 1978. 176 p. . Yang Y., Qian D.D. Assessing English reading comprehension by Chinese EFL learners in computerized dynamic assessment // Language Testing in Asia. 2017. Vol. 7 (11). P. 1-15. DOI: https://doi.org/10.1186/s40468-017-0042-3
<
PQ £ a
4
tí PQ
s
ES
w
H
5
и ^
д
PQ S
о
ü к
w PQ H
и
ft <
£tí
и
о
l-ч
0
ё и ft
1 I
>>
0
1
и w V
s
b
1-й <
G
«
s к
H
и
W PQ
