CC BY
17
Матиенко А.В. Мониторинг как форма альтернативного контроля по иностранному языку // Научный результат. Вопросы теоретической и прикладной лингвистики. -
Т.2, №3, 2016.
РАЗДЕЛ V. МЕЖДИСЦИПЛИНАРНЫЕ ИССЛЕДОВАНИЯ В ЛИНГВИСТИКЕ
УДК 372.8
DOI: 10.18413/2313-8912-2016-2-3-41-48
Матиенко А.В.
МОНИТОРИНГ КАК ФОРМА АЛЬТЕРНАТИВНОГО КОНТРОЛЯ ПО ИНОСТРАННОМУ ЯЗЫКУ
Северо-Западный институт управления Федерального государственного бюджетного образовательного учреждения высшего профессионального образования, "Российская академия народного хозяйства и государственной службы при Президенте Российской Федерации", заведующая кафедрой иностранных языков, кандидат филологических наук,
доцент, Россия, Санкт-Петербург, +79834440918
Аннотация. В настоящей статье рассматривается проблема формирования контрольно-измерительной компетенции личности в рамках концепции когнитивно-коммуникативного контроля в обучении иностранному языку. Реализация данной концепции предполагает отслеживание результатов, полученных в процессе тестирования. Проводимый студентами мониторинг по результатам тестирования нацелен на отслеживание развития собственной коммуникативной компетенции, самонаблюдение над использованием стратегий подготовки, выполнения и последующего анализа тестовых заданий, рефлексию выполняемой учебной и тестовой деятельности с разработкой собственных рекомендаций по ее совершенствованию. Цель данного мониторинга - представить в динамике познавательную деятельность студентов, преобразовать тестирование в учение и создать условия для реализации их личностного потенциала в учении и тестировании. Выводы подтверждены данными многомерного статистического анализа.
Ключевые слова: когнитивно-коммуникативный контроль, контрольно-измерительная компетенция, тестирование по иностранному языку, мониторинг, коммуникативная компетенция, тестовые стратегии, развивающие умения, учебно-тестовый портфель, познавательная деятельность, многомерный статистический анализ.
North-West Institute of Management of the Russian Federation Presidential Academy of National Economy and Public Administration, Head of Department of Foreign Languages, PhD in Philology, Associate Professor, Russia
Saint-Petersburg, +79834440918
Abstract. The present article is devoted to the investigation of the problem of formation of individual's assessment activity within the concept of cognitive-communicative control in learning a foreign language. Implementation of this concept involves monitoring the results obtained in the testing process. This monitoring is carried out by students, it is based on their own test results and is aimed at monitoring the development of their own communicative competence; introspection over the use of testing strategies, implementation and subsequent analysis of test tasks; reflection of the carried out learning and testing activities to develop their own recommendations for its improvement. This monitoring is aimed at the representation of students' cognitive activity in dynamics, convert testing to the learning process and to create conditions for realizing their personal potential in learning and testing. The conclusions were confirmed by multidimensional statistical analysis.
Key words: cognitive-communicative control; assessment activity; foreign language testing; monitoring, communicative competence; testing strategies; developing skills; learning and testing portfolio; cognitive activity; multidimensional statistical analysis.
Специфической особенностью современного новый взгляд на социальные роли его участников.
этапа развития вузовского образования является Функцией обучаемого становится не только
Matienko A.V.
MONITORING AS A FORM OF ALTERNATIVE CONTROL IN A FOREIGN LANGUAGE
Матиенко А.В. Мониторинг как форма альтернативного контроля по иностранному языку // Научный результат. Вопросы теоретической и прикладной лингвистики. -
Т.2, №3, 2016.
«потребление» интеллектуальной и духовной культуры, но и обогащение ее самим фактом своего творческого развития в разнообразных формах индивидуальной и совместной с преподавателем и коллегами по учебе деятельности [4,5]. В настоящей статье ставится мало исследованная проблема формирования у студентов контрольно -измерительной
компетенции, основанной на теории, технике и технологии современных педагогических измерений уровня учебных достижений обучаемых, что и обусловливает потребность в совершенствовании теории и технологии процедур контроля, необходимость повышения эффективности использования результатов контроля путем оперативного реагирования на индивидуальные особенности познавательной деятельности обучающихся [7, 8, 9].
Наиболее полная реализация контрольно-измерительной компетенции личности возможна, если сформирована способность личности управлять контрольно-измерительной
деятельностью, т. е. осуществлять длительный мониторинг [7, 8] для измерения своих достижений в учебно-познавательной деятельности при помощи комплекса коммуникативных и когнитивных средств, технологий и инструментов, использующихся при проведении научно-исследовательской деятельности.
Реализация концепции когнитивно-коммуникативного контроля [2, 3] в обучении иностранному языку предполагает мониторинг, т.е. отслеживание результатов, полученных в ходе тестирования компонентов
коммуникативной компетенции обучающихся, являющейся объектом как традиционного, так и альтернативного тестирования, умений обучающихся пользоваться стратегиями выполнения тестов, а также развивающих умений обучающихся, которые активно формируются в условиях альтернативного языкового тестирования за счет реализации идей гуманистической идеологии и превращения обучения в учение [7, 8, 9].
Разработанная методика и технология организации альтернативного языкового тестирования на основе когнитивно-коммуникативного подхода была реализована при помощи мониторинга обучающимися
собственных учебных достижений под руководством ведущего преподавателя. В
качестве тестируемых выступили 2 группы студентов (30 человек) 2 курса Северо-Западного института управления РАНХиГС при Президенте РФ, обучающихся по направлению: 41.03.05 «Международные отношения». Мониторинг длился в течение учебного года (с сентября по июнь 2016 года).
Работа над каждым разделом учебно-тестового портфеля предполагала мониторинг формирования коммуникативной компетенции, тестовых стратегий и развивающих умений. Проводимый студентами мониторинг означал отслеживание развития собственной
коммуникативной компетенции, самонаблюдение над использованием стратегий подготовки, выполнения и последующего анализа тестовых заданий, рефлексию выполняемой учебной и тестовой деятельности с разработкой собственных рекомендаций по ее совершенствованию [7, 8, 9].
В ходе и результате проведенной опытной работы сложилась структура мониторинга учебно-тестовой деятельности студентов. Данная структура состояла из следующих элементов: цели, средств, участников (субъектов), объектов и предмета мониторинга.
Целью мониторинга, как мы указали выше, было представить в динамике познавательную деятельность студентов, преобразовать тестирование в учение и создать условия для реализации их личностного потенциала в учении и тестировании. Средством мониторинга был учебно-тестовый портфель, на материале которого студенты анализировали свою учебную деятельность [9]. Активными участниками (субъектами) мониторинга были сами студенты в сотрудничестве со своими одногруппниками и преподавателями. Объекты мониторинга включали формирование коммуникативной компетенции, овладение тестовыми стратегиями и становление развивающих умений. Наконец, предметом мониторинга был рост познавательных возможностей учащихся, выражаемый в их активном учении, самореализация себя как личности в сотрудничестве с учителем и учащимися, а также рост учебно-тестовых показателей. Покажем структуру учебно-тестового мониторинга учащихся (рис. 1):
Матиенко А.В. Мониторинг как форма альтернативного контроля по иностранному языку // Научный результат. Вопросы теоретической и прикладной лингвистики. -
Т.2, №3, 2016.
Рис. 1. Мониторинг учебно-тестовой деятельности Fig. 1. Monitoring of the training and test activity
В ходе опытной работы была предпринята попытка реализовать представленную структуру. Для получения объективно доказательных результатов мониторинга были использованы методы многомерного статистического анализа, позволяющие характеризовать наблюдаемый объект множеством переменных, такие как кластерный и дискриминантный анализы, критерий Т2 Хотеллинга. Также были использованы сравнительные критерии: t -критерий Стьюдента, Манна-Уитни [1, 6, 10]. В свете этого мы можем говорить о доказательной педагогике, основными постулатами которой являются: каждое решение педагога должно основываться на научных данных; вес каждого факта тем больше, чем строже методика научного исследования, в ходе которого он получен.
Мониторинг развития коммуникативной компетенции представлял собой отслеживание процесса коммуникативного развития,
осуществляемое самими студентами. С целью мониторинга развития коммуникативной компетенции в учебно-тестовый портфель в полном объеме включались задания стандартизованного тестирования. Эти задания позволяли проверить уровень всех видов речевой деятельности студентов (говорение, слушание, чтение и письмо) а также их грамотность, словарный запас и владение фразеологией. Результаты выполнения этих заданий (оценки преподавателя) вносились студентами
самостоятельно в таблицу с указанием номера и даты тестирования. Материалы таблицы позволяют проследить, какие результаты были
Матиенко А.В. Мониторинг как форма альтернативного контроля по иностранному языку // Научный результат. Вопросы теоретической и прикладной лингвистики. -
Т.2, №3, 2016.
получены студентами по соответствующим типам стандартизованных тестовых заданий, и какова была динамика этих показателей: количество хороших и отличных оценок, полученных в сентябре на начальном этапе мониторинга и количество хороших и отличных оценок, полученных этими же учащимися в июне на заключительном этапе мониторинга.
Наглядные и объективные результаты дают данные, полученные в ходе многомерного статистического анализа ^-критерий Стьюдента). Определенные закономерности проявились по временным отрезкам: 1группа - сентябрь; 2 группа - октябрь, ноябрь, декабрь; 3 группа -январь, февраль; 4 группа - март, апрель; 5 группа -май, июнь. Объединение данных временных отрезков можно объяснить спецификой учебного
процесса: сентябрь - начало учебного года, адаптационный период у студентов после летних каникул; октябрь, ноябрь, декабрь - активизация студентов, интенсивная вовлеченность в учебный процесс; январь, февраль - спад учебной активности объясняется наличием большого количества праздничных дней и зимними каникулами; март, апрель - небольшой рост учебной активности, связанный с началом второго семестра и влиянием весенних месяцев; май, июнь -значительный рост учебной активности, связанный с окончанием семестра и подведением итогов года. Рассмотрим итоговую таблицу, позволяющую проанализировать конечные результаты между группами 1 (начальный этап мониторинга) и 5 (конечный этап мониторинга) (рис. 2).
Переменная T-tests; Группирова код 3 (В - M) Group 1:1; Group 2: 5 p<,00029
Mean 1 Mean p по Манну-Унтни 5
Lfg 1 3,633333 3,933333 0,164728
Lfc 2 3,266667 3,983333 0,002444
Lfd 3 4 3,000000 3,916667 0,000305
Sct5 4,033333 4,200000 0,346462
Sit6 3,233333 3,650000 0,109690
Sgi 7 3,233333 3,816667 0,009981
RfgS 3,900000 4,016667 0,541244
Rfc 9 4,366667 4,216667 0,304691
Rfci 10 3,933333 3,983333 0,811446
Wrex 11 3,266667 3,633333 0,130947
Wrd 12 3,333333 3,650000 0,200976
Wra 13 2,966667 3,583333 0,011144
Рис 2. Сравнение групп 1 и 5 по тестированию видов речевой деятельности Fig. 2. Comparing test results in various kinds of speech activities in groups 1 and 5
В таблицах представлены различия между выше обозначенными группами по всем признакам, связанным с тестовыми заданиями по 4 видам речевой деятельности: аудированию, говорению, чтению, письму. Между группами 1-5, наблюдается существенный рост (существенными считаются различия при р < 0,05) по признакам listening for content (Lfc 2), listening for details (Lfd 3 4), giving
information (Sgi 7) в области выполнения тестовых заданий по говорению, argumentative writing (Wra 13) При этом незначительный рост между 1 группой в начале нашего исследования и 5 группой на конечном этапе нашего исследования наблюдается по всем переменным, соответственно, по всем видам речевой деятельности, что позволяет сделать вывод об общей положительной динамике
Матиенко А.В. Мониторинг как форма альтернативного контроля по иностранному языку // Научный результат. Вопросы теоретической и прикладной лингвистики. -
Т.2, №3,2016.
данного мониторинга (р по Т2 Хотеллингу меняется от 0,062 до 0,00029).
Включенные в матрицу форматы тестовых заданий оценивались студентами после выполнения ими тестовых заданий и позволяли организовать мониторинг развития тестовой компетенции студентов в виде овладения тестовыми стратегиями. Владение форматами тестирования оценивалось студентами самостоятельно или вместе с преподавателем.
Освоение различных тестовых форматов -
процесс, растянутый во временном пространстве, в течение одного учебного года сдвиг в положительную сторону невелик, но он присутствует. Между начальной точкой и конечным результатом есть множество промежуточных моментов, наглядно
показывающих сложность процесса овладения тестовыми форматами. В качестве примера рассмотрим линейное вычерчивание,
представляющие различные тестовые форматы по месяцам мониторинга (рис. 3).
Рис. 3. Процесс формирования результата за период мониторинга (сентябрь - июнь) Fig. 3. The process of result development during the period of monitoring (September - June)
Для промежуточного этапа характерны ухудшения, резкие улучшения, зависание на одном уровне, но конечный результат оправдывает наши ожидания и дает положительную динамику по всем предложенным студентам 24 тестовым форматам.
Эффективность использования тестовых стратегий в ходе нашего мониторинга можно представить графически следующим образом (рис. 4).
Матиенко А.В. Мониторинг как форма альтернативного контроля по иностранному языку // Научный результат. Вопросы теоретической и прикладной лингвистики. -
Т.2, №3, 2016.
^ г
......................................
.......? - ' " ...................................J
■О
-Д --
--0-0--
Вг 1 Врг 2 Brev 3 Bch 4 Bf 5 Worg 6 Wrec 7 Wex 8 Wus 9 Wpr 10 Preg 11 Pev 12 Psys 13 Pad 14 Pself 15
СЕНТЯБРЬ
ИЮНЬ
Рис. 4. Начальный и конечный результаты (сентябрь - июнь) по использованию тестовых стратегий Fig. 4. Initial and final results (September - June) of using test strategies
Наблюдается четкая линейная зависимость в сторону роста показателей по использованию всех тестовых стратегий до, во время и после тестирования между начальным и конечным этапами мониторинга. Длительность нашего мониторинга (10 месяцев) позволила учащимся узнать ранее неизвестные и неиспользуемые ими тестовые стратегии и активно применять их для альтернативного контроля собственных знаний.
В ходе мониторинга студентами своей коммуникативной компетенции, качество их учения интерпретировалось в соответствии с имеющимися у них опытом учебно-тестовой деятельности, реальными познавательными возможностями и потенциалом роста знаний. Их
тестовые стратегии сопоставлялись с характерными познавательными стилями и тестовыми стратегиями. Развивающая
компетенция рассматривалась, как объективно наблюдаемая готовность студентов
анализировать свою познавательную
деятельность, преодолевать возникающие затруднения и обеспечивать рост своих учебных показателей по результатам языкового тестирования.
Обратившись к кластерному анализу по всем вышеперечисленным переменным, оценивающим развивающие умения учащихся, можно проследить, каким образом студенты группируют эти критерии (рис. 5).
Матиенко А.В. Мониторинг как форма альтернативного контроля по иностранному языку // Научный результат. Вопросы теоретической и прикладной лингвистики. -
Т.2, №3,2016.
Рис. 5. Дерево объединения в кластер по критериям методом Уорда, в качестве меры сходства - евклидова метрика Fig. 5. The tree of combining into clusters according to criteria with Ward method; the measure of similarity -
Euclidian metric
В первую группу кластера входят прогностические и рефлексивные умения, позволяющие предвидеть результат (Рга8 1) и проанализировать его (Яе!^ 6); прогностические, рефлексивные и исполнительные умения по управлению успешностью своей деятельности, позволяющие предвидеть, как получить хороший результат (Ргшап 5), объяснить причины (Бхшап 15) и спрогнозировать следующий, более лучший результат (Яейшап 10); прогностические, рефлексивные и исполнительные умения следовать определенным стандартам,
предъявляемым к выполняемым тестовым заданиям (Ргсойг 3, Яе!Соп1г 8, Бхсойг 13). Вторая группа кластера объединяет прогностические, рефлексивные и
исполнительные умения осмысливать
полученный результат (Ргеу 2, Яе!еу 8, Бхеу 12) -предвидеть причины получения данного результата, проанализировать их, осмыслить, как устранить неудачи для улучшения своего результата. В третью группу кластера входят прогностические, рефлексивные и
исполнительские умения по отслеживанию изменений в сторону улучшения своего результата (Ргшоп 4, Ехшоп 14, Яе!шоп 9). Только
одно умение осталось обособленным, не вошло ни в один кластер - умение определить, насколько можно улучшить свой результат (Бха8 11). Логическая цепочка выглядит следующим образом: сначала студенты думают о том, что конкретно они могут иметь и имеют, затем почему они это могут иметь и имеют на уровне объяснения и на уровне осмысления, как это изменить. Вопрос насколько это можно изменить представляется для них трудным, так как это требует анализа по всем выше приведенным позициям и полного заключительного обобщения.
Экспериментальные данные, полученные в ходе опытного обучения, показывают, что когнитивно-коммуникативный контроль в обучении иностранному языку в форме языкового тестирования как проверка достижений студентов в овладении иностранным языком в ходе длительного мониторинга учебной и тестовой деятельности с помощью учебно-тестового портфеля оказался весьма эффективным для превращения тестирования в учение, повышения учебных показателей и самореализации познавательных возможностей личности студентов [11]. Мониторинг контрольно-измерительной деятельности
Матиенко А.В. Мониторинг как форма альтернативного контроля по иностранному языку // Научный результат. Вопросы теоретической и прикладной лингвистики. -
Т.2, №3, 2016.
студентов эффективно осуществлялся с помощью учебно-тестового портфеля. В ходе мониторинга отслеживалось развитие коммуникативной компетенции студентов, формирования у них тестовых стратегий, а также общеучебных умений развивающего характера. Объективность полученных результатов подтверждается данными многомерного статистического анализа.
10. Юнкеров, В. И. Математико-статистические методы обработки данных медицинских исследований [Текст] / В. И. Юнкеров, С. Г. Григорьев. - СПб., 2002. - 266 с.
11. Матиенко, А.В. Предмет языкового тестирования с позиций когнитивно-коммуникативного подхода // Вестник Пятигорского государственного лингвистического университета. 2011. № 2. С. 278-281.
Список литературы
1. Алферова, М.А. Основы прикладной статистики//Учебно- метод. пособие, вып. 2 / М.А. Алферова, И.М. Михалевич, Н.Ю. Рожкова. -Иркутск, 2003. - 101 с.
2. Барышников Н.В. Коммуникативно-когнитивный подход к чтению // Когнитивная методика обучения иностранным языкам в разных условиях (тезисы Всероссийской конференции). -Пятигорск, 1999. - С.5-8.
3. Виноградова Е.В. Лингво-когнитивные аспекты модели обучения иностранному языку //Обучение иностранным языкам: традиции и инновации. Межвуз. сб. научных статей. - Пятигорск, 2001. - С.54-60.
4. Гершунский Б.С. Философия образования для XXI века (в поисках практико-ориентированных образовательных концепций). - М.: Совершенство, 1998.- 608 с.
5. Гинзбург М.Е. Универсальность как социальная характеристика выпускника вуза: социологический анализ: автореф. дис. ... к. соц. наук: 22.00.06. - Екатеринбург. 2005. 17 с.
6. Девис, Дж. С. Статистический анализ данных в геологии / Дж. С. Девис. - М.: Недра, 1990. - Т.1. -312 с.
7. Матиенко, А. В. Альтернативный контроль в обучении иностранному языку как средство повышения качества языкового образования [Текст] : дис. ... д-ра пед. наук 13.00.02 / Матиенко Анжелика Валерьевна ; Иркутский гос. лингв. ун-т. - Тамбов, 2009. - 369 с.
8. Матиенко, А. В. Методическая концепция когнитивно-коммуникативного контроля в системе обучения иностранному языку студентов лингвистического вуза [Текст] : дис. ... д-ра пед. наук 13.00.02 / Матиенко Анжелика Валерьевна ; Иркутский гос. лингв. ун-т. - Нижний Новгород, 2012. - 353 с.
9. Матиенко, А. В. Учебно-тестовый портфель как альтернативная форма языкового тестирования [Текст] / А. В. Матиенко // Известия Волгоградского государственного педагогического университета. -2008. - № 5. - С.160-163.
References
1. Alferova M.A. Fundamentals of Applied Statistics / M.A. Alferova, I.M. Mikhalevich, N.U. Rozhkova // Teaching Method. Handbook, vol. 2. Irkutsk, 2003. 101 p.
2. Bariyshnikov N.V. Communicative and Cognitive Approach to Reading. Cognitive methods of Teaching Foreign Languages in Different Conditions (All-Russian conference abstracts) /Pyatigorsk, 1999. Pp.5-8.
3. Davis G.S. Statistical Analysis in Geology. Moscow: Nedra, 1990. Vol.1. 312p.
4. Gershunskiy B.S. Philosophy of Education for the XXI century (in search of practical-oriented educational concepts)]. Moscow: Sovershenstvo, 1998. 608 p.
5. Ginzburg M.E. Versatility as a Social Characteristic of the Graduates: the sociological analysis/ Abstract of Dissertation for the Degree of Candidate of Sociology. Ekaterinburg. 2005. 17 p.
6. Matienko A.V. Alternative Control in Learning a Foreign Language as a Means of Improving the Quality of Language Education/ Dissertation for the Degree of Doctor of Pedagogical Sciences.Tambov: Tambov State University Publ., 2009. 369 p.
7. Matienko, A.V. (2012). Methodical Concept of Cognitive-Communicative Assessment in a Foreign Language Learning System for Linguistic University Students]. Doctoral Dissertation in Pedagogical Sciences. Irkutsk Linguistic State University. Nizhniy Novgorod.
8. Matienko, A.V. (2008). Training Test Portfolio as a Means of Alternative Language Testing Form. Izvestiya of Volgograd State Pedagogical University, 5. Pp. 160-163.
9. Unkerov, V.I. (2002). Mathematical-statistical Methods of Data Processing for Medical Research. St-Petersburg.
10. Vinogradova, E. V. (2001). Linguistic and Cognitive Aspects of Foreign Language Teaching Models. Foreign Languages: Tradition and Innovation: A collection of scientific articles. Pyatigorsk. Pp. 54-60.
11. Matienko, AV The subject of Language Testing from the standpoint of cognitive-communicative approach // Journal of Pyatigorsk State Linguistic University. 2011. № 2. Pp. 278-281.
