CC BY
14Экология языка и коммуникативная практика. 2017. № 1. С. 140-150
Отслеживание динамики познавательной деятельности студентов через формирование
контрольно-измерительной компетенции
А.В. Матиенко
УДК 372.8
ОТСЛЕЖИВАНИЕ ДИНАМИКИ ПОЗНАВАТЕЛЬНОЙ ДЕЯТЕЛЬНОСТИ СТУДЕНТОВ ЧЕРЕЗ ФОРМИРОВАНИЕ КОНТРОЛЬНО-ИЗМЕРИТЕЛЬНОЙ
КОМПЕТЕНЦИИ
А.В. Матиенко
В настоящей статье рассматривается проблема формирования контрольно-измерительной компетенции личности в рамках концепции когнитивно-коммуникативного контроля в обучении иностранному языку. Реализация данной концепции предполагает отслеживание результатов, полученных в процессе тестирования. Проводимый студентами мониторинг по результатам тестирования нацелен на отслеживание развития собственной коммуникативной компетенции, самонаблюдение над использованием стратегий подготовки, выполнения и последующего анализа тестовых заданий, рефлексию выполняемой учебной и тестовой деятельности с разработкой собственных рекомендаций по ее совершенствованию. Цель данного мониторинга -представить в динамике познавательную деятельность студентов, преобразовать тестирование в учение и создать условия для реализации их личностного потенциала в учении и тестировании. Выводы подтверждены данными многомерного статистического анализа.
Ключевые слова и фразы: контроль; компетенция; тестирование; деятельность; стратегии; мониторинг; иностранный язык.
MONITORING STUDENTS' COGNITIVE ACTIVITY DYNAMICS THROUGH THE FORMATION OF ASSESSMENT COMPETENCE
A.V. Matienko
The present article is devoted to the investigation of the problem of formation of individual's assessment activity within the concept of cognitive-communicative control in learning a foreign language. Implementation of this concept involves monitoring the results obtained in the testing process. This monitoring is carried out by students, it is based on their own test results and aimed at monitoring the development of their own communicative competence; introspection over the use of testing strategies, implementation and subsequent analysis of test tasks; reflection of the carried out learning and testing activities to develop their own recommendations for its improvement. This monitoring is aimed at the representation of students' cognitive activity in dynamics, convert testing to the learning process and to create conditions for realizing their personal potential in learning and testing. The conclusions were confirmed by multidimensional statistical analysis. Key words and phrases: assessment; competence; testing; activity; strategies; monitoring; a foreign language.
Специфической особенностью современного этапа развития вузовского образования является новый взгляд на социальные роли его участников. Функцией обучаемого становится не только «потребление» интеллектуальной и духовной культуры, но и обогащение ее самим фактом своего творческого развития в разнообразных формах индивидуальной и совместной с преподавателем и коллегами по учебе деятельности
Экология языка и коммуникативная практика. 2017. № 1. С. 140-150
Отслеживание динамики познавательной деятельности студентов через формирование
контрольно-измерительной компетенции
А.В. Матиенко
[Гершунский 1998, Гинзбург 2005]. В настоящей статье ставится мало исследованная проблема формирования у студентов контрольно-измерительной компетенции, основанной на теории, технике и технологии современных педагогических измерений уровня учебных достижений обучаемых, что и обусловливает потребность в совершенствовании теории и технологии процедур контроля, необходимость повышения эффективности использования результатов контроля путем оперативного реагирования на индивидуальные особенности познавательной деятельности обучающихся [Матиенко 2008, 2009, 2012].
Наиболее полная реализация контрольно-измерительной компетенции личности возможна, если сформирована способность личности управлять контрольно-измерительной деятельностью, т.е. осуществлять длительный мониторинг [Матиенко 2009, 2012] для измерения своих достижений в учебно-познавательной деятельности при помощи комплекса коммуникативных и когнитивных средств, технологий и инструментов, использующихся при проведении научно-исследовательской деятельности.
Реализация концепции когнитивно-коммуникативного контроля [Барышников 1999, Виноградова 2001] в обучении иностранному языку предполагает мониторинг, т.е. отслеживание результатов, полученных в ходе тестирования компонентов коммуникативной компетенции обучающихся, являющейся объектом как традиционного, так и альтернативного тестирования, умений обучающихся пользоваться стратегиями выполнения тестов, а также развивающих умений обучающихся, которые активно формируются в условиях альтернативного языкового тестирования за счет реализации идей гуманистической идеологии и превращения обучения в учение [Матиенко 2008, 2009, 2012].
Разработанная методика и технология организации альтернативного языкового тестирования на основе когнитивно-коммуникативного подхода была реализована при помощи мониторинга обучающимися собственных учебных достижений под руководством ведущего преподавателя. В качестве тестируемых выступили 2 группы студентов (30 человек) 2 курса Северо-Западного института управления РАНХиГС при Президенте РФ, обучающихся по направлению: 41.03.05 «Международные отношения». Мониторинг длился в течение учебного года (с сентября по июнь 2016 года).
Работа над каждым разделом учебно-тестового портфеля предполагала мониторинг формирования коммуникативной компетенции, тестовых стратегий и развивающих умений. Проводимый студентами мониторинг означал отслеживание развития собственной коммуникативной компетенции, самонаблюдение над использованием стратегий подготовки, выполнения и последующего анализа тестовых заданий, рефлексию
Экология языка и коммуникативная практика. 2017. № 1. С. 140-150
Отслеживание динамики познавательной деятельности студентов через формирование
контрольно-измерительной компетенции
А.В. Матиенко
выполняемой учебной и тестовой деятельности с разработкой собственных рекомендаций по ее совершенствованию [Матиенко 2008, 2009, 2012].
В ходе и результате проведенной опытной работы сложилась структура мониторинга учебно-тестовой деятельности студентов. Данная структура состояла из следующих элементов: цели, средств, участников (субъектов), объектов и предмета мониторинга.
Целью мониторинга, как мы указали выше, было представить в динамике познавательную деятельность студентов, преобразовать тестирование в учение и создать условия для реализации их личностного потенциала в учении и тестировании. Средством мониторинга был учебно-тестовый портфель, на материале которого студенты анализировали свою учебную деятельность [Матиенко 2008]. Активными участниками (субъектами) мониторинга были сами студенты в сотрудничестве со своими одногруппниками и преподавателями. Объекты мониторинга включали формирование коммуникативной компетенции, овладение тестовыми стратегиями и становление развивающих умений. Наконец, предметом мониторинга был рост познавательных возможностей учащихся, выражаемый в их активном учении, самореализация себя как личности в сотрудничестве с учителем и учащимися, а также рост учебно-тестовых показателей. Покажем структуру учебно-тестового мониторинга учащихся (рис. 1):
Рис. 1. Мониторинг учебно-тестовой деятельности
Экология языка и коммуникативная практика. 2017. № 1. С. 140-150
Отслеживание динамики познавательной деятельности студентов через формирование
контрольно-измерительной компетенции
А.В. Матиенко
В ходе опытной работы была предпринята попытка реализовать представленную структуру. Для получения объективно доказательных результатов мониторинга были использованы методы многомерного статистического анализа, позволяющие характеризовать наблюдаемый объект множеством переменных, такие как кластерный и дискриминантный анализы, критерий Т2 Хотеллинга. Также были использованы сравнительные критерии: t - критерий Стьюдента, Манна-Уитни [Алферова 2003, Девис 1990, Юнкеров 2002]. В свете этого мы можем говорить о доказательной педагогике, основными постулатами которой являются: каждое решение педагога должно основываться на научных данных; вес каждого факта тем больше, чем строже методика научного исследования, в ходе которого он получен.
Мониторинг развития коммуникативной компетенции представлял собой отслеживание процесса коммуникативного развития, осуществляемое самими студентами. С целью мониторинга развития коммуникативной компетенции в учебно-тестовый портфель в полном объеме включались задания стандартизованного тестирования. Эти задания позволяли проверить уровень всех видов речевой деятельности студентов (говорение, слушание, чтение и письмо) а также их грамотность, словарный запас и владение фразеологией. Результаты выполнения этих заданий (оценки преподавателя) вносились студентами самостоятельно в таблицу с указанием номера и даты тестирования. Материалы таблицы позволяют проследить, какие результаты были получены студентами по соответствующим типам стандартизованных тестовых заданий, и какова была динамика этих показателей: количество хороших и отличных оценок, полученных в сентябре на начальном этапе мониторинга и количество хороших и отличных оценок, полученных этими же учащимися в июне на заключительном этапе мониторинга.
Наглядные и объективные результаты дают данные, полученные в ходе многомерного статистического анализа ^ - критерий Стьюдента). Определенные закономерности проявились по временным отрезкам: 1 группа - сентябрь; 2 группа -октябрь, ноябрь, декабрь; 3 группа - январь, февраль; 4 группа - март, апрель; 5 группа -май, июнь. Объединение данных временных отрезков можно объяснить спецификой учебного процесса: сентябрь - начало учебного года, адаптационный период у студентов после летних каникул; октябрь, ноябрь, декабрь - активизация студентов, интенсивная вовлеченность в учебный процесс; январь, февраль - спад учебной активности объясняется наличием большого количества праздничных дней и зимними каникулами; март, апрель -небольшой рост учебной активности, связанный с началом второго семестра и влиянием
Экология языка и коммуникативная практика. 2017. № 1. С. 140-150
Отслеживание динамики познавательной деятельности студентов через формирование
контрольно-измерительной компетенции
А.В. Матиенко
весенних месяцев; май, июнь - значительный рост учебной активности, связанный с окончанием семестра и подведением итогов года. Рассмотрим итоговую таблицу, позволяющую проанализировать конечные результаты между группами 1 (начальный этап мониторинга) и 5 (конечный этап мониторинга) (табл. 1).
Табл. 1. Сравнение групп 1 и 5 по тестированию видов речевой деятельности
Переменная T-tests; Группирова код 3 (В - M) Group 1:1; Group 2: 5 p<,00029
Mean 1 Mean p по Манну-Уитни 5
Lfg 1 3,633333 3,933333 0,164728
Lfc 2 3,266667 3,983333 0,002444
Lfd 3 4 3,000000 3,916667 0,000305
Set 5 4,033333 4,200000 0,346462
Sit6 3,233333 3,650000 0,109690
Sgi 7 3,233333 3,816667 0,009981
Rfg8 3,900000 4,016667 0,541244
Rfc 9 4,366667 4,216667 0,304691
Rfd 10 3,933333 3,983333 0,811446
Wrex 11 3,266667 3,633333 0,130947
Wrd 12 3,333333 3,650000 0,200976
Wra 13 2,966667 3,583333 0,011144
В таблице представлены различия между выше обозначенными группами по всем признакам, связанным с тестовыми заданиями по 4 видам речевой деятельности: аудированию, говорению, чтению, письму. Между группами 1-5, наблюдается существенный рост (существенными считаются различия при р < 0,05) по признакам listening for content (Lfc 2), listening for details (Lfd 3 4), giving information (Sgi 7) в области выполнения тестовых заданий по говорению, argumentative writing (Wra 13) При этом незначительный рост между 1 группой в начале нашего исследования и 5 группой на конечном этапе нашего исследования наблюдается по всем переменным, соответственно, по всем видам речевой деятельности, что позволяет сделать вывод об общей положительной динамике данного мониторинга (р по Т2 Хотеллингу меняется от 0,062 до 0,00029).
Включенные в матрицу форматы тестовых заданий оценивались студентами после выполнения ими тестовых заданий и позволяли организовать мониторинг развития тестовой
Экология языка и коммуникативная практика. 2017. № 1. С. 140-150
Отслеживание динамики познавательной деятельности студентов через формирование
контрольно-измерительной компетенции
А.В. Матиенко
компетенции студентов в виде овладения тестовыми стратегиями. Владение форматами тестирования оценивалось студентами самостоятельно или вместе с преподавателем
Освоение различных тестовых форматов - процесс, растянутый во временном пространстве, в течение одного учебного года сдвиг в положительную сторону невелик, но он присутствует. Между начальной точкой и конечным результатом есть множество промежуточных моментов, наглядно показывающих сложность процесса овладения тестовыми форматами. В качестве примера рассмотрим линейное вычерчивание, представляющие различные тестовые форматы по месяцам мониторинга (рис. 2).
Рис. 2. Процесс формирования результата за период мониторинга (сентябрь -
июнь)
Для промежуточного этапа характерны ухудшения, резкие улучшения, зависание на одном уровне, но конечный результат оправдывает наши ожидания и дает положительную динамику по всем предложенным студентам 24 тестовым форматам.
Эффективность использования тестовых стратегий в ходе нашего мониторинга можно представить графически следующим образом (рис. 3)
Экология языка и коммуникативная практика. 2017. № 1. С. 140-150
Отслеживание динамики познавательной деятельности студентов через формирование
контрольно-измерительной компетенции
А.В. Матиенко
Рис. 3. Начальный и конечный результаты (сентябрь - июнь) по
использованию тестовых стратегий
--" г
^ у
. \
Г1- Г" """ ........—Ч V.......
-о-
-д -
-* -
--О- -О- -
Вг 1 Врг 2 Brev 3 Bch 4 Bf 5 Worg 6 Wrec 7 Wex S Wus 9 Wpr 10 Preg 11 Pev 12 Psys 13 Päd 14 Pself 15
СЕНТЯБРЬ
ИЮНЬ
Наблюдается четкая линейная зависимость в сторону роста показателей по использованию всех тестовых стратегий до, во время и после тестирования между начальным и конечным этапами мониторинга. Длительность нашего мониторинга (10 месяцев) позволила учащимся узнать ранее неизвестные и неиспользуемые ими тестовые стратегии и активно применять их для альтернативного контроля собственных знаний.
В ходе мониторинга студентами своей коммуникативной компетенции, качество их учения интерпретировалось в соответствии с имеющимися у них опытом учебно-тестовой деятельности, реальными познавательными возможностями и потенциалом роста знаний. Их тестовые стратегии сопоставлялись с характерными познавательными стилями и тестовыми стратегиями. Развивающая компетенция рассматривалась как объективно наблюдаемая готовность студентов анализировать свою познавательную деятельность, преодолевать возникающие затруднения и обеспечивать рост своих учебных показателей по результатам языкового тестирования.
Экология языка и коммуникативная практика. 2017. № 1. С. 140-150
Отслеживание динамики познавательной деятельности студентов через формирование
контрольно-измерительной компетенции
А.В. Матиенко
Обратившись к кластерному анализу по всем вышеперечисленным переменным, оценивающим развивающие умения учащихся, можно проследить, каким образом студенты группируют эти критерии (рис. 4).
Рис. 4. Дерево объединения в кластер по критериям методом Уорда, в качестве
меры сходства - евклидова метрика
В первую группу кластера входят прогностические и рефлексивные умения, позволяющие предвидеть результат (Pras 1) и проанализировать его (Refas 6); прогностические, рефлексивные и исполнительные умения по управлению успешностью своей деятельности, позволяющие предвидеть, как получить хороший результат (Prman 5), объяснить причины (Exman 15) и спрогнозировать следующий, более лучший результат (Refman 10); прогностические, рефлексивные и исполнительные умения следовать определенным стандартам, предъявляемым к выполняемым тестовым заданиям (Prcontr 3, Refcontr 8, Excontr 13). Вторая группа кластера объединяет прогностические, рефлексивные и исполнительные умения осмысливать полученный результат (Prev 2, Refev 8, Exev 12) -предвидеть причины получения данного результата, проанализировать их, осмыслить, как устранить неудачи для улучшения своего результата. В третью группу кластера входят прогностические, рефлексивные и исполнительские умения по отслеживанию изменений в
Экология языка и коммуникативная практика. 2017. № 1. С. 140-150
Отслеживание динамики познавательной деятельности студентов через формирование
контрольно-измерительной компетенции
А.В. Матиенко
сторону улучшения своего результата (Prmon 4, Exmon 14, Refmon 9). Только одно умение осталось обособленным, не вошло ни в один кластер - умение определить, насколько можно улучшить свой результат (Exas 11). Логическая цепочка выглядит следующим образом: сначала студенты думают о том, что конкретно они могут иметь и имеют, затем почему они это могут иметь и имеют на уровне объяснения и на уровне осмысления, как это изменить. Вопрос насколько это можно изменить представляется для них трудным, так как это требует анализа по всем выше приведенным позициям и полного заключительного обобщения.
Экспериментальные данные, полученные в ходе опытного обучения, показывают, что когнитивно-коммуникативный контроль в обучении иностранному языку в форме языкового тестирования как проверка достижений студентов в овладении иностранным языком в ходе длительного мониторинга учебной и тестовой деятельности с помощью учебно-тестового портфеля оказался весьма эффективным для превращения тестирования в учение, повышения учебных показателей и самореализации познавательных возможностей личности студентов [Матиенко 2011]. Мониторинг контрольно-измерительной деятельности студентов эффективно осуществлялся с помощью учебно-тестового портфеля. В ходе мониторинга отслеживалось развитие коммуникативной компетенции студентов, формирования у них тестовых стратегий, а также общеучебных умений развивающего характера. Объективность полученных результатов подтверждается данными многомерного статистического анализа.
Список литературы
Алферова М.А. Основы прикладной статистики (использование Excel в медицинских исследованиях): учеб. пособие / М.А. Алферова, И.М. Михалевич, Н.Ю. Рожкова. Иркутск: ИГИУВ, 2003. 101 с.
Барышников Н.В. Коммуникативно-когнитивный подход к чтению // Когнитивная методика обучения иностранным языкам в разных условиях: тезисы Всероссийской конференции. Пятигорск, 1999. С. 5-8.
Виноградова Е.В. Лингво-когнитивные аспекты модели обучения иностранному языку // Обучение иностранным языкам: традиции и инновации: межвуз. сб. научных статей. Пятигорск, 2001. С. 54-60.
Гершунский Б.С. Философия образования для XXI века (в поисках практико-ориентированных образовательных концепций). М.: Совершенство, 1998. 608 c.
Гинзбург М.Е. Универсальность как социальная характеристика выпускника вуза: социологический анализ: автореф. дис. ... канд. соц. Наук: 22.00.06; Урал. гос. ун-т им. А.М. Горького. Екатеринбург. 2005. 17 с.
Девис Дж.С. Статистический анализ данных в геологии. М.: Недра, 1990. Т. 1. 312 с.
Экология языка и коммуникативная практика. 2017. № 1. С. 140-150
Отслеживание динамики познавательной деятельности студентов через формирование
контрольно-измерительной компетенции
А.В. Матиенко
Матиенко А.В. Альтернативный контроль в обучении иностранному языку как средство повышения качества языкового образования: дис. ... д-ра пед. наук 13.00.02; Иркутский гос. лингв. ун-т. Тамбов, 2009. 369 с.
Матиенко А.В. Методическая концепция когнитивно-коммуникативного контроля в системе обучения иностранному языку студентов лингвистического вуза: дис. ... д-ра пед. наук 13.00.02; Иркутский гос. лингв. ун-т. Нижний Новгород, 2012. 353 с.
Матиенко А.В. Предмет языкового тестирования с позиций когнитивно-коммуникативного подхода // Вестник Пятигорского государственного лингвистического университета. 2011. № 2. С. 278-281.
Матиенко А.В. Учебно-тестовый портфель как альтернативная форма языкового тестирования // Известия Волгоградского государственного педагогического университета. 2008. № 5. С.160-163.
Юнкеров В.И. Математико-статистические методы обработки данных медицинских исследований / В. И. Юнкеров, С. Г. Григорьев. СПб.:ВМедА, 2002. 266 с.
References
Alferova M.A. Osnoviy prikladnoi statistiki (ispol'zovanie Excel v meditsinskikh issledovaniyakh) [Fundamentals of applied statistics (using Excel for medical research)]: a handbook. Irkutsk: IGIUV Publ., 2003. 101 p.
Bariyshnikov N.V. Kommunikativno-kognitivniy podhod k chteniyu [Communicative and cognitive approach to reading]. Kognitivnaja metodika obuchenija inostrannym jazykam v raznyh uslovijah [Cognitive Methods of Teaching Foreign Languages in Different Conditions]: all-Russian conference abstracts. Pyatigorsk, 1999. Pp. 5-8.
Vinogradova E.V. Lingvo-kognitivniye aspekty modeli obucheniya inostrannomu yaziku [Linguistic and cognitive aspects of foreign language teaching models]. Obuchenie inostrannym jazykam: tradicii i innovacii [Foreign Languages: Tradition and Innovation]: a collection of scientific articles. Pyatigorsk, 2001. Pp. 54-60
Gershunskiy B.S. Filosofiya obrazovaniya dlya XXI veka (v poiskah praktiko-orientirovannyh obrazovatel'nyh koncepcij) [Philosophy of education for the XXI century (In the search for practical-oriented educational concepts)]. M.: Sovershenstvo Publ., 1998. 608 p.
Ginzburg M.E. Universalnost' kak sotzialnaya harakteristika viypusknika vuza: sotziologocheskiy analiz [Versatility as a social characteristic of graduates: the sociological analysis]. Author's abstract of PhD in Sociology dissertation: 22.00.06. Ural State University im. A.M. Gor'kogo. Ekaterinburg, 2005. 17 p.
Davis G.S. Statistichestiy analiz danniyh v geologii [Statistical Analysis in Geology]. Vol. 1. M.: Nedra Publ., 1990. V. 1. 312 p.
Matienko A.V. Alternativniy kontrol' v obuchenii inostrannomu yaziky kak sredstvo poviysheniya kachestva yazikovogo obrazovaniya [Alternative Control in Learning a Foreign Language as a means of Improving the Quality of Language Education]. Doctoral dissertation in Pedagogical Sciences 13.00.02. Irkutsk Linguistic State University. Tambov, 2009. 369 p.
Matienko A.V. Metodicheskaya kontzeptziya kognitivno-kommunikativnogo kontrolya v sisteme obucheniya inostrannomu yaziku studentov lingvisticheskogo vuza [Methodical concept of cognitive-communicative assessment in a foreign language learning system for linguistic university students]. Doctoral dissertation in Pedagogical Sciences 13.00.02. Irkutsk Linguistic State University. Nizhniy Novgorod, 2012. 353 p.
Matienko A.V. Predmet yazykovogo testirovaniya s pozitsij kognitivno-kommunikativnogo podkhoda [The subject of Language Testing from the standpoint of cognitive-
Экология языка и коммуникативная практика. 2017. № 1. С. 140-150
Отслеживание динамики познавательной деятельности студентов через формирование
контрольно-измерительной компетенции
А.В. Матиенко
communicative approach]. Journal of Pyatigorsk State Linguistic University. 2011. № 2. Pp. 278281.
Matienko A.V. Uchebno-testoviy portfel' kak sredstvo alternativnogo testirovaniya po inostrannomu yaziku [Training Test Portfolio as a means of Alternative Language Testing Form]. Izvestiya of Volgograd State Pedagogical University. 2008. № 5. Pp. 160-163.
Unkerov V.I. Matematiko-statisticheskie metodiy obrabotki danniyh meditzinskih issledovaniy [Mathematical-statistical methods of data processing for medical research]. V.I. Unkerov, S.G. Grigoriev. St-Petersburg: VMedA Publ., 2002. 266 p.
СВЕДЕНИЯ ОБ АВТОРЕ:
Матиенко Анжелика Валерьевна, кандидат филологических наук, доцент, заведующая кафедрой иностранных языков
Северо-Западный институт управления Федерального государственного бюджетного образовательного учреждения высшего профессионального образования "Российская академия народного хозяйства и государственной службы при Президенте Российской Федерации"
Россия, 199178, Санкт-Петербург, В.О., Средний пр. В.О., д. 57/43 E-mail: [email protected]
ABOUT THE AUTHOR:
Matienko Anzhelika Valerievna, Candidate of Philology, Assistant Professor, Head of the Foreign Languages Department
North-West Institute of Management of the Russian Federation Presidential Academy of National Economy and Public Administration
57/43 Sredniy prospect, Vasilyevsky Island, Saint-Petersburg 199178 Russia E-mail: [email protected]
