CC BY
31
Кабрышева Оксана Павловна, Смирнова Ульяна Александровна
ОПЫТ ПРОВЕДЕНИЯ ТЕСТИРОВАНИЯ ПО АНГЛИЙСКОМУ ЯЗЫКУ С ИСПОЛЬЗОВАНИЕМ ЭЛЕКТРОННОЙ ПЛАТФОРМЫ MOODLE В НАЦИОНАЛЬНОМ ИССЛЕДОВАТЕЛЬСКОМ ТОМСКОМ ПОЛИТЕХНИЧЕСКОМ УНИВЕРСИТЕТЕ
В статье представлен опыт проведения компьютерного тестирования по английскому языку с использованием электронной платформы Moodle в Национальном исследовательском Томском политехническом университете в 2015-2016 учебном году. Приведен пример сопоставительного анализа полученных результатов, позволивший определить степень владения английским языком студентами 1-го курса. Адрес статьи: www.gramota.net/materials/272017/1 -2759.html
Источник
Филологические науки. Вопросы теории и практики
Тамбов: Грамота, 2017. № 1 (67): в 2-х ч. Ч. 2. C. 203-207. ISSN 1997-2911.
Адрес журнала: www.gramota.net/editions/2.html
Содержание данного номера журнала: www .gramota.net/mate rials/2/2017/1-2/
© Издательство "Грамота"
Информация о возможности публикации статей в журнале размещена на Интернет сайте издательства: www.gramota.net Вопросы, связанные с публикациями научных материалов, редакция просит направлять на адрес: phil@gramota.net
Список литературы
1. Андреев А. А. Знания или компетенции // Высшее образование в России. М., 2005. № 2. С. 3-11.
2. Морозов В. А., Федулов Б. А., Чернов Ю. Н. Государственно-правовые аспекты формирования личностно-профессионального отношения сотрудника полиции к правоохранительной деятельности // Алтайский юридический вестник. 2016. № 2 (14). С. 45-48.
3. Федулов Б. А., Заречнев Д. О., Стрюц Е. В. Комплексное применение мультимедийных и информационных средств в процессе профессиональной подготовки курсантов вузов МВД России // Актуальные проблемы борьбы с преступлениями и иными правонарушениями: материалы тринадцатой международной научно-практической конференции: в 2-х ч. Барнаул, 2015. № 13. Ч. 2. С. 166-167.
4. Хуторской А. В. Ключевые компетенции и образовательные стандарты [Электронный ресурс]. URL: http://www.eidos.ru/ joumal/2002/0423.htm (дата обращения: 24.12.2016).
5. Crittenden B. Aims, Intentions and Purposes in Treading and Education // Educational Theory. 1974. № 1. P. 47-56.
6. McClelland D. C. Testing for Competence Rather Than for "Intelligence" // American Psychologist. 1973. January. P. 1-14.
THE PECULIARITIES OF ORGANIZING MONITORING OF PROFESSIONAL COMPETENCES OF THE EMPLOYEES FROM THE MINISTRY OF INTERNAL AFFAIRS OF THE RUSSIAN FEDERATION
Kalinin Sergei Vladimirovich
Barnaul Law Institute of the Ministry of Internal Affairs of the Russian Federation
info@buimvd. ru
The article reveals the peculiarities of the monitoring of police officers' professional competences. It presents the problems of the implementation of competence-based approach. The author determines the elements of the technology of professional competences monitoring: matrixes, cards, active monitoring techniques. The article discloses the content of monitoring methods of professional competences and the criteria for their evaluation: axiological, motivational, cognitive and conative. It is proved that the proposed approach improves the quality of the professional education of police officers.
Key words and phrases: competence-based approach; professional competences; law-enforcement methods; methods of competences monitoring; matrixes; technological cards of competences formation.
УДК 811.111:378.662.168(571.16)
В статье представлен опыт проведения компьютерного тестирования по английскому языку с использованием электронной платформы Moodle в Национальном исследовательском Томском политехническом университете в 2015-2016 учебном году. Приведен пример сопоставительного анализа полученных результатов, позволивший определить степень владения английским языком студентами 1-го курса.
Ключевые слова и фразы: компьютерное тестирование; Moodle; электронная платформа; уровень владения языком; структура теста.
Кабрышева Оксана Павловна Смирнова Ульяна Александровна
Национальный исследовательский Томский политехнический университет okskabr@tpu.ru; ulsmirnova@yandex.ru
ОПЫТ ПРОВЕДЕНИЯ ТЕСТИРОВАНИЯ ПО АНГЛИЙСКОМУ ЯЗЫКУ С ИСПОЛЬЗОВАНИЕМ ЭЛЕКТРОННОЙ ПЛАТФОРМЫ ИООБЬЕ В НАЦИОНАЛЬНОМ ИССЛЕДОВАТЕЛЬСКОМ ТОМСКОМ ПОЛИТЕХНИЧЕСКОМ УНИВЕРСИТЕТЕ
Настоящее время - время глобализации и компьютерных технологий - предъявляет новые требования ко всем сферам современного общества. Данные условия не могут не затронуть методологические подходы и содержание образования: наблюдается активное внедрение компьютерных и инновационных образовательных технологий в высшее образование, в частности в процесс обучения иностранному языку.
Общепризнанным инструментом интернационализации образования считается иностранный (английский) язык, овладение которым в настоящее время предполагает использование современных образовательных технологий. Немаловажной проблемой при этом является определение уровня владения языком [2; 7]. В первую очередь необходимо определить входной уровень поступивших на первый курс студентов для объективного распределения их по группам, а по окончании изучения английского языка в вузе - выявить итоговой уровень с целью оценки остаточных знаний и качества курса.
Информатизация образования оказала значительное влияние и на контроль, вследствие чего тесты с применением компьютера стали наиболее эффективным его средством [4; 5]. Потенциальные возможности технологий тестирования и разработки тестов могут быть усилены применением информационно-коммуникационных технологий [8]. Результаты, полученные с помощью компьютерного теста, в большей степени отвечают требованиям
объективности и информативности. Этому способствует реализация таких основополагающих принципов как единство требований преподавателя к обучаемым и объективность, индивидуальный характер и системность проверки и оценки знаний, тематичность, дифференцированность оценки обученности. При этом важно отметить, что компьютерное тестирование по иностранному языку имеет ряд существенных преимуществ перед традиционным, или бланковым:
1. Повышается важная характеристика теста - его практичность [3] посредством:
- уменьшения материальных затрат (расходов на бумагу, распечатку бланков, контрольно-измерительных материалов (далее - КИМ), ведомостей, схем и шкал оценивания);
- сокращения временных затрат (времени, затрачиваемого на подготовку всей необходимой документации по процедуре тестирования, на обработку данных, выдачу результатов и проведение статистического анализа);
- сокращения человеческих ресурсов (количество наблюдателей в аудитории может быть сокращено до одного человека, например, благодаря использованию компонента Remote Desktop Console (программного модуля для операционной системы Mac OS), позволяющего осуществлять процесс контроля над происходящим на рабочем столе тестируемого).
2. Повышается информационная безопасность, в разы снижается возможность утечки информации о содержании заданий теста за счет высокой скорости передачи данных и специальной защиты электронных файлов.
3. Повышаются информационные возможности процесса контроля, появляется возможность сбора дополнительных данных о динамике прохождения теста отдельными студентами, группами; появляется возможность интегрировать в тестовых заданиях текстовую, графическую, звуковую и видеоинформацию.
4. Компьютерное тестирование способствует повышению объективности контроля, так как программа имеет возможность предоставить индивидуальный вариант КИМ, что снижает вероятность списывания и передачи информации от одного студента другому.
5. Обращение к компьютерным технологиям с целью контроля уровня владения языком привлекает студентов своей новизной и объективностью, что проявляется в повышении их мотивации.
Одной из наиболее приемлемых и отвечающих основным потребностям лингводидактического тестирования на, наш взгляд, является программная оболочка Moodle.
Слово Moodle - акроним, образованный из первых букв фразы Modular object-oriented dynamic learning environment (Модульная объектно-ориентированная динамическая обучающая среда). Система управления обучением в среде Moodle представляет собой систему управления курсом - открытый пакет программ, созданный в помощь педагогам для осуществления эффективного онлайн-обучения, в котором реализуется широкий спектр педагогических принципов. Данная система обладает международной лицензией GPL (General Public Licence), которая позволяет свободно тиражировать, копировать и распространять учебный материал. Системе доступны различные пакеты загрузки с дифференцированными уровнями стабильности. Имеется возможность загрузки множества дополнительных компонентов, таких как модули и языковые пакеты. Программа ориентирована на технологии обучения в сотрудничестве. Она позволяет организовать обучение в процессе совместного решения учебных задач, осуществлять взаимообмен знаниями. Особую ценность данная программа представляет для проведения тестирования по иностранному языку, поскольку обладает рядом неоспоримых преимуществ:
1. Возможность создавать задания любой формы: множественного выбора, альтернативные, открытые, с кратким ответом, клоуз-тесты.
2. Возможность создавать банк КИМ, при этом формирование теста может осуществляться автоматически при введении необходимых параметров.
3. Увеличение объективности результатов за счет индивидуального варианта КИМ, предоставляемого студенту, что в значительной степени снижает вероятность списывания и повышает конфиденциальность контролирующих материалов.
4. Наличие таймера, который отслеживает время выполнения теста. При этом работа программы останавливается автоматически после истечения установленного времени, что позволяет студенту работать в индивидуальном режиме.
5. Возможность регулировать по необходимости порядок выполнения разделов теста и заданий внутри каждого раздела.
6. Моментальный подсчет результатов после окончания тестирования. Студент имеет возможность видеть количество набранных баллов. Все индивидуальные результаты протестированной группы студентов автоматически переводятся в табличный процессор Excel и могут быть сразу использованы для дальнейшей статистической обработки и анализа.
7. Автоматический подсчет основных статистических показателей тестового задания, таких как трудность и дифференцирующая способность, которые могут использоваться при дальнейшем анализе результатов тестирования, что позволяет в кратчайшие сроки выявить задания, требующие корректировки или замены.
8. Возможность отслеживать время начала и окончания выполнения теста, что также исключает возможность подлога результатов (в случае доступа к программе с внешнего компьютера).
9. Возможность хранения всех данных на едином сервере, который позволяет загружать, перемещать, изменять или удалять файлы и документы [1].
Учитывая тот факт, что Национальный исследовательский Томский политехнический университет (далее - ТПУ) ежегодно зачисляет на первый курс примерно 1500 студентов, задача определения уровня владения ими иностранным языком оказывается достаточно сложной. Однако ТПУ эффективно справляется
с данным вызовом. С 2007 года в ТПУ успешно применяется компьютерное тестирование для определения уровня владения языком с использованием информационной образовательной среды Moodle. Тест по английскому языку состоит из двух разделов: «Использование языка» и «Чтение». В разделе «Использование языка» проверяются навыки оперирования грамматическими структурами в коммуникативно-значимом контексте. В разделе «Чтение» проверяется сформированность умений выборочного и/или полного и точного понимания предложенных текстов, а также умение извлекать детальную информацию из прочитанного. Тест состоит из 50 заданий: в раздел «Использование языка» включено 30 заданий на дополнение предложений правильными грамматическими структурами и 10 заданий на нахождение ошибки в одном из выделенных фрагментов предложения. В разделе «Чтение» - 10 заданий: по 5 заданий множественного выбора к двум коротким текстам (250-350 слов) научно-популярного и/или публицистического характера. В целом, раздел «Использование языка» включает 80% от общего количества заданий, а раздел «Чтение» - 20%. Структура теста по английскому языку и грамматический материал, используемый в нем, представлены в Таблицах 1 и 2 соответственно.
Таблица 1.
Структура теста по английскому языку
№ задания Проверяемые умения Количество заданий Тип заданий Макс. первичный балл Доля(%) от макс. балла
Раздел 1. Использование языка 80 80%
1-30 1.1. Распознавать грамматический материал, соответствующий заданному контексту 30 Задание с выбором одного правильного ответа на дополнение предложений правильными грамматическими структурами 60 60%
31-40 1.2. Распознавать грамматический материал, неверно употреблённый в заданном контексте 10 Задание с выбором одного правильного ответа на нахождение ошибки в одном из выделенных фрагментов предложения 20 20%
Раздел 2. Чтение 20 20%
41-45 (текст 1 ) 2.1. Извлекать общую и/или детальную информацию из прочитанного 5 Задание с выбором одного правильного ответа 10 10%
46-50 (текст 2) 2.2. Понимать лексический материал в соответствии с контекстом 5 Задание с выбором одного правильного ответа 10 10%
Итого: 50 100 100%
Таблица 2.
Перечень грамматического материала, используемого в тесте
1 Verb Tenses
2 Active and Passive Voice
3 Gerund, Infinitive, Participles
4 Modals
5 Conditionals
6 Complex Object, Causative
7 Time Expressions
8 Pronouns
9 Comparison
10 Position of Adjectives
11 Numerals
12 Singular and Plural Nouns
13 Possessive Pronouns
14 Articles
15 Linking Devices
16 Phrasal Verbs
17 Questions
18 Direct/Indirect Speech
19 Word Order, Inversion
20 There Is/Are
21 Agreement between Subject and Verb
Тест выполняется в компьютерной форме в сети Интернет на базе системы управления обучением Мооdle. Для его проведения выделяется аудитория, оснащенная персональными компьютерами с доступом в сеть Интернет, и привлекаются наблюдатели, прошедшие инструктаж. В ходе выполнения теста студенты могут делать черновые записи только на бланках, выдаваемых организаторами перед началом тестирования. Черновые записи при проверке не рассматриваются. Проверка выполнения отдельного задания и теста в целом производится автоматически. Общий тестовый балл сообщается студенту сразу после окончания тестирования.
Правильное выполнение каждого задания оценивается 2 баллами. За неверный ответ или отсутствие ответа выставляется 0 баллов. Частично правильные ответы и оценки в 1 балл за задание не предусмотрены. Максимальное количество баллов, выставляемое за правильное выполнение всех заданий теста, - 100. Сопоставимость результатов тестирования на различных этапах обучения обеспечивается идентичностью структуры теста, формы заданий, проверяемых умений и навыков. Полученный тестовый балл соотносится с общепринятой европейской шкалой уровней владения иностранным языком [6] (см. Таблицу 3).
Таблица 3.
Соответствие тестового балла уровню владения языком (в соответствии со шкалой Совета Европы)
Score
0-25 Below A1 Below Breakthrough Basic User
26-39 A1 Breakthrough
40-55 A 2.1 Waystage
56-69 A 2.2
70-100 B 1 Threshhold Independent User
В диаграммах на Рисунках 1 и 2 представлен анализ результатов тестирования студентов первого курса ТПУ в 2015-2016 учебном году. В тестировании приняли участие 456 студентов трех институтов. Как видно из Диаграммы 1, 46% (т.е. 210 студентов) владеют английским языком на уровне А1. Более 30% студентов, прошедших данное тестирование, владеют английским языком на уровне А2 (А2.1 или А2.2), большая доля которых (25%, 114 студентов) - на уровне А2.1. Уровень В1 имеют только 20 студентов (4%).
Рис. 1. Распределение по уровням владения английским языком
Был проведен дальнейший анализ результатов тестирования с целью сопоставления уровня владения английским языком студентами 1 курса в трех институтах ТПУ. Диаграмма, представленная на Рисунке 2, свидетельствует о том, что студенты института 3 имеют самый низкий показатель владения английским языком, поскольку 50% студентов имеют уровень A1, а каждый пятый студент (20%) - ниже А1. В то же время, количество студентов с уровнем В1 составляет 3% и является самым низким среди всех трех институтов. Студенты института 1 продемонстрировали самый высокий показатель владения английским языком, поскольку здесь оказалось наименьшее количество студентов с уровнем А1 и ниже А1. Вместе с тем, здесь самое большое количество студентов с уровнями A2.1 и A2.2. Количество студентов, достигших уровня B1, одинаково в институтах 1 и 2. Разница в количестве студентов с уровнем Basic User и Independent User является минимальной. Следовательно, отличие в уровне владения английским языком среди студентов 1-го курса может рассматриваться как незначительное.
60% 50% 40% 30% 20% 10% 0%
14% 14%
16%
20%
Ниже A1
43%
47%
50%
A1
27%
23% 23%
A 2.1
10%
9%
4%
A 2.2
Institute 1 ■ Institute 2 ■ Institute 3
5% 5% 3% B 1
Рис. 2. Распределение по уровням владения английским языком среди студентов трех институтов ТПУ
Таким образом, компьютерное тестирование, являясь неотъемлемой частью процесса обучения и эффективным инструментом оценки обученности, отвечает не только образовательным потребностям, но и современным требованиям к контролю. Объективная оценка уровня владения иностранным языком студентов при поступлении на 1-й курс имеет большое значение для его последующего изучения. Электронная платформа Moodle дает возможность обеспечить наиболее комфортную языковую среду и предоставить достоверные данные для отслеживания прогресса в овладении иностранным языком.
Список литературы
1. Кабрышева О. П., Петрашова Т. Г., Семёнов Д. Е. Использование информационных и коммуникационных технологий в тестировании по иностранным языкам // Прикладная филология: идеи, концепции, проекты: сб. ст. VIII меж-дунар. науч.-практ. конф. (27-29 октября 2010 г.) / под ред. С. А. Песоцкой; Национальный исследовательский Томский политехнический университет. Томск, 2010. Ч. 1. С. 89-96.
2. Смирнова У. А., Верхотурова В. В. Международные экзамены по английскому языку как инструмент независимого лингвистического аудита уровня владения языком будущего инженера // Уровневая подготовка специалистов: государственные и международные стандарты инженерного образования: сб. тр. науч.-метод. конф. (3-6 апреля 2012 г.) / Национальный исследовательский Томский политехнический университет. Томск: Изд-во ТПУ, 2012. С. 271-273.
3. Alderson J. C., Clapham C., Wall D. Language Test Construction and Evaluation. N. Y.: Cambridge University Press, 1999. 324 p.
4. Chapelle C. A. English Language Learning and Technology. Philadelphia: John Benjamins Publishing, 2003. 211 p.
5. Chapelle C. A., Douglas D. Assessing Languages through Computer Technology. Cambridge: Cambridge University Press, 2006. 138 p.
6. Common European Framework of Reference for Languages: Learning, Teaching, Assessment [Электронный ресурс]. URL: http://www.coe.int/t7dg4/linguistic/Source/Framework_EN.pdf (дата обращения: 20.11.2016).
7. Kabrysheva O. P., Smirnova U. A., Vasiljeva A. V. Result Analysis of the Local FCE Examination Sessions (2013-2014) at Tomsk Polytechnic University // Mediterranean Journal of Social Sciences. 2015. Vol. 6/3. P. 239-245.
8. Parshal C. G., Spray J. A., Kalohn J. N., Davey T. Practical Considerations in Computer-Based Testing. N. Y.: Springer, 2002. 222 p.
THE AATEMPT OF ENGLISH LANGUAGE TESTING USING THE E-LEARNING PLATFORM MOODLE AT THE NATIONAL RESEARCH TOMSK POLYTECHNIC UNIVERSITY
Kabrysheva Oksana Pavlovna Smirnova Ul'yana Aleksandrovna
National Research Tomsk Polytechnic University okskabr@tpu. ru; ulsmirnova@yandex. ru
The article summarizes the attempt of computer-based English language testing using the E-learning platform Moodle at the National Research Tomsk Polytechnic University in 2015-2016 academic year. The authors provide the comparative analysis of the acquired results which allows identifying English language competence level among the 1st year students.
Key words and phrases: computer testing; Moodle; E-learning platform; language competence level; test structure.
