CC BY
69
МИР науки. Педагогика и психология / World of Science. Pedagogy and psychology https ://mir-nauki.com 2019, №6, Том 7 / 2019, No 6, Vol 7 https://mir-nauki.com/issue-6-2019.html URL статьи: https://mir-nauki. com/PDF/ 118PDMN619.pdf Ссылка для цитирования этой статьи:
Литвина Т. А., Иванова Д. А. Применение тестов с заданиями открытой и закрытой формы для осуществления текущего контроля в курсе русского языка как иностранного // Мир науки. Педагогика и психология, 2019 №6, https://mir-nauki.com/PDF/118PDMN619.pdf (доступ свободный). Загл. с экрана. Яз. рус., англ.
For citation:
Litvina T.A., Ivanova D.A. (2019). The use of free-response test items and multiple-choice test items for monitoring in the course of Russian as a foreign language. World of Science. Pedagogy and psychology, [online] 6(7). Available at: https://mir-nauki.com/PDF/118PDMN619.pdf (in Russian)
УДК 37.02 ГРНТИ 14.35.09
Литвина Татьяна Александровна
ФГАОУ ВО «Казанский (Приволжский) федеральный университет», Казань, Россия
Доцент
Кандидат филологических наук, доцент E-mail: [email protected] Researcher ID: http://www.researcherid.com/rid/S-7058-2018 РИНЦ: https://www.elibrary.ru/author_profile.asp?id=153067 Google Академия: https://scholar. google.ru/citations?hl=ru&authuser= 1&user=lVuIEJgAAAAJ
Иванова Дарья Александровна
ФГАОУ ВО «Казанский (Приволжский) федеральный университет», Казань, Россия
Заведующий кафедрой «Гуманитарных наук подготовительного» факультета для иностранных учащихся
Кандидат филологических наук E-mail: [email protected]
Применение тестов с заданиями открытой и закрытой формы для осуществления текущего контроля в курсе русского языка как иностранного
Аннотация. В статье затрагивается проблема оценки качества владения русским языком как иностранным, в частности, рассматривается вопрос достоверности контрольных измерений, производимых методом тестирования. Описывается эксперимент, с помощью которого было проведено сравнение эффективности использования тестовых заданий открытой и закрытой формы для осуществления текущего контроля в курсе русского языка как иностранного на этапе довузовской подготовки. Для эксперимента был использован один тест с двумя вариантами выполнения заданий (открытой и закрытой формы), контролирующий усвоение языковых знаний и навыков. В эксперименте принимали участие 100 слушателей из Китая, изучающих русский язык на подготовительном факультете российского университета на этапе А2-В1. Целью эксперимента ставилось определить более совершенный метод измерения знаний, выявить, будут ли отличаться количественные показатели в результате тестирования одной и той же области знаний при помощи разных инструментов и на сколько значимыми будут отличия. Для интерпретации результатов применяются методы статистического анализа.
В статье приводятся статистические данные успешности/неуспешности прохождения тестов идентичного содержания в закрытой и открытой форме, показана устойчивая
https:// mir-nauki. com
корреляция между результатами тестирования и типами тестовых заданий: сравнение количественных показателей результатов данных тестов свидетельствует о большей объективности и достоверности результатов, полученных при выполнении тестов с заданиями открытой формы. Делается вывод о том, что применение тестов с заданиями открытой формы лучше обеспечивает достижение целей текущего контроля.
Ключевые слова: русский язык как иностранный; формы текущего контроля; тестирование; педагогический тест; типы тестовых заданий; тестовые задания открытой формы; тестовые задания закрытой формы
В практике обучения русскому языку как иностранному на протяжении последних двух десятилетий тестирование как форма контроля, позволяющая наиболее достоверно оценить уровень сформированности языковой и коммуникативной компетенций иностранцев, получило широкое распространение. Несмотря на значительное количество исследований по тестовому контролю в российской и зарубежной методике (Балыхина Т.М., Андрюшина Н.П., Аванесов В.С., Банкевич, В.А., Гапочка И.К., Дунаева Л.А., Дауе Р., Коккота В.А., Куриленко В.Б., Клобукова Л.П., Никитенко З.Н., Румянцева Н.М., Магомедова М.А., Рапопорт И.А., Юй Тичжуан, Куликова Е.Ю., Просвиркина И.И. и многие другие), проблемы педагогического тестирования в области обучения русскому языку как иностранному остаются дискуссионными.
Приемы тестовой методики имеют несомненные достоинства: оперативность, объективность, экономичность, возможность проконтролировать большее количество учащихся меньшими трудозатрами со стороны преподавателя и др., однако в методической литературе продолжает обсуждаться вопрос, «что и как следует контролировать, т. е. каковы объекты и приемы контроля» [1, с. 321]. До сих пор углублённой разработки требует проблема оценки качества владения русским языком как иностранным. В рамках этой проблемы специалисты отмечают необходимость «активнее создавать специальные тесты, предназначенные для диагностики, качественного обучения языку, т. е. сместить акценты с процесса оценивания качества подготовки на формирование этого качества в процессе обучения русскому языку» [2, с. 188]. В связи с этим также говорится о необходимости «расширить и интенсифицировать исследования по повышению качества тестов, по надежности измерений и интерпретации результатов» [2, с. 188]. Все, сказанное выше, определяет актуальность исследования, изложенного в данной статье.
Лингводидактический тест - комплекс заданий, позволяющий выявить у тестируемых степень их лингвистической и коммуникативной компетенции. Тест является одним из эффективных средств контроля [3, с. 129; 4, с. 216], применение тестового подхода дает возможность осуществить относительно объективные измерения результатов обучения.
Среди разновидностей тестовых заданий выделяют задания с выбором одного или нескольких правильных ответов (закрытой формы) и задания без выбора, когда испытуемый сам составляет правильный на его взгляд ответ (открытой формы). Так как тестирование призвано решать задачи объективного оценивания с помощью количественного измерения, нас заинтересовала проблема сравнения эффективности тестовых заданий разной формы.
Существует устоявшееся представление о том, что задания открытой формы могут обеспечить более достоверное измерение уровня владения языком по сравнению с заданиями закрытой формы [5, с. 169-171; 6, с. 4-5]. Исходя из этого положения нами был проведен эксперимент, целью которого являлось определить более совершенный метод измерения знаний, выявить будут ли отличаться количественные показатели в результате тестирования одной и той же области знаний при помощи разных инструментов и, главное, на сколько
значимыми будут отличия. Экспериментальный подход с применением методов статистического анализа для интерпретации результатов определяет новизну исследования. В настоящей статье освещаются результаты исследования, призванного сравнить эффективность использования тестовых заданий открытой и закрытой формы для осуществления текущего контроля в курсе русского языка как иностранного на этапе довузовской подготовки.
Известно, что современная методика преподавания иностранных языков направлена на развитие у учащихся коммуникативной компетенции [7, с. 32], состоящей из нескольких компонентов, а именно: знаний (языковых, социокультурных и др.), навыков (лексических, грамматических, слухо-произносительных, навыков чтения и письма) и умений в различных видах речевой деятельности. Достижение определенного уровня владения иностранным языком может оцениваться лишь по совокупности всех компонентов, составляющих коммуникативную компетенцию. В практике обучения русскому языку как иностранному «основными объектами контроля являются речевые умения учащихся, а владение языковым материалом представляет собой объект текущего контроля» [8, с. 6]. В данном исследовании были использовали тесты, призванные определить уровень сформированности у обучаемых лексических и грамматических навыков в рамках текущего тематического контроля, который имеет оценочную и корректирующую функции. Оценочная функция контроля предполагает определение и анализ результатов учебной деятельности, эффективности процесса обучения, корректирующая функция контроля проявляется в возможности преподавателя внести изменения в процесс обучения языку на основе полученных в ходе проведения контроля наблюдений [9, с. 278-279].
Технология исследования
Для эксперимента был использован один тест с двумя вариантами выполнения заданий (таблица 1). Первый вариант - это тест, содержащий задания в закрытой форме с выбором одного правильного ответа из четырех предложенных вариантов. Второй вариант - это тест, содержащий задания в открытой форме, т. е. данные задания предполагают дополнение основного текста самостоятельно продуцируемым элементом, чтобы получилось правильное высказывание. Тесты предлагались испытуемым с интервалом в несколько дней. В испытаниях участвовали 100 слушателей из Китая, проходящих обучение на подготовительном факультете Казанского Федерального университета. Тестирование проводилось в период освоения ими языка на этапе А2-В1 [10, с. 11-17].
Объектом оценки с помощью данного теста являются языковые знания и навыки в рамках грамматической темы «Употребление видовременных форм глаголов с некоторыми особенностями в их формообразовании». Тест содержит задания на употребление видовременных форм, в том числе форм повелительного наклонения, употребление глаголов с постфиксом -ся и без него (типа встречать - встречаться). Целью проверки является уровень усвоения языковых знаний и навыков употребления изученных глаголов. Отбор лексического и грамматического материала был предопределён поурочным содержанием учебного пособия, по которому обучаются слушатели на подготовительном факультете КФУ [11; 12], данный учебник соответствует базовому уровню владения русским языком как иностранным (А2).
Таблица 1
Тест с двумя вариантами выполнения заданий
ВАРИАНТ 1 ВАРИАНТ 2
1. Вчера я . . . поздно, поэтому сегодня утром не смог встать вовремя. 2. Обычно я . . . спать рано. а) лёг б) ложился в) ложусь г) лягу лечь - ложиться
ВАРИАНТ 1 ВАРИАНТ 2
3. В комнате было очень холодно, и я . . . окно. а закрыл закрыть - закрывать
4. В коридоре очень шумно, нужно . . . дверь. б в г закрыть закрывал закрывать
5. В субботу я поеду в Торговый центр, чтобы . . . а покупать купить - покупать
новое платье. б покупаю
6. Каждый день я хожу в магазин и . . . продукты. в г куплю купить
7. Обычно мы . . . с друзьями в кафе в центре а встретимся встречаться - встретиться
города. б встречаемся
8. Мы договорились . . . в кафе завтра в 19.00. в г встретиться встречаться
9. Когда я приеду на родину, я . . . старых друзей. а встречу встречать - встретить
10. Вчера я . . . в аэропорту мою сестру, она б встречаю
прилетела из Франции. в г встретил встречать
11. Каждый день наш урок . . . в 8.30. а начинает начинать - начать
12. Наша группа . . . учиться каждый день в 8.30 утра. б в г начинается начнется начнет начинаться - начаться
13. Последний урок . . . в 13 часов 20 минут, и мы а кончит кончать - кончить
пойдем домой. б кончался кончаться - кончиться
14. Он . . . писать контрольную работу и пошел в) кончил
отдыхать. г кончится
15. Вчера студент . . . дома тетрадь, и пришел на урок без тетради. а б забывал забывает забывать - забыть
16. Моя подруга всегда . . . свои ключи дома. в) г забыл забыла
17. Я думаю, Виктор очень жадный, он никогда и а) дай давать - дать
никому ничего не . . . . б дает
18. . . . мне, пожалуйста, словарь! Я забыла мой в) давай
словарь дома. г давать
19. Ты . . . мне 200 рублей? Я обязательно верну тебе а даешь давать - дать
завтра. б давал
20. В детстве мой старший брат всегда . . . мне свой в дашь
компьютер поиграть. г даст
21. Вчера весь вечер я . . . текст с русского языка на а переведу переводить - перевести
родной язык. б перевел
22. Я каждый день . . . новые слова по словарю и в перевожу
пишу их в тетради. г переводил
23. Каждый день в кафе я . . . суп и салат. а беру брать - взять
24. Когда я поеду отдыхать на море, я не . . . с собой б взял
много вещей. в г возьму брать
25. Сегодня будет дождь. Ты . . . зонт? а взял брать - взять
26. Завтра я должен . . . деньги в банке. б в г взять возьму беру
27. Если не знаешь, где находится библиотека, . . . а спрашивает спрашивать - спросить
студентов! б спросит
28. Не люблю, когда мама . . . меня, где я и когда я в спроси
приду. г спросила
29. Ты очень много работаешь и очень . . . . а уставать уставать - устать
30. Сегодня я . . . , хочу лечь спать пораньше. б устаешь
31. Раньше я никогда так сильно не . . . в г уставал устал
32. . . . мне свои картины, пожалуйста! а б показывать показывает показывать - показать
ВАРИАНТ 1 ВАРИАНТ 2
33. Преподаватель иногда . . . нам фильмы на занятиях. 34. Он не любит . . . друзьям свои фотографии. в) покажет г) покажи
35. После ужина я всегда . . . посуду. 36. . . . , пожалуйста, пол! Он очень грязный! 37. Хорошо, мама! Я . . . пол завтра! Сегодня у меня много работы. а) мою б) вымой в) вымою г) мой мыть - вымыть
38. С кем он обычно . . . в трудной ситуации? 39. Он . . . с родителями и решил поехать учиться в Россию! а) посоветовался б) советуется в) советует г) советовался советоваться - посоветоваться
40. Моя мама всегда . . . мне быть внимательным на улице. 41. Я был у врача, и врач . . . мне больше отдыхать и гулять на свежем воздухе. а) советует б) советуется в) посоветовал г) советовался советоваться - посоветоваться
42. Пожалуйста, . . . Виктору, узнай, где он сейчас! 43. Ты часто . . . родителям? а) позвоните б) позвонишь в) звонишь г) позвони звонить - позвонить
44. Вчера я . . . брата помочь мне. 45. Если я что-то не понимаю, я . . . преподавателя объяснить ещё раз. а) попрошу б) прошу в) попросил г) просил просить - попросить
46. Я сделал эту работу вовремя, потому что мой друг . . . мне. 47. Раньше я часто . . . младшему брату делать домашнее задание по математике. 48. Если тебе будет нужна помощь, я обязательно . . . тебе. а) помогает б) помогал в) помог г) помогу помогать - помочь
49. У меня заболела голова, но я . . . лекарство и почувствовала себя лучше. 50. Врач сказал . . . это лекарство 3 раза в день после еды. а) принял б) принимать в) принимаю г) принимал принимать - принять
Составлено авторами
Для выполнения теста с заданиями закрытой формы (вариант 1) необходимо выбрать правильный ответ из предложенных. Для выполнения теста с заданиями в открытой форме (вариант 2) предлагаютя видовые пары, из которых испытуемый должен выбрать правильный вид и далее образовать правильную форму. В некоторых заданиях второго варианта существует возможность постановки разных временных форм, если высказывание не содержит слов-детерминантов типа раньше, вчера, в будущем, каждый день и т. п. В таких случаях при оценивании и интерпретации результатов в качестве правильного учитывался любой из возможных вариантов, как, например, в задании 25 «Сегодня будет дождь. Ты . . . зонт?». В данном задании в качестве правильных могут быть употреблены формы: взял (взяла), возьмешь. Также в качестве правильных учитывались возможные варианты форм лица и рода.
Результаты. Итоговая оценка каждой работы была выражена процентом правильно выполненных заданий, т. е. если правильными были ответы во всех 50 заданиях теста, значит такая работа оценивалась как 100 %. Для интерпретации результатов нами была использована рейтинговая шкала, принятая в Казанском федеральном университете, где неудовлетворительным считается объем работы, выполненный менее, чем на 55 %, удовлетворительным - 55-70 %, хорошим - 71-85 % и отличным - 86-100 %. Согласно данной рейтинговой шкале мы распределили количественные результаты тестов разных типов в таблице 2.
Таблица 2
Количественные результаты тестов разных типов
% правильно выполненных заданий % испытуемых, выполнявших тест с заданиями закрытой формы % испытуемых, выполнявших тест с заданиями открытой формы
0-54 % «неудовлетворительно» 19 38
55-70 % «удовлетворительно» 31 26
71-85 % «хорошо» 26 27
86-100 % «отлично» 24 9
Составлено авторами
При сравнении полученных результатов обращает на себя внимание двукратное снижение количества неудовлетворительно выполненных тестов закрытого типа (19 % и 38 %) и значительное увеличение количества тестов закрытого типа, выполненных на «отлично» (24 % и 9 %), по сравнению с тестами открытого типа. Результаты, оцениваемые на «хорошо» и «удовлетворительно», в тестах обоих типов приблизительно равны.
Интересным представляется сопоставление результатов двух вариантов тестов, выполненных одним и тем же испытуемым. Были получены результаты, где количество правильных ответов в тестах открытой и закрытой формы составило соответственно 12 % и 24 %, 18 % и 44 %, 16 % и 46 % и т. п. в пользу теста с заданиями закрытой формы.
Минимальный результат среди тестов с заданиями закрытой формы - 24 % правильных ответов, минимальный результат среди тестов с заданиями открытой формы - 8 % правильных ответов.
Так как в результате проведенного эксперимента мы получили две выборки, т. е. два набора чисел, каждый из которых состоит из процентных показателей успешно выполненных заданий тестов двух типов, для интерпретации результатов нашего эксперимента мы применили такие статистические показатели, как среднее арифметическое и медиана. Среднее арифметическое всех результатов, т. е. сумма всех результатов выборки, разделенная на количество всех испытуемых, в тестах с заданиями в закрытой форме составляет число 70,23, в тестах с заданиями в открытой форме - 57,8.
Медиана - уровень показателя, который делит ранжированные по возрастанию или убыванию данные на две равные половины. Медиану как статистический показатель используют, когда крайние варианты ранжированного ряда (наименьшая и наибольшая) по сравнению с остальными оказываются чрезмерно большими или чрезмерно малыми. В нашем случае наименьшим и наибольшим показателями в результатах тестов закрытого типа являются соответственно 24 % и 98 %, в результатах тестов открытого типа - 8 % и 96 %. Медиана в тестах с заданиями в закрытой форме составляет 70, в тестах с заданиями в открытой форме -62. Таким образом, оба статистических показателя демонстрируют центральную тенденцию данных, а именно: результаты, показанные испытуемыми при выполнении тестов с заданиями закрытой формы, существенно лучше.
Выводы. Таким образом, описываемый эксперимент показал, что тест с заданиями закрытой формы является для испытуемых более легким и в результате большее количество испытуемых прошли его успешно, и, соответственно, меньшее количество испытуемых продемонстрировали неудовлетворительные результаты. Тесты открытой формы требуют от испытуемых навыка продуцирования грамматических форм, в то время как тесты закрытой формы проверяют наличие навыка узнавания правильной формы. Очевидно, что два этих навыка неравнозначны, и продуцирование является более ценным в аспекте овладения иностранным языком. Сравнение количественных показателей результатов данных тестов может свидетельствовать о большей объективности и достоверности результатов, полученных при выполнении тестов с заданиями открытой формы. Применение тестов с заданиями
https:// mir-nauki. com
открытой формы лучше обеспечивает достижение целей текущего контроля, а именно: получения более объективной картины степени освоения материала, получения обратной связи с целью контролирования и корректировки учебного процесса.
Однако мы не беремся однозначно утверждать, какой инструмент измерения знаний из рассматриваемых более совершенный. Если говорить о текущем контроле освоения определенных грамматических тем, то фактор времени, затрачиваемый преподавателем на проверку тестов, также является значимым. Проверка тестов открытой формы с множественностью возможных правильных ответов занимает в несколько раз больше времени по сравнению с проверкой тестов закрытой формы при помощи проверочной матрицы.
Наше исследование показало, насколько значимыми являются различия в результатах тестов разных типов. На наш взгляд, показатели и результаты нашего исследования должны быть приняты во внимание преподавателями иностранного языка в практике обучения языку и применения тестирования как формы текущего контроля. Выбор той или иной формы тестов должен зависеть от целей тестирования, актуальных для преподавателя на определенном этапе учебного процесса.
ЛИТЕРАТУРА
1. Колесникова И.Л. Тестирование уровня сформированности лексических и грамматических навыков [Текст] / И.Л. Колесников // Актуальные вопросы языкового тестирования. - Вып. 2. - СПб.: Изд-во СПбГУ, 2017. - 684 с.
2. Балыхина Т.М. Основы теории тестов и практика тестирования (в аспекте русского языка как иностранного) [Текст]: учебное пособие / Т.М. Балыхина. -М.: Русский язык. Курсы, 2009. - 240 с.
3. Тарчимаева Л.Ц. Тестирование как современная форма педагогического контроля в обучении русскому языку иностранцев [Текст] / Л.Ц. Тарчимаева // Вестник БГУ, 2013. - №1. - С. 129-132.
4. Ткаченко Е.С., Бредихина И.А. Лингводидактическое тестирование, как средство контроля сформированности коммуникативной компетенции студентов языковых направлений подготовки [Текст] / Е.С. Ткаченко, И.А. Бредихина // Язык в сфере профессиональной коммуникации: сборник материалов международной научно-практической конференции преподавателей, аспирантов и студентов (Екатеринбург, 18 апреля 2019 года). - Екатеринбург: ООО «Издательский Дом «Ажур», 2019. - С. 214-218.
5. Н.П. Об основных направлениях модернизации системы тестирования по русскому языку как иностранному [Текст] / Н.П. Андрюшина // Международное тестирование: итоги и перспективы. - М., 2004. - Т.1. - С. 169-171.
6. Burton Steven J., Richard R. Sudweeks, Paul F. Merrill, and Bud Wood. How to Prepare Better Multiple Choice Test Items [Техт]: Guidelines for University Faculty / Burton Steven J., Richard R. Sudweeks, Paul F. Merrill, and Bud Wood // Provo, Utah: Brigham Young University Testing Services and the Department of Instructional Science, 1991. - 31-33.
7. Галоян Н.Г., Китаева М.В. Тест как инструмент проверки уровня сформированности коммуникативной компетенции [Текст] / Н.Г. Галоян, М.В. Китаева // Вестник ОГУ, 2018. - №4. - С. 31-35.
8. Вопросы контроля обученности учащихся иностранному языку [Текст]: методическое пособие / под ред. А.А. Миролюбова. - Обнинск: Титул, 2001. -80 с.
9. Щукин А.Н. Методика преподавания русского языка как иностранного [Текст]: учебное пособие для вузов / А.Н. Щукин. - М.: Высшая школа, 2003. - 332 с.
10. Нахабина М.М., Соболева Н.И., Стародуб В.В. и др. Государственный стандарт по русскому языку как иностранному. Базовый уровень [Текст] / М.М. Нахабина, Н.И. Соболева, В.В. Стародуб и др. - М. - СПб.: Златоуст, 2001. - 32 с.
11. Владимирова Л.В., Кулигина О.В., Сафин Р.Н. Как дела? Учебное пособие по русскому языку для иностранных учащихся (базовый уровень) [Текст] / Л.В. Владимирова, О.В. Кулигина. - Казань: Изд-во Казан. ун-та, 2018. - 214 с.
12. Владимирова Л.В., Кулигина О.В. Удачи! Учебное пособие для иностранных учащихся по русскому языку (предвузовский уровень) - [Текст] / Л.В. Владимирова, О.В. Кулигина. - 4-е изд., перераб. и доп. - Казань: Изд-во Казан. ун-та, 2018. - 262 с.
Litvina Tatyana Aleksandrovna
Kazan (Volga region) federal university, Kazan, Russia
E-mail: [email protected]
Ivanova Daria Alexandrovna
Kazan (Volga region) federal university, Kazan, Russia E-mail: [email protected]
The use of free-response test items and multiple-choice test items for monitoring in the course of Russian as a foreign language
Abstract. The article considers the problem of assessing the quality of knowledge of the Russian as a foreign language, in particular, the question of the reliability of control measurements made by the testing method. An experiment is described comparing the effectiveness of using test items of different types. For the experiment, the same test was used with two options for completing: free-response test items and multiple-choice test items. The purpose of these tests is to control the assimilation of language knowledge and skills. The experiment was attended by 100 students from China, studying Russian as a foreign language at the preparatory department of a Russian university at stage A2-B1.
The purpose of the experiment is to determine a more advanced method of measuring knowledge, to find out whether the quantitative indicators of the results of testing the same field of knowledge with different tools will differ and how significant the differences will be. To interpret the results, methods of statistical analysis are used.
The article provides statistics on the successful/unsuccessful passage of two tests with identical stem, one of which is free-response test items and the other is multiple-choice test items. The experiment showed a stable correlation between test results and types of test items.
A comparison of the quantitative indicators of the results of these tests indicates greater objectivity and reliability of the results of free-response test items. It is concluded that the use of free-response test items better ensures the achievement of the goals of current control.
Keywords: Russian as a foreign language; free-response test items; open-response test items; multiple-choice test items; learning control; pedagogy test
