CC BY
17
УДК 811.161.1:376.68:004.42
Северо-Западн ый государственн ый
медицинский университет
им. И.И. Мечникова
кандидат филологических наук,
доцент кафедры русского языка
Шехватова А.Н.
Россия, г. Санкт-Петербург,
North-Western State Medical University named after I.I. Mechnikov
The chair of Russian language PhD, associate professor Shekhvatova A.N. Russia, St.-Petersburg,
тел. 89112627438
tel. 89112627438
e-mail: arina_sheh@mail.ru
e-mail: arina_sheh@mail.ru
А.Н. Шехватова
ОЦЕНКА КАЧЕСТВА ТЕСТОВ ПО РУССКОМУ ЯЗЫКУ ДЛЯ ИНОСТРАННЫХ
СТУДЕНТОВ В СДО MOODLE
В статье анализируется опыт использования тестового модуля системы дистанционного обучения Moodle в практике преподавания русского языка иностранным студентам. Рассматриваются вопросы анализа качества тестовых заданий с учетом показателей индекса лёгкости, стандартного отклонения, индекса дискриминации и эффективности дискриминации, представленных в статистических отчетах Moodle. В статье обращается внимание на сложности интерпретации некоторых показателей качества заданий в тестах по русскому языку, предназначенных для иностранных студентов. Приводятся рекомендации по оптимизации работы с тестами и тестовыми заданиями по русскому языку для иностранных студентов с разным уровнем языковой подготовки. По результатам апробации тестового модуля Moodle в практике изучения дисциплины «Иностранный язык (русский)» на кафедре русского языка СЗГМУ им. И.И. Мечникова предложены варианты настройки теста в зависимости от задачи, которую призван решить тест по замыслу его составителя. В статье отмечается высокая эффективность использования тестового модуля Moodle в практике преподавания русского языка иностранным студентам. Делается вывод о необходимости регулярной работы со статистическими показателями обработки результатов тестирования и качества тестовых заданий для повышения эффективности использования тестов при изучении РКИ.
Ключевые слова: система дистанционного обучения Moodle, русский язык как иностранный, тестовый модуль, статистические показатели.
The article analyzes the experience of using the test module of the LMS Moodle in the practice of teaching Russian language in international groups. The author considers the issues of analyzing the quality of test tasks taking into account the indicators of facility index, standard deviation, discrimination index and discrimination efficiency presented in Moodle statistical reports. The article draws attention to the difficulty of interpreting some quality indicators of test items and provides recommendations on optimizing the work with tests and test items in Russian for foreign students. The author gives recommendations on optimizing the work with tests and test items in the Russian language for foreign students with different levels of language training. According to the results of testing the Moodle test module in the practice of studying the discipline "Foreign Language (Russian)" at the chair of Russian language of North-Western State Medical University named after I.I. Mechnikov proposed test setup options depending on the task that the test is intended to solve according to the plan of the compiler. The article notes the high efficiency of using the test module of Moodle in the practice of teaching Russian to foreign students. The conclusion is drawn about the need for regular work with statistical indicators of processing test results and the quality of test tasks in order to increase the efficiency of using tests in studying Russian as a foreign language.
© Шехватова А.Н., 2020
A.N. Shekhvatova
QUALITY ASSESSMENT OF TESTS IN RUSSIAN LANGUAGE FOR FOREIGN STUDENTS IN LMS MOODLE
Key words: the LMS Moodle system, Russian as a foreign language, test module, statistical measures.
В Северо-Западном государственном медицинском университете им. И.И. Мечникова, как и во многих других российских медицинских вузах, по профессиональным образовательным программам специалитета «Лечебное дело», «Медико-профилактическое дело» и «Стоматология» на русском языке наряду с российскими студентами проходят обучение иностранные учащиеся. Образовательные программы предусматривают изучение студентами иностранного языка, которым для иностранных студентов является русский язык. На кафедре русского языка СЗГМУ им И.И. Мечникова русский язык изучают иностранные студенты из стран дальнего и ближнего зарубежья с уровнем владения русским языком не ниже первого сертификационного уровня В1. Учебный план предусматривает частичное применение в учебном процессе электронного обучения, которое реализуется в СЗГМУ им. И.И. Мечникова на платформе динамической обучающей среды Moodle.
Работа по внедрению в учебный процесс обучающих возможностей Moodle для поддержки очного обучения по дисциплине «Иностранный язык (русский)» ведется на кафедре русского языка с 2014 года. «Использование системы дистанционного обучения Moodle в практике преподавания русского языка иностранным студентам при смешанном обучении показало ее эффективность и востребованность в условиях модернизации обучения РКИ» [ 1; с. 227]. Коллективом кафедры разработана система использования учебных материалов, тренировочных заданий и тестов, размещенных в электронном разделе кафедры, в ходе учебного процесса. В результате апробации различных вариантов сочетания элементов электронного обучения с традиционной формой аудиторной работы студентов и преподавателя при смешанном обучении и анализа данных отчетов системы Moodle, позволяющих отслеживать активность пользователей при работе в системе с различными элементами, из всего набора инструментов обучения Moodle наибольший процент применения получил аппарат тестирования системы Moodle.
Тестовый модуль Moodle позволяет создавать тесты различной структуры с большим набором настроек для решения конкретных учебных целей. Для наполнения тестов создается банк тестовых заданий, которые могут быть сгруппированы по различным темам. В нашем случае банк тестовых заданий включает более 1000 заданий по всем темам, предусмотренным рабочей программой. Система настроек теста позволяет составителю выбирать вариант представления теста.
Опыт использования тестов с различными настройками показал, что для тренировочных учебных тестов по РКИ для студентов оптимальным оказался тест с фиксированным порядком вопросов (вопросы можно расположить в порядке возрастания сложности или в соответствии с порядком изучения темы на практическом занятии), свободным порядком ответов (при повторном выполнении теста исключается «механический» выбор ответа), возможностью увидеть правильный ответ для каждого вопроса сразу после его решения, неограниченным количеством попыток и временем прохождения теста, небольшой задержкой между попытками. Для контрольных тестов предпочтительны другие настройки: свободный порядок вопросов в тесте и ответов к каждому вопросу, возможность просмотра правильного ответа только по окончании выполнения теста, ограниченное количество попыток и фиксированное время выполнения теста, принудительная задержка между попытками и запрет на всплывающие окна. Вопросы открытого типа предпочтительно использовать в тренировочных тестах, но нежелательно в контрольных тестах из-за высокой вероятности опечаток при наборе учащимися ответа и недостаточного знания иностранными студентами орфографических норм русского языка (предугадать все возможные орфографические ошибки в ответе для автоматической оценки ответа достаточно сложно [2; с. 15]). В тестах по русскому языку как иностранному, созданных с целью контроля успешности освоения учащимися учебного
материала, высокую эффективность показали вопросы с множественным выбором (выбор одного или нескольких вариантов ответа из предложенного списка).
Система Moodle оснащена многоуровневой системой обработки результатов тестирования. В ходе аналитической работы со статистическим материалом результатов тестирования, преподаватель имеет возможность оценить уровень знаний студентов, а составитель тестов получает возможность оценить качество всего теста и каждого вопроса в отдельности с точки зрения его эффективности для достижения запланированных учебных целей. Общая статистика ответов показывает соотношение количества участников с результатами выполнение теста.
О цен кэ
Рис. 1. График количества студентов, получивших оценки в диапазонах
В настройках отчета можно указать группу тестируемых или отдельный период, выбрать интересующие параметры. Программа позволяет для каждого теста посмотреть показатели по всем вопросам теста и для любого тестового вопроса сформировать отчет по частоте выбора каждого варианта ответа.
Система управления курсами СЗГМУ им. Мечникова ВТ 1 » [ЦАрина Николаевна » |
1" Русский (ni) ► «Мои курсы» & Этот курс ►
Тест Затраченное В. 1 В. 2 В. 3 В. 4 В. 5 В. 6 В. 7 В. 8 В. 9 В. 10 В. 11
начат Завершено время Оценка/43,00 /1,00 /1,00 /1,00 /1,00 /1,00 /1,00 /1,00 /1,00 /1,00 /1,00 /1,1 к
25 ноябрь 2019 25 Ноябрь 2019 16:55 45 МИН. 6 40,00 сек. •</1,00 </1,00 «✓1,00 ходю ✓ 1,00 ✓ 1,00 ✓ 1,00 ✓ 1,00 ✓ 1,00 ✓ 1,00 VI,'
16:10
27
ноябрь 2019 27 Ноябрь 2019 19:10 6 МИН. 29 43,00 сек. «✓1,00 .✓1,00 ^1,00 ✓ 1,00 ✓ 1,00 ✓ 1,00 ✓ 1,00 ✓ 1,00 ✓ 1,00 ✓ 1,00 ✓1.
19:04
27 27 Ноябрь 2019 19:50
Ноябрь 2019 9 мин. 3 сек. 42,00 «/1,00 <✓1,00 «/1,00 ✓ 1,00 ✓ 1,00 ✓ 1,00 ✓ 1,00 ✓ 1,00 ✓ 1,00 ✓ 1,00 VI,
19:41
28
Ноябрь 2019 28 Ноябрь 2019 02:45 45 мин. 9 40,00 сек. хо,оо •✓1,00 ✓ 1,00 ✓ 1,00 ✓ 1,00 ✓ 1,00 ✓ 1,00 хо.00 ✓ 1,00 ✓ 1,00 VI,
02:00 Bjjjjjjj ■ []
1
28
Ноябрь 28 Ноябрь "?П1 Q OQ-47 13 мин. 40 rw 39,00 ✓ 1,00 1 .СП ✓ 1,00 ✓ 1,00 ✓ 1,00 ✓ 1,00 ✓ 1,00 ✓ 1,00 ✓ 1,00 ✓ 1,00 КО,.
Рис. 2. Развернутые показатели выполнения теста по заданным параметрам
На этом уровне статистические данные отражают общие показатели, удобные для обработки результатов, оценки валидности теста, процентного соотношения оценок за тест, продолжительности работы с тестом, статистической оценки сложности вопросов и т.д. Сформировать отчет по тесту можно для каждого студента (для каждой попытки) или для каждого вопроса теста.
тшШшМиЕГ
В1НДДН1 Ю
ШШЁШ0
Е5Р]ЩИИВН
Г22][зз [zTI [25] 26 ГгТ] 2S|
|Ц| ^^ ^^ ^^ ^^ ^^ ^^
И й st ш ®n ш г«]
[43] [44] [45] [4в] [47] [48] [49]
Отображать все вопросы на одной
странице
Закончить обзор
U
Тест начат Четверг, 8 Декабрь 2016, 11:27
Состояние Завершенные
Завершен Четверг, 8 Декабрь 2016, 11:56
Прошло времени 28 мин. 21 сек.
Оценка 47,00 из 56,00 (84%)
Отзыв Хорошо!
Поздравляем!
Вопрос 1.
Верно
Баллов: 1Г00 из 1,00
г
Редактировать вопрос
ili НАВИГАЦИЯ
0 й
Что должно быть на месте пропуска в предложении?
... число лейкоцитов по сравнению с эритроцитами невелико, нх роль в гомеостазе у здороЕых лквден незначительна.
Выберите один отве^^И В результате этого В связи с тем, что«' В связи с этим Поэтому Из-за этого
Рис. 3. Анализ прохождения теста конкретным испытуемым
В отношении тестов, которые используются для контроля знаний студентов, изучающих русский язык как иностранный, все перечисленные отчеты отображают объективную картину выполнения теста и не представляют сложности для интерпретации показателей. Статистический инструментарий Moodle предоставляет также средства статистического анализа сложности отдельных тестовых вопросов для обучающихся. Для каждого теста возможен расчет статистики структуры теста, вопросов и анализ данных ответов по нескольким показателям.
Название вопроса Попытки Индекс легкости Стандартное отклонение Балл случайного угадывания Намеченный вес Эффективный вес Индекс дискриминации Эффективность дискриминации
Грамматика:
причинно-следств. отношения. 343 96.50% 18.40% 20.00% 1,79% 1.61% 21.64% 42.62%
№ 1
Грамматика:
причинно-сл едств. отношен ия. 343 93.00% 25.55% 20.00% 1,79% 2.00% 22.98% 35.25%
№ 10
Грамматика:
причинно-сл едств. отношения. 343 92.71% 26.03% 20.00% 1,79% 2.20% 28.60% 43.08%
№ 11
Рис. 4. Анализ структуры теста
Для оценки качества вопроса наиболее показательны параметры индекса лёгкости, стандартного отклонения, индекса дискриминации и эффективности дискриминации.
Эти показатели позволяют оценить сложность отдельных тестовых вопросов для обучающихся и их эффективность для решения задачи педагогической оценки. Практика обработки этих показателей для тестов по русскому языку как иностранному выявила ряд особенностей в их интерпретации. Трактовка данных статистических отчетов должна учитывать специфику учебной дисциплины и педагогическую задачу теста (обучающая или контролирующая).
Учет показателя индекса «лёгкости» (отношение среднего значения баллов, набранных всеми тестируемыми при выполнении этого вопроса, к максимальному количеству баллов за этот вопрос) напрямую зависит от задач теста. Этот показатель фиксирует, насколько тестовый вопрос является лёгким или трудным для тестируемых. Для обучающего тренировочного теста по русскому языку как иностранному высокий показатель «лёгкости» вопроса не может быть однозначным аргументом для замены тестового вопроса, поскольку обучающийся должен пройти поэтапно изучаемую тему с нарастанием сложности вопросов. В контрольном тесте вопросы с максимальным индексом «лёгкости» малоэффективны для оценки знаний учащихся. Высокий индекс «лёгкости» может свидетельствовать о неудачном выборе дистракторов.
Показатель «Стандартное отклонение» вопроса измеряет разброс баллов, полученных при ответе на него. Считается, что вопрос с нулевым (все испытуемые ответили на вопрос одинаково) или близким к нулю индексом не может считаться тестовым и должен исключаться из теста [3; с. 89]. Это справедливо для контрольных тестов, но для обучающих тестов по русскому языку как иностранному при расположении тестовых вопросов в порядке нарастания сложности допустим среди первых (базовых) вопросов теста.
Наибольшую сложность вызывает трактовка параметров индекса и коэффициента дискриминации (в Moodle приводятся в процентном представлении), которые при подсчете учитывают способность вопроса разделить тестируемых на три группы (по 1/3 от общего количества тестируемых): хорошо подготовленных, средних и слабо подготовленных по общему результату тестирования с учетом всех вопросов. В специальной литературе рекомендуется исключать из тестов задания с индексом дискриминации менее 30%. Иностранные студенты, изучающие русский язык, должны иметь уровень владения русским языком не ниже первого сертификационного уровня В1, однако, если нижняя граница уровня владения языком установлена, то верхняя граница не нормируется. В одной группе могут учиться студенты с различным уровнем владения языком, этот фактор окажет значительное влияние на показатели индекса и коэффициента дискриминации и будет свидетельствовать о разном уровне владения языком, но помешает объективному разделению тестируемых по уровню подготовки относительно программы изучаемой дисциплины и объективной оценке качества вопроса.
Использование тестового модуля Moodle в практике преподавания русского языка иностранным студентам показало его высокую эффективность и значительный потенциал для расширения сферы применения обучающих возможностей Moodle в учебном процессе. Образовательная платформа Moodle позволяет «модернизировать текущий процесс обучения РКИ в российском вузе, значительно повысив его эффективность» [4; с. 14]. Возможность проверить и оценить в сжатые сроки, очно или дистанционно, уровень знаний у большого количества обучающихся является существенным аргументом для активного внедрения тестового контроля на базе Moodle в учебный процесс. Однако возможность эффективной оценки знаний студентов при помощи тестов в системе Moodle при изучении русского языка как иностранного непосредственно зависит от качества тестовых заданий и корректной интерпретации, формируемых Moodle в виде отчетов, статистических показателей качества тестовых заданий.
Работа по корректировке и актуализации банка тестовых заданий должна вестись с учетом обработки результатов прошедших тестирований и оценки качества каждого тестового задания с точки зрения его вклада в решаемую тестом задачу педагогической оценки. При
корректировке тестовых заданий по возможности следует учитывать, какой уровень владения языком имеют студенты, которым предстоит тестирование. К сожалению, не всегда это представляется возможным в связи со сроками утверждения банка оценочных средств и сроками комплектования групп. Частично проблему разных уровней владения языком среди студентов одной группы можно решить включением в тест заданий с различным индексом сложности. Сложность корректировки тестов обусловлена также необходимостью накопления достаточной базы для репрезентативной статистики. Оценка статистики результатов тестирования немногочисленной группы иностранных студентовне даст достаточных данных для определения качества тестовых заданий. В любом случае рекомендуется проводить пилотные тестирования после каждого изменения теста, оценку их результатов и статистики качества тестовых заданий.
Библиографический список
1. Шехватова А.Н. Использование системы дистанционного обучения MOODLE в практике преподавания русского языка иностранным студентам // Русский язык в полиэтническом образовательном пространстве военного вуза: Материалы II Межвузовской научно-методической конференции. 12 декабря 2019 года / Под ред. Н.В. Давыдовой, Н.Ю. Васильевой. СПБ.: ВАС, 2019. С. 224-229.
2. Бирюкова М.В., Мамонтов Д.П., Сычев О.А. Определение опечаток в ответе студента на тестовый вопрос при известном правильном ответе // Открытое образование. 2015. № 5 (112). С. 11-15.
3. Нестеров С.А., Сметанина М.В. Оценка качества тестовых заданий средствами среды дистанционного обучения MOODLE // Научно-технические ведомости Санкт-Петербургского государственного политехнического университета. Информатика. Телекоммуникации. Управление. 2013. № 5 (181). С. 87-92.
4. Богомолов А.Н. Научно-методическая разработка виртуальной языковой среды дистанционного обучения иностранному (русскому) языку: автореферат диссертации на соискание ученой степени доктора педагогических наук. Москва: МГУ им. М.В. Ломоносова, 2008. 46 с.
References
1. Shekhvatova A.N. Using the Learning Management System Moodle in the practice of teaching Russian in international groups // Russian language in the multiethnic educational space of a military university. St.-Petersburg, 2019. P. 224-229.
2. Biryukova M.V., Mamontov D.P., Sychev O.A. Definition of misprints in answers of a student knowing the correct test answer //Open education. 2015. Vol. 5 (112). P. 11-15.
3. Nesterov S.A., Smetanina M.V. Quality evaluation of test tasks in the Learning Management System Moodle // Scientific and technical statements of St. Petersburg State Polytechnic University. Computer sciences. Telecommunications. Control. 2013. Vol. 5 (181). P. 87-92.
4. Bogomolov A.N. Scientific and methodological development of the virtual language environment for distance learning a foreign (Russian) language: an abstract of a dissertation for the degree of Doctor of Pedagogical Sciences. Moscow State University named after M.V. Lomonosov, 2008. 46 p.
