Оценка результатов внедрения в балльно-рейтинговую систему элементов компьютерного тестирования Текст научной статьи по специальности «Науки об образовании»

Фаткуллин Н. Ю. Оценка результатов внедрения в балльно-рейтинговую систему элементов компьютерного тестирования / Н. Ю. Фаткуллин // Научный диалог. — 2016. — № 12 (60). — С. 426—435.

Fatkullin, N. Y. (2016). Assessment of Results of Implementation of Computer-Based Test Elements in Point-Rating System. Nauchnyy dialog, 12(60): 426-435. (In Russ.).

ERIHJMk

ULRICHS P i ( : м\ : •: ( гсжч

Журнал включен в Перечень ВАК

УДК 371.261:004

Оценка результатов внедрения в балльно-рейтинговую систему элементов компьютерного тестирования

© Фаткуллин Николай Юрьевич (2016), кандидат экономических наук, заведующий кафедрой математики, ФГБОУ ВО «Уфимский государственный нефтяной технический университет» (Уфа, Россия), nick_idpo@mail.ru.

Рассматриваются вопросы своевременной, всесторонней и объективной фиксации результатов учебной деятельности каждого обучающегося. Утверждается необходимость разработки системы оценивания учебных достижений. По результатам сопоставительного анализа научной литературы и исследований в этой области установлено, что в настоящее время наиболее эффективной системой такого рода является балльно-рейтинговая система. Особое внимание при этом уделяется наличию отдельных элементов субъективизма в процессе непосредственного оценивания преподавателем результатов отчетных работ обучающихся. В условиях реализации личностно-ориентированного подхода в учебном процессе подобные факторы, несомненно, подлежат устранению или минимизации. Показано, что одной из действенных мер является включение в состав отчетных работ балльно-рейтинговой системы процедур компьютерного тестирования. Научная новизна исследования видится в том, что предлагается рассмотрение двойной функции данных процедур. Во-первых, они обеспечивают повышение объективности итоговой оценки. Во-вторых, они выступают критерием объективности оценочной деятельности преподавателя. Методами математической статистики проверена гипотеза о согласованности результатов оценивания деятельности обучающихся преподавателем и результатов оценки успешности обучения студентов посредством применения компьютерных технологий. Установлено, что в целом процедуры компьютерного тестирования вполне органично включены в действующую балльно-рейтинговую систему.

Ключевые слова: личностно ориентированный подход; обучающийся; результаты учебной деятельности; оценивание; балльно-рейтинговая система; тестирование.

1. Введение

Балльно-рейтинговая система (далее — БРС) является в настоящее время одним из самых эффективных инструментариев при реализации личност-но-ориентированного подхода к учету и оценке учебных достижений обучающихся [Богдан, 2010, с. 42; Федоров, 2014, с. 2740]. Фактически в этой системе происходит детальный учет индивидуальных достижений, выражаемый, как правило, в баллах. Изначально предполагается, что оценивание достижений обучающихся будет беспристрастно и объективно [Далингер, 2007, с. 44; Трубилин и др., 2016, с. 1039], система учета и построения итоговой оценки будет положительно мотивировать обучающихся [Борисова и др., 2014, с. 27; Будаев, 2010, с. 51; Вохминцева и др., 2007, с. 32]. В то же время на практике нередки проявления субъективизма со стороны преподавателей, причем совершенно разного рода, как правило, отрицательно влияющие на мотивацию обучающихся к освоению научных дисциплин [Мамаева и др., 2015, с. 51; Плахотникова и др., 2011, с. 154—155; Фаткуллин и др., 2016, с. 153]. С учетом этого обстоятельства представляется вполне логичным осуществить сочетание ручной и компьютерной проверки знаний обучающихся. В то же время полная замена квалифицированного и добросовестного труда преподавателя компьютерной процедурой не есть сама по себе гарантия успеха, так как задания в составе теста могут иметь низкие валидность, репрезентативность и т. п. по данной научной дисциплине [Вайндорф-Сысоева и др., 2016, с. 27; Фаткуллин и др., 2009, с. 4]. Именно поэтому, на наш взгляд, в органичном сочетании разных форм оценки в БРС и может формироваться объективная система контроля и оценки.

2. Постановка задачи

В данном исследовании за основу были приняты данные БРС, функционирующей на кафедре математики Уфимского государственного нефтяного технического университета (УГНТУ), а именно результаты обучения четырех учебных групп бакалавров двух факультетов на основании индивидуальных данных каждого из студентов по итогам первого семестра. В течение семестра данные группы согласно единому унифицированному календарному плану должны были выполнить три расчетных задания (далее — РЗ), три аттестационных тестирования (далее — АТ) и две лабораторные работы (далее — ЛР). Распределение баллов по данным видам отчетных работ БРС и последовательность их выполнения обучающимися приведены далее (табл. 1).

Отметим тот факт, что по решению методического совета кафедры математики прием РЗ должен осуществляться путем компьютерного те-

Таблица 1

Содержание учебных модулей дисциплины «Математика» для обучающихся очной формы обучения в 1 семестре

№ модуля Содержание модуля Отчетная работа Количество баллов максимальное

1 Линейная и векторная алгебра. Аналитическая геометрия. Расчетные задания № 1 (РЗ_1) 10

Лабораторная работа № 1 (ЛР_1) «Решение систем линейных уравнений методом Гаусса» 5

Аттестационное тестирование № 1 (АТ_1) 20

2 Введение в математический анализ. Дифференциальное исчисление функции одной переменной. Расчетные задания № 2 (РЗ_2) 10

Аттестационное тестирование № 2 (АТ_2) 20

3 Дифференциальное исчисление функции нескольких переменных. Расчетные задания № 3 (Р3_3) 10

Лабораторная работа № 2 (ЛР_2) «Метод наименьших квадратов» 5

Аттестационное тестирование № 3 (АТ_3) 20

стирования, а проверка АТ — в ручном режиме преподавателем, ведущим практические занятия. Таким образом, из данных таблицы 1 следует, что выполнение трех РЗ по 10 баллов максимум каждое составляет 30 % от 100 максимальных рейтинговых баллов в семестр.

Целью данного исследования являлась проверка педагогической гипотезы о согласованности средств объективного контроля (компьютерного тестирования) и традиционной ручной проверки отчетных работ по БРС преподавателями кафедры. Целесообразность введения элементов компьютерного тестирования в систему БРС, на наш взгляд, можно оценить по степени согласованности результатов тестирования и следующих за ними по календарному плану результатов выполнения АТ. Предполагается, что в случае, когда проверка методами математической статистики установит согласованность результатов, то с определенной долей уверенности можно говорить о том, что роль выполнения РЗ как подготовки к АТ достигнута и объективность деятельности преподавателя в ручной проверке результатов АТ также подтверждена. В противном случае необходимо выполнить ана-

лиз выявленных несоответствий и произвести корректирующие действия в отношении содержания и форм проведения отчетных работ.

3. Экспериментальное исследование

В условиях функционирования БРС, описанной выше, в исследовании принимали участие две группы бакалавров одного факультета по 29 человек и две группы бакалавров другого факультета по 26 человек в каждой, завершившие изучение дисциплины «Математика» в первом семестре (табл. 2). Таким образом, согласно положениям математической статистики, данные группы как выборки не являются малыми по своим объемам [Гмурман, 2012, с. 189]. Репрезентативность данных обеспечивалась случайностью выбора факультета и групп [Граничина, 2012, с. 10; Дьячук, 2013, с. 50].

На первоначальном этапе по данным БРС для каждой из рассматриваемых групп была установлена нормальность распределения их рейтинговых баллов (рис. 1) путем построения гистограмм распределения частот итоговых рейтинговых баллов. Кроме того, отдельно была проверена однородность групп парным 1-критерием Стьюдента, который определяет значимость различий средних в выборках при заданном уровне ошибки I рода в условиях равенства или неравенства групповых дисперсий значений рейтингового балла [Гмурман, 2012, с. 303].

Таблица 2

Фрагмент данных БРС по учебной группе № 2

Отчетная работа Р.З. 1 Л.Р.№ 1 АТ 1 Р.З. 2 АТ 2 Р.З. 3 Л.Р.№ 2 АТ 3 Макс. сумма

\ Макси-\мальный \ балл № \ обучаю-\ щегося \ 10 5 20 10 20 10 5 20 100

1 8 5 9 4 18 10 4 16 74,0

2 7 5 10,5 9 18 8 2 16 77,5

3 4 1 6 4 10 3 10 38,0

27 7 1 17 7,7 20 8 2 15 77,7

28 5 5 14 2,3 14 1 2 17 60,3

29 8 5 11,5 8,2 16 5 3,5 15 75,2

12

п

1 8 Ш 0 1 6

ж

л 1

I 2 " - -

Менее 55 56-71 72-83 Более 83 Величина рейтингового балла

Рис. 1 Гистограмма распределения частот итоговых рейтинговых баллов

На следующем этапе была проверена выдвинутая педагогическая гипотеза о согласованности индивидуальных результатов обучающихся по данным БРС как по результатам сдачи РЗ в форме компьютерного тестирования, так и следующего за ним аттестационного тестирования, проверяемого преподавателем вручную.

4. Результаты исследования

По результатам статистической проверки для обеих учебных групп первого факультета установлено (табл. 3), что во всех трех случаях сравнения результатов соответствующих РЗ и АТ выполнялось условие

1т I <1

, что указывает на принятие гипотезы о согласованности результатов обеих отчетных работ [Там же, с. 316] и объективности ручной проверки, проводимой преподавателем. Аналогичные результаты были получены и для групп второго факультета.

На следующем этапе была подвергнута проверке согласованность результатов обеих учебных групп отдельно по каждому факультету, как по одним и тем же расчетным заданиям, так и по аттестационным тестированиям (табл. 4). Результаты статистического анализа вновь указывают на согласованность итогов.

На заключительном этапе проверим согласованность результатов компьютерного тестирования, сравнивая попарно индивидуальные результаты обучающихся одной и той же учебной группы по каждому из трех тестирований по РЗ 1, 2, 3 (табл. 5).

Таблица 3

Двухвыборочный 1-тест с различными дисперсиями группы № 2

Характеристика Проверка Проверка Проверка

РЗ1 АТ 1 РЗ2 АТ 2 Р33 АТ 3

Среднее 0,55 0,58 0,63 0,64 0,73 0,69

Дисперсия 0,07 0,04 0,03 0,1 0,09 0,06

Наблюдения 29 29 29 29 29 29

Тнаблюдаемое -0,53 -0,21 0,52

1 критическое одностороннее 1,67 1,68 1,67

1 критическое двухстороннее 2,00 2,01 2,01

Таблица 4

Двухвыборочный 1-тест с различными дисперсиями групп №№ 1, 2

Характеристика РЗ1 АТ 1

Группа № 1 Группа № 2 Группа № 1 Группа № 2

Среднее 5,07 5,52 12,94 11,69

Дисперсия 6,74 6,97 17,80 16,94

Наблюдения 29 29 29 29

Тнаблюдаемое -0,66 1,169

1 критическое одностороннее 1,67 1,67

1 критическое двухстороннее 2,00 2,00

Таблица 5

Двухвыборочный 1-тест с различными дисперсиями группы № 2

Характеристика Проверка Проверка Проверка

РЗ1 РЗ2 РЗ2 Р33 РЗ1 Р33

Среднее 5,52 6,31 6,31 7,54 5,52 7,54

Дисперсия 6,97 3,27 3,27 6,93 6,97 6,93

Наблюдения 29 29 29 29 29 29

Тнаблюдаемое -1,33 -2,04 -2,89

1 критическое одностороннее 1,68 1,68 1,67

1 критическое двухстороннее 2,01 2,01 2,01

Анализ результатов показал, что для учебной группы № 2 условие

|^набл.| "^двусг.крит. выполняется при попарном сравнении лишь РЗ 1 и РЗ 2. В то же время для той же учебной группы при попарном сравнении РЗ 2

и РЗ 3, а также РЗ 1 и РЗ 3 условие |ТНабл.| "^двуст.крит. не выполняется, так как |-2,04|>2,01 и |-2,89| >2,01. Второе обстоятельство указывает на тот факт, что средние значения рейтинговых баллов этих отчетных работ БРС отличаются значимо и случайными факторами их объяснить нельзя [Там же, с. 286]. Иначе говоря, результаты РЗ 3 не согласуются с результатами предыдущих двух тестирований, и, следовательно, встает вопрос о ее кор -ректировке в дальнейшем.

5. Выводы

Таким образом, в ходе проведенного исследования установлено, что:

(1) рассматриваемые учебные группы имеют нормальное распределение итоговых рейтинговых баллов в действующей БРС и попарно однородны между собой по величине среднего рейтингового балла;

(2) результаты выполнения обучающимися обеих групп соответствующих РЗ и АТ согласуются между собой, то есть различия незначимы; данный факт может являться подтверждением того, что проверки, выполняемые в ручном формате, и проверки на основе компьютерного тестирования согласуются между собой, следовательно, компьютерный контроль и ручную проверку можно считать объективными, так как признаки субъективизма методами статистического анализа в данном случае не выявлены;

(3) согласованность результатов компьютерной и ручной проверок указывают на неконфликтное сочетание средств человеческого и машинного контроля;

(4) сопоставление результатов тестирования между собой указывает на то, что тестирования по РЗ 1 и РЗ 2 согласованы между собой и в то же время не согласуются с результатами РЗ 3. Данное обстоятельство указывает на необходимость коррекции, предположительно, именно РЗ 3, что требует проведения дополнительных исследований.

Литература

1. Богдан Н. В. Бально-рейтинговая система как метод оценки качества образования в вузе / Н. В. Богдан // Вестник ЮУрГУ. — 2010. — № 3. — С. 42—45.

2. Борисова Ю. Г. Применение балльно-рейтинговой системы в технических университетах при изучении курса «Химия» / Ю. Г. Борисова, Н. Н. Михайлова, А. А. Богомазова // История и педагогика естествознания. — 2014. — № 4 — С. 26—28.

3. Будаев В. Д. О трудностях перехода на балльно-рейтинговую систему оценки знаний студентов / В. Д. Будаев // Universum : Вестник Герценовского университета. — 2010. — № 10 — С. 51—54.

4. Вайндорф-Сысоева М. Е. Сравнительный анализ рейтинговых показателей обучающихся при тестовой форме контроля на примере дисциплины «Математика» / М. Е. Вайндорф-Сысоева [и др.] // Вестник Южно-Уральского государственного университета. Серия : Образование. Педагогические науки. — 2016. — Т. 8. — № 3. — С. 26—38.

5. Вохминцева Л. В. Рейтинговая система в современном образовательном процессе / Л. В. Вохминцева [и др.] // Успехи современного естествознания. — 2007. — № 5 — С. 32.

6. ГмурманВ.Е. Теория вероятностей и математическая статистика / В. Е. Гмурман. — Москва : Юрайт, 2012. — 480 с.

7. Граничина О. А. Математико-статистические методы психолого- педагогических исследований / О. А. Граничина. — Санкт-Петербург : Изд-во ВВМ, 2012. — 115 с.

8. Далингер В. А. Совершенствование процесса подготовки будущих учителей на основе модульно-рейтинговой системы / В А. Далингер // Успехи современного естествознания. — 2007. — № 3. — С. 43—44.

9. Дьячук А. А. Математические методы в психологических и педагогических исследованиях: учебное пособие / А. А. Дьячук. — Красноярск : Красноярский гос. пед. ун-т им. В. П. Астафьева, 2013. — 347 с.

10. Мамаева Н. А. Педагогическая модель формирования учебной мотивации студентов технических вузов в процессе изучения математики / Н. А. Мамаева, В. Д. Львова, Д. В. Мамаева // Вестник АГТУ. — 2015. — № 1 (59) — С. 47—55.

11. Плахотникова И. В. Особенности личности преподавателя высшей школы / И. В. Плахотникова, Л. Э. Зотова // Вестник Московского государственного областного университета. Серия : Психологические науки. — 2011. — № 2. — С. 149—156.

12. Трубилин А. И. Система оценки знаний и рейтингового тестирования студентов / А. И. Трубилин, О. В. Григораш // Научный журнал КубГАУ — 2016. — № 116 — С. 1038—1050.

13. Фаткуллин Н. Ю. Выявление особенностей процесса индивидуального оценивания учащихся преподавателем на основе ассоциативной модели педагогической прогностики / Н. Ю. Фаткуллин, В. Ф. Шамшович, М. Е. Вайндорф-Сысо-ева // Вестник Московского государственного областного университета. Серия : Педагогика. — 2016. — № 2. — С. 151—163.

14. ФаткуллинН. Ю. Процедура анализа вариаций основной компоненты базы данных тестовых заданий методами нейросетевых технологий / Н. Ю. Фаткуллин, В. Ф. Шамшович, А. А. Галлямов // Педагогические и информационные технологии в образовании. — 2009. — № 8. — С. 4—8.

15. Федоров Р. Ю. Модель формирующего оценивания в структуре балльно-рейтинговой системы и условия ее реализации в вузе / Р. Ю Федоров // Фундаментальные исследования. — 2014. — № 11—12. — С. 2740—2744.

Assessment of Results of Implementation of Computer-Based Test Elements in Point-Rating System

© Fatkullin Nikolay Yuryevich (2016), PhD in Economics, Head of Department, Department of Mathematics, Ufa State Petroleum Technological University (Ufa, Russia), nick_idpo@ mail.ru.

The issues of timely, comprehensive and objective fixing of the learning outcomes of each student are covered. The need to develop a system of evaluation of educational achievements is proved. According to the results of the comparative analysis of scientific literature and research in this area it is found that by the time the most efficient system of this kind is a point-rating system. Special attention is paid to the presence of some elements of subjectivity in the process of the direct teacher's assessment of the results of the accounting work of students. In the conditions of realization of person-centered approach in the educational process these factors will undoubtedly be subject to elimination or minimization. It is shown that one of the most effective measures is the inclusion of computer-based testing procedures in the reporting works of point-rating system. Scientific novelty of research consists in that we propose consideration of the dual functions of these procedures. Firstly, they increase the objectivity of the final grade. Secondly, they act as the criterion of objectivity of the evaluation activities of the teacher. Methods of mathematical statistics test the hypothesis of consistency of the results of the teacher's activities on assessment of students with assessment of the learning success of students through the use of computer technologies. It is established that in general, the procedures of computer-based testing are quite naturally included in the existing point-rating system.

Key words: person-centered approach; student; results of learning activities; assessment; point-rating system; testing.

References

Bogdan, N. V. 2010. Balno-reytingovaya sistema kak metod otsenki kachestva obra-

zovaniya v vuze. Vestnik YuUrGU, 3: 42—45. (In Russ.). Borisova, Yu. G., Mikhaylova, N. N. Bogomazova, A. A. 2014. Primeneniye ballno-reytingovoy sistemy v tekhnicheskikh universitetakh pri izuchenii kursa «Khimiya». Istoriya ipedagogikayestestvoznaniya, 4: 26—28. (In Russ.). Budayev, V. D. 2010. O trudnostyakh perekhoda na ballno-reytingovuyu sistemu otsenki znaniy studentov. Universum: Vestnik Gertsenovskogo universiteta, 10: 51—54. (In Russ.).

Dalinger, V. A. 2007. Sovershenstvovaniye protsessa podgotovki budushchikh uchiteley na osnove modulno-reytingovoy sistemy. Uspekhi sovremennogo yestestvoznaniya, 3: 43—44. (In Russ.). Dyachuk, A. A. 2013.Matematicheskiye metody vpsikhologicheskikh ipedagogicheskikh issledovaniyakh. Krasnoyarsk: Krasnoyarskiy gos. ped. un-t im. V. P. As-tafyeva. (In Russ.).

Fatkullin, N. Yu., Shamshovich, V. F., Gallyamov, A. A. 2009. Protsedura analiza vari-atsiy osnovnoy komponenty bazy dannykh testovykh zadaniy metodami neyrosetevykh tekhnologiy. Pedagogicheskiye i informatsionnyye tekhnolo-gii v obrazovanii, 8: 4—8. (In Russ.).

Fatkullin, N. Yu., Shamshovich, V. F., Vayndorf-Sysoyeva, M. E. 2016. Vyyavleniye osobennostey protsessa individualnogo otsenivaniya uchashchikhsya prepo-davatelem na osnove assotsiativnoy modeli pedagogicheskoy prognostiki. Vestnik Moskovskogo gosudarstvennogo oblastnogo universiteta. Seriya: Pedagogika, 2: 151—163. (In Russ.).

Fedorov, R. Yu. 2014. Model' formiruyushchego otsenivaniya v strukture ballno-reytin-govoy sistemy i usloviya yeye realizatsii v vuze. Fundamentalnyye issledo-vaniya, 11—12: 2740—2744. (In Russ.).

Gmurman, V.E. 2012. Teoriya veroyatnostey i matematicheskaya statistika. Moskva: Yurayt. (In Russ.).

Granichina, O. A. 2012. Matematiko-statisticheskiye metody psikhologo-peda-gogicheskikh issledovaniy. Sankt-Peterburg: Izd-vo VVM. (In Russ.).

Mamayeva, N. A., Lvova, V. D., Mamayeva, D. V. 2015. Pedagogicheskaya model' formirovaniya uchebnoy motivatsii studentov tekhnicheskikh vu-zov v protsesse izucheniya matematiki. Vestnik AGTU, 1 (59): 47—55. (In Russ.).

Plakhotnikova, I. V., Zotova, L. E. 2011. Osobennosti lichnosti prepodavatelya vysshey shkoly. Vestnik Moskovskogo gosudarstvennogo oblastnogo universiteta. Seriya: Psikhologicheskiye nauki, 2: 149—156. (In Russ.).

Trubilin, A. I., Grigorash, O. V. 2016. Sistema otsenki znaniy i reytingovogo testirovani-ya studentov. Nauchnyy zhurnal KubGAU, 116: 1038—1050. (In Russ.).

Vayndorf-Sysoyeva, M. E. 2016. Sravnitelnyy analiz reytingovykh pokazateley obucha-yushchikhsya pri testovoy forme kontrolya na primere distsipliny «Matema-tika». Vestnik Yuzhno-Uralskogo gosudarstvennogo universiteta. Seriya: Obrazovaniye. Pedagogicheskiye nauki, 8 (3): 26—38. (In Russ.).

Vokhmintseva, L. V. 2007. Reytingovaya sistema v sovremennom o