CC BY
38
УДК 378.016:51 + 378.146 ББК Ч448.028.124
DOI: 10.14529/ped160303
СРАВНИТЕЛЬНЫЙ АНАЛИЗ РЕЙТИНГОВЫХ ПОКАЗАТЕЛЕЙ ОБУЧАЮЩИХСЯ ПРИ ТЕСТОВОЙ ФОРМЕ КОНТРОЛЯ НА ПРИМЕРЕ ДИСЦИПЛИНЫ «МАТЕМАТИКА»
М.Е. Вайндорф-Сысоева1, И.А. Сокова2, Н.Ю. Фаткуллин2, В.Ф. Шамшович2
1 Московский педагогический государственный университет, 2Уфимский государственный нефтяной технический университет
В проводимом исследовании выдвигается гипотеза о существовании устойчивой связи между предварительным компьютерным тестированием студентов и последующими результатами их письменных отчетных работ, проверяемых вручную. Теснота связи априори неочевидна, так как каждая из форм контроля имеет свои преимущества и недостатки различного рода. Исследование проводилось по дисциплине «Математика» для учащихся 1 курсов бакалавриата Уфимского государственного нефтяного технического университета. Основой изучения дисциплины являлись УМК и КИМ, разработанные сотрудниками кафедры. Оценка результатов производилась согласно требованиям балльно-рейтинговой системы по данной дисциплине.
Основой анализа послужили средние значения рейтинговых показателей по каждой из форм текущего контроля. Кроме того, были введены следующие оценки: суммарный и средний коэффициент успешности выполнения учащимся отчетных работ.
Под суммарным коэффициентом успешности выполнения по одному виду работ понималось число равное отношению суммы значений за каждую работу на максимальную сумму, набирающиеся за эти работы. Под средним значением коэффициента успешности понималось среднее значение суммарным коэффициентом успешности выполнения.
По результатам исследования установлено, что результаты письменного контроля имеют меньший разброс относительно среднего значения, по сравнению с результатами компьютерного тестирования, что говорит о повышении степени устойчивости уровня знаний учащихся на втором этапе проверки. В то же время среди студентов имеются те, у кого суммарные коэффициенты успешности выполнения компьютерного тестирования и письменного контроля отличаются более чем на 35 %. Данное обстоятельство может иметь в своей основе ряд причин, например повышение мотивации к достижению лучших результатов после первой «неудачной попытки», нестабильность в занятиях по дисциплине и т. п. В любом случае, данный факт есть признак несформированности, нестабильности в процессе обучения и должен являться сигналом к принятию корректирующих воздействий.
Ключевые слова: тестовая форма контроля, тестовые задания, балльно-рейтин-говая система, оценка знаний, рейтинг.
Как известно, тестирование является одной из основных форм текущего контроля знаний. Практика применения выявила ряд преимуществ и недостатков данного вида контроля знаний. Рассмотрим это на примере дисциплины «Математика» Уфимского государственного нефтяного технического университета (УГНТУ). Сотрудниками кафедры математики УГНТУ разработаны учебно-методические комплексы (УМК) и контрольно-измерительные материалы (КИМ), размещенные на сайте www.rusoil.net (рис. 1) [15-19].
Тестирование студентов проходит в компьютерной форме. Задачи берутся из банка тестов, являющихся частью (КИМ), соз-
данных сотрудниками кафедры «Математика» [15, 16, 18]. КИМ для студентов доступен на бумажном и цифровом носителях, что позволяет учащимся проработать материал самостоятельно.
Рассмотрим преимущества и недостатки тестового контроля [1, 4, 7, 8, 11, 14, 25, 26].
Во-первых, оперативность оценивания вследствие автоматизации контроля: оценка или балл выставляется после прохождения теста. И как следствие, во-вторых, оценка является более объективной, не зависящей ни от личности преподавателя, ни от отношения к обучаемому. В-третьих, экономия времени преподавателя (наличие базы тестов): препо-
Рис. 1. Сайт кафедры математики УГНТУ с размещенными УМК и КИМ
даватель тратит время на проведение тестирования, но не на проверку. В-четвертых, такая проверка может проходить после изучения одного блока (модуля).
Однако следует отметить и минусы по сравнению с письменной формой контроля [9, 10, 12].
Во-первых, в связи с тем, что тесты в закрытой форме вида «множественный выбор», предусматривают выбор ответа из списка возможных, то нередки случаи угадывания. Особенно это касается тех задач, в которых возможно подстановка ответов в условие. От этого страдает качество обучения. Наличие теоретических знаний становится вероятностной величиной. Для снижения этой негативной стороны тест должен содержать наибольшее количество предложенных ответов (как минимум 4) или быть в открытой форме.
Открытая форма теста имеет ряд особенностей при компьютерном тестировании. Компьютер может учитывать реестр букв, учет точки или запятой при написании десятичных дробей, невозможность написания таких значений как бесконечность или иррациональных чисел. Составитель теста должен учитывать этот нюанс.
Во-вторых, невозможность проверки не-
которых умений и навыков. Например: метода решения математической задачи, умений построения чертежа, рисунка.
В-третьих, студент может усвоить материал, уметь провести его анализ, выбрать правильный метод решения, но по определенным причинам допустить вычислительную ошибку. При письменной форме контроля преподаватель учитывает усвоение материала и снижает балл, но не аннулирует его полностью. При тестовом виде контроля такой студент ставится на уровень не усвоившего материал.
В-четвертых, правильность ответа зависит от выбора метода решения: например, задачи на вычисление интеграла. В результате студент может получить правильный результат, но среди предложенных ответов он не окажется. В итоге задача не засчитывается. Если же студенту предложить в условии метод решения, то тогда будет тяжело говорить о том, что сформирован навык самостоятельного поиска и выбора решения.
Таким образом, от составителя теста требуется наличие определенных навыков и умений по формированию тестов. Задания тестов должны проходить экспертную оценку на предметную чистоту, валидность и др. параметры [23, 24].
Рассмотрим особенности проверки знаний в форме тестов в письменной форме и при помощи компьютера. На кафедре «Математика» действует балльно-рейтинговая система (БРС) [22, 27], согласно которой текущий рейтинг студентов в семестре определяется по результатам выполнения им всех видов работ, предусмотренных рабочей программой дисциплины «Математика». В течение семестра за все виды работ учащийся набирает максимум 100 баллов. К рейтинговым видам работ относятся:
- расчетные задания;
- лабораторные работы;
- аттестационные тестирования.
Аттестационные тестирования (АТ) студентов проводятся во время аудиторных занятий. Каждый билет аттестационного тестирования включает тестовые задания различной
Содержание учебных модулей 1
сложности. Общая оценка в баллах представляет собой сумму баллов за каждую решенную задачу, согласно весовым коэффициентам в баллах соответствующих тестовых заданий.
Расчетные задания выполняются студентом самостоятельно во внеаудиторное время. Защита расчетных заданий производится во внеурочное время в форме компьютерного тестирования (КТ) в системе САТ АСУ ВУЗ университета. Структура билета составляется из банка мегатестов кафедры. В помощь студентам разработано пособие [13].
Содержание учебных модулей дисциплины «Математика» для студентов по направлению подготовки (специальности) БМА, БМК, БМЗ, БМП, БМР, БМС, БПБ, БЧС, ББП, БОС, БТП, БТБ, БТС, БТК, БГБ, БГР, БГГ, БГЛ, БГШ, ГЛ, ГФ, БАГ, БАТ, БАЭ, БПО, БУС, БГТ, БМТ, БСТ, БТЭ в 1 семестре (табл. 1, 2).
Таблица 1
семестра дисциплины «Математика»
№ модуля Содержание модуля Отчетная работа Максимальное количество баллов
1 Линейная и векторная алгебра. Аналитическая геометрия Расчетные задания № 1 (КТ_1) 10
Лабораторная работа № 1 «Решение систем линейных уравнений методом Гаусса» 5
Аттестационное тестирование № 1 (АТ 1) 20
2 Введение в математический анализ. Дифференциальное исчисление функции одной переменной Расчетные задания № 2 (КТ_2) 10
Аттестационное тестирование № 2 (АТ 2) 20
2 Дифференциальное исчисление функции нескольких переменных Расчетные задания № 3 (КТ_3) 10
Лабораторная работа № 2 «Метод наименьших квадратов» 5
Аттестационное тестирование № 3 (АТ 3) 20
Таблица 2 Направления подготовки (специальности)
Направление/ специальность Специализация / Профиль / Программа Аббревиатура
Автоматизация технологических процессов и производств Автоматизация технологических процессов и производств (в нефтяной и газовой промышленности) БАГ
Автоматизация технологических процессов и производств (в нефтепереработке и нефтехимии) БАТ
Биотехнология Биотехнология БТБ
Геология Геология БГЛ
Информатика и вычислительная техника Программное обеспечение средств вычислительной техники и автоматизированных систем БПО
Машиностроение Оборудование и технология сварочного производства БМС
Окончание табл.2
Направление / специальность Специализация / Профиль / Программа Аббревиатура
Нефтегазовое дело Бурение нефтяных и газовых скважин БГБ
Эксплуатация и обслуживание объектов добычи газа, газоконденсата и подземных хранилищ БГГ
Эксплуатация и обслуживание объектов добычи нефти БГР
Эксплуатация и обслуживание объектов нефтегазового комплекса арктического шельфа БГШ
Эксплуатация и обслуживание объектов транспорта и хранения нефти, газа и продуктов переработки БГТ
Эксплуатация и обслуживание объектов транспорта и хранения нефти, газа и продуктов переработки БМТ
Сооружение и ремонт объектов систем трубопроводного транспорта БСТ
Теплоэнергетика и теплотехника Промышленная теплоэнергетика БТЭ
Технологические машины и оборудование Оборудование нефтегазопереработки БМЗ
Машины и оборудование нефтяных и газовых промыслов БМП
Машины и оборудование нефтяных и газовых промыслов БМП
Проектирование технических и технологических комплексов БМР
Техносферная безопасность Безопасность технологических процессов и производств ББП
Пожарная безопасность БПБ
Защита в чрезвычайных ситуациях БЧС
Управление в технических системах Системы и средства автоматизации технологических процессов БУС
Химическая технология Химическая технология природных энергоносителей и углеродных материалов БТП
Химическая технология Химическая технология органических веществ БТС
Электроэнергетика и электротехника Электрооборудование и электрохозяйство предприятий, организаций и учреждений БАЭ
Энерго- и ресурсосберегающие процессы в химической технологии, нефтехимии и биотехнологии Охрана окружающей среды и рациональное использование природных ресурсов БОС
Основные процессы химических производств и химическая кибернетика БТК
Машины и аппараты химических производств БМА
Машины и аппараты химических производств БМК
При определении рейтинга студентов используется соотношение между рейтинговой и традиционной шкалами, приведенное в табл. 3.
Таблица 3
Таблица соответствия между рейтинговой и традиционной шкалами
Таким образом, с учетом соответствия шкал можно сказать, что каждую работу студента можно оценить по 5 балльной шкале в соответствии с табл. 4.
Таблица 4
Таблица соответствия процента от максимального балла по работе оценке по традиционной шкале
Оценка студента по дисциплине
По рейтинговой шкале По традиционной шкале
С оценкой Без оценки
86-100 баллов Отлично Зачтено
71-85 баллов Хорошо
56-70 баллов Удовлетворительно
55 и менее баллов Неудовлетворительно Не зачтено
Оценка студента за работу
Процент от максимально возможного балла Оценка по традиционной шкале
86-100 Отлично
71-85 Хорошо
56-70 Удовлетворительно
55 и менее Неудовлетворительно
Проведем анализ двух видов работ студентов 1 курса 1 семестра: АТ и защита расчетных заданий в виде КТ. Рассмотрим показатели по пяти факультетам. В мониторинге успеваемости участвовало 49 групп, обучающиеся по унифицированной программе. В табл. 5 приведены средние значения рейтинговых показателей по АТ по каждому факультету, выраженные в процентах. В табл. 6 -средние значения рейтинговых показателей по КТ, % [5].
Таблица 5
Средние рейтинговые показатели АТ, %
№ факультета АТ_1 АТ_2 АТ_3
1 49,16 49,02 51,26
2 48,57 50,18 45,72
3 55,35 52,55 67,33
4 49,91 45,42 57,32
5 57,71 60,92 69,50
Среднее по УГНТУ 52,14 51,62 58,23
Таблица 6 Средние рейтинговые показатели КТ, %
№ факультета КТ_1 КТ_2 КТ_3
1 61,06 59,78 62,17
2 61,41 57,69 48,30
3 53,65 64,18 72,96
4 62,39 58,92 67,68
5 66,18 70,88 74,78
Среднее по УГНТУ 60,94 62,29 65,18
Данный материал послужил основой для проверки следующей педагогической гипотезы - результаты письменного контроля зависят от результатов предварительного тестового компьютерного контроля. Теснота связи априори неочевидна, так как каждая из форм контроля имеет свои преимущества и недостатки различного рода.
Рассмотрим изменение средних баллов в процентах от максимально возможного контрольных показателей КТ и АТ среди всех студентов (рис. 2).
Рассмотрим изменение количества студентов в процентном соотношении успешно выполненивших отчетные работы КТ и АТ (более 55 % от максимального бала) (рис. 3). По оси Оу отметим процент студентов выполнивших работы КТ и АТ успешно, по оси Ох - номер работы.
Вывод:
1. По данным рис. 2 можно говорить о прогрессирующем характере успеваемости студентов. Более низкие результаты первых работ говорят об адаптивном периоде первокурсников к требованиям высшей школы и необходимости их поддержки в данный период [2, 3, 6].
2. Успешность написания письменных работ напрямую зависит от успешности выполнения компьютерного тестирования, предшествующих АТ.
Проведем анализ изменений баллов обучающихся. Для анализа возьмем результаты без учета переписывания отчетных работ.
1 этап. Анализ входных данных и исключение результатов, не имеющих данных в баллах
для проверки (отсутствие студента хотя бы 1 раз при выполнении работы), а также результатов с нулевыми входными данными. При анализе по факультетам данные лица не были исключены. Первоначальный список из 993 студентов сократился до 929 человек. Это позволит более достоверно проанализировать данные.
2 этап. Обработка данных по каждому студенту.
Для этого введем понятия: суммарного коэффициента успешности выполнения и средний коэффициент успешности.
Под суммарным коэффициентом успешности выполнения (СКУВ) по одному виду
работ будем понимать число, равное отношению суммы значений за каждую работу на максимальную сумму, набирающиеся за эти работы.
Под средним значением коэффициента успешности (КУ) будем понимать среднее значение СКУВ.
Вычислим значения СКУВ контрольных тестирований К; и аттестационных тестирований Л; для каждого студента, где 1 - порядковый номер студента. И найдем среднее значение коэффициента успешности КТ хК и АТ х А (табл. 7).
Рис. 3. Сравнительный график числа студентов, успешно выполнивших отчетные работы
Таблица 7
Таблица расчета значений СКУВ каждого студента
№ испытуемого Результаты КТ СКУВ КТ Результаты АТ СКУВ АТ
1 2 3 1 2 3
Максимальный балл за работу 10 10 10 20 20 20
1 Кц К;2 К;з К11 + К12 + К13 _ К ЛЦ Л12 Л13 Л11 + Л12 + Л13 _ Л
30 1 60 1
Среднее значение коэффициента успешности - - - п IК х 1_1 - - - п IЛ х 1_1
хК п хЛ п
Примечание: п - количество испытуемых, К;1,К;2,К;3 - результаты контрольных тестирований у 1-го испытуемого, Л;1,Л;2,Л;3- результаты аттестационных тестирований у 1-го испытуемого;
I К!
I Л!
хК = -= 0,61; хЛ = -= 0,53.
Таблица 8
Таблица для расчета изменений СКУВ КТ и АТ
№ испытуемого СКУВ КТ Отклонение СКУВ КТ от среднего значения КУ КТ=Б1 СКУВ АТ Отклонение СКУВ АТ от среднего значения КУ ат=б2 Изменение СКУВ КТ и АТ
i Ki Ki - XK = Dji Ai Ai - xa = D2i Dii - D2i
Таблица 9
Вариации результатов АТ и КТ, %
Процент отклонения результатов АТ и КТ 0 ± 5 10 ± 5 20 ± 5 30 ± 5 > 35
Количество студентов в процентном соотношении 20,8 33,8 24,7 10,5 10,2
■0,4 -0,3 -0,2 -ОД 0 ОД 0,2 0,3 0,4
Рис. 4. «Отличники» (отклонение СКУВ КТ от АТ)
Вывод: Значения среднего соответствуют оценке «удовлетворительно» по классической шкале, т. е. в среднем процесс обучения идет успешно. Вариация значений находится в рамках статистической погрешности.
3 этап. Подсчет отклонения СКУВ каждого вида работы от среднего значения КУ для каждого студента (табл. 8), вариации результатов АТ и КТ приведены в табл. 9. Отклонения изменяются от -1 до 1, при среднем значении равном 0.
Отклонения СКУВ КТ изменяются в диапазоне [-0,61; 0,39], СКУВ АТ - [-0,53; 0,47], изменение СКУВ КТ и АТ, соответственно в [-0,74; 0,81].
Вывод:
1. Результаты АТ имеют меньший разброс относительно среднего значения, по сравнению с результатами КТ, что говорит о повышении степени устойчивости уровня знаний учащихся на втором этапе проверки.
2. Среди студентов имеются те, у кого
СКУВ КТ и АТ отличаются более чем на 35 %. Данное обстоятельство может иметь в своей основе ряд причин, например - повышение мотивации к достижению лучших результатов после первой «неудачной попытки», нестабильность в занятиях по дисциплине и т. п. В любом случае, данный факт есть признак несформированности, нестабильности в процессе обучения [2, 6].
Проведем анализ визуальных данных первого и второго контроля по дифференцированным группам успеваемости (рис. 4-8).
Наиболее стабильными оказались наиболее и наименее успевающие студенты. Очевидно, причины стабильности диаметрально противоположны - относительно полное знание и незнание пройденного материала. Вариативность остальных групп указывает на нестабильность их состава, возможность стратификации в другие группы в зависимо -сти от степени мотивации к улучшению своих рейтинговых показателей.
Таким образом, на основе проведенных исследований, можно сказать, что вводимые характеристики результатов текущего контроля есть действенный инструмент в диагностике учебного процесса, с последующей его коррекцией в требуемом направлении.
Литература
1. Бахтизин, Р.Н. Оптимизация тестового контроля в системе дистанционного обучения путем групповой дифференциации тестовых заданий методами теории нечетких множеств / Р.Н. Бахтизин, Н.Ю. Фат-куллин, В. Ф. Шамшович // Сборник материалов Пятой международной конференции по вопросам обучения с применением технологий e-learning «MOSCOW education Online», Москва, Holiday Inn Sokolniki Moscow, 19-21 октября 2011 г. - М. : ООО «Синергия экспо», 2011. - С. 46-51.
2. Вайндорф-Сысоева, М.Е. Дифференциация студентов по признаку изменения рейтинговых достижений на основе анализа трендов прогнозных данных /М.Е. Вайндорф-Сысоева, Н.Ю. Фаткуллин, В. Ф. Шамшович // Вестник ЮУрГУ. Серия «Образование. Педагогические науки». - 2014. - Т. 6, № 2. -С. 74-83.
3. Вайндорф-Сысоева, М.Е. Проверка педагогической гипотезы о повышении рейтинговых характеристик студентов при введении в учебный процесс консультационных занятий в дистанционном формате /М.Е. Вайн-дорф-Сысоева, Н.Ю. Фаткуллин, В.Ф. Шамшович // Вестник ЮУрГУ. Серия «Образование. Педагогические науки». - 2014. - Т. 6, № 3. - С. 82-88.
4. Войтов, А.Г. Учебное тестирование для гуманитарных и экономических специальностей: теория и практика / А.Г. Войтов. -2-е изд., перераб. -М., 2005. - 402 с.
5. Гмурман, В.Е. Теория вероятностей и математическая статистика / В.Е. Гмурман. - М.: Юрайт, 2012. - 480 с.
6. Григорьева, Т. В. Психолого-педагогический анализ состояния готовности студентов-первокурсников к учебно-познавательной деятельности в техническом вузе / Т.В. Григорьева, Г.М. Мифтахова // Вестник МГОУ. Серия «Педагогика». - 2019. - № 4. -С. 74-79.
7. Звонников, В.И. Инновационные методы оценки учебных достижений студентов / В.И. Звонников // Высшее образование сегодня. - 2006. - № 5. - С. 12-17.
8. Кадневский, В.М. История тестов: моногр. / В.М. Кадневский. - М., 2004. - 464 с.
9. Ким, В. С. Матричное представление результатов тестирования / В.С. Ким // Вестник МГОУ. Серия «Педагогика». - 2012. -№ 4. - С. 114-120.
10. Ким, В.С. Поправка на угадывание для исходных тестовых баллов испытуемых / В. С. Ким // Вестник МГОУ. Серия «Педагогика». - 2008. - № 3. - С. 230-235.
11. Ким, В.С. Тестирование учебных достижений: моногр. /В.С. Ким. - Уссурийск, 2007. - 214 с.
12. Малыгин, А. В. Разработка и реализация системы мониторинга качества обучения в инновационном образовательном процессе вуза / А. В. Малыгин // Вестник Моск. гос. обл. ун-та. Серия «Педагогика». - 2012. -№ 1. - С. 40-44.
13. Пособие по интернет тестированию по математике: учеб. пособие / Т.Р. Ак-мадиева и др. - Уфа: Изд-во УГНТУ, 2012. -230 с.
14. Татур, Ю.Г. Как повысить объективность измерения и оценки результатов образования / Ю.Г. Татур // Высшее образование в России. - 2010. - № 5. - С. 22-31.
15. Учебно-методический комплекс дисциплины «Математика». Аналитическая геометрия. Теоретические основы. Методические указания для студентов. Материалы для самостоятельной работы студентов. Разд. 2: учеб. пособие / Т.Р. Акмадиева и др. -Уфа: Изд-во УГНТУ, 2007. - 159 с.
16. Учебно-методический комплекс дисциплины «Математика». Аналитическая геометрия. Контрольно-измерительные материалы. Разд. 2: учеб. пособие / Э.В. Галиакба-рова и др.; Уфа. Изд-во УГНТУ, 2007. - 160 с.
17. Учебно-методический комплекс дисциплины «Математика». Введение в математический анализ. Теоретические основы. Методические указания для студентов. Материалы для самостоятельной работы студентов. Разд. 3: учеб. пособие / Т.Р. Акмадие-ва и др. - Уфа: Изд-во УГНТУ, 2007. - 140 с.
18. Учебно-методический комплекс дисциплины «Математика». Дифференциальное исчисление функции нескольких переменных. Контрольно-измерительные материалы. Разд. 5: учеб. пособие / Т.Р. Акмадиева и др. -Уфа: Изд-во УГНТУ, 2007. - 159 с.
19. Учебно-методический комплекс дисциплины «Математика». Интегральное исчисление функции нескольких переменных. Теоретические основы. Методические указания для студентов. Материалы для самостоятельной работы студентов. Разд. 7: учеб. пособие / Т.Р. Акмадиева и др. - Уфа: Изд-во УГНТУ, 2007. - 160 с.
20. Учебно-методический комплекс дисциплины «Математика». Введение в математический анализ. Теоретические основы. Методические указания для студентов. Материалы для самостоятельной работы студентов. Разд. 3: учеб. пособие / Т.Р. Акмадиева и др. - Уфа: Изд-во УГНТУ, 2007. - 140 с.
21. Учебно-методический комплекс дисциплины «Математика». Аналитическая
геометрия. Теоретические основы. Методические указания для студентов. Материалы для самостоятельной работы студентов. Разд. 2: учеб. пособие / Т.Р. Акмадиева и др. -Уфа: Изд-во УГНТУ, 2007. - 113 с.
22. Фаткуллин, Н.Ю. Балльно-рейтин-говая система оценки успеваемости студентов по математике в уфимском государственном нефтяном техническом университете / Н.Ю. Фаткуллин, В.Ф. Шамшович, Р.Н. Бах-тизин // Пед. и информ. технологии в образовании. - 2009. - № 8. - С. 2.
23. Фаткуллин, Н.Ю. Процедура анализа вариаций основной компоненты базы данных тестовых заданий методами нейросетевых технологий / Н.Ю. Фаткуллин, В. Ф. Шамшович, А.А. Галлямов // Пед. и информ. технологии в образовании. - 2009. - № 8. - С. 4.
24. Фаткуллин, Н.Ю. Решение многокритериальной задачи оценки уровня знаний студентов методами теории нечетких множеств / Н.Ю. Фаткуллин, В. Ф. Шамшович // Пед. и информ. технологии в образовании. -2008. - № 7. - С. 10.
25. Чудинский, Р.М. Концептуальные подходы к разработке и организации системы независимой оценки индивидуальных учебных достижений обучающихся муниципальных образовательных учреждений региона / Р.М. Чудинский, А. С. Быканов, А.А. Володин // Вестник МГОУ. Серия «Педагогика». - 2011. -№ 3. - С. 129-135.
26. Чудинский, Р.М. Независимая оценка индивидуальных учебных достижений обучающихся: методология теория, практика / Р.М. Чудинский, А.А. Володин, А. С. Быканов. -Калуга, 2012. - 253 с.
27. Шамшович, В.Ф. Внедрение балльно-рейтинговой системы оценки знаний студентов с использованием информационно-коммуникационных технологий и поведение процедур мониторинга и прогнозирования оценки успеваемости студентов по математике методами нейросетевых технологий / Н.Ю. Фаткуллин, В.Ф. Шамшович, Р.Н. Бах-тизин // Материалы второй всероссийской научно-практической конференции (Казань, 16-22 апр. 2010 г.) «Электронная Казань 2010» /редкол.: К.Н. Пономарев (пред.) и др. -Казань: Юниверсум, 2010. - 354 с.
Вайндорф-Сысоева Марина Ефимовна, кандидат педагогических наук, профессор кафедры технологии и профессионального обучения, Московский педагогический государственный университет, г. Москва, [email protected].
Сокова Инна Александровна, старший преподаватель кафедры математики, Уфимский государственный нефтяной технический университет, г. Уфа, [email protected].
Фаткуллин Николай Юрьевич, кандидат экономических наук, доцент, доцент кафедры математики, Уфимский государственный нефтяной технический университет, г. Уфа, nick_idpo@ ma1l.ru.
Шамшович Валентина Федоровна, кандидат экономических наук, доцент кафедры математики, Уфимский государственный нефтяной технический университет, г. Уфа, shamshovich@ mail.ru.
Поступила в редакцию 3 апреля 2016 г.
DOI: 10.14529/ped160303
A COMPARATIVE ANALYSIS OF THE STUDENTS' RATING INDICATORS MADE BY COMPUTERIZED AND WRITTEN FORMS OF ASSESSMENT ON "MATHEMATICS"
M.E. Vayndorf-Sysoeva1, [email protected], I.A. Sokova2, [email protected], N.Yu. Fatkullin2, [email protected], V.F. Shamshovich2, [email protected]
1Moscow Pedagogical State University, Moscow, Russian Federation, 2Ufa State Petroleum Technological University, Ufa, Russian Federation
The evaluates research the hypothesis of the existence of a stable relation between preliminary computer testing of students and the subsequent manually checked results of their written reporting works. The correlation is not obvious since each form of control has advantages and shortcomings. Research was conducted on "Mathematics" for the first course of the Bachelor's degree students at Ufa State Petroleum Technological University. The basis for the curriculum development was education standards and teaching aids developed by the instructors. The assessment of the results was made according to the requirements of mark and rating system for this discipline.
The average values of the rating indicators on each of the forms of assessment formed the basis of the analysis. In addition, the following estimates were entered: the total and average coefficient of success of performance by the students of the assessed works.
The total coefficient of success of performance for one type of work was understood as the number equal to the relation of the sum of values for each work to the maximum possible sum of all the works. The average value of coefficient of success was understood as the average value of the total coefficient of success of performance.
The findings establish that the results of written assessment have a smaller dispersion of an average value, in comparison with the results of computer testing. This suggests an increase in the degree of stability of the level of knowledge of students at the second stage of checking. At the same time, there are students who differ in their total coefficient of success of performance of computer testing and written assessment. They comprise 35%. This can have its basis in a variety of reasons, for example an increase in motivation to achieve the best results after the first "unsuccessful attempt", or instability in class discipline. Anyway, this fact is a sign of lack of formation and instability in the course of training and signals the need to accept the corrections.
Keywords: test form of control, test tasks, mark and rating system, assessment of knowledge, rating.
References
1. Bakhtizin R.N., Fatkullin N.Yu., Shamshovich V.F. [Optimization of the Test Control in the System of Distance Learning through Group Differentiation of Tests Methods of Fuzzy Set Theory]. Sbornik materialov V mezhdunarodnoy konferentsii po voprosam obucheniya s primeneniem tekhnologiy e-learning "Moscow education Online" (Moskva, 19-21 oktyabrya 2011) [The Collection of Materials of the Fifth International Conference on Education with the Use of Technology E-learning "Moscow Education Online" (Moscow, 19-21 October 2011)]. Moscow, 2011, pp. 46-51. (in Russ.)
2. Vayndorf-Sysoeva M.E., Fatkullin N.Yu., Shamshovich V.F. [Differentiation of Students on the Grounds of Achievement Rating Changes Based on the Analysis of Forecast Data Trends]. Bulletin of South Ural State University. Ser. Education. Pedagogical Sciences, 2014, vol. 6, no. 2, pp. 74-83. (in Russ.)
3. Vayndorf-Sysoeva M.E., Fatkullin N.Yu., Shamshovich V.F. [Verification of the Pedagogical Hypothesis on the Increase of Rating Characteristics of Students after the Introduction of Review Sessions in the Distant Format into the Educational Process]. Bulletin of South Ural State University. Ser. Education. Pedagogical Sciences, 2014, vol. 6, no. 3, pp. 82-88. (in Russ.)
4. Voytov A.G. Uchebnoe testirovanie dlya gumanitarnykh i ekonomicheskikh spetsial'nostey: teo-riya i praktika [Educational Testing for Humanitarian and Economic Specialties: Theory and Practice]. Moscow, 2005. 402 p.
5. Gmurman V.E. Teoriya veroyatnostey i matematicheskaya statistika [Probability Theory and Mathematical Statistics]. Moscow, Yurayt Publ., 2012. 480 p.
6. Grigor'eva T.V., Miftakhova G.M. [Psycho-pedagogical Analysis of the State of Readiness of First-year Students to the Teaching and Learning Activities in a Technical College]. Bulletin of Moscow State Open University. Ser. Pedagogy, 2009, no. 4, pp. 74-79. (in Russ.)
7. Zvonnikov V.I. [Innovative Methods for Evaluating Educational Achievements of Students]. Higher Education Today, 2006, no. 5, pp. 12-17. (in Russ.)
8. Kadnevskiy V.M. Istoriya testov [History of Tests]. Moscow, 2004. 464 p.
9. Kim V.S. [Matrix Representation of test Results]. Bulletin of Moscow State Open University. Ser. Pedagogy, 2012, no. 4, pp. 114-120. (in Russ.)
10. Kim V.S. [Correction for Guessing for the Original Test Scores of Subjects]. Bulletin of Moscow State Open University. Ser. Pedagogy, 2008, no. 3, pp. 230-235. (in Russ.)
11. Kim V.S. Testirovanie uchebnykh dostizheniy [Testing of Educational Achievements]. Ussu-riysk, 2007. 214 p.
12. Malygin A.V. [Development and Implementation of Education Quality Monitoring System in Innovative Educational Process of High School]. Bulletin of Moscow State Open University. Ser. Pedagogy, 2012, no. 1, pp. 40-44. (in Russ.)
13. Akmadieva T.R. Posobie po internet testirovaniyu po matematike [Manual for the Internet Test in Mathematics]. Ufa, UGNTU Publ., 2012. 230 p.
14. Tatur Yu.G. [How to Improve the Objectivity of Measuring and Evaluating the Results of Education]. Higher Education in Russia, 2010, no. 5, pp. 22-31. (in Russ.)
15. Akmadieva T.R. Uchebno-metodicheskiy kompleks distsipliny "Matematika". Analiticheskaya geometriya. Teoreticheskie osnovy. Metodicheskie ukazaniya dlya studentov. Materialy dlya samostoya-tel'noy raboty studentov. Razdel 2 [Educational-methodical Complex of Discipline "Mathematics". Analytic Geometry. Control-measuring Materials. Section 2]. Ufa, UGNTU Publ., 2007. 159 p.
16. Galiakbarova E.V. Uchebno-metodicheskiy kompleks distsipliny "Matematika". Analiticheskaya geometriya. Kontrol'no-izmeritel'nye materialy. Razdel 2 [Educational-methodical Complex of Discipline "Mathematics". Analytic Geometry. Control-measuring Materials. Section 2]. Ufa, UGNTU Publ., 2007. 160 p.
17. Akmadieva T.R. Uchebno-metodicheskiy kompleks distsipliny "Matematika". Vvedenie v ma-tematicheskiy analiz. Teoreticheskie osnovy. Metodicheskie ukazaniya dlya studentov. Materialy dlya samostoyatel'noy raboty studentov. Razdel 3 [Educational-methodical Complex of Discipline "Mathematics". An Introduction to Mathematical Analysis. Theoretical Basis. Methodical Instructions for Students. Materials for Students' Independent Work. Section 3]. Ufa, UGNTU Publ., 2007. 140 p.
18. Akmadieva T.R. Uchebno-metodicheskiy kompleks distsipliny "Matematika". Different-sial'noe ischislenie funktsii neskol'kikh peremennykh. Kontrol'no-izmeritel'nye materialy. Razdel 5
[Educational-methodical Complex of Discipline "Mathematics". Differential Calculus of Functions of Several Variables. Gauging Materials. Section 5]. Ufa, UGNTU Publ., 2007. 159 p.
19. Akmadieva T.R. Uchebno-metodicheskiy kompleks distsipliny "Matematika". Integral'noe ischislenie funktsii neskol'kikh peremennykh. Teoreticheskie osnovy. Metodicheskie ukazaniya dlya stu-dentov. Materialy dlya samostoyatel'noy raboty studentov. Razdel 7 [Educational-methodical Complex of Discipline "Mathematics". Integral Calculus of Functions of Several Variables. Theoretical Basis. Methodical Instructions for Students. Materials for Students' Independent Work. Section 7]. Ufa, UGNTU Publ, 2007. 160 p.
20. Akmadieva T.R. Uchebno-metodicheskiy kompleks distsipliny "Matematika". Vvedenie v ma-tematicheskiy analiz. Teoreticheskie osnovy. Metodicheskie ukazaniya dlya studentov. Materialy dlya samostoyatel'noy raboty studentov. Razdel 3 [Educational-methodical Complex of Discipline "Mathematics". Introduction to Mathematical Analysis. Theoretical Basis. Methodical Instructions for Students. Materials for Students' Independent Work. Section 3]. Ufa, UGNTU Publ., 2007. 140 p.
21. Akmadieva T.R. Uchebno-metodicheskiy kompleks distsipliny "Matematika". Analiticheskaya geometriya. Teoreticheskie osnovy. Metodicheskie ukazaniya dlya studentov. Materialy dlya samostoyatel'noy raboty studentov. Razdel 2 [Educational-methodical Complex of Discipline "Mathematics". Analytical Geometry. Theoretical Basis. Methodical Instructions for Students. Materials for Students' Independent Work. Section 2]. Ufa, UGNTU Publ., 2007. 113 p.
22. Fatkullin N.Yu., Shamshovich V.F., Bakhtizin R.N. [Point-rating System of Evaluation of Students' Progress in Mathematics at the Ufa State Oil Technical University]. Pedagogical and Information Technology in Education, 2009, no. 8, pp. 2. (in Russ.)
23. Fatkullin N.Yu. Shamshovich V.F., Gallyamov A.A. [The Procedure of Analysis of Variance Principal Components Base of Test Tasks Methods of Neural Network Technology Data]. Pedagogical and Information Technology in Education, 2009, no. 8, pp. 4. (in Russ.)
24. Fatkullin N.Yu., Shamshovich V.F. [Decision Multiobjective Problem of Students' Knowledge Level Evaluation Methods of Fuzzy Set Theory]. Pedagogical and Information Technology in Education, 2008, no. 7, pp. 10. (in Russ.)
25. Chudinskiy R.M., Bykanov A.S., Volodin A.A. [Conceptual Approaches to the Development and Organization of the System of Independent Assessment of Individual Educational Achievements of Students of Municipal Educational Institutions of the Region]. Bulletin of Moscow State Open University. Ser. Pedagogy, 2011, no. 3, pp. 129-135. (in Russ.)
26. Chudinskiy R.M., Volodin A.A., Bykanov A.S. Nezavisimaya otsenka individual'nykh ucheb-nykh dostizheniy obuchayushchikhsya: metodologiya, teoriya, praktika [An Independent Evaluation of Educational Achievements of Individual Students: Methodology, Theory, Practice]. Kaluga, 2012. 253 p.
27. Shamshovich V.F. Fatkullin N.Yu., Bakhtizin R.N. [Implementation of Score-rating System of Evaluation of Students' Knowledge, Using Information and Communication Technologies and the Behavior of Procedures for Monitoring and Forecasting Evaluation of Student Performance in Mathematics Methods of Neural Network Technology]. Materialy II Vserossiyskoy nauchno-prakticheskoy konferen-tsii (Kazan', 16-22 aprelya 2010 goda) "Elektronnaya Kazan' 2010" [Proceedings of the Second All-Russian Scientific-practical Conference (Kazan, 16-22 April 2010) "Electronic Kazan 2010"]. 2010, pp. 354. (in Russ.)
Received 3 April 2016
ОБРАЗЕЦ ЦИТИРОВАНИЯ
FOR CITATION
Сравнительный анализ рейтинговых показателей обучающихся при тестовой форме контроля на примере дисциплины «Математика» / М.Е. Вайндорф-Сысоева, И.А. Сокова, Н.Ю. Фаткуллин, В.Ф. Шамшович // Вестник ЮУрГУ. Серия «Образование. Педагогические науки». - 2016. - Т. 8, № 3. - С. 26-38. Б01: 10.14529^160303
Vayndorf-Sysoeva M.E., Sokova I.A., Fatkullin N.Yu., Shamshovich V.F. A Comparative Analysis of the Students' Rating Indicators Made by Computerized and Written Forms of Assessment on "Mathematics". Bulletin of the South Ural State University. Ser. Education. Educational Sciences. 2016, vol. 8, no. 3, pp. 26-38. (in Russ.) DOI: 10.14529/ped160303
