CC BY
14
Статистическая оценка качества образовательных
технологий
Афонин Виктор Васильевич доцент, к.т.н., доцент кафедры автоматизированных систем информации и
управления,
Национальный исследовательский Мордовский государственный университет
им. Н.П. Огарёва ул. Большевистская, 68, г. Саранск, 430005, (8342) 290602 vvafonin53@yandex.ru
Федосин Сергей Алексеевич профессор, к.т.н., заведующий кафедрой автоматизированных систем обработки
информации и управления,
Национальный исследовательский Мордовский государственный Университет
им. Н.П. Огарёва ул. Большевистская, 68, г. Саранск, 430005, (8342) 478691 fedosinsa@mrsu.ru
Савкина Анастасия Васильевна доцент, к.т.н., доцент кафедры автоматизированных систем обработки информации и
управления,
Национальный исследовательский Мордовский государственный Университет
им. Н.П. Огарёва ул. Большевистская, 68, г. Саранск, 430005, (8342) 290701 av-savkina@yandex.ru
Аннотация
В статье рассматривается подход, к статистической оценке, качества образовательных технологий с использованием экзаменационных результатов студентов высшей школы. Предполагается, что высшая оценка «отлично» соответствует числу 5. Предлагается расчет коэффициента для построения величины квадратичной зависимости от принимаемых экзаменационных оценок. Впоследствии этот коэффициент применяется для расчета баллов в задаче принятия решений о числовой метрике качества учебных дисциплин. Учебные дисциплины рассматриваются как альтернативы, которые имеют несколько критериев, подлежащих минимизации. Вводимые в рассмотрение критерии, связаны с относительной разницей между получаемой экзаменационной оценкой и максимальным баллом возможным на экзамене, а также разницей между значениями критериев. Назначение баллов критериям связано с нелинейной зависимостью ряда принимаемых оценок. На основе матрицы критериев и альтернатив формируется расширенная матрица, в которой вводятся баллы за величину критериев. Подсчет баллов для соответствующей альтернативы или учебной дисциплины осуществляется по расширенной матрице критериев и альтернатив. В качестве ключа сравнения принимается величина младшего разряда дробной части сформированных критериев.
The article deals with the approach to the statistical evaluation of the quality of educational technologies using the examination results of students of higher education. It is assumed that the highest score "excellent" corresponds to the number 5. It is proposed to calculate the coefficient for the construction of the quadratic
dependence on the accepted exam scores. Subsequently, this coefficient is used to calculate points in the problem of making decisions about the numerical metric of the quality of academic disciplines. Academic disciplines are considered as alternatives that have several criteria to be minimized. Criteria entered into consideration are related to the relative difference between the test score obtained and the maximum score possible on the exam, as well as the difference between the values of the criteria. The scoring of criteria is associated with the non-linear dependence of a number of accepted ratings. On the basis of the matrix of criteria and alternatives, an extended matrix is formed, in which points for the value of criteria are entered. The calculation of points for the corresponding alternative or an academic discipline is carried out on the extended matrix of criteria and alternatives. The value of the lower number of the fractional part of the formed criteria is taken as the key of comparison.
Ключевые слова
Качество образования, студенты, экзамены, учебные дисциплины, альтернативы, критерии, минимизация критериев, статистическая оценка Quality of education, students, exams, academic disciplines, alternatives, criteria, criteria minimization, statistical evaluation
Введение
Вопросам качества образования посвящено достаточно много работ и научных исследований. Существуют различные подходы в оценке качества образования и образовательных технологий [1-17]. Некоторые подходы связаны с конкретными учебными дисциплинами [3, 7, 9, 14, 15].
Повышению качества образования обычно предшествуют определенные условия, по которым проводится оценка его эффективности. В настоящей работе рассматривается подход, в основе которого лежит статистический анализ обучения студентов в высшей школе по результатам экзаменационных сессий. При этом предполагается, что для оценки знаний используется традиционная шкала в виде следующих записей в экзаменационной ведомости: 0, 2, 3, 4, 5. Под нулем будем понимать, либо полное отсутствие знаний, либо отсутствие обучаемого студента на экзамене. Повторная сдача экзаменов не учитывается. В тоже время практикуется бальная система со шкалой от нуля до ста. При этом следует признать нелинейный характер перехода от одной оценке к другой более высокой. В связи с этим встает вопрос аналитического описания такой зависимости. Авторы предлагают использовать квадратичную зависимость «ценности» оценки от принятой шкалы оценивания. В качестве параметра введенной квадратичной зависимости предлагается использовать обратную величину среднего значения шкалы оценок. Формирование критериев происходит в несколько этапов. Сначала определяется критерий типа К 0=1,п) - разница между высшим и текущим баллом для соответствующей заранее пронумерованной оценки. Для рассмотренного случая количество оценок п=11. Затем определяется критерий типа И, 0=1,п) - катеты углов между соседними значениями баллов. Третий критерий типа £ определяется как сумма первых двух. Чтобы критерии были безразмерными, необходимо их привести к высшей оценке, в данном случае оценке «отлично», т. е. 5. Тогда они будут заключены в интервал [0; 1]. Очевидно, чем меньше критерий, тем лучший результат, тем выше оценивается успеваемость по дисциплине или в терминах теории принятия решений - альтернативе. При этом каждый из введенных критериев будет стремиться к нулю и в пределе можно говорить об идеальном усвоении учебного материала, соответственно о высоком качестве
образовательных технологий. В плане применения методов теории принятия решений, следует отметить, что предлагаемый подход базируется на методах ELECTRE [18-20]. Отличие заключается в том, что поиск «премиальных» баллов связан не только с формированием расширенной матрицы критериев и альтернатив, но также с величиной младшего разряда дробной части сформированных критериев.
В предлагаемой постановке решения задачи оценки качества образовательных технологий может быть успешно применен практически любой язык программирования или система программирования.
Материалы и методы решения задачи
Прежде всего, выполним графические построения для пояснения нелинейной шкалы оценивания результатов экзамена. Как указывалось нелинейность принимаем в виде графика параболы с параметром р = 1/[(0+2+3+4+5)/5]. График параболы с заданным параметром показан на рисунке 1.
9 8 7 6 ■
2 5 '
5
И 4 ■ 3 2 1 '
0 1111 111111
0 0,5 1 1,5 2 2,5 3 3,5 4 4,5 5 Оценки
Рис.1. Нелинейная шкала оценок
Нелинейная шкала, график которой приведен на рисунке 1, может быть интерполирована под необходимый размер оценочных баллов для выбранных критериев. В качестве таких критериев предлагается использовать данные, которые получаются в результате перехода к относительным единицам множества оценок, отраженных в экзаменационных ведомостях. При этом за базу оценки принимается «отлично» или число 5. В таком случае будет получен массив вещественных чисел безразмерных величин. Если экзаменационная ведомость репрезентабельная, то будет получен дискретный массив данных, спадающих монотонно относительно единицы. В идеальном случае, когда все сдают на «отлично», получается прямая, параллельная оси абсцисс. Формирование критериев демонстрируется на рисунках 2 и 3.
В соответствии с графиками, представленными на рисунках 2 и 3, можно видеть, что критерии типа К и критерии типа И, взаимосвязаны между собой. Поэтому вводится третий критерий типа = К + И
Обработка экзаменационных результатов будет базироваться на предлагаемых трех критериях, каждый из которых стремится к нулю при отличной сдаче экзаменационных дисциплин. Возникает многокритериальная задача минимизации, которую предлагается численно решить с помощью статистической обработки приведенных результатов к базовой оценке «отлично», т. е. к числу 5. Это может выполняться с помощью подходов и методов теории принятия решений. В частности составляется матрица альтернатив (учебных дисциплин) и предлагаемых критериев со своими числовыми значениями. Для независимого расчета создается расширенная матрица альтернатив и критериев. В ней увеличивается число строк, например, в два раза. Соответственно будут изменяться возможные значения критериев. После этого осуществляется сплайн интерполяция нелинейности, которая показана на рисунке 1. Это выполняется в целях согласования размерностей с расширенной матрицей, в которую добавляется столбец нелинейных призовых баллов. Поиск соответствующего балла для выбранного критерия осуществляется итеративно.
I
0,7
0.6
3
х
О
0,2
£ Ь..... ..... Кп ■К—..
к9 Кл(\...
К
11
4 5 6 7 8 9 10 11 Номер текущей оценки
Рис.2. Критерии типа К
7/3-?
Я4"Г|\ \ \
\ \ Я54 яГЗ
* ч ' \
Я<Г+1\
\ \ __\ \
«ИГ* \ 1 \ 1 \ ■ V
123456789 10 II Номер текущей оценки
Рис. 3. Критерии типа Н
Результаты численного эксперимента
В качестве тестовых учебных дисциплин были отобраны дисциплины направления «Информатика и вычислительная техника» для бакалавров, обучающихся в Национальном исследовательском Мордовском государственном университете им. Н.П. Огарёва. Среди дисциплин следующие: программная инженерия, защита информации, системное программное обеспечение, многоагентные системы, сети и телекоммуникации, администрирование систем управления базами данных, а также курсовые работы по программной инженерии, сетям и телекоммуникациям. Переименуем их как альтернативы А1, А2, А3, А4, А5, А6, А7, А8. Экзамены сдавали 25 студентов уровня бакалавриата. Результаты экзаменов за 2018/2019 учебный год были следующими:
А1: 3;5;0;4;0;0;4;4;4;5;0;4;3;3;5;4;3;0;3;5;4;5;0;5;0;
А2: 4;4;4;4;3;0;4;4;4;5;0;5;3;4;5;5;5;3;4;5;4;4;3;4;3;
А3: 0;4;3;4;0;0;4;5;5;5;0;3;3;4;5;5;4;0;4;0;4;3;0;5;0;
А4: 4;5;4;5;3;3;4;4;5;4;3;5;4;4;5;5;5;3;4;4;4;4;3;4;3;
А5: 4;4;0;5;0;0;4;5;4;5;0;5;4;4;5;4;4;0;4;4;4;4;0;4;0;
А6: 4;5;4;5;0;0;5;5;5;5;0;5;5;4;5;5;4;0;5;5;4;5;4;5;0;
А7: 5;4;0;5;3;0;5;5;5;5;0;5;4;4;5;5;4;3;4;5;4;4;3;4;3;
А8: 4;5;0;5;0;0;4;5;4;5;0;5;4;4;5;4;4;0;4;5;4;4;0;4;0.
Нулевые значения впоследствии студентами были ликвидированы, но здесь они отражены. Приведение оценок к относительным величинам опущены, а значения критериев с призовыми оценками (расширенная матрица) приведены в таблице 1.
Значения критериев с оценками
№ п/п Значения критериев Призовые баллы
К Н &
1 20,250000 5,10000 25,350000 0,000000
2 19,143333 4,853333 23,996667 0,056217
3 18,036667 4,606667 22,643333 0,211640
4 16,930000 4,360000 21,290000 0,446429
5 15,823333 4,113333 19,936667 0,740741
6 14,716667 3,866667 18,583333 1,074735
7 13,610000 3,620000 17,230000 1,428571
8 12,503333 3,373333 15,876667 1,895944
9 11,396667 3,126667 14,523333 2,522046
10 10,290000 2,880000 13,170000 3,214286
11 9,183333 2,633333 11,816667 3,962743
12 8,076667 2,386667 10,463333 4,803792
13 6,97000 2,140000 9,110000 5,714286
14 5,863333 1,89333 7,756667 6,699735
15 4,756667 1,646667 6,403333 7,774471
16 3,650000 1,400000 5,050000 8,928571
В таблице 1 отображена расширенная матрица значений альтернатив и оценочных баллов. Значения критериев в общем случае могут не совпадать со значениями соответствующих альтернатив. Поэтому должен быть предусмотрен поиск соответствующих критериев, принадлежащих той или иной альтернативе, в расширенной матрице. Как видно из значений призовых баллов, они являются нелинейными относительно своего порядкового номера. Нелинейность интерполируется относительно той, которая приведена на рисунке 1.
Альтернативы (учебные дисциплины) и их критерии приведены в таблице 2.
Завершающий этап заключается в совместной обработке таблиц 1 и 2 для ранжирования учебных дисциплин и определения наиболее предпочтительной образовательной технологии, выраженной в соответствующем учебном курсе. Получены следующие результаты (Таблица 3).
В результате, если студенты имеют право выбора дисциплин из раздела дисциплины по выбору, можно применять данную методику для определения учебных дисциплин с предпочтительной образовательной технологией. Для представленного примера, такой дисциплиной будет «Многоагентные системы»
Таблица 2
Альтернативы Критерии
К Н &
А1 7,300000 2,800000 10,100000
А2 8,900000 3,400000 12,300000
А3 8,700000 3,400000 12,100000
А4 12,900000 3,400000 16,300000
А5 11,700000 3,400000 15,100000
А6 12,100000 3,400000 15,500000
А7 8,700000 3,400000 12,100000
А8 13,500000 3,400000 16,90000
Сумма баллов
К
&
[15,3913] 'А4'
[11,2886] 'А2'
[11,2886] 'А7'
[11,2886] 'А6'
[ 7,5661] 'А8'
[ 7,5661] 'А5'
[ 6,3139] 'А1'
[ 5,8466] 'А3'
[5,7143] [3,9627] [5,7143]
[4,8038] [2,5220] [3,9627]
[4,8038] [2,5220] [3,9627]
[4,8038] [2,5220] [3,9627]
[2,5220] [2,5220] [2,5220]
[2,5220] [2,5220] [2,5220]
[1,8959] [2,5220] [1,8959]
[1,4286] [2,5220] [1,8959]
Заключение
Предложенный подход позволил выполнить ранжирование учебных дисциплин по числовой метрике - сумме оценочных баллов. Дисциплины с большим количеством баллов принимаются более предпочтительными в плане усвоения их студентами и, возможно, с лучшими образовательными технологиями. Традиционная оценка в виде средней величины экзаменационных баллов не в полной мере отражает решение рассмотренной задачи. А предложенный подход может быть применен для выделения предпочтительных технологий с разным размахом оценочных шкал. Можно подобным образом рассмотреть вопрос учета сто балльной шкалы совместно с традиционной пятибалльной шкалой, а, также произвести учет и других показателей, выраженных в числовой форме. При этом такой подход для выбора дисциплины можно автоматизировать, чтобы после окончания учебного года или семестра на основе экзаменационных ведомостей получить оптимальное ранжирование учебных дисциплин, по которым студенты лучше усваивают материал благодаря разнообразным образовательным технологиям.
Литература
1. Звонников В.И. Современные средства оценивания результатов обучения: учеб. пособие для студ. высш. учеб. заведений / В.И. Звонников, М.Б. Челышкова. М.: Издательский центр «Академия», 2007. 224 с.
2. Чернявская, А.П., Гречин, Б.С. Современные средства оценивания результатов обучения [Текст]: учебно-методическое пособие. Ярославль: Изд-во ЯГПУ. 2008.
3. Добро Л.Ф., Парфенова И.А. Использование компьютерных тестовых технологий для контроля качества обучения в вузе // Международный журнал прикладных и фундаментальных исследований. 2010. № 12. С. 108-109.
4. Ефремова Н.Ф. Формирование и оценивание компетенций в образовании. Монография. Ростов-на-Дону, «Аркол», 2010. 386 с.
5. Соболева Э.Ю. Экспертные проекты по оценке качества образования // Прикладная информатика. 2012. №6 (42). С. 15-23.
6. Сергеева Е.В., Чандра М.Ю.С Современные технологии оценки учебных достижений обучающихся: учебное пособие. Волгоград: ПРИНТ, 2013. 115 с.
98 с.
7. Савкина А.В., Савкина А.В., Федосин С.А. Виртуальные лаборатории в дистанционном обучении // Образовательные технологии и общество. 2014. Т. 17. № 4. С. 507-517.
8. Старыгина С.Д., Нуриев Н.К. Параметрический портрет достижений преподавателя в контексте развития его интеллектуально-деятельностного потенциала // Образовательные технологии и общество. 2014. Т. 17, №4. С. 662675.
9. Афонин В.В., Федосин С.А. О структурировании лабораторно-практических занятий при изучении дисциплин программирования // Образовательные технологии и общество. 2014. Т. 17. № 4. С. 497-506.
10. Калдыбаев С.К., Бейшеналиев А.Б. Качество образовательного процесса в структуре качества образования // Успехи современного естествознания. 2015. № 7. С. 90-97.
11. Прошкина К. В. Современные образовательные технологии в высших учебных заведениях. Оценка качества образования / К. В. Прошкина, Е. В. Изосина // Новые образовательные технологии в вузе: материалы XII международной научно-методической конференции (НОТВ-2015). Екатеринбург: УрФУ, 2015. С. 345-349.
12. Ерофеев В.Т., Афонин В.В. Проблемы повышения качества подготовки инженерных кадров и пути их решения // В книге: Инновационное направление учебно-методической и научной деятельности кафедр материаловедения и технологий конструкционных материалов материалы Всероссийского совещяния с международным участием зав. кафедрами материаловедения и технологий конструкционных материалов. 2016. С. 16-19.
13. Ядровская М.В. Использование результатов тестирования для изучения уровня подготовленности обучающихся // Образовательные технологии и общество. 2017. Т. 20. № 3. С. 342-352.
14. Савкина А.В., Нуштаева А.В., Немчинова Е.А., Макарова Н.В. Особенности построения траектории обучения в интеллектуальной системе МЛТИ-БКГООБ // В сборнике: ХЬУ1 Огарёвские чтения Материалы научной конференции: В 3-х частях. Ответственный за выпуск П.В. Сенин. 2018. С. 240-244.
15. Афонин В.В., Федосин С.А. О проведении экзаменационного тестирования при итоговой аттестации на примере дисциплины "Программирование на языке С" // В сборнике: ХЬУ1 Огарёвские чтения Материалы научной конференции: В 3-х частях. Ответственный за выпуск П.В. Сенин. 2018. С. 232-237.
16. Швецов В.И., Галеев И.Х., Зайцева К.К., Кузенков О.А., Поздняков С.Н., Федосин С.А. Результаты проекта "Современные образовательные технологии в инженерном образовании России" // Образовательные технологии и общество. 2019. Т. 22. № 1. С. 51-60.
17. Афонин В.В., Федосин С.А., Савкина А.В. О повышении качества образовательных технологий на примере курса "Информатика и вычислительная техника" //Образовательные технологии и общество. 2019. Т. 22. № 1. С. 129-139.
18. Лотов А.В., Поспелова И.И. Многокритериальные задачи принятия решений / А.В. Лотов, И.И. Поспелова. М.: МАКС Пресс, 2008. 197 с.
19. Бородачёв С.М. Теория принятия решений: учебное пособие / С.М. Бородачёв. Екатеринбург: Изд-во Урал, ун-та, 2014. 124 с.
20. Терелянский П.В. Теория и методы принятия решений: учеб. пособие / П.В. Терелянский. Волгоград: ВолгГТУ, 2016. 94 с.
21. Кобзарь А.И. Прикладная математическая статистика. Для инженеров и научных работников / А. И. Кобзарь. М.: ФИЗМАТЛИТ, 2006. 816 с.
