МЕТОДИКИ АГРЕГИРОВАНИЯ ОЦЕНОК ЗНАНИЙ ОБУЧАЮЩИХСЯ ДЛЯ СЛУЧАЕВ ПРЕДСТАВЛЕНИЯ ВНЕШНЕГО КРИТЕРИЯ В ПОРЯДКОВЫХ ШКАЛАХ Текст научной статьи по специальности «Компьютерные и информационные науки»

Рок 10.36724/2409-5419-2021-13-2-4-14

МЕТОДИКИ АГРЕГИРОВАНИЯ ОЦЕНОК ЗНАНИЙ ОБУЧАЮЩИХСЯ ДЛЯ СЛУЧАЕВ ПРЕДСТАВЛЕНИЯ ВНЕШНЕГО КРИТЕРИЯ В ПОРЯДКОВЫХ ШКАЛАХ

ЛИФЕРЕНКО Виктор Данилович1

БАГРЕЦОВ Сергей Алексеевич2

ЧИСТЯКОВ

Денис Владимирович3

Сведения об авторах:

1д.т.н., профессор, ОАО «СУПЕРТЕЛ», г. Санкт-Петербург, Россия

2д.т.н., профессор, профессор Военно-космической академии имени А.Ф. Можайского доктор технических наук, г. Санкт-Петербург, Россия, sergeibagrecov@bk.ru

3преподаватель Военно-космической академии имени А.Ф. Можайского, г. Санкт-Петербург, Россия

АННОТАЦИЯ

Введение: вынужденный переход вузов, осуществляющих подготовку специалистов ракетной и авиационной техники на дистанционное обучение стимулировал дальнейшее развитие систем автоматизированного контроля знаний, являющихся одной из важнейших подсистем автоматизированных обучающих систем. Среди множества проблем в системах автоматизированного контроля знаний существует проблема агрегирования оценок, полученных обучающимися за множество занятий (контролей) за период обучения. Такая итоговая (интегральная) оценка должна учитывать неоднородность контролируемых занятий при изучении разделов и тем учебной дисциплины (модуля) и неопределенность полученных ранее оценок. Указанная неопределенность оценок может быть вызвана неудовлетворительным качеством проведения контроля из-за отсутствия, например, необходимого резерва времени, недостаточным качеством организации и применяемых средств контроля знаний обучающихся. Цель исследования: цель исследования выражается в анализе и реализации методик агрегирования оценок знаний обучающихся по программам высшего профессионального образования при выполнении ими комплекса задач, имеющих единое смысловое содержание на основе выполнения обучающимися контрольных задач, либо на основе внешних наблюдений результатов деятельности обучающихся преподавателем. Результаты: Агрегирование оценок осуществляется в порядковых шкалах. Определен порядок перехода к шкале отношений. Результаты оценок выполнения отдельных этапов учебных заданий представляются в порядковых шкалах или в шкале наименований. Интегральная оценка рассматривается как линейная скалярная функция от исходных параметров, определяющих результаты выполнения контрольных заданий. Параметры скалярной функции определяются на основе оценки расстояний между распределениями оценок знаний обучающихся из состава обучающей выборки, которые задаются опытными педагогами-экспертами. Методы: предложенные методики позволяют решить задачу агрегирования оценок, полученных обучающимися за множество занятий (контролей) за период обучения. Исследуются два вида неопределенностей оценок выполнения отдельных этапов учебных задач, а именно на основе их вероятностных или нечетких представлений. Результаты: предложенные методики учитывают, прежде всего, целостный характер изучаемого материала, контроль качества выполнения которого на отдельных этапах может быть осуществлен только на основе внешнего наблюдения за деятельностью обучающихся. Подобный подход имеет достаточно общий характер и может быть применим при оценке качества функционирования объектов различной физической природы.

КЛЮЧЕВЫЕ СЛОВА: контроль знаний; шкалы оценок знаний; скалярная функция; нечеткое и вероятностное распределения; агрегирование; метод локальных вариаций; критериальное пространство.

Для цитирования: Лиференко В.Л., Багрецов С.А., Чистяков Д.В. Методики агрегирования оценок знаний обучающихся для случаев представления внешнего критерия в порядковых шкалах // Наукоемкие технологии в космических исследованиях Земли. 2021. Т. 13. № 2. С. 4-14. Рок 10.36724/2409-5419-2021-13-2-4-14

Уо! 13 N0 2-2021, Н&ЕБ ЕЕЗЕЛЕСН АУ!АТ!ОМ, БРАБЕ-РОСКЕТ HARDWARE

Введение

Необходимость качественной подготовки специалистов по направлению подготовки 24.00.00 Авиационная и ракетно-космическая техника обусловлена требованиями, предъявляемыми к выпускникам технических вузов и формированию у обучающихся профессиональных компетенций, определенных Федеральными государственным и образовательными стандартами (ФГОС). Эффективное освоение учебной программы позволит выпускникам иметь глубокие знания принципов построения и применения авиационной и ракетно-космической техники, необходимые навыки ее эксплуатации, способность выполнять задачи в сложных условиях обстановки, обладать высокими организаторскими способностями, самостоятельностью действий, готовых в короткие сроки освоить выполнение функциональных обязанностей.

Вынужденный переход вузов на дистанционное обучение стимулировал дальнейшее развитие систем автоматизированного контроля знаний, являющихся одной из важнейших подсистем автоматизированных обучающих систем [1,2]. Среди множества проблем контроля знаний рассматривается и проблема агрегирования оценок, полученных обучаемыми за множество занятий (контролей) в цикле обучения. Такая интегральная оценка должна учитывать неоднородность контролируемых занятий при изучении тем и разделов изучаемых дисциплин и неопределенность полученных им ранее оценок. Указанная неопределенность оценок может быть вызвана неудовлетворительным качеством проведения контроля из-за отсутствия, например, необходимого резерва времени, недостаточным качеством организации контроля или применяемых средств контроля знаний. Кроме этого, для целого ряда практических занятий объективный контроль отдельных этапов их выполнения становится вообще невозможным в связи с их целостной формой представления в итогах выполнения учебного задания. Примерами таких занятий могут быть занятия по слаживанию расчетов или дежурных смен по управлению сложных технических систем [7-7]. При проведении таких занятий руководитель на основе имеющейся части объективных данных и во многом, руководствуясь субъективными оценками, определяет степень достижения целей на отдельных этапах выполнения учебного задания. Принимая во внимание во многом неопределенный характер частных оценок таких занятий, можно говорить об их субъективной вероятностной или нечеткой основе. В данном случае, это разделение неопределенностей на субъективно ощущаемую вероятностную или нечеткую основу со стороны руководителя занятия отражает имеющийся опыт оценки этапов выполнения данного типа учебных заданий. Вероятностная аксиоматика оценок, как правило, базируется на имеющемся у руководителя опыте оценок выполнения отдельных этапов подобных задач, до-

статочном для субъективного определения полной группы событий (факторов), способных повлиять на результат выполнения того или иного этапа учебного задания. В случае нечеткой оценки у руководителя такая основа может быть представлена лишь фрагментарно и не составляет полную группу событий, определяющих исход выполнения рассматриваемого этапа учебного задания, поэтому такая оценка во — многом базируется только лишь на нечеткой интуитивной основе. Оценки качества выполнения отдельных этапов учебного задания далее должны быть агрегированы с учетом их неопределенности и неоднородности их влияния на итоговый результат.

Итоговая интегральная оценка выполнения всего задания может быть представлена в одной из шкал оценок, а именно: номинальной, порядковой, ранговой или шкале отношений. Формирование интегральной шкалы оценок предполагает определение взаимосвязи частных оценок (в данном случае оценок выполнения отдельных этапов задания) в их интегральном представлении. Наиболее часто такая взаимосвязь представляется как аддитивная свертка частных оценок с весовыми коэффициентами, определение которых осуществляется на основе имеющейся внешней по отношению к формируемой шкале системы отношений результатов выполнения учебных заданий в рассматриваемой сфере деятельности. Ниже в статье будем рассматривать только порядковую шкалу оценок, имеющую наиболее широкое распространение на практике.

К настоящему времени накоплено много формальных постановок задач такого типа. В обзорах [8-12] предлагается общая конструкция для единой характеристики различных представлений об интегральном показателе подобного вида. Содержание этой конструкции применительно к оценке знаний обучающихся таково: интегральная оценка знаний в порядковой шкале оценок — это пара (О, Z), где Z — скалярная функция (обычно линейная) от исходных параметров, определяющих результаты выполнения контрольных заданий, а О — размытое в смысле понятий, введенных Заде, отношение уровней знаний (к, г) из некоторого множества, образующего обучающую выборку, заданных как точки на оси Z. Таким образом, О — это функция от двух переменных Zr). Способ определения значений этой функции, задается заранее и существенно зависит от обрабатываемой части данных.

Для формирования интегральной оценки знаний наряду с представлением результатов выполнения контрольных задач как точек в исходном пространстве необходимо задать информацию о взаимосвязях интегральных оценок знаний из состава обучающей выборки. Эта информация задается в виде матрицы соответствующих коэф-

фициентов связей. В этом случае значения интегрального показателя в порядковой шкале, соответствующие заданным (X, 2 и выбранным (О, Z), будут иметь смысл сход-

ства 2 с О. В задачах оценки знаний Z — линейная функция от X, т.е. 2 = Xа1х1. При этом в качестве допустимого

1=1 _

множества А для векторов А = (а1; i = 1, п) рассматривается ограничение £ а1 = 1, а1 > 0 . Задача определения по-

1=1

добного агрегированного показателя с учетом указанных ограничений1 [13].

Особенностью применения такой методики для диагностики знаний обучающихся с использованием порядковой шкалы является наличие неопределенности в оценках элементов матрицы отношений. Наличие этой неопределенности связано, прежде всего, со сложностью и многообразием связей между характеристиками (х) исходного пространства результатов выполнения контрольных заданий обучаемыми, характер которых, как правило, не имеет четкого аналитического выражения. Все это приводит к тому, что содержанием отдельных элементов матрицы 2 будет являться расстояние между распределениями интегральных оценок знаний обучающихся из состава обучающей выборки, которые задаются опытными педагогами-экспертами. Если каждую точку на оси Z — можно представить в данном случае элементом универсального множества оценок, представляемых при данных характеристиках исходного, пространства X, то в отношении типа неопределенности оценок знаний обучающихся можно утверждать, что она носит вероятностный характер. В том случае, если такое утверждение невозможно, то эксперты имеют дело с нестатистической неопределенностью, т.е. с нечеткостью интегральных оценок. Ниже в данном разделе последовательно рассматриваются оба случая формирования порядковых шкал агрегированных оценок знаний обучающихся.

Построение агрегированной оценки знаний при наличии внешнего критерия, имеющего вероятностное распределение

Задача определения вида интегральной оценки знаний в порядковой шкале для типа исходных данных формулируется следующим образом. Пусть X = {Х1, . . . , Хт} — множество результатов выполнения контрольных заданий обучаемыми, включенными в состав обучающей выборки, X} = {Хр : г = 1, п}, X = ||| т, п — матрица данных. Характеристики X критериальны. Это означает, что, во-первых, Е - 0, у = 1, т, во-вторых, если для пары обучающихся г и к выполняется

ХГР = Хкр ; Р = 1, ХТ1 > Хк)

Обозначим через Yr = : у = 1, Rr} множество допустимых градаций оценок знаний, которые определены, например, экспертами, для каждого объекта г из состава г е {1, т} обучающей выборки. При определении оценок эксперты руководствуются исходными данными Хг и своим опытом, определяя возможный диапазон оценок (в порядковой шкале) знаний обучающихся при данном составе исходных данных. При этом множеству допустимых градаций приписываются определенные вероятности

Рг = {Ргу: у = Щ}(у= 1).

7=1

Аналогичным образом определяется множество оценок знаний г-го обучаемого из ОВ. Тогда элемент матрицы 2=!^гк | парных взаимосвязей между обучаемыми из

обучающей выборки определяется величиной расстояния

2

между двумя распределениями .

где Zrt =

^rk Z' rk W7rk Hrk, 2 2 | Уга — Укв | ' (Pra ' )

(1)

Rr R

2 I

a=1 p=1

Rr Rk

2 2 (Рга ' Ркв )

a=1 p=1

TT _ Hrkmax Hrkl2 .

Hrk - -H-'

rk max

H, =ln 0;

rkmax 7

0 — число градаций в оценке знаний;

H,, + H,,

Hrk\2 = -

2

Hrkl = J Pra ■ ln Pra; Hrk 2 = J P • ln P

a=1 p=l

kp'

W = 1 -

Y nYk\

Y и Yl

Как видно из формулы, расстояние qrk тем больше, чем больше неопределенность высказываний экспертов. Причем диапазон изменений qkk соответствует диапазону изменений оценок в порядковой шкале. Отметим, что если для определения Zrk воспользоваться формулой для нормирования оценки расстояния Zrk

Rr Rk , ,

2 2 \Yra — YJ-(Pm ' PkB )

Z* =

a=1 p=11

2 2 Y-a Y

kp

то обучающийся г имеет солее высокую оценку знаний, чем обучающийся к

то расстояние qrk будем определять отношением объекта г к объекту к в шкале их соответствия ранее заданным тре-

Авен П.О. Построение интегрального показателя в критериальном пространстве // АиТ. 1985. № 4. С. 87-91.

2Загоруйко Н. Г., Бунидев М. В. Меры расстояния в пространстве знаний // Анализ данных в экспертных системах / Под ред. Н. Г. Загоруйко. Новосибирск, 1986. 175 с.

a=1

Уо! 13 N0 2-2021, Н&ЕБ РЕЗЕЛРСН АУ!АТ!ОМ, БРАБЕ^ОСКЕТ HARDWARE

бованиям. В этом случае формируемая далее шкала оценок будет шкалой отношений. Таким образом, на одной информационной основе может быть осуществлен переход из порядковой шкалы в шкалу отношений.

Если показатель Z определяется как линейная комбинация исходных результатов выполнения контрольных заданий, то наблюдаемая структура системы оценок на оси Z, определяемая элементами матрицы О, будет равна:

Шаг 1. Положим Т = 1. Задаём точкуЛ(1)еЛ . Вычисляем

drk (А) = (2г - 2к )2 =

I(х„- хш) - а

1=1

Соответствие требуемой и наблюдаемой структуры опенок знаний оценивается с помощью функционала ДА), определяемого следующим образом:

J(A) = I (А) - дгк)2,

(2)

где ж — линейный масштабный коэффициент.

Показатель Z(A), для которого величина Д(А) минимальна, а вектор А удовлетворяет условиям:

I а,- = 1,

]=1

(3)

назовем структурным фактором в критериальном пространстве. Задача его отыскания состоит вначале в нахождении вектора А*, удовлетворяющего названным условиям, и минимизирующего функционал при вычисленной матрице 2, а затем в определении величины масштабного коэффициента ж , обеспечивающего глобальный минимум анализируемого функционала.

Задача максимизации функционала (2) при ограничениях (3) относится к классу задач минимизации гладких функций на симплексе4. Суть его сводится к следующему. В рассмотрение вводится последовательность {а00} чисел, отвечающая следующим условиям:

0 <а(Т) < 1, а(Т) ^ 0 при Т ^<х>, £ а(Т) = а>.

(Т)

Последовательности {а(7)} соответствует параметрическое семейство операторов М(а(Т1), где для каждого а е (а<г)}М(а<гопределяется выражением вида:

а1 = а1 (1 - а) + а;

ар = ар (1 - а); р ф V; 1 < р < п.

Поиск локального минимума Д(А) осуществляется следующим образом:

3Фу К. С. Структурные методы в распознавании образов: Пер. с англ. Н. В. Завалишина и др. / Под ред. М. А. Айзермана. М.: Мир, 1977. 487 с.

4Шевцов ГС. Линейная алгебра: теория и прикладные аспекты: учеб. пособие. 3-е изд. испр. и доп. М.: Магистр: ИНФРА- М., 2014. 544 с.

(Т)

Шаг 2. Положим а = а

Шаг 3. Применяем в точке А(Т поочерёдно все п операторов системы М(а(Т1), вычисляя каждый раз величину

А^ (А(т= J (Ы, (а) • А(0) - J (А{,)), I = .

Шаг 4. Определяем A*J (Л{')) = тт{Аг^ (Л{'))}.

Шаг 5. Если А*/(Л°') > 0, положим Ат)=А(1) и переходим к п. 7.

Шаг 6. Если А*У(А(') < 0, положим А('+1)=М((а)^А<').

Шаг 7. Увеличиваем £ на единицу и переходим к п. 2.

Алгоритм останавливает работу, если при построеМ/ л(>+ 1)

нии очередной точки А ±А достигнута заданная точность е > 0, т.е. ДА1*) - Д(А«-1)}\ < е.

В случае изменения требований к знаниям обучающихся необходимо изменить состав обучающей выборки и вновь определить вид интегральной оценки. Для оценки адекватности полученной интегральной характеристики Z требованиям, предъявляемым к уровню знаний, воспользуемся методами статистического анализа. Для этого экспертам предлагается сформулировать новые требования к знаниям обучающихся. В результате экспертами формируются новые интервалы оценок обучающей выборки. Обозначим их через:

К} = К, Кг,...,} (г = 1,т)

Интегральные оценки обучающихся (Р) обозначим через = {Z1,...,Хт}. Для оценки степени адекватности модели интегральной оценки обучающихся восполь-

, 5

зуемся ¿-критерием, равным :

г =

SJ у/0'

(4)

где d = Х (\г - гг)/9;

г=1 а=1 /

11УГ

т Яг

Sd = ЛЕ X Cdг - d) /(9-1);

I г=1 а=1 = ] г - 1„.

аг аг

Выражение (4) позволяет оценить гипотезу И(, состоящую в том, что разности между оценками экспертов и оценками, полученными по модели (1), есть случайная выборка из нормально распределенной совокупности со

Вентцель Е.С., Овчаров Л.А. Теория вероятностей и её инженерные приложения. М.: ACADEMA, 2003.

2

г ,к=1

Т=1

средним, равным нулю. Если гипотеза Н0 верна, то параметр £ в выражении (4) будет подчиняться ¿-распределению Стьюдента с 9 -1 степенями свободы. Если справедливой окажется противоположная гипотеза Н1 о наличии существенных отличий в оценках педагогов-экспертов и оценках полученных по модели, то в выражении (4) будет описываться распределением, идентичным ¿-распределению Стьюдента с 9 -1 степенями свободы, однако со средним, отличным от нуля.

Критическое значение для проверки гипотезы Н0 против гипотезы Н0 на уровне значимости е с помощью ¿-статистики будет равно6

{-(1 -е/ 2)4(1 -е/ 2)'»}.

(5)

Если полученное значение ¿-критерия будет меньше наименьшего критического табличного значения (5), то нуль-гипотеза отклоняется, т.е. расчет параметров интегральной оценки знаний должен быть произведен заново на основе новой обучающей выборки. Структурная схема алгоритма формирования порядковой и интегральной шкал оценок знаний обучающихся приведена на рис. 1.

Рассмотрим пример. Допустим, что для определения параметров порядковой шкалы оценок по одной из дисциплин формируется обучающая выборка, в состав которой включены данные о пяти обучающихся. Контрольное задание содержит восемь задач. Результаты выполнения контрольных заданий обучаемыми из состава ОВ представлены в табл. 1.

Таблица 1

Результаты выполнения контрольных заданий обучаемыми из состава ОВ

Номера обучающихся Результаты выполнения контрольных заданий обучаемыми

1 0,2 0,4 0,5 0,8 0,4 0,7 0,3 0,4

2 0,5 0,5 0,8 0,8 0,7 0,9 0,6 0,7

3 0,4 0,5 0,5 0,5 0,6 0,6 0,4 0,6

4 0,2 0,2 0,1 0,1 0,3 0,3 0,1 0,2

5 0,4 0,4 0,6 0,7 0,5 0,5 0,4 0,5

Каждый обучающийся из состава ОВ оценивался экспертами соответствующими баллами. В целом оценки экспертов носили неопределенный характер и представлялись в виде интервалов оценок с соответствующим вероятностным распределением. Указанные данные представлены в табл. 2.

Таблица 2

Вероятностное распределение интервалов оценок обучающихся из состава ОВ

Номера обучающихся Оценка Распределение вероятностей

1 5, 4 0,8 0,2

2 3, 4 0,3 0,7

3 3, 2 0,4 0,6

4 4, 5 0,5 0,5

5 2, 3 0,2 0,8

В результате расчетов по описанному выше алгоритму параметры порядковой шкалы оценок указанного контрольного задания будут определяться значениями весовых коэффициентов множества А, равными: а= 2,141; а2= 2,527; а3=а4=а5=а6=а7= 0,0564; а8= 0,05. При этом коэффициент ранговой коррекции (гх) Спирмена для полученной по обучающей выборке модели порядковой шкалы будет равен6:

6! (Г- г, )2

гх = 1

0(0-1)

- = 0,543.

Вентцель Е.С., Овчаров Л.А. Теория вероятностей и её инженерные приложения. М.: ACADEMA, 2003.

Это несколько ниже критического значения (г= 0,595) коэффициента коррекции для данного числа степеней свободы 9 =10 и уровня значимости 0,05, но достаточно близко к нему. Увеличение точности расчета параметров шкалы требует пересмотра состава ОВ. Определенные выше весовые коэффициенты могут быть внесены в подсистему контроля АОС и могут, далее использоваться для формирования оценок знаний обучающихся по результатам выполнения ими контрольных задач данного цикла обучения.

Таким образом, методика, рассмотренная выше, позволяет на основе анализа данных обучающей выборки, полученных от опытных педагогов, рассчитать характеристики интегральной оценки знаний обучающихся и далее использовать их в практической деятельности.

Построение агрегированной оценки при наличии внешнего критерия, имеющего нечеткое распределение

В предыдущем разделе агрегация оценок обучающихся в порядковой шкале осуществлялась исходя из предложения о наличии статистической неопределенности в определении уровней знаний обучающихся из состава ОВ. Исходя из этого представления исходных данных, в рассмотренной выше методике осуществлялось построение матрицы парных взаимосвязей между элементами ОВ. На практике значительно более часто встречаются случаи, когда неопределенность классификация уровней знаний обучающихся является существенно нестатистической. Задача определения элементов матрицы 2 коэффициентов связей между элементами г и к ОВ в этом случае сводится к опре-

Уо! 13 N0 2-2021, Н&ЕБ ЕЕЗЕЛЕСН АУ!АТ!ОМ, БРАБЕ-РОСКЕТ HARDWARE

Рис. 1. Структурная схема формирования порядковой и интервальной шкал оценок знаний обучаемых при наличии внешнего критерия, имеющего вероятностное распределение

делению расстояния между двумя соответствующими нечеткими распределениями. Затем по отношению к определяемой таким образом матрице (0 коэффициентов связей применяется изложенная выше процедура аппроксимации, в результате которой определяется структура агрегированного показателя знаний.

Аналогично, как и в предыдущем разделе, будем полагать известными множество результатов т выполнения контрольных заданий, включенных в состав обучающей выборки, и представляемых в форме матрицы Х=|| ||т„ данных. Кроме этого, в отношении каждого обучаемого (г е {1, т}) из 0В будем полагать известными множество Yr = у; у = 1, Rr} допустимых градаций опенок их знаний в конкретной предметной области, которые определяются экспертами. Отличием от ранее рассмотренной методики является то, что множество допустимых градаций оценок обучающихся из ОВ имеют не вероятностные, а нечеткие распределения, определяемые как функции принадлежности ц2 (у^) градаций оценок обучающихся7. Для построения матрицы парных взаимных связей (матрицы отношений) между обучаемыми воспользуемся соответствующей методикой оценки меры расстояния между двумя нечеткими распределениями. В соответствии с выполненными исследованиями элемент матрицы Q определяется следующим образом:

% гк ^гк ^Тгк Нгк,

(6)

где ^ =

гк щ щ , ч X ЬЧ (, Ykв)

а=1 Р=1 4 '

Ь Ь гТе — §(Yrа, )

а=1 р=11 1

У^) — скалярная оценочная функция нечётких множеств[3];

;а = 1Л} 5 ^;Р = Щ};

g , Ykв) = тах{ц(^ )};

), ) — функции принадлежности градаций а и в оценок обучающихся г и к из состава ОВ;

W = 1 -^ ■

1 \?г V Ук\ ■

Ил — степень несоответствия нечёткости градаций а и в оценок обучающихся;

Ил = 1 - 8ир{(тт(ц(Уга), )) -5(Уга, Ук,))};

у с 7 • у р 7 •

г' кр 1к>

8(У,а ,Укв ) =

1,ПРИ Уга = Укв;

0,в противном случае.

Как видно из формулы (6), элемент связи % будет тем больше, чем больше нечеткость оценок знаний обучающихся г и к и чем больше их взаимное соответствие. Полученная на основе такого подхода матрица расстояний далее, аналогично, как и в предыдущей методике, используется для определения параметров интегральной оценки знаний в порядковой шкале. Как и в предыдущей методике формирования порядковой шкалы оценок, в данном алгоритме возможен переход из шкалы порядка в шкалу отношений. Для этого необходимо изменить содержательный смысл параметра X к путем расчета его по формуле:

7 -_

гк

1

2 2 (( ^кв)

Rr Rk | ,

2 2 ^га — ^кв\§ (Хта ' ^кв ) а-1 в-1

7Орловский С.А. Проблемы принятия решений при нечеткой информации. М.: Наука. Главная редакция физико-математической литературы, 1981. 208 с.

а-1 в=1

В этом случае элемент цгк приобретает смысл отношения двух объектов ОВ в плане их соответствия некоторым единым требованиям. Характерно, что при таком подходе появляется возможность представлять исходные данные в обучающей выборке не только в количественной порядковой шкале, но и в качественной шкале и в шкале наименований. Например, знания обучающихся из состава ОВ могут быть оценены экспертом в качественной шкале такими выражениями как: вполне соответствуют (занимаемой должности); соответствуют; недостаточно соответствуют; не соответствуют и т.д. Если число различаемых упорядоченных состояний уровней знаний обучающихся п, то все они могут быть пронумерованы числами от 1 до п, после чего расстояние между высказываниями в шкале порядка можно определить по той же формуле, что и для более сильной шкалы отношений [14].

Рассмотрим теперь шкалу наименований. Диагностическая информация, выражаемая в шкале наименований, может содержать, например, данные о характере общественной работы, о достижениях в профессиональной деятельности, об особенностях характера обучаемого и т. п. Применение данной шкалы оправдано особенно в тех случаях, когда множество наименований достаточно полно отражает цель диагностических измерений. В определенных условиях деятельности обучающихся шкала наименований может быть определена ключевыми словами, выражающими характер внешнего поведения человека, например: принципиален, вежлив, честен, предан, военную тайну хранить умеет и т.п. [15].

Количество «имен» личностных характеристик обучающихся и градаций их знаний в ОВ ограничено. Для определения элементов матрицы (0 отношений в шкале наименовани можно воспользоваться вышеприведенной формулой с той лишь поправкой, что расстояние |Уга-Укр| = 0, если имя Уга совпадает с именем У Структурная схема формирования порядковой и интервальной шкал оценок знаний обучающихся при наличии внешнего критерия, имеющего нечеткое распределение, представлена на рис. 2.

1

Множество градаций оценок обучаемых г и к из ОВ\ г,к е М

{Yr}i{Yr}

Нечёткое распределение оценок обучаемых гиЬ| их ОВ;

Расчёт матрицы парных взаимосвязей Q= || </гь ¡|

(¡rk— Zrk WrtHfi,

где Нгк — степень соответствия

градаций (а и [3) оценок обучаемых г и к\

Hrk = l-sup!(min{|L(>;a),

],при = Уф; 5(Ylxi, ) = • 0, в противном

случае. ц(Гта), |л( Yfy) — функции принадлежности градаций (а, р)оценок обучаемых г и

\YrvYk

Характеристики результатов выполнения контрольных заданий

iX"} (»'I

Расчёт параметров шкалы

т г.к-\

л

при условии V if. = 1,

i=i

гт drk{A)=[zr-zkf =

Оптимальные параметры шкалы оценок

A*={a';i = l,n},%*

Z,* =

г _ д=| [',=1 гк ~

ISsflW-.V «=1р=1

еелт! Используется порядковая шкала

1Х|Па"%| ■SVrJkJ

7* _ a=l |j=l_

гк ~ ^Г, .

X £ ИМ —

а=1 р=]

если используется интервальная шкапа

где g(Yra, Yklf) = тах(ц(7га— скалярная оценочная функция.

Критические значения t — критерия для проверки гипотезы Но

Расчёт статистической

достоверности модели

d

где

9 = 1JYy Г d = Y -Z ' г д га r'

d = (ШШг-Ш-уф г=1 а=]

Вывод о статистической достоверности параметров шкал

Рис. 2. Структурная схема формирования порядковой и интервальной шкал оценок знаний обучаемых при наличии внешнего критерия, имеющего нечёткое распределение

Аналогично, как и в предыдущем алгоритме, контроль достоверности формирования шкалы оценок знаний обучающихся может быть осуществлен либо по результатам расчета ¿-критерия Стьюдента, либо по величине ранговой корреляции Спирмена8.

В качестве примера рассмотрим вариант формирования порядковой балльной шкалы оценок для контроля итогового практического занятия одной из дисциплин.

Результаты выполнения контроль!

Исходные данные для формирования обучающей выборки следующие: число обучающихся ОВ — 5; количество контрольных задач — 14 (число результатов контроля); количество градаций знаний обучающихся из 0В — 2 (нижняя и верхняяоценка знаний); число классов (баллов) в порядковой шкале — 5. Результаты выполнения контрольных задач обучаемыми из состава ОВ представлены в табл. 3.

Таблица 3

задач обучаемыми из состава ОВ

Обучаемые Результаты контроля по задачам

1 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 0,8 0,7 0,6 0,5 0,4

2 0,1 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0,2 0,3 0,4 0,5

3 0,1 0,1 0,2 0,2 0,3 0,3 0,4 0,4 0,5 0,5 0,6 0,6 0,7 0,7

4 0,9 0,9 0,8 0,8 0,7 0,7 0,6 0,6 0,5 0,5 0,4 0,4 0,3 0,3

5 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0,9 0,8 0,7 0,6 0,5 0,4

Результаты нечетких оценок знаний обучающихся из состава ОВ приведены в табл. 4.

Таблица 4

Результаты оценок знаний обучающихся из состава ОВ

Обучаемые Оценки знаний Степень чёткости оценок

1 5,0 4,0 0,8 0,2

2 3,0 4,0 0,3 0,7

3 3,0 2,0 0,4 0,6

4 4,0 5,0 0,5 0,5

5 2,0 3,0 0,2 0,8

В процессе расчёта была определена матрица взаимных предпочтений обучающихся из состава ОВ, содержание которой представлено ниже

е=

Весовые коэффициенты порядковой шкалы, рассчитанные по параметрам обучающей выборки, имеют вид: а1 = 0,0059; а== 0,0059; а= 0,155; а== 0,395; а= 1,028; а6= а7= а8 = а9 = а10= 0,0059; а11= 0,40; а12= 0,675; а13= 0,144; а14= 1,26. Коэффициент ранговой корреляции Спирмена, рассчитанный по обучающей выборке г5(ТЛЦ) = 0,63. Он существенно больше критического значения г5кр= 0,595, что доказывает справедливость полученной шкалы оценок.

0.00 1.04 2.15 0.12 2.00

1.04 0.00 1.12 0.92 0.96

2.15 1.13 0.00 2.05 0.15

0.12 0.92 2.05 0.00 1.88

2.00 0.96 0.15 1.88 0.00

Заключение

Многообразие форм и методов представления знаний обучаемыми при решении ими практических задач (например, задач специальной подготовки), предполагающих необходимость учета ситуационного характера оценки учебной обстановки и принятия решений, определяют необходимость разработки систем контроля знаний, базирующихся на системном, комплексном анализе качества выполнения обучаемыми отдельных этапов контрольных заданий. Такая оценка, базируясь в целом, на субъективных оценках качества выполнения учебных заданий преподавателями должна учитывать их опыт. В первую очередь это касается методов формирования оценок деятельности обучающихся на каждом этапе выполнения учебного задания. В зависимости от опыта преподавателя он ориентируется на вероятностные (при условии имеющегося достаточного опыта проведения подобных занятий) или нечеткие (при условии наличия только внутренних (нечетких)) суждения о качестве деятельности обучающихся. Итоговый результат оценки деятельности обучающихся базируется на интегрированной оценке педагогов о взаимосвязи результатов выполнения отдельных этапов учебного задания. Рассмотренные выше методики учитывают, прежде всего, целостный характер изучаемого материала, контроль качества выполнения которого на отдельных этапах может быть осуществлен только на основе внешнего наблюдения за деятельностью обучающихся.

Подобный подход имеет достаточно общий характер и может быть применим при оценке качества функционирования объектов различной физической природы.

Вентцель Е.С., Овчаров Л.А. Теория вероятностей и её инженерные приложения. М.: ACADEMA, 2003.

Литература

1. Яковлева Е. И., Шобонов Н. А. Индивидуализация образовательного процесса в рамках модульной модели программы

повышения квалификации при применении дистанционных образовательных технологий // Современные проблемы науки и образования. 2016. № 6. C. 1-8.

2. Грунт Е. В., Беляева Е. А., Лисситса с. Дистанционное образование в условиях пандемии: новые вызовы российскому высшему образованию // Перспективы науки и образования. 2020. № 5(47). C. 45-58. DOI: 10.32744/pse.2020.5.3

3. Ким Н. Ф. Рейтинговая система оценки успеваемости студентов вуза как фактор повышения качества образования // Молодой ученый. 2015. № 17(97). С. 535-537.

4. Гельман В. Я. Совершенствование форм контроля успеваемости в вузе // Современное образование. 2019. № 2. С. 52-57. DOI: 10.25136/2409-8736.2019.2.28364

5. Кривоногов С. В. Разработка информационной системы для контроля и оценки знаний студентов // Вестник НГИЭИ.

2016. № 8 (63). C. 30-41.

6. Ларин С.Н., Юдинова В. В., Юрятина Н. Н. Информационные технологии контроля уровня знаний обучаемых: российский опыт // Педагогические науки. 2017. № 5-2(59). C. 37-41.

7. Костылев Д. С., Кутепова Л. И., Трутанова А. В. Информационные технологии оценивания качества учебных достижений обучающихся // Балтийский гуманитарный журнал.

2017. № . C. 190-192.

8. Васильева Л. В. Анализ методических подходов к построению интегральных экономических показателей // эконо-

мические исследования и разработки. 2017. № 12. C. 8-18. URL: http://edrj.ru/article/18-12-17 (дата обращения 24.03.2021).

9. Орлов А. И. Предельная теория решений экстремальных статистических задач // Научный журнал КубГАУ 2017. № 133. С. 579-600.

10. Хведченя Л. В. Оценочные шкалы как инструмент педагогической квалиметрии // Адукацыя i выхаванне. 2017. № 3. С. 29-36.

11. Бронов С. А., Мартынов А.В. Анализ системы автоматического управления образовательным модулем на примере модуля «векторная алгебра» // Молодой ученый. 2016. № 20 (124). С. 127-131.

12. Шашлюк Ю. А., Багрецов С. А., Добрынин В. Н. Управление безопасностью эксплуатации железнодорожных транспортных систем: монография. М.: ВНИИ геосистем, 2018. 390 с.

13. Звягин Л. С. Системный анализ в оптимизации и принятии решений // Всероссийская научная конференция по проблемам управления в технических системах. 2017. № 1. С. 167-170.

14. Брумштейн Ю.М., Молимонов Д. А. Математические модели и методы решения задач информационного обеспечения, управления и оценки качества работы операторов в сложных человеко-машинных системах // Вестник АГТУ Сер. Управление, вычислительная техника и информатика. 2019. № 3. С. 73-89.

15. Привалов Н. И., Полянина А. С. Тестовый контроль знаний студентов // Международный журнал прикладных и фундаментальных исследований. 2018. № 4. С. 140-144.

METHODS FOR AGGREGATING STUDENTS' KNOWLEDGE ASSESSMENTS FOR CASES OF REPRESENTING AN EXTERNAL CRITERION IN ORDINAL SCALES

VICTOR D. LIFERENKO

St. Petersburg, Russia

SERGEY A. BAGRETSOV

St. Petersburg, Russia, sergeibagrecov@bk.ru

KEYWORDS: control of knowledge; rating scales of knowledge; scalar function; indistinct and likelihood distributions; aggregation; method of local variations; kriterialny space.

DENIS V. CHISTYAKOV

St. Petersburg, Russia, serg_chern@mail

ABSTRACT

Introduction: the forced transition of universities to distance learning stimulated the further development of automated knowledge control systems, which are one of the most important subsystems of automated learning systems. Among the many problems in the systems of automated control of knowledge, there is the problem of aggregat-

ing the assessments received by students for many classes (controls) during the training period. Such a final (integral) assessment should take into account the heterogeneity of the controlled classes when studying the sections and topics of the academic discipline (module) and the uncertainty of the previously obtained estimates. The speci-

fied uncertainty of the estimates can be caused by the unsatisfactory quality of the control due to the lack, for example, of the necessary time reserve, the insufficient quality of the organization and the applied means of control of the students' knowledge. Purpose: the purpose of the study is expressed in the analysis and implementation of methods for aggregating assessments of students 'knowledge of higher professional education programs when they perform a set of tasks that have a single semantic content based on the performance of control tasks by students, or on the basis of external observations of the results of students' activities by the teacher. Results: Aggregation of estimates is carried out in ordinal scales. The order of transition to the scale of relations is determined. The results of assessments of the fulfillment of individual stages of educational tasks are presented in ordinal scales or in a scale of names. The integral estimate is considered as a linear scalar function of the initial parameters that determine the results of the control tasks. The parameters of the scalar function are determined on the basis of an estimate of the distances between the distributions of knowledge assessments of students from the training sample, which are set by experienced expert teachers. Methods: the proposed methods allow solving the problem of aggregating the assessments received by students for a set of classes (controls) during the training period. Two types of uncertainties in assessing the performance of individual stages of educational tasks are investigated, namely, on the basis of their probabilistic or fuzzy representations. Results: the proposed methods take into account, first of all, the holistic nature of the material being studied, the quality control of the implementation of which at certain stages can be carried out only on the basis of external observation of the students' activities. This approach has a rather general character and can be applied when assessing the quality of functioning of objects of different physical nature.

REFERENCES

1. Yakovleva E. I., Shobonov N. A. Individualization of educational process in the modular model of advanced training course using distance learning technologies. Modern Problems of Science and Education. Surgery. 2016. No. 6. Pp. 1-8. (In Rus)

2. Grunt E. V., Belyaeva E. A., Lissitsa S. Distance education during the pandemic: new challenges to russian higher education. Perspectives of Science & Education. 2020. No. 5(47). Pp. 45-58. doi: 10.32744/ pse.2020.5.3 (In Rus)

3. Kim N. F. Reytingovaya sistema otsenki uspevaemosti studentov vuza kak faktor povysheniya kachestva obrazovaniya [The rating system for assessing the progress of university students as a factor in improving the quality of education]. Molodoy uchenyy [Young Scientist]. 2015. No. 17(97). Pp. 535-537. (In Rus)

4. Gelman V. Improvement of the forms of performance monitoring in a university. Sovremennoe obrazovanie [Modern education]. 2019.

No. 2. Pp.52-57. DOI: 10.25136/2409-8736.2019.2.28364 (In Rus)

5. Krivonogov S. V. Development of information system for monitoring and evaluation of knowledge student. Bulletin NGII. 2016. No. 8 (63). Pp. 30-41. (In Rus)

6. Larin S. N., Yudinova V. V., Yuryatina N. N. Information technologies for the control of knowledge level of trainees: russian experience. International Research Journal. 2017. № 5-2(59). C. 37-41. (In Rus)

7. Kostylev D. S., Kutepova L. I., Trutanova A. V. Information technologies for assessment of quality of educational achievements of training. Baltic humanitarian journal. 2017. Vol. 6. No. 3 (20). Pp.190-192. (In Rus)

8. Vasilieva L. Analysis of methodical approaches to the development of integral economic indicators. Economic Development. 2017. No. 12. Pp. 8-18. URL: http://edrj.ru/article/18-12-17 (date of access 24.03.2021). (In Rus)

9. Orlov A. I . The limit theory of the solutions of extremal statistical problems. Scientific Journal of KubSAU. 2017. No. 133. Pp. 579-600. (In Rus)

10. Khvedchenya L. V. Evaluation scales as a tool of pedagogical quali-metry. Adukatsya and vyhavanne. 2017. No. 3. Pp. 29-36. (In Rus)

11. Bronov S. A., Martynov A. V. Analiz sistemy avtomaticheskogo up-ravleniya obrazovatel'nym modulem na primere modulya "vektornaya algebra" [Analysis of the automatic control system of the educational module on the example of the vector algebra module]. Molodoy uchenyy [Young Scientist]. 2016. No. 20 (124). Pp. 127-131. (In Rus)

12. Shashlyuk Yu.A., Bagretsov S. A., Dobrynin V. N. Upravlenie bezo-pasnost'yu ekspluataciizheleznodorozhnyh transportnyh sistem: mon-ografiya [Safety management of railway transport systems operation: monograph]. Moscow: VNII geosystem, 2018. 390 p. (In Rus)

13. Zvyagin L. S. System analysis in optimization and decision making. Vserossijskaya nauchnaya konferenciya po problemam upravleniya v tekhnicheskih sistemah [All-Russian scientific conference on control problems in technical systems]. 2017. No. 1. Pp. 167-170. (In Rus)

14. Brumshteyn Yu. M., Molimonov D. A. Mathematical models and methods for solving problems of information support, quality management and assessment of operators' activity in complex human-machine systems. Vestnik of Astrakhan State Technical University. Series: Management, Computer Science and Informatics. 2019. No. 3. Pp. 73-89. (In Rus)

15. Privalov N. I., Polyanina A. S. Test control of knowledge of students. Pedagogical sciences. 2018. No. 4. Pp. 140-144. (In Rus)

INFORMATION ABOUT AUTHORS:

LIferenko V.D., PhD, Full Professor, Supertel;

Bagretsov S.A., PhD, Full Professor, Senior Researcher of the Military Space Academy named after A.F. Mozhaysky;

Chistyakov D.V., Lecturer of the Military Space Academy named after A.F. Mozhaysky.

For citation: Liferenko V.D., Bagretsov S.A., Chistyakov D.V. Methods for aggregating students' knowledge assessments for cases of representing an external criterion in ordinal scales. H&ES Research. 2021. Vol. 13. No. 2. Pp. 4-14. Doi: 10.36724/2409-5419-2021-13-2-4-14 (In Rus)