КОЛИЧЕСТВЕННЫЙ МЕТОД ОЦЕНКИ РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ Текст научной статьи по специальности «Математика»

DOI: 10.34020/2073-6495-2020-3-144-154 УДК 519.711.3

количественный метод оценки результатов тестирования

Ганичева А.В.

Тверская государственная сельскохозяйственная академия Е-mail: TGAN55@yandex.ru

Ганичев А.В.

Тверской государственный технический университет Е-mail: alexej.ganichev@yandex.ru

В статье рассмотрены такие важные вопросы тестирования, как согласованность оценки по каждому заданию теста со средней оценкой, определение необходимого числа заданий в тесте, прогнозирование процента отклонений оценок в данном диапазоне для генеральной совокупности при заданных значениях надежности и точности. Дано определение относительной ошибки оценивания в генеральной совокупности заданий и разработан метод расчета ее числовых характеристик (среднего значения, разброса, плотности распределения, процента возможных относительных ошибок в данном промежутке).

Ключевые слова: тест, согласованность оценки, число заданий, точность, надежность, относительная ошибка.

QUANTITATIVE METHOD FOR EVALUATING TEST RESULTS

Ganicheva A.V.

Tver State Agricultural Academy Е-mail: TGAN55@yandex.ru

Ganichev A.V.

Tver State Technical University Е-mail: alexej.ganichev@yandex.ru

The article considers such important testing issues as estimate conformity to average estimate regarding each test item, determination of the necessary number of test items, prediction of percentage of estimate deviations within the given range for general totality at specified reliability and accuracy values. The definition of relative estimate error in general totality of items is given; a method of calculation of its quantitative characters (average value, scatter, distribution density and percentage of probable relative errors within the given range) was developed.

Keywords: test, consistency of evaluation, number of tasks, accuracy, reliability, relative error.

© Ешичева А.В., Ешичев А.В., 2020

ВВЕДЕНИЕ

Проблема оценки качества результатов тестирования является одной из самых важных во многих сферах жизни общества. Особенно она актуальна в образовательном процессе в связи с использованием дистанционных технологий обучения.

Вопросам тестирования посвящены работы многих авторов [1, 2, 6, 8-12], в которых исследованы характеристики надежности, валидности и сложности тестов. В работе [4] разработана интеллектуальная информационная система оптимального контроля знаний, использующая изоморфизм нечетких графов для решения заданий практического занятия, контрольной работы, при тестировании. Работа [5] посвящена методу определения оптимальных модулей и компетентности обучающихся. В работе [13] предложена математическая модель составляющих учебного процесса. Один из основных вопросов в теории тестирования - ошибка измерения знания. Для этого вычисляется стандартная ошибка индивидуального балла обучающихся [1], которая зависит от среднего балла всех испытуемых в данной группе по данному тесту. В данной статье будут рассмотрены отклонения оценок тестирования обучающегося, зависящие от его среднего балла.

Тестирование каждого обучающегося можно рассматривать как коллективное оценивание по разным фрагментам (темам, разделам) данной дисциплины. Коллектив экспертов в данном случае образует вопросы теста.

Все возможные оценки ответов обучаемого на разные вопросы (задания) по всему курсу, не только входящие в данный тест, образуют генеральную совокупность некоторой случайной величины Х, которая представлена

__1 П

выборкой {х11г = 1,п}, средней выборочной х = —Xхг и оценкой дисперсии

п г=1

1 п

% = ЛX(х - х)2.

П - 1 г =1

Пусть тх и сх - соответственно математическое ожидание и среднее квадратическое отклонение случайной величины Х. Величина х является случайной, так как определяется выборкой на основе статистических данных. Все дальнейшие рассуждения будем проводить для случайной величины X, аппроксимируемой нормальным распределением. Пусть аппроксимация проведена на уровне значимости а0. До опыта все элементы х( выборки представляют собой случайные величины, которые будем считать независимыми и имеющими тот же закон распределения, что и случайная величина X, и с теми же числовыми характеристиками, усеченным нормальным распределением в промежутке [тх - и, тх + и], где тх - их > 0.

Возможны два варианта. Первый вариант: если и > 3сх, то по правилу «3 сигм» с вероятностью, не меньшей 0,9973 « 1, при заданной степени точности можно оперировать не с усеченным, а с обычным нормальным распределением Х. Второй вариант: если и будет меньше, чем 3с. В этом случае введем величину иг такую, что и < и1 = 3сх, и рассмотрим новую случайную величину:

Х1 = тх - и + и (X - тх + и1), и1

которая находится в промежутке [mx - щ, mx + и,], т.е. для X1 с вероятностью, не меньшей 0,9973, можно оперировать не с усеченным, а с обычным нор-

и

мальным законом распределения с М[Х1\ = mx и с[Х1] = — с[X].

и1

Не нарушая общности, будем рассматривать первый вариант.

Важной задачей выборочного метода является оценка параметров (характеристик) генеральной совокупности по данным выборки. В связи с этим актуальными являются задачи: 1) оценка показателя согласованности результатов тестирования по всем вопросам теста; 2) определение объема заданий при прогнозе для генеральной совокупности процента отклонений оценок в данном диапазоне; 3) определение для генеральной совокупности относительной ошибки оценивания, ее среднего значения, разброса, плотности распределения, процента возможных относительных ошибок в данном промежутке.

1. определение согласованности оценок заданий теста

со средней оценкой

При нахождении отклонений в оценке заданий по тесту важная роль отводится относительному отклонению (относительной ошибке) оценивания, которое можно определить либо как 8 = | х - х| / х, либо через 81 = (х - х) / х (случай (х-х)/х симметричен 8,). Пусть 8 = |х- х| /х - относительное отклонение. Если |х- х\/ х > 1, то оценка х не согласована с X, если |х - х| / х < 1, то х согласована с X и тем лучше, чем меньше относительное отклонение. Данный показатель можно рассматривать как показатель согласования в оценке.

Рассмотрим в качестве относительного отклонения 81 = |х - х| / х. Это значение случайной величины А,, представленной отношением величин — 1 "

У = X - х и х = — V х., которые на уровне а0 аппроксимируются нормаль-"1=1

ным распределением, причем Ы[У] = 0, Ы[х] = тх . Случайная величина Y представляет собой абсолютную ошибку тестирования.

Покажем, что А1 имеет нормальное распределение, найдем соответствующие характеристики, выраженные через X и SX, а также необходимое число наблюдений (вопросов в тесте), чтобы с заданными надежностью и точностью имело место нормальное распределение.

2. описание абсолютной ошибки оценивания

Для описания случайной величины Y сначала оценим сХ через SX. В работе [3] рассмотрен приближенный метод построения доверительного интервала для дисперсии с2, когда число наблюдений п > 30.

( ¡—Г~ л

Это интервал

S2 -е -

1 - 'р s2 - е), £ +81 + ¿р & s2+81)

V п -1 V п -1

где

где 8, - точность оценки, tр - аргумент функции Лапласа для доверительной вероятности р,.

Отсюда находим

п > п1 =

+ 1.

(1)

Запись [ ] обозначает целую часть числа.

Приведем алгоритм нахождения п, когда Sx не задано, и происходит итерационный процесс определения такого значения Sx, чтобы выполнялось неравенство (1).

Шаги алгоритма (Алгоритм 1).

1. Дано: аг = 1 - вр пг, птах - максимально возможное в данной ситуации число вопросов теста.

2. Находим правую часть неравенства (1), когда 52 =-V (х. - х)

П -11=1

1 ^

и

х =—V х1. Для этого рассматриваются оценки п1 независимых экспертов.

П1 ,=1

3. Если полученная на шаге 2 правая часть (1) будет не меньше п1 и не больше птах, то получаем оценку для числа экспертов п, удовлетворяющую неравенству: п1 < п < птах. Переход на Конец.

4. Если правая часть (1) меньше, чем п1, то полагаем п1 = п1 + 1. Если при этом п1 < птах, то переходим на шаг 2.

5. В противном случае надо уменьшать значения аг и вг

Таким образом, при п > п1 с вероятностью Р1 =1 -а1; с точностью в1

в -

В = 52 и с точностью — значение В[х ] . х х п п

При вычислении относительной погрешности считаем, что в1 = в2и в2 < 1. Тогда относительная погрешность

_2 о2

а„ - 51

<

в 2 • 52

5х в1 5х В25х 1 в2

Таким образом,

а 2 - 5 2

<

1 -в

(2)

Неравенство (2) выполняется при п > п1 с вероятностью 1 -а1. Найдем

В[У] = В[Х - х] = В[Х] + В[х] - 2Кх _ = Тогда

п +1

Вх, если хё{ х1,..., хп},

п

В , если х е {х,..., х }.

х' 11' ' п)

/ (у) = / (х - х) И

у/п

п + 1 а

4п

(х - х )2 •п

-е 2(п+1) а2, если х е {*,..., хп},

(х-х) •п

■е 2(п+2)а2, если х е^,..., хп}.

•л/п + 2 ах

Заметим, что 4п « л/п + 2, л/п «>/п +1 с точностью 3,3 % при п > 40.

д

8

2

X

Формула (3) при п > тах{40, щ} преобразуется в формулу

/Л У) = /1(х - х) =

1

( х—X )

2 Б?

л/2п -5

(4)

поскольку при этих значениях п с вероятностью 1 — а1 и с точностью е1

* X«

Замечание. Если потребовать выполнение условия: е252 <е1 <е25.2, где 0 < е2 < е2 <1, то условие (1) преобразуется к виду:

п > п1 =

2 ¿(1 + Е2)2

+1.

Так, для а1 = 0,1; е2 = 0,1; е2 = 0,09 находим: п > 647.

3. оценка математического ожидания

Неизвестное значение тх можно заменить точечной оценкой х. Оценим соответствующие абсолютную и относительные погрешности. Из теоремы Чебышева следует, что

тх — х|)<Ез) > 1 — ^ = 1 — ^Т> 1 — а2,

пе,

где а2 - сколь угодно малое число. При этом

п > п2 =

Относительная погрешность

х — т

К +Е1

Е3а 2

+1.

(5)

(6)

т х — Е

где е3 = х - е4 и 0 < е4 <1, т.е.

Е4 <

1 — Е

(7)

Если S2X не задано, то для формулы (6) используется Алгоритм 2, аналогичный Алгоритму 1.

4. реализация оценки числа вопросов

Приведем пример по оценке числа вопросов теста согласно формуле (6). Рассмотрим сначала первый вариант определения промежутка задания X (об

этом говорилось во Введении), когда X е х — е3 + 3^+ е1, х + е3 + 3^/5

^х +Е1

Если, например, средний балл х равен 5, то при е4 = 0,1 имеем:

е3 > 5 - 0,1 = 0,5. При максимальном балле 10 величина Бх = 5, тогда форму ла (6) преобразуется к виду

2,78 + е1

0,25 -а9

+1.

Е

3

п2 =

Поскольку вг = S2X • в2, то при в2 = 0,1 имеем вг = 2,78 • 0,1 = 0,278. При а2 = 0,1 получаем п2 = 124.

Во втором варианте используем Х1 и согласно формуле (6) при в3 = 0,5, а2 = 0,1, в1 = Б2^ -в2, в2 = 0,1 имеем: п2 >44• Б2, т.е. п2 определяется величиной разброса случайной величины X при данных в1, в2, а 2.

Так, при тестировании в Тверской государственной сельскохозяйственной академии по теории вероятностей и математической статистике максимальный балл был 10 с учетом сложности. Использовались подсказки (не более 5), каждая из которых снижает оценку на 0,7 ■ k баллов, где k -число полезных подсказок. Максимальное количество подсказок, равное 5, определено на основе пробных тестирований, при которых допускалось консультирование. Снижение балла происходит в арифметической прогрессии. Параметр 0,7 выбран из условия максимального «штрафа» за подсказку, так как в этом случае при пяти подсказках максимально снижается балл. Существуют разные варианты определения числа подсказок и баллов за них.

Отметим, что результаты данной статьи справедливы и при традиционном тестировании без подсказок. В то же время умело определенные подсказки во многом способствуют использованию теста не только для контроля, но и для обучения, т.е. повышают обучающий потенциал тестовых заданий.

В случае неправильного ответа по данному заданию возможен двоякий подход. Первый подход (стандартный) - за данное задание ставится оценка 0 баллов, независимо от того, сколько подсказок студент использовал. Второй подход - использование оценок онтологий и различных фрагментов данного задания и методов нечеткого управления в адекватной системе оценивания качества обучения.

При выборке объема п = 150 заданий теста у группы студентов в среднем получилось: х = 5,1; Б2х, = 3,06 и п > 3,06 • 44 = 134,6.

При аппроксимации статистических данных нормальным законом распределения уровень значимости составил 0,1.

5. построение функции плотности относительной ошибки оценивания и ее использование

Произведем разложение функции У1 = &( х) =1 в ряд Тейлора в окрест-

х

ности точки тх, ограничиваясь тремя слагаемыми:

X =—---Ц-• (х -т-) + • (х -т-)2. (8)

1 /\2Ч х' , чЗ 4 х ■>

т (тх) (тх)

Погрешность такого представления равна остаточному члену К(х) ряда Тейлора, причем Я(х) = -^(х - тх)3, заключено между х и тх.

При этом, как следует из (5), х отличается от т- не более чем на в3, с

вероятностью, не меньшей 1 - а2, где е3 и а2 - сколь угодно малые числа. Поэтому Я (х) будет сравнительно небольшим. Пусть е = тх, если £,> тх, е = тх - если т- >

Из формулы (8) с точностью

= М [| Я2(х )|]< М

4

= - еЗМ 2 3

<-еЗ / (е)4 < -е3/(х -83)4

найдем

1 1 п

1 т- (т-)

(9)

причем, например, при х = 1,5, е3 = 0,01 получим е5 = 0 с точностью до шестого знака после запятой. При 0 < х = 1,5 < 0 и е3 = 0,01 аналогично е 5 = 0 с точностью до пятого знака. Вырожденный случай, когда х = 0, не рассматривается.

По определению, Д1 = У • У„ или 51 = у • у1. Разлагая функцию 51 в ряд Тейлора в окрестности точки (ту, т ), получим

61 = ту-ту 1 + ту1 -(У - ту ) + ту ЧУ3 - ту1).

Данное представление 81 является точным, так как все частные производные высших порядков равны нулю. Отсюда, поскольку ту = 0, с учетом (7) находим

61 = ту, • у =

'1 1 п'

— +-3 • п

тх (тх) '

у.

(10)

Следовательно,

П6 = ®1

1

т =

-+г1^

тх (тх)

1

Ч

\ 2

ту = 0,

— +-3 • п

т (тх) ■

V Л + 1 2 (

-+Л • П

т (т)

п + 1

£.

(11)

(12)

Равенство (12) выполняется с относительной точностью

1 -8

при п > п1

с вероятностью (1 -а1). 1 °2

Из (10)-(12) с учетом того, что Y имеет нормальное распределение (на уровне значимости а0), находим

№) =

1

(б)2

(13)

где с =

1

1

,2 Л

т (т) п

п + 1

. Точность данной формулы при замене а

на £2 определяется так:

■У1 +У2 +У3

1-8

(14)

8

2

8

2

с

где У1 = —

тп + с

-; у2 = -

2с2

11 С

V тх тх П

-; У3=-

2 у

2 Сх

п

Возможны два варианта преобразования выражения (14). Первый вариант предполагает, что сумма положительных членов в (14) не меньше суммы отрицательных. Тогда

■У1 +У2 +У3

1-е

е6 <

1

£(1-В2)

2 х2(1 + в3)2 •п + 5.2(1 + е3)

+ 812/2 •(! + в2)

1

(1 -е^ ^

2 V

+ 82/

х2(1 + е3 )2 +

5х2(1 -62)

V

ч3 Л

х(1 + е3) х (1 + е3) •п

1-6

Например, пусть ^ = 1,67, х = 5, е2 = 0,1, е3 = 0,01 п > п3 = тах{п1, п2}> 647. Тогда

66 < (-0,5 +11,682) •

1 -е

■ = -0,05 +1,1682.

Поскольку 81 = ^

х - х

х -1

, то, чем ближе х к х, тем ближе е6 к нулю,

но при этом должно быть либо х > 1,2 х, либо х < 0,8 х, но это противоречивое неравенство.

При втором варианте сумма положительных членов в (13) меньше суммы отрицательных и е6 = | 1 + у1 -у2 -у3Ь 62 . Оценка е6 в этом случае

V 2 ) 1 -62

отличается от оценки первого варианта только знаками в скобках, содержащих е2 и е3: знаки перед е2 и е5 меняются на противоположные.

Для этого варианта для тех же данных, что и в первом варианте, получаем

:(0,5 -11,682 = 0,05 -1,1682.

4 ' 1 -е

е. <(

При этом, чем меньше х отличается от х, тем ближе е6 к нулю при 0,8х < х < 1,2х.

Так, если х = 5, х = 4,5, то 81 = 0,1 и е6 < 0,4 %. При замене в (12) сх на Sx получаем плотность

/(81) =

1

-82 51ч

(15)

(

где ех =

1 1

+ -

V тх (тх )3 )

п + 1

2

2

8

5

1

8

2

и

Уточним в формуле (15) с1, заменив тх на х. Относительная погрешность при этом будет

67 <У'

1 -52 • / 2(^ -8! ) ГУ-(\ + 6з)(1 + 83) + 5 (1 + 8з)3

V п +1 / X

1-8

(16)

(

где у =

1 3

-+ ^-3

1 -63 х (1 -63)

52

А К

1

1

5 2-8

х(1 + 63) х3(1 + 63)3

и в (16) под

знаком модуля вычитаемое меньше, чем 1. Если вычитаемое больше 1, то знаки слагаемых меняются и в знаменателе второго члена будет стоять вместо 1+ 63 выражение 1 -63.

При 5х = 1,67; х = 5; п > 647; 63 = 0,01; 61 = 0,28; 51 = 0,1 имеем:

67 < 4,6 • 0,01 = 0,046 или 4,6 %.

Относительная погрешность при замене в (14) а2 на 8х и тх на х А£ ^ Л'2 Аст2 Д • тх Амх

I " ^ " + ^ .

(17)

/ '2 I тх

Относительная погрешность составляет 66 + 67. Для рассматриваемого примера это 5 %.

Погрешность самой формулы не более 0,1(66 +67), поскольку при замене приращение функции ее дифференциалом погрешность была определена как 0,1 ■ df. Для рассматриваемого примера эта погрешность составляет 0,5 %.

Таким образом, формула (14) преобразовалась в формулу (18):

/(51) =

1

, 25г2С,

Т2л5хс2

(18)

(

где с2 =

1

х х3

1 5

п

2

п + 1

Относительная погрешность такого преобразования не более 68 = = 1,1(66 + 67) при вероятности (1 -а0)(1 -а1)(1 -а2) и п > п3.

Для рассмотренного примера 68 = 1,1(0,4 + 4,6) = 5,5%, т.е. погрешность не более 5,5 % при вероятности, не меньшей 0,73, при п > 647. Из (18) находим

Р(- <51 <й) = Ф

\ 5 • /

\ х 2 у

= у.

(19)

Погрешность этой формулы не превосходит суммы погрешности функции Лапласа и величины 68 у.

Итак, формулы (10)-(19) при соответствующем объеме выборки дают достаточно точное значение соответственно относительного отклонения в оценке, его среднего значения, разброса, плотности распределения и вероятности попадания на участок d).

4

6

4

X

заключение

В работе получены следующие результаты: приведена оценка согласованности результатов тестирования, определен объем заданий, при котором процент возможных отклонений оценки будет в данном интервале, для генеральной совокупности определено относительное отклонение оценивания и его характеристики.

Полученные результаты используются в учебном процессе в учебных заведениях г. Твери.

Разработанный метод анализа качества процесса тестирования может использоваться не только в образовании, но и в психологическом консультировании, системах оценивания профессиональной подготовки, в медицинской диагностике, социологических опросах, выборочном контроле оценки качества продукции, системах тестирования аппаратуры, программного обеспечения и баз данных.

Дитература

1. Аванесов В.С. Научные основы тестового контроля знаний. М.: Исследовательский центр, 1994. 135 с.

2. Бочко С.Б., Изимов М.У. Математическая модель оценки результатов тестирования // Вестник Томского государственного педагогического университета. 2004. № 6. С. 88-89.

3. Вентцель Е.С. Теория вероятностей: учебник для вузов. М.: Высшая школа, 1999. 576 с.

4. Ганичева А.В. Интеллектуальная информационная система оптимального контроля знаний // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2014. № 101. С. 358-374.

5. Ганичева А.В. Метод определения оптимальных модулей и компетентности обучаемых // Качество. Инновации. Образование. 2013. № 10 (101). С. 19-23.

6. Ганичева А.В. Оценка эффективности процесса обучения // Бизнес. Образование. Право. Вестник Волгоградского института бизнеса. 2014. № 4. С. 301-304.

7 Ганичева А.В. Модель менеджмента качества учебных планов // Качество. Инновации. Образование. 2012. № 4 (83). С. 37-41.

8. Ганичева А.В. и др. Тестовые технологии в обучении / отв. ред. А.В. Ганичева. Тверь: ТГСХА, 2011. 130 с.

9. Звонников В.И., Челышкова М.Б. Современные средства оценивания результатов тестирования: учебное пособие для студ. высш. учеб. заведений. М.: Издательский центр «Академия», 2007. 224 с.

10. Кузьмин О.В., Бочко С.Б. Тестирование, как способ мониторинга качества подготовки технических специалистов // Современные технологии. Системный анализ. Моделирование. 2010. № 1. С. 247-260.

11. Полещук О.М., Рыбников К.К. Модели анализа тестирования в образовательном процессе // Ярославский педагогический вестник. 2002. № 2 (31). С. 124-127.

12. Челышкова М.Б. Теория и практика конструирования педагогических тестов: учебное пособие. М.: Логос, 2002. 432 с.

13. Ganicheva A.V. Optimization Models of Components of Educational Process. British Journal of Mathematics and Computer Science. 2016. № 14 (5). F! 7-11.

14. Safargaliev E.R., Eremina I.I., Savitsky S.K., Camelina VA. Mathematical Model and Qualimetric Assessment of Graduate Education Quality in Environment Saturated with Information and Communication Technologies. International Education Studies. 2015. Vol. 8. № 2. IF 78-83.

Bibliography

1. Avanesov VS. Nauchnye osnovy testovogo kontrolja znanij. M.: Issledovatel'skij centr, 1994. 135 p.

2. Bochko S.B., Izimov M.U. Matematicheskaja model' ocenki rezul'tatov testirovanija // Vestnik Tomskogo gosudarstvennogo pedagogicheskogo universiteta. 2004. № 6. P 88-89.

3. Ventcel' E.S. Teorija verojatnostej: uchebnik dlja vuzov. M.: Vysshaja shkola, 1999. 576 p.

4. Ganicheva A.V. Intellektual'naja informacionnaja sistema optimal'nogo kontrolja znanij // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta. 2014. № 101. P 358-374.

5. Ganicheva A.V. Metod opredelenija optimal'nyh modulej i kompetentnosti obuchae-myh // Kachestvo. Innovacii. Obrazovanie. 2013. № 10 (101). IP 19-23.

6. Ganicheva A.V. Ocenka jeffektivnosti processa obuchenija // Biznes. Obrazovanie. Pravo. Vestnik Volgogradskogo instituta biznesa. 2014. № 4. P 301-304.

7 Ganicheva A.V. Model' menedzhmenta kachestva uchebnyh planov // Kachestvo. Innovacii. Obrazovanie. 2012. № 4 (83). P. 37-41.

8. Ganicheva A.V i dr. Testovye tehnologii v obuchenii / otv. red. A.V Ganicheva. Tver': TGSHA, 2011. 130 p.

9. Zvonnikov V.I., Chelyshkova M.B. Sovremennye sredstva ocenivanija rezul'tatov testirovanija: uchebnoe posobie dlja stud. vyssh. ucheb. zavedenij. M.: Izdatel'skij centr «Akademija», 2007 224 p.

10. Kuz'min O. V, Bochko S.B. Testirovanie, kak sposob monitoringa kachestva podgotovki tehnicheskih specialistov // Sovremennye tehnologii. Sistemnyj analiz. Modelirovanie. 2010. № 1. P. 247-260.

11. Poleshhuk O.M., Rybnikov K.K. Modeli analiza testirovanija v obrazovatel'nom processe // Jaroslavskij pedagogicheskij vestnik. 2002. № 2 (31). P 124-127.

12. Chelyshkova M.B. Teorija i praktika konstruirovanija pedagogicheskih testov: uchebnoe posobie. M.: Logos, 2002. 432 p.

13. Ganicheva A.V. Optimization Models of Components of Educational Process. British Journal of Mathematics and Computer Science. 2016. № 14 (5). P 7-11.

14. Safargaliev E.R., Eremina I.I., Savitsky S.K., Camelina VA. Mathematical Model and Qualimetric Assessment of Graduate Education Quality in Environment Saturated with Information and Communication Technologies. International Education Studies. 2015. Vol. 8. № 2. P 78-83.