Метод последовательного тестирования: совместное оценивание уровня подготовки и сложности задания Текст научной статьи по специальности «Науки об образовании»

МАТЕМАТИЧЕСКИЕ И ИНСТРУМЕНТАЛЬНЫЕ МЕТОДЫ

МЕТОД ПОСЛЕДОВАТЕЛЬНОГО ТЕСТИРОВАНИЯ: СОВМЕСТНОЕ ОЦЕНИВАНИЕ

УРОВНЯ ПОДГОТОВКИ И СЛОЖНОСТИ ЗАДАНИЯ1

Мочалина Екатерина Павловна

кандидат физико-математических наук, доцент кафедры высшей математики РЭУ им. Г. В. Плеханова.

Адрес: ФГБОУ ВО «Российский экономический университет имени Г. В. Плеханова», 117997, Москва, Стремянный пер., д. 36. E-mail: mochalina77@gmail.com

Иванкова Галина Владимировна

старший преподаватель кафедры высшей математики РЭУ им. Г. В. Плеханова. Адрес: ФГБОУ ВО «Российский экономический университет имени Г. В. Плеханова», 117997, Москва, Стремянный пер., д. 36. E-mail: g_ivankova@mail.ru

Татарников Олег Вениаминович

доктор технических наук, профессор, заведующий кафедрой высшей математики РЭУ им. Г. В. Плеханова.

Адрес: ФГБОУ ВО «Российский экономический университет имени Г. В. Плеханова», 117997, Москва, Стремянный пер., д. 36. E-mail: ovtatarnikov@mail.ru

Маслякова Ирина Николаевна

старший преподаватель кафедры высшей математики РЭУ им. Г. В. Плеханова. Адрес: ФГБОУ ВО «Российский экономический университет имени Г. В. Плеханова», 117997, Москва, Стремянный пер., д. 36. E-mail: maslyakova@gmail.com

В статье предлагается инновационный способ применения тестирования: тест не как форма контроля (точнее, не только как форма контроля), а как способ получения знаний. Также ставится цель получения оценки уровня знаний, не зависящей от начальных условий тестирования. Итогом работы является методология рекуррентного тестирования (серия идущих друг за другом тестов, каждый из которых учитывает результаты предыдущего), позволяющая получить оценку уровня общих компетенций (ОК) и профессиональных компетенций (ПК) студента. Результаты данного исследования были представлены на Международной конференции «Образование, наука и экономика в вузах и школах. Интеграция в международное образовательное пространство» (Горис, Армения, 2015). Основным аспектом является демонстрация того, что разработанная мето-

1 Статья подготовлена по результатам исследования, проведенного при финансовой поддержке ФГБОУ ВО «РЭУ им. Г. В. Плеханова» в рамках НПР «Учебно-практический симулятор с тремя уровнями сложности по дисциплине "Теория вероятностей и математическая статистика" на основе кейсов с открытым контентом».

дология вне зависимости от начальной точки (первичного теста) быстро сходится к уровню знаний студента. Для доказательства этого факта строится соответствующая математическая модель процесса (последовательного тестирования) и исследуется ее сходимость. Для применения на практике построенной модели оценивания ОК и ПК в настоящее время формируется база данных тестовых заданий и решается вопрос о ее технической поддержке соответствующим программным обеспечением.

Ключевые слова: уровень подготовки, количественные характеристики способности к обучению, последовательные приближения, модель Бирнбаума, ядро Фредгольма.

STEP-BY-STEP TESTING METHOD: JOINT ASSESSMENT OF THE TRAINING LEVEL AND THE COMPLEXITY OF ASSIGNMENT

Mochalina, Ekaterina P.

PhD, Assistant Professor of the Department for Higher Mathematic of the PRUE.

Address: Plekhanov Russian University of Economics, 36 Stremyanny Lane, Moscow, 117997,

Russian Federation.

E-mail: mochalina77@gmail.com

Ivankova, Galina V.

Senior Lecture of the Department for Higher Mathematic of the PRUE.

Address: Plekhanov Russian University of Economics, 36 Stremyanny Lane, Moscow, 117997, Russian Federation. E-mail: g_ivankova@mail.ru

Tatarnikov, Oleg V.

Doctor of Science, Professor, the Head of the Department for Higher Mathematic of the PRUE. Address: Plekhanov Russian University of Economics, 36 Stremyanny Lane, Moscow, 117997, Russian Federation. E-mail: ovtatarnikov@mail.ru

Maslyakova, Irina N.

Senior Lecture of the Department for Higher Mathematic of the PRUE.

Address: Plekhanov Russian University of Economics, 36 Stremyanny Lane, Moscow, 117997,

Russian Federation.

E-mail: maslyakova@gmail.com

This paper presents an innovation approach to teaching by step-by-step testing method, which generates the complexity of the task, depending on the student's level of knowledge. Also we want to generate the assessment of the level of knowledge that is independent of the initial test conditions. The result of this work is the recurrent testing methodology which allows to estimate the student's level of OC and PC (means the series of coming one after the other tests, each of which takes into account previous results). The results of that part of the work were presented on the international conference "Education, science and economics at universities and schools. Integration to the international educational area" (Goris, Armenia, 2015). An important, or even can be said, the main aspect is to demonstrate that the developed methodology, regardless of the starting point (initial test) rapidly converges to the student's

level of knowledge. To prove the fact the corresponding mathematical model of the process (serial testing) was built. Its convergence also was studied. For the practical application of the developed estimation model of OC and the PC the database of tests is forming. We think also about its technical support by developing appropriate software.

Keywords: level of training, quantitative characteristics of the learning ability, step-by-step approach, Birnbaum model, Fredholm kernel.

В настоящее время наблюдается полный спектр мнений относительно приемлемости тестирования в процессе обучения: от полного неприятия до тотального применения. Между тем уже четко определены преимущества такого метода измерения уровня знаний: объективность, быстрота, технологичность, охват всего учебного материала, возможность использования математических методов для обработки результатов и т. д.

Метод последовательного тестирования -это инновационный подход к преподаванию, представляющий собой серию идущих друг за другом тестов, каждый из которых учитывает результаты предыдущего. Такая методика не только позволяет получить оценку уровня ОК и ПК студента, но и повышает уровень его остаточных знаний. Этот метод как подход к преподаванию возник в результате проведения круглого стола по теме «Статистические процедуры оценивания уровня знаний», где были представлены и проанализированы современные методы обучения [4] и тестирования, в частности, тесты PISA.

Итогом дискуссии стало формирование базовой модели теста, которая впоследствии была опробована на студентах РЭУ им. Г. В. Плеханова. Разработанный тест является частью комплекта ему подобных, являющихся индикатором усвоения знаний. Работа выстроена таким образом, что при ее выполнении обучаемый (конкретно - студент) переходит на следующий уровень подготовки. Результаты повторных последовательных тестирований, проводимых на том же тестовом множестве, обрабатываются путем наложения на сформированную ранее модель. Первые десять заданий представляют собой классический разноуровневый тест с вариантами ответов. Вторая часть, состоящая из пяти заданий, - творческая. Она определенно сложнее, варианты ответов не предоставляются, и задание считается решенным только при наличии правильного ответа. В некотором смысле эта система оценки ОК и ПК близка к методам, применяемым разработчиками ЕГЭ. Полностью алгоритм проведения такого тестирования показан на рис. 1.

I. Порядок проведения и содержание:

1. Обеспечение соответствующего аудиторного фонда.

2. Обеспечение тестового множества (подбор разноуровневой обширной группы студентов, прослушавших один и тот же курс).

3. Обеспечение чистоты эксперимента. В данном случае речь идет об изолировании тестового множества от внешних факторов, прежде всего таких, как Интернет.

4. Обеспечение требуемого (ограниченного) количества времени на выполнение тестовых заданий (технически это означает заказ аудиторий на соответствующее количество часов).

5. Оформление результатов проведения теста в виде сводной таблицы.

II. Тест признается годным к обработке, если он удовлетворяет всем нижеперечисленным требованиям:

1. Ответы к заданиям 1-10 отмечаются в бланке ответов в тексте работы.

2. Ответы к заданиям 11-15 записываются в бланке ответов с указанием слова «Ответ:». При этом в каждом из вышеперечисленных заданий должно быть решение. При его отсутствии задание даже при наличии верного ответа не засчитывает-ся.

3. При выполнении заданий можно пользоваться черновиком. Записи в черновике не учитываются при оценивании работы.

4. Тест укладывается в строго определенные временные рамки. Работы, сданные после deadline, в обработку не принимаются.

Рис. 1. Алгоритм серийного тестирования для оценки ОК и ПК студента

Заметим, что необходимо регулярно оценивать учащихся, производя мониторинг их уровня ОК и ПК, с целью корректировки плана дальнейшего обучения для получения целевого результата. Итогом работы является методология рекуррентного тестирования, позволяющая получить оценку уровня ОК и ПК студента.

Тестовое множество - 175 студентов РЭУ им. Г. В. Плеханова. В качестве априорных

Обработка результатов тестирования производилась с помощью соответствующего программного обеспечения (программа обработки данных написана авторами с помощью пакета Ма1:ЬаЪ). Теперь покажем, что представленная выше методология вне зависимости от начальной точки (первичного теста) быстро сходится к уровню знаний студента. Для этого построим соответствующую математическую модель процесса (последовательного тестирования) и исследуем ее на сходимость. Будем рассматривать процедуру оценивания уровня знаний студента как процесс косвенных измерений некоторой величины. Измерением является выполнение студентом некоторого тестового задания, а результатом измерения - качество выполнения этого тестового задания. Задача состоит в том, чтобы по результатам измере-

оценок взяты результаты зимней сессии по дисциплине «Математический анализ» (пятибалльная шкала). В таблице приведены результаты по одной из тестовых подгрупп, где столбцы 3 и 4 представляют собой результаты экспериментального тестирования, состоящего из двух групп заданий разного уровня сложности (соответственно, десятибалльная и пятибалльная шкалы оценивания).

ния, т. е. имея оценку качества выполнения тестовых заданий, определить величину уровня знаний обучаемого. Считая, что результат выполнения задания является случайным, будем предполагать, что уровень знаний, определяемый по результату выполнения задания, также является случайной величиной, которая характеризуется некоторой плотностью распределения.

В дальнейшем будем обозначать величину уровня знаний студента через 0, сложность выполняемого задания - через ю, а значение показателя качества выполнения задания - через т. Будем также предполагать, что все эти величины принимают значение из отрезка [0, 1]. В соответствии с теорией байесовского оценивания апостериорная оценка плотности распределения уровня знаний обучаемого по результату выполнения задания, уровень

Результаты тестирования (часть тестового множества, образец)

Номер студента Априорные оценки Первые десять заданий (с ответами) Вторые пять заданий (без вариантов ответов) Доля выполненных заданий

1 2 3 4 5

Студент 1 3 6 0 0,3

Студент 2 3 2 0 0,1

Студент 3 5 7 3 0,65

Студент 4 4 5 1 0,35

Студент 5 3 2 0 0,1

Студент 6 3 4 0 0,2

Студент 7 3 3 2 0,35

Студент 8 3 7 0 0,35

Студент 9 5 8 1 0,5

Студент 10 5 5 0 0,25

Студент 11 5 7 0 0,35

Студент 12 4 6 1 0,4

Студент 13 3 5 0 0,25

Студент 14 3 1 0 0,05

Студент 15 4 4 0 0,2

Студент 16 3 3 0 0,15

Студент 17 3 5 1 0,35

Студент 18 3 3 0 0,15

сложности которого известен, определяет ся соотношением вида

ф0 (0)Чт| е ,ю)

ф(0| т ,ю) = -

(1)

%(т |ю)

при условии, что качество выполнения задания равно т.

Здесь ф (0) - априорная плотность распределения уровня знаний студента перед началом выполнения задания;

я(т|0, ю) - условная вероятность того,

что качество выполнения задания с уровнем сложности ю и при условии, что уровень знаний студента равен 0, будет равно т;

т|ю) - априорная вероятность того, что качество выполнения задания с уровнем сложности ю будет равно т.

В соответствии с формулой полной вероятности

1

п(т|ю) = ]Цт|0, ю)ф (0)d0 . (2)

0

С другой стороны, если уровень сложности задания неизвестен, но известен уровень знаний студента, то апостериорная оценка плотности распределения уровня сложности задания будет определяться аналогичным соотношением:

(ю)я( т |0, ю)

^ (ю |т, 0) = ■

(3)

где (ю) - априорная плотность распределения уровня сложности задания;

V (т |0) - априорная вероятность того,

что качество выполнения задания с уровнем знаний 0 будет равно т.

В соответствии с формулой полной вероятности снова получаем

1

V (т |0) = |я( т |0, ю)у0 (ю^ю. (4)

0

Если ни уровень знаний студента, ни уровень сложности задания неизвестны, то для апостериорных плотностей распределения этих показателей можем записать в соответствии с формулой полной вероятности:

1

ф(0 |т) = |ф(0\т ,ю)у(ю |т) dю, (5)

0

1

у(ю |т) = |ф(ю\т, 0)Ф(0 \т) d0. (6)

0

Подставляя выражение (6) для апостериорной плотности распределения уровня сложности задания в правую часть соотношения (5), получаем

1 Г 1

ф (0 И = /<р (0| т ,ю)1 (ю| т ,§) р (§ |т) 1с1ю. (7)

0 \0 У

Меняя в правой части соотношения (7) порядок интегрирования, после преобразований получаем

V (т| 0)

1г 1

ф(0|т) = ц ]ф(е|т,ю)у(ю|т,dю ф(£,|т)^^ ■

(8)

Аналогично, подставляя выражение (5) ношение (6) и меняя порядок интегриро-для апостериорной плотности распреде- вания, получим ления уровня знаний обучаемого в соот-

Уравнения (8) и (9) представляют собой два однородных интегральных уравнения Фредгольма II рода относительно неизвестных условных апостериорных плотностей распределения уровня знаний студента ф(0|т) и уровня сложности задания

|т) при условии, что качество выполнения этого задания равно т. Ядро первого интегрального уравнения (8) имеет вид

1г 1

у(ю|т) = ц |ф(0|т,с)у(ю\т,0)d0 |т)■

1

М(0, £) = |ф(0| т, ю) у(ю |т, £) dю,

(9)

а ядро интегрального уравнения (9) - соответственно

1

Мю, о = |ф(е| т, с)^(ю \т, е) dе.

0

С учетом введенных обозначений интегральные уравнения (8) и (9) можно записать следующим образом:

0

ф(е| ■т) = ]м (0, Ю) 0 .

1

у(ю Ю) = |Мю, С )у(С Ю) dС

0

В общем виде уравнения (8) и (9) можно К(х, в) - ядро соответствующего инте-записать следующим образом: грального уравнения.

I С учетом соотношений (1)-(4) инте-

у(х) = | (х'й) у (й) й' гральное ядро М(0,£) можно представить

где у(х) - неизвестная плотность распреде- в виде ления (ф(0|т) или у(ю|го)),

М (0, £) =

фо(0) 1... /,,чл(т|0,ю)л(т,ю)

v(w\£)

|Уо(ю)"

л(т |ю)

а интегральное ядро Ы(ю, С) в виде

N (ю }фо<0)"т 0; 0'ю)

л(т| С)!

Напомним, что входящие в соотношения (10) и (11) для интегральных ядер функции ф0 (0) и (ю) являются априорными распределениями соответствующих показателей и предполагаются известными, а функции л (го, ю) и v( т |0) определяются соотношениями (2) и (3) соответственно. Таким образом, для вычисления интегральных ядер (10) и (11) необходимо определить условные вероятности л(т |0, ю)

выполнения задания с уровнем качества т при условии, что уровень сложности задания равен ю, а уровень знаний обучаемого равен 0. В дальнейшем будем предполагать, что качество выполнения задания оценивается бинарным показателем качества «выполнено - не выполнено», т. е. величина т принимает два значения: 0 или 1. Это допущение по-

dе .

(10)

(11)

зволяет воспользоваться результатами современной теории тестирования. Будем предполагать, что вероятность правильного выполнения одного задания описывается двухпараметрической моделью Бирнбаума [5; 6]:

Р (а, Ь ) = -

-Ь)

а(а-Ь)

1 + е ( '

где а - уровень знаний обучаемого; Ь - сложность задания; а - параметр модели [5; 6], который называется разрешающей способностью задания.

В этой модели величины а и Ь принадлежат интервалу [о, +да). Чтобы воспользоваться этой моделью, сделаем замену переменных: а = - 1п(1 -0)=- 1п(1 -ю). Получаем:

Р (ю, 0) = -

а(-1п(1-0)+1п(1-ю))

а(-1п(1-0)+1п(1-ю)) = 1 + (1 -0)-а( 1 -ю)а =( 1 -0)а+( 1 -ю)

(1 -0)-а( 1 -ю)

(1 -ю)

1 + е

Таким образом, условные вероятности распределения неизвестных уровня слож-л(т |0, ю), входящие в соотношения для ин- ности задания и уровня знаний обучаемо-

тегральных ядер уравнений Фредгольма го имеют вид относительно апостериорных плотностей

0

е

а

(1 -ю)°

л( 1|0, ю) = -4 ' ^ (1 -ю)а + ( 1 -0)а

Для решения интегральных уравнений (8) и (9) воспользуемся методом последовательных приближений, согласно которому решение строится на основе итерационной процедуры вида 1

У (х) = |К(х, э)уг-1 (в) ds .

0

Пример 1. Результаты выполнения итерационной процедуры для случая, когда априорная информация о значениях уровня знаний студента и уровня сложности задания отсутствует (рис. 2 и 3).

У 1

0,4 0,6

СО

Рис. 2. Последовательные приближения плотности распределения сложности задания

Ф 1

' ' (1 -ю)а + ( 1 -0)"

ность распределения. Видно, что итерационная процедура сходится очень быстро, достаточно 4-5 итераций, чтобы получить апостериорные плотности распределения.

Пример 2. Результаты последовательного вычисления апостериорных плотностей распределения (уровня сложности и уровня знаний) после каждого задания для случая при заданной априорной плотности распределения уровня сложности задания (рис. 4 и 5).

У 6

0,4 0,6

со

Рис. 4. Последовательные приближения плотности распределения уровня сложности задания при заданной априорной плотности распределения уровня сложности

Ф 6

0,2 0,4 0,6 0,8 1

е

Рис. 3. Последовательные приближения плотности распределения уровня знаний студента

Предполагалось, что эти показатели имеют априорное равномерное распределение. Результаты представлены для случая, когда студент дал правильный ответ. Пунктирной линией показана априорная плот-

е

Рис. 5. Последовательные приближения плотности распределения уровня знаний студента при заданной априорной плотности распределения уровня знаний студента

Априорные распределения показаны пунктирной линией, при этом предполагалось, что студент неправильно выполнил предложенное задание.

2

10

8

1,5

4

0,5

2

0

0

0,2

0,8

1

0,2

0,8

2

10

1,5

8

0,5

4

2

0

0

0,2

0,4

0,6

0,8

1

Как мы видим, скорость сходимости итерационных процедур остается такой же высокой.

Далее определение апостериорных плотностей распределения осуществлялось после каждого выполненного задания. Апостериорные плотности распределения, определенные после выполнения предыдущего задания, принимались в качестве априорных после выполнения следующего задания. Точнее, пусть студент выполнил ]-е задание. Результат выполнения этого задания заложен в т/. После выполнения предыдущего (] - 1)-го задания уже были вычислены апостериорные плотности распределения уровня сложности задания и уровня знаний обучаемого: (0а,ю),

1 -1

(ю т -1,0)

на основе решения инте-

гральных уравнений (8) и (9). Теперь эти плотности распределения (0 \wj~i, ю),

(ю , 0) принимаются в качестве априорных при вычислении интегральных ядер (10) и (11) в интегральных уравнениях вида (8) и (9) для вычисления апостериорных плотностей распределения ф. (0, ю),

V (ю ,0) после выполнения ]-го задания.

Таким образом, последовательность вычислений апостериорных плотностей распределения после выполнения обучаемым ]-го задания представляется в следующем виде:

- вычисляются функции

1

л (т |ю)=(0, ю)л (т |0, ю) dе,

ф ;(0 ю) =

ф;-1 (0|т;-1,ю) л(т] |0,ю)

л(т |ю)

1

V(т] |0) = а(ю |ту_ 0)л( 10, ю) dю,

о

(ю 0)л(го; |0, ю) _

V (ю , 0)

v(т! |0)

- вычисляются интегральные ядра

1

М; (0|£) = |фу(0\т;,ю)у; (ю \т;,dю[,

1

N (ю|с) = |ф;. (0| Ш;, С)vi (ю т, 0) dе;

о

- методом последовательных приближений решаются интегральные уравнения вида

1

V (ю 0)=(®, (®ту , 0Ж'

0

1

ф; (0 Ш; , ю) = М (0, £)фу (£ т , ю^ .

(12)

В качестве начального приближения при решении уравнений (12) используются апостериорные плотности распределения ф^(0,ю), у;_1(ю|ш;_1,0), рассчитанные после выполнения предыдущего задания. Результаты последовательного вычисления апостериорных плотностей распределения после каждого задания представлены на рис. 4 и 5.

На основании разработанного метода совместного определения апостериорных плотностей распределения уровней знаний студента и сложности задания был проведен анализ изменения апостериорных плотностей распределения по результатам выполнения студентом серии однотипных заданий.

В качестве исходных данных мы предположили, что априорная плотность распределения показателей сложности задания и уровня знаний студента неизвестна. Поэтому они были приняты равномерными.

Студент выполнял 10 однотипных заданий, 6 из которых он выполнил правильно. Правильность выполнения заданий характеризуется вектором {1, 0, 1, 0, 0, 0, 1, 1, 1, 1}. Дадим наглядную графическую иллюстрацию этого процесса.

Анализ представленных на рис. 6 и 7 результатов последовательного оценивания уровня знаний студента и уровня сложности задания показывает, что независимо от результата выполнения задания дисперсия оценки будет уменьшаться («ширина» графика плотности распределения каждого показателя уменьшается). Однако в зависимости от правильности ответа происходит смещение положения точки максимума плотности распределения, что соот-

о

о

о

ветствует смещению математического ожидания соответствующего показателя.

7 6 5

ф 4 3 2 1 0

оценки математического ожидания уровня знаний обучаемого и среднеквадратиче-ского отклонения этой оценки, представленные на рис. 8.

е

Рис. 6. Изменение апостериорной плотности

распределения уровня сложности задания после выполнения студентом серии тестовых заданий одного уровня сложности

7 6 5

У 4

3 2 1 0

Рис. 7. Изменение апостериорной плотности распределения уровня знаний студента после выполнения им серии тестовых заданий одного уровня сложности

Эти качественные выводы подтверждают зависимости, описывающие изменение

Рис. 8. Изменение математического ожидания (сплошная линия) и среднеквадратического отклонения (пунктирная линия) уровня знаний студента после выполнения серии заданий одного уровня сложности

Получение оценок уровня знаний студента и уровня сложности задания в виде апостериорных плотностей распределения позволяет получить как точечные, так и интервальные оценки этих показателей.

Таким образом, в данной статье предложен метод совместного оценивания уровня сложности заданий и уровня знаний обучаемого по результатам выполнения тестовых задач, показана его быстрая сходимость, а также возможность рекуррентного применения при последовательном тестировании студента.

Список литературы

1. Максименко М. Н., Мирзаханян Р. Э., Мушруб В. А. Применение логики лжи в процессе обучения детей / / Вестник Российского экономического университета имени Г. В. Плеханова. - 2017. - № 5 (95). - С. 30-36.

2. Мочалина Е. П., Маслякова И. Н., Иванкова Г. В., Татарников О. В. Совместное оценивание уровня подготовки и сложности задания // Сборник трудов Международной научной конференции под эгидой премьер-министра РА Овика Абраамяна «Образование, наука и экономика в вузах и школах. Интеграция в международное образовательное пространство». - Горис, 2015. - Вып. 1. - С. 147-151.

3. Мочалина Е. П., Маслякова И. Н., Иванкова Г. В., Татарников О. В. Модель обучения как Марковский процесс // Сборник трудов Международной научной конференции под эгидой премьер-министра РА Овика Абраамяна «Образование, наука и экономика в вузах и школах. Интеграция в международное образовательное пространство». - Горис, 2015. - Вып. 1. - С. 132-135.

0,8

0,6

0,4

0,2

0,4

0,6

0,8

0,2

0

2

4

6

8

10

0,2

0,4

0,6

0,8

Ю

4. Мочалина Е. П., Маслякова И. Н., Иванкова Г. В., Татарников О. В. Адаптация образовательной программы по финансовым вычислениям к актуальному экономическому состоянию / / Вестник Российского экономического университета имени Г. В. Плеханова. -2017. - № 2 (92). - С. 57-63.

5. Нейман Ю. М, Хлебников В. А. Введение в теорию моделирования и параметризации педагогических тестов. - М. : Прометей, 2000.

6. Сейдж Э., Мелса Дж. Теория оценивания и ее применение в связи и управлении / пер. с англ. под ред. Б. Р. Левина. - М. : Радио и связь, 1982.

7. Филиппова Н. В., Быканова О. А. О подходе интеграции обучения математике и экономическим дисциплинам по летним школьным программам // Инновации и инвестиции. - 2015. - № 5. - С. 159-162.

References

1. Maksimenko M. N., Mirzakhanyan R. E., Mushrub V. A. Primenenie logiki lzhi v protsesse obucheniya detey [Application of Logic of a Lie in the Course of Training of Children]. Vestnik Rossiyskogo ekonomicheskogo universiteta imeni G. V. Plekhanova [Vestnik of the Plekhanov Russian University of Economics], 2017, No. 5 (95), pp. 30-36. (In Russ.).

2. Mochalina E. P., Maslyakova I. N., Ivankova G. V., Tatarnikov O. V. Sovmestnoe otsenivanie urovnya podgotovki i slozhnosti zadaniya [Joint Assessment of the Training Level and the Complexity of Assignment]. Sbornik trudov Mezhdunarodnoy nauchnoy konferentsii pod egidoy prem'er-ministra RA Ovika Abraamyana «Obrazovanie, nauka i ekonomika v vuzakh i shkolakh. Integratsiya v mezhdunarodnoe obrazovateVnoe prostranstvo» [Publications International Scientific Conference "Education, Science and Economics at Universities and Schools. Integration to the International Educational Area"]. Goris, 2015, Issue 1, pp. 147-151. (In Russ.).

3. Mochalina E. P., Maslyakova I. N., Ivankova G. V., Tatarnikov O. V. Model' obucheniya kak Markovskiy protsess [Model of Learning as a Markov Process], Sbornik trudov Mezhdunarodnoy nauchnoy konferentsii pod egidoy prem'er-ministra RA Ovika Abraamyana «Obrazovanie, nauka i ekonomika v vuzakh i shkolakh. Integratsiya v mezhdunarodnoe obrazovateVnoe prostranstvo» [Publications International Scientific Conference "Education, Science and Economics at Universities and Schools. Integration to the International Educational Area"]. Goris, 2015, Issue 1, pp. 132-135. (In Russ.).

4. Mochalina E. P., Maslyakova I. N., Ivankova G. V., Tatarnikov O. V. Adaptatsiya obrazovatel'noy programmy po finansovym vychisleniyam k aktual'nomu ekonomicheskomu sostoyaniyu [Adaptation of the Educational Program for Financial Calculations Acoording to the Actual Economic State]. Vestnik Rossiyskogo ekonomicheskogo universiteta imeni G. V. Plekhanova [Vestnik of the Plekhanov Russian University of Economics], 2017, No. 2 (92), pp. 57-63. (In Russ.).

5. Neyman Yu. M., Khlebnikov V. A. Vvedenie v teoriyu modelirovaniya i parametrizatsii pedagogicheskikh testov [Introduction to the Theory of Modeling and Parameterization of Pedagogical Tests]. Moscow, Prometey, 2000. (In Russ.).

6. Sage E., Melsa J. Teoriya otsenivaniya i ee primenenie v svyazi i upravlenii [Estimation Theory and its Application in Communication and Management], translated from English, edited by B. R. Levin. Moscow, Radio i svyaz', 1982. (In Russ.).

7. Filippova N. V., Bykanova O. A. O podkhode integratsii obucheniya matematike i ekonomicheskim distsiplinam po letnim shkol'nym programmam [On the Approach of Integration of Teaching Mathematics and Economic Disciplines for Summer School Programs]. Innovatsii i investitsii [Innovations and Investments], 2015, No. 5, pp. 159-162. (In Russ.).