CC BY
74
Автоматизация оценки эффективности обучения операторов на компьютерных тренажерах с применением статистических методов
И.С. Полевщиков, И.А. Боброва Пермский национальный исследовательский политехнический университет
Аннотация: Статья посвящена решению задачи в области разработки методов и средств автоматизации оценки эффективности обучения на компьютерных тренажерах, используемых для подготовки операторов производственных процессов. Во многих научных исследованиях по созданию и применению компьютерных тренажеров приведены подходы к оценке эффективности обучения. Однако недостаточно рассмотрена проблема автоматизации процесса данной оценки на базе самих тренажеров, без необходимости применения сотрудником глубоких знаний математических методов и специализированных программных продуктов. Для решения обозначенной задачи предложены методика оценки (основанная на методах математической статистики) и прототип подсистемы компьютерного тренажерного комплекса, применение которых при организации процесса профессиональной подготовки операторов позволяет снизить трудоемкость работы специалиста, ответственного за проведение оценки эффективности. Полученные результаты могут применяться в образовательных организациях, осуществляющих подготовку операторов, а также в учебных центрах на предприятиях. Работа выполнена при поддержке РФФИ, проект № 18-38-00835.
Ключевые слова: компьютерный тренажер, методы математической статистики, эффективность процесса обучения, автоматизация процесса обучения.
1. Введение. Актуальность исследования
Компьютерные тренажеры являются одним из основных средств профессиональной подготовки операторов различных производственных процессов (главным образом, когда обучение на реальном оборудовании на начальном этапе опасно и может привести к поломкам техники) [1-3].
Современные компьютерные тренажеры позволяют моделировать работу на технологическом оборудовании, оценивать уровень профессиональных знаний и навыков обучаемых в ходе профессиональной подготовки. Тренажеры применяются во многих областях: авиация, энергетика, судовождение, перегрузочные процессы и т.д.
Сфера разработки и применения тренажеров постоянно развивается. Создаются новые компьютерные тренажеры, улучшаются уже используемые. Происходит обновление как программного, так и аппаратного обеспечения. В
частности, совершенствуются:
1) имитаторы рабочего места оператора (например, кресло-пульт);
2) математические модели физических процессов;
3) уровень компьютерной графики, главным образом 3Б-модели;
4) комплексы упражнений для обучения операторов;
5) алгоритмы оценки знаний и навыков, формирования советующих воздействий обучаемому.
Поэтому актуальной задачей является организация проверки эффективности применения новых (или улучшенных версий существующих) тренажеров по сравнению с уже используемыми методами и средствами обучения.
Во многих научных исследованиях по разработке тренажеров авторами ставится и решается задача оценки эффективности процесса обучения.
В частности, в работе [4], посвященной первым электронным тренажерам для обучения крановщиков, с применением гистограмм (описывающих время выполнения перегрузочного процесса в ходе упражнения) доказано сокращение времени выполнения технологической операции обучаемыми, проходившими подготовку на тренажере, по сравнению с теми, кто проходил подготовку только на реальной перегрузочной машине.
В работе [5] производится оценка эффективности тренажеров при подготовке специалистов рыбопромыслового флота. В процессе выполнения технологической операции, воспроизводимой посредством тренажера, оценивались время выполнения и число ошибок. Построена гистограмма, демонстрирующая уменьшение времени выполнения упражнения в зависимости от числа попыток.
В работе [6] приведены результаты оценки экономической эффективности применения компьютерных тренажеров при подготовке
операторов нефтехимических производств. Авторские подходы к определению эффективности морских тренажеров и тренажеров для обучения офицеров представлены в работах [7] и [8] соответственно.
Практическим особенностям использования математической статистики при оценке эффективности новых методов и средств обучения посвящена работа [9]. Статистические методы широко применяются в ходе оценки различных образовательных технологий (например, [10, 11]).
В процессе оценки специалист должен решить большое число взаимосвязанных задач: сбор исходных данных об уровне знаний или навыков (при этом обучаемых может быть несколько десятков или сотен), преобразование этих данных в требуемую шкалу, получение описательной статистики, выбор и расчет значений наиболее приемлемых статистических критериев, непосредственно определение эффективности на основе расчета значений критериев и других количественных показателей.
В научной литературе недостаточно освещена проблема автоматизации данных задач. Выполнение их вручную или даже с применением специализированных программных продуктов (например, Statistica, SPSS, электронные таблицы [9]) трудоемко для сотрудника, требует определенных знаний в области математической статистики. Приобретение программных продуктов для этой цели может потребовать значительных финансовых ресурсов и времени на подготовку специалиста. Отсутствует возможность накапливать, структурированно хранить, обрабатывать, представлять в наглядной визуальной форме результаты экспериментов по оценке эффективности за все время эксплуатации компьютерного тренажера в организации.
Следовательно, требуется развитие методов, алгоритмов и средств автоматизации (на базе самих компьютерных тренажеров), позволяющих снизить трудоемкость работы специалиста по оценке эффективности
тренажеров как средств обучения (на основе современного математического аппарата, применяемого для оценки).
2. Методика оценки эффективности обучения на тренажере
Разработана (рис. 1) модифицированная структура компьютерного тренажерного комплекса (КТК) для обучения операторов технологических процессов сенсомоторным навыкам (на примере перегрузочных процессов).
В отличие от структуры КТК, описанных в работах [1, 12], помимо имитатора (осуществляющего физико-математическое и 3Б-моделирование перегрузочного процесса) и обучающей системы (способствующей формированию профессиональных знаний и навыков у обучаемого), измененная структура КТК включает подсистему сбора и обработки данных об эффективности обучения на тренажере, взаимосвязанную с имитатором. Таким образом, оценивать эффективность возможно на базе самого компьютерного тренажера, без применения специальных программных продуктов.
Рис. 1. - Модифицированная структура КТК Предложена методика оценки эффективности обучения на КТК, основанная на научных трудах чл.-корр. РАН Д. А. Новикова [9].
За всю историю применения КТК в некоторой образовательной организации или учебном центре предприятия (при внедрении нового КТК в процесс подготовки операторов и улучшении уже используемого) проводится множество Ме1 исследований для оценки эффективности
обучения на тренажере: Ме£ =\е1 11 = 1, }, где Е1 - отдельное исследование, - общее число исследований.
В ходе каждого исследования УЕг е М^ требуется доказать, что процесс подготовки на новом (или улучшенном) КТК более эффективен, чем с использованием существующих технологий обучения. Рассматриваются две группы обучаемых - контрольная Мсоп. = {усоп | ] = 1, Ысоп.} из Ысоп. человек и
экспериментальная Мех. = {уех | г = 1, Ыех.} из Ыех. человек, причем каждый
обучаемый Усоп е Мсоп будет проходить подготовку с применением
существующих технологий, а У^ е Мех - с применением нового (или
улучшенного) КТК.
Исследование эффективности обучения УЕ1 е М^ включает три этапа:
1) С применением статистических методов устанавливается совпадение начального состояния (уровня знаний или навыков) каждой из двух групп Мсоп и Мех, т.е. состояния до начала обучения. Требуется доказать, что состояния равны.
2) Проводится обучение каждой из двух групп.
3) С применением статистических методов устанавливается различие конечного состояния каждой из двух групп, т.е. состояния после проведения обучения. Требуется доказать, что состояния различны, причем состояние группы Мех лучше по сравнению с группой Мсоп .
Алгоритмы выполнения 1-го и 3-го этапов включают одинаковую последовательность шагов (составляющих основу оценки эффективности):
На шаге №1 производится сбор исходных данных об уровне знаний или навыков членов двух групп по множеству показателей Мш = | g = 1, }
(е& - отдельный показатель, всего показателей), устанавливаемому
специалистами организации, осуществляющей процесс профессиональной подготовки.
Для каждой из групп формируется множество выборок с результатами измерения уровня знаний или навыков по всем требуемым показателям: М - = {xg:x■ | g = 1, } - множество выборок для группы МХ, где
^Г = Хх■ I * = 1, N} - выборка, содержащая значения g -го показателя, ЛХ -
значение g -го показателя у * -го обучаемого из группы МВХ ;
М™= I g = 1, Nind.} - множество выборок для группы Мсоп. , где
ХТ' = {ЛГ I У = 1, NCoTí.} - выборка, содержащая значения g -го показателя, -
значение g -го показателя у у -го обучаемого из группы Мсоп. .
Значения показателей л^- е X^ и лс°п- е Хсгоп- могут быть измерены в
шкале отношений или порядковой шкале (в частности, дихотомической).
Применительно к обучению операторов перегрузочных машин наиболее распространенной является шкала отношений [9], поскольку многие показатели представляют собой физические величины. Примеры показателей, измеряемых в шкале отношений: время выполнения упражнения, точность установки груза, угол отклонения груза, высота подъема, число аварийных ситуаций.
Примеры показателей, измеряемых в порядковой шкале (в частности, дихотомической): наличие рывка при переключении рычага управления (1 -рывок был; 0 - рывка не было); наличие хотя бы одной аварийной ситуации; уровень знаний по 4-балльной шкале (например, при оценке знаний устройства перегрузочной машины, особенностей выполнения основных
технологических операций с помощью машины, техники безопасности).
В качестве значений хе*. е X^ и х™п- е Xдопустимо применение
комплексных оценок (если знания или навыки обучаемых возможно корректно оценить единой величиной на основе множества частных показателей [9]).
Пример выборок для групп М№ и Мпри 3, = Ыех= 100
представлен в табл. 1. Два первых показателя измерены в шкале отношений, последний - в дихотомической.
Таблица №1
Пример выборок
№ Время переноса Число аварийных Наличие рывка при
измерения груза из точки А ситуаций переключении рычага
(обучаемого) в точку В, с уп равления
М ех. М со, М ех. М соп. М ех. М соп.
1 75,2 89,1 3 4 0 1
2 60,1 78,4 1 2 1 1
3 76,5 80,9 2 1 0 0
• • •
99 80,7 78,5 4 4 0 0
100 66,3 79,9 3 5 0 1
На шаге №2 осуществляется (в случае необходимости) преобразование значений некоторых показателей из шкалы отношений в порядковую шкалу (например, если в образовательной организации принято измерять уровень знаний или навыков в 4-балльной шкале - «5», «4», «3», «2»). Для осуществления преобразования требуется построить множество продукционных правил.
Рассмотрим пример. Получена выборка Х^е, содержащая значения времени (в шкале отношений, единица измерения - секунды), за которое каждый обучаемый совершил перенос груза из точки А в точку В.
Требуется преобразовать значения времени в шкалу отношений с Ь = 5 градациями: «очень быстро» - 5, «быстро» - 4, «не достаточно быстро» - 3,
«медленно» - 2, «слишком медленно» - 1.
Для преобразования (в ходе которого формируется множество rtleme) применим множество продукционных правил (здесь е Xy^ е ^е): RULE_1: IF 0<xem. <40, THEN yt^ = 5 RULE_2: IF 40<xt^ <60, THEN yt^ = 4 RULE_3: IF 60 < x^ < 80 , THEN ytL, = 3 RULE_4: IF 80 < x^ < 100 , THEN yt^ = 2 RULE_5: IF xem^ > 100, THEN yt^ = 1
На шаге №3 требуется выбрать наиболее подходящий статистический критерий с применением множества продукционных правил. При оценке эффективности методов и средств обучения наиболее часто применяются 4 критерия [9]: 1) критерий Крамера-Уэлча; 2) критерий Вилкоксона-Манна-Уитни; 3) критерий однородности «хи-квадрат»; 4) критерий Фишера.
Выбор наиболее приемлемого статистического критерия основан на комбинации значений шести параметров, представленных множеством:
Mpar. = К- 7val, Ngr, Ndlf, Nex, Ncon.},
где Isc - тип шкалы, с применением которой проводятся измерения (Isc = 0 -шкала отношений, I sc = 1 - порядковая шкала);
Ival. - различие либо совпадение каких статистических величин требуется проверить в случае применения шкалы отношений (Ival = 0 - требуется проверить различие или совпадение только значений математического ожидания, Ival. =1 - значений всех возможных статистических величин); Ngr. - число градаций в случае применения порядковой шкалы; Ndlf - число различающихся значений в выборках;
Nex, Ncon - объемы выборок для экспериментальной и контрольной группы соответственно.
Построено множество продукционных правил для выбора критерия:
RULE_1: IF (Isc. = 0)л (Ival. = 0) , THEN критерий №1
RULE_2: IF (ISc. = 0) л (Ivai. = 1) л > Nf л < NJ л (N_ < N^.), THEN критерий №2
RULE_3: IF (ISc. = 0) л (Ivai. = 1) л (Ndlf. < Ndif.) л (NeX. > NJ л (Ncon. > NCon.), THEN критерий №3
RULE 4: IF (Isc. = 0)л(Ivai. =1)л[(Ndif. >Ndif^л(Nex. >n'Jл(Ncon. >v ,^EN критерий
(Ndlf. < Ndif.) л (Nex. < Nex.) л (Ncon. < NCon.)]
№2 или №3
RULE_5: IF (Isc. = 1) л (Ngr. > 3) , THEN критерий №3
RULE_6: IF (Isc. = 1) л (Ngr. = 2) , THEN критерий №3 или №4
При выборе критерия №3 на основе правил RULE_3 и RULE_4 требуется предварительная группировка результатов измерений.
Изначально можно установить значения параметров N'if., N'ex, Nc'on равными N'if. = 10, N'x = 50, Nc'on = 50 [9]. Эти значения, а также и множество правил в целом, могут быть изменены на основе анализа данных о проведении исследований за определенный период времени.
На шаге №4 вычисляется эмпирическое значение статистического критерия (выбранного на шаге №3) на основе исходных данных о результатах оценки знаний и навыков, полученных на шаге №1 и шаге №2. В табл. 2 представлены формулы [9], используемые для расчета эмпирических значений критериев (применительно к некоторому g -му показателю).
Таблица №2
Расчет эмпирических значений статистических критериев
Критерий Формула для вычисления критерия
Критерий Крамера-Уэлча T VNex.Ncon. Xex. - Xcon. em' VNex.Dex.+ Ncon.Dcon. ' 1 Nex 1 Ncon. где Xex. - N Z xgi И Xcon. N X Xg° значения выборочн^1х N ex. i-1 'con. j-1
средних;
Nex
N, -
7 Е (X'- Xex.)2 и D 1 i=1
N -1
Е ( xsj
j=1
(xgon- Xcon.)2 - значения
выборочных дисперсий.
Критерий
Вилкоксона-
Манна-Уитни.
Wem =■
Nex
0,5Nex.Ncon.-E
a.
Nex.Ncon.( Nex.+ N^ + 1)
V 12
где a. - число элементов выборки группы Mcon , для которых xgo"' > xex
g1
Критерий
однородности
«хи-квадрат»
X2 = N N E
/lem. ex. con. / j
n,.
i nex' nk
NN
K v ex. con. у
k=1 nk nk
где и и™"' - число членов групп Мex и Мсоп соответственно,
получивших к -ый балл, £ = 1, X, Ь - число градаций порядковой шкалы.
Критерий Фишера
Pem. =
2 arcsin(
n
Ne
-) - 2arcsin(
n
Nc
)
NexN
ex. con.
Nex + Nc.
где итзх и итзх - число членов групп Ми Мсоп соответственно,
получивших максимальный балл из двух возможных, предусмотренных дихотомической шкалой.
1
1
i=1
2
На шаге №5 определяется совпадение (I= 1) или различие (¡^ = 0) состояний двух групп посредством сравнения эмпирического (К,т.) и критического ( Ксг.) значений статистического критерия (для некоторого уровня значимости а, как правило а = 0,05 [9]):
I (1, К„,<К, (!)
1», Кт > Кс,
В частности, при использовании критерия Крамера-Уэлча [9] (при а = 0,05):
1 =(1, Тет< 1,96 л (0, ^ 1,96
В общем случае по результатам исследования УЕ, е М^ формируется матрица Мет = (к®гт), где КГ - эмпирическое значение критерия, полученное
при сравнении V -й (V = 1,4) и 2 -й групп (2 = 1,4). Здесь V = г = 1 соответствует группе Мех до обучения, V = г = 2 - группе Мех после обучения, V = г = 3 -группе Мсоп до обучения, V = г = 4 - группе Мсоп после обучения.
Например, К™' - эмпирическое значение критерия по результатам сравнения состояний групп Мех и Мсоп после обучения, а К1е2т- - по результатам сравнения состояний группы Мех до и после обучения.
На основе матрицы Мет=(кет) в соответствии с (1) формируется матрица М81=(с), где /^ - индикатор совпадения (/^ = 1) или различия (/^ = 0) состояний V -й и г -й групп по результатам их сравнении.
Также на данном этапе помимо значения /^ вычисляются другие
величины (например, среднее значение времени выполнения технологической операции), по которым возможно определить характер различий, т.е. ухудшился или улучшился уровень знаний или навыков.
3. Подсистема КТК для оценки эффективности обучения
На основе рассмотренной выше методики определены функциональные требования к подсистеме оценки эффективности обучения на КТК (показаны в форме диаграмме вариантов использования иМЬ на рис. 2).
Зеленым фоном обозначены функции подсистемы, обеспечивающие существенные преимущества для специалиста. Фактически все трудоемкие вычисления (например, расчет статистических величин, в частности выборочных средних и выборочных дисперсий, необходимых непосредственно для нахождения значений критериев) производятся автоматически и от специалиста по оценке эффективности обучения не требуется глубоких знаний математической статистики и применения специализированных программных продуктов.
Рис. 2. - Функциональные требования к подсистеме оценки эффективности
обучения
Разработан прототип подсистемы оценки эффективности обучения в форме макетов пользовательских веб-интерфейсов. На рис. 3 представлен пример одного из макетов. Основные результаты проведенной оценки эффективности (при сравнении двух групп до и после обучения) в наглядном структурированном виде предоставляются специалисту. При необходимости получения более детальной информации (в случае хорошего понимания специалистом математической статистики) можно перейти по соответствующей ссылке.
Оцениваемый показатель Время переноса груза из точки А е точку В
Единице измерения секунды
Среднее значение для контрольной группы 58,2
Среднее значение для экспериментальной группы 41,5
Насколько лучше результат экспериментальной группы меньше на 28,7%
Состояния групп до обучения равны
Состояния групп после обучения отличаются
Примечания специалиста Результаты для эк.слерике:-1таль:-:сй группы . . .|
Перейти к детальной информации о результатах эксперимента
Рис. 3. - Макет веб-интерфейса (сравнение двух групп обучаемых) На рис. 4 показан макет интерфейса, в понятной визуальной форме представляющий матрицу Мй =(С'), т.е. все возможные виды сравнения состояний двух групп обучаемых и результаты сравнения. Для получения детальной информации о сравнении двух групп следует перейти по ссылке в соответствующей ячейке таблицы.
Группа N£1 (до обучения на тренажере) Группа №1 (после обучения на тренажере) Группа N22 (до обучения на кране) Группа №2 (после обучения на кране)
Группа N21 (до обучения на тренажере) - состояния состояния состояния
различны совпадают совпадают
Группа N21 (после обучения на тренажере) состояния - состояния состояния
различны различны различны
Группа N22 (до обучений на кране) состояния состояния - состояния
совпадают различны различны
Группа N22 (после обучения на кране) состояния состояния состояния -
совпадают различны различны
Рис. 4. - Макет веб-интерфейса (виды сравнения двух групп обучаемых) В зависимости от настроек в подсистеме предусмотрены различные формы представления информации об оценке эффективности процесса обучения.
4. Заключение
Разработаны методика оценки эффективности обучения на тренажере и прототип подсистемы КТК, преимуществом применения которых при организации процесса профессиональной подготовки операторов является снижение трудоемкость работы специалиста, выполняющего оценку.
Это преимущество достигается за счет проведения оценки эффективности на базе самого тренажера, отсутствия необходимости применения специальных программных продуктов и глубоких знаний в области математической статистики. От специалиста требуется только подготовить контрольные упражнения и, если они выполняются не на самом тренажере, загрузить файлы с первичными результатами данных упражнений. Также может потребоваться установить правила преобразования данных из одной шкалы в другую. Далее автоматически выполняются все трудоемкие задачи, начиная сбором исходных данных об уровне знаний или навыков, и заканчивая определением различия или совпадения состояний групп обучаемым, характера различий. При необходимости, в случае хорошего знания статистических методов, специалист может изменять настройки для выбора рекомендуемого подсистемой статистического критерия, вручную выбрать наиболее подходящий, с его точки зрения, критерий, и т.д.
Как следствие, появляется возможность систематизировано хранить в БД и обрабатывать данные о результатах оценки эффективности за определенное время.
Методика оценки и подсистема КТК могут применяться в образовательных организациях, осуществляющих подготовку операторов, а также в учебных центрах на предприятиях.
Литература
1. Файзрахманов Р.А., Полевщиков И.С. Автоматизированное управление формированием профессиональных навыков оператора роботизированной системы с использованием нечеткой логики // Инженерный вестник Дона. 2015. №4. URL: ivdon.ru/ru/magazine/archive/n4y2015/3283.
2. Юренко К.И., Шепилова Е.Г., Гречук И.А. Совершенствование бортовых систем управления локомотивов на базе технических средств тренажеро-моделирующих комплексов // Инженерный вестник Дона. 2014. №2. URL: ivdon.ru/ru/magazine/archive/n2y2014/2452.
3. Chistyakova T.B., Ershova O.V. Methods and Technologies of Computer Simulators Synthesis for Control by Electrotechnological Installations in SCADA HMI // Proceedings of the 3rd International Conference Ergo-2018: Human Factors in Complex Technical Systems and Environments, Ergo 2018 3. 2018. pp. 127-131.
4. Тер-Мхитаров М.С. Оператор перегрузочных машин. Пермь: Кн. изд-во, 1982. 140 с.
5. Сметюх Н.П. Многофункциональные виртуальные тренажеры для подготовки экипажей судов рыбопромыслового флота: дис. ... канд. техн. наук: 05.13.06. Санкт-Петербург, 2017.
6. Дозорцев В.М. Компьютерные тренажеры для обучения операторов технологических процессов. М.: СИНТЕГ, 2009. 372 с.
7. Айзинов С.Д. Теоретические и методические основы создания экспертной системы по оценке эффективности морских тренажеров (на примере тренажеров ГМССБ): дис. ... канд. техн. наук: 05.12.13. Санкт-Петербург, 2007.
8. Чернов В.Г. Оценка эффективности тренажеров для подготовки офицеров боевого управления командных пунктов // Системи обробки
шформаци. 2015. №12 (137). С. 202-205.
9. Новиков Д. А. Статистические методы в педагогических исследованиях (типовые случаи). М.: МЗ-Пресс, 2004. 67 с.
10. Kovacic Z., Green J. Automatic Grading of Spreadsheet and Database Skills // Journal of Information Technology Education: Innovations in Practice. 2012. V. 11. pp. 53-70.
11. Danaher M., Schoepp K., Ater Kranov A. Effective Evaluation of the Non-Technical Skills in the Computing Discipline // Journal of Information Technology Education: Research. 2019. V. 18. pp. 1-18.
12. Fayzrakhmanov R.A., Polevshchikov I.S. Improving the Efficiency of Professional Training of Operators of Technological Installations Based on Mathematical Modeling and Control of the Formation of Sensorimotor Skills // Proceedings of 2018 XVII Russian Scientific and Practical Conference on Planning and Teaching Engineering Staff for the Industrial and Economic Complex of the Region (PTES). [S. l.] : IEEE, 2018. pp. 149-152.
References
1. Fayzrakhmanov R.A., Polevshchikov I.S. Inzhenernyj vestnik Dona, 2015, №4. URL: ivdon.ru/ru/magazine/archive/n4y2015/3283.
2. Yurenko K.I., Shepilova E.G., Grechuk I.A. Inzhenernyj vestnik Dona, 2014, №2. URL: ivdon.ru/ru/magazine/archive/n2y2014/2452.
3. Chistyakova T.B., Ershova O.V. Methods and Technologies of Computer Simulators Synthesis for Control by Electrotechnological Installations in SCADA HMI. Proceedings of the 3rd International Conference Ergo-2018: Human Factors in Complex Technical Systems and Environments, Ergo 2018 3. 2018. pp. 127131.
4. Ter-Mhitarov M.S. Operator peregruzochnyh mashin [Operator of reloading machines]. Perm: Kn. izd-vo, 1982. 140 p.
5. Smetyuh N.P. Mnogofunkcionalnye virtualnye trenazhery dlya podgotovki ekipazhej sudov rybopromyslovogo flota: dis. ... kand. tekhn. nauk [The thesis of Candidate of Technical Sciences]: 05.13.06. Sankt-Peterburg, 2017.
6. Dozorcev V.M. Kompyuternye trenazhery dlya obucheniya operatorov tekhnologicheskih processov [Computer simulators for training technological process operators]. M.: SINTEG, 2009. 372 p.
7. Ajzinov S.D. Teoreticheskie i metodicheskie osnovy sozdaniya ekspertnoj sistemy po ocenke effektivnosti morskih trenazherov (na primere trenazherov GMSSB): dis. ... kand. tekhn. nauk [The thesis of Candidate of Technical Sciences]: 05.12.13. Sankt-Peterburg, 2007.
8. Chernov V.G. Sistemi obrobki informacii. 2015. №12 (137). pp. 202-205.
9. Novikov D.A. Statisticheskie metody v pedagogicheskih issledovaniyah (tipovye sluchai) [Statistical methods in academic research (model cases)]. M.: MZ-Press, 2004. 67 p.
10. Kovacic Z., Green J. Journal of Information Technology Education: Innovations in Practice. 2012. V. 11. pp. 53-70.
11. Danaher M., Schoepp K., Ater Kranov A. Journal of Information Technology Education: Research. 2019. V. 18. pp. 1-18.
12. Fayzrakhmanov R.A., Polevshchikov I.S. Improving the Efficiency of Professional Training of Operators of Technological Installations Based on Mathematical Modeling and Control of the Formation of Sensorimotor Skills. Proceedings of 2018 XVII Russian Scientific and Practical Conference on Planning and Teaching Engineering Staff for the Industrial and Economic Complex of the Region (PTES). [S.l.] : IEEE, 2018. pp. 149-152.
