CC BY
24
Cloud of Science. 2019. T. 6. № 4 http:/ / cloudofscience.ru
Способ определения компетенций в современных тренажерных системах ОТРК
В. В. Белов, Н. Н. Власов
Рязанский государственный радиотехнический университет имени В. Ф. Уткина 390005, Рязань, ул. Гагарина, 59/1
e-mail: vvbeloff@yandex.ru, z-elements@yandex.ru
Аннотация. В статье рассматривается вопрос использования компетент-ностного подхода для оценки качества работы обучаемых в современных тренажерных системах. Разработана методика оценки компетенций, включающая предложенные авторами базовые показатели верности и оперативности выполнения работ. Концептуально оценивание результатов работы экипажей ОТРК осуществляется на основе оценок значимости (важности) операций, выполняемых в процессе решения поставленной задачи. Уровень значимости операций рассматривается как количественное выражение потенциальной детриментальности (негативных последствий) ошибок в процессе выполнения этих операций.
Ключевые слова: методика оценки в тренажерных системах, компетенции в учебно-тренировочных системах.
1. Введение
В ходе построения различных моделей функционирования тренажерных систем и комплексов была установлена целесообразность создания компетентностного подхода по определению качества выполнения учебных задач обучаемыми экипажами ракетных комплексов. В процессе создания был учтен наиболее значимый опыт планирования, организации и реализации обучения с использованием тренажеров, включая процессы управления обучением и создания необходимого программно-информационного обеспечения [1-4].
Созданный компетентностный подход основывается на оценивании качества работы обучаемых. Для своевременного оценивания целесообразно осуществлять учет значимостей отдельных операций, выполняемых в процессе решения задачи, поставленной перед экипажем. Вследствие этого процессам обучения и оценивания результатов работы на тренажере должна предшествовать процедура оценивания значимостей операций решаемых задач. Предлагаемый способ оценки будет осуществляться с использованием экспертного балльного оценивания, включает три укрупненных этапа.
Рассмотрим основные критерии измерения компетенций, по которым будет оцениваться каждый обучаемый тренажерной системой.
По аналогии с экономической сферой, Н. А. Володина, одна из известных российских профессиональных HR-менеджеров, для наиболее качественной оценки советует выделять 3-5 уровней развитости каждой выделенной компетенции.
Шкала оценки уровня компетенций представляет собой набор значений от 0 до 100 в зависимости от уровня освоения ключевой компетенции. Значение К- < 50 соответствует низкому уровню освоения, К]- е[50;70) — среднему уровню и К ■ е (70; 85] — хорошему уровню освоения, К ■ > 85 — высокому уровню освоения, где К — компетенция обучаемого.
Для анализа причин несоответствий обучаемых высокому уровню ключевых компетенций, можно построить причинно-следственную диаграмму Каору Ишика-вы (рис. 1). Диаграмма наглядно демонстрирует существенные причинно-следственные взаимосвязи между факторами, влияющими на снижение уровня ключевых компетенций, и последствиями в процессе обучения. Для этого внутри каждого уровня выделим возможные причины, влияющие на снижение того или иного показателя.
Рисунок 1. Диаграмма Ишикавы для ключевых показателей компетенций
2. Этап А. Определение весовых коэффициентов операций задачи
Каждая задача состоит из нескольких операций, которые, в свою очередь, формируют у обучаемого на тренажере определенный набор ЗУН (знания, умения, навыки) [5]. При этом операции обладают следующей особенностью: ущерб от ошибок
и задержек во время их выполнения вполне конкретен, поэтому целесообразно прямое, а не сопоставительное оценивание важности (значимости) этих операций.
Оценка по задаче определяется допущенными ошибками и уровнями их дет-риментальности (от лат. detrimentum — ущерб, убыток), т. е. вредности, нежелательности ошибок, допущенных при выполнении операций обучаемыми. Количественно уровень детриментальности 0г ошибок по операциям в задаче полагается равным уровню Ц значимости операции, при выполнении которой возникает ошибка, т. е. 0 = Ц.
Уровень значимости каждой операции определяется посредством экспертного оценивания: формируется таблица уровней значимости операций в задаче. Структура формируемой таблицы представлена в табл. 1.
Таблица 1.Структура таблицы уровней значимости операций в задаче
Номер операции в задаче Степень значимости операции Блок выполнения операции Номер члена экипажа
1 Ц В V1
2 Ц2 В2 V 2
т Цт Вт V т
В табл. 1 использованы следующие обозначения: т — количество операций в рассматриваемой задаче; Ц,г = 1, т — уровень значимости i-й операции, при этом 0 < Ц < 1; В, г = 1, т — название блока, в котором выполняется 7-я операция; V ,7 = 1,77? — номер члена расчета экипажа, выполняющего 7-ю операцию, vj е {1,2____,/с}, к — это количество обучаемых тренажерной системой.
Формирование значений Ц,1 = 1, т осуществляется следующим образом.
Группа, состоящая из п экспертов, оценивает значимость каждой операции задачи в баллах. Оценивание значимости баллами, а не рангами обусловлено тем, что в условиях рассмотрения важной является абсолютная значимость операции в задаче, а не ее место (ранг) во всей совокупности операций.
Для большей комфортности экспертам разрешается выставлять баллы в произвольной системе — пяти-, семи-, десяти- или стобалльной. По результатам работы экспертов формируется табл. 2.
В табл. 2 обозначение Ь; ., г = 1, т, ] = 1, п символизирует балл i-й задачи, выставленный ]-м экспертом.
Таблица 2. Значимости операций в баллах
Номер Номера экспертов
операции 1 2 п
1 Ьу Ь1,2 Ьщ
2 Ь2,1 Ь2,2 Ь2,п
т Ьт,1 Ьт,2 Ь т,п
Для устранения конкретики использованных экспертами систем баллов и для унификации оценок осуществляется нормализация — переход от баллов к весовым
коэффициентам wij, обладающим свойствами: 0 < ^^ < 1; = 1-
Коэффициенты вычисляются по формуле
/т ___
V Ь ., г = 1, т, ] = 1, п.
г=1
В результате вычислений формируется таблица, полностью аналогичная табл. 2, но вместо баллов Ьг- ■ в ней размещаются веса ^ ..
3. Этап Б. Обоснования «объективности» значений уровней значимости операций в задаче
Для обоснования «объективности» (корректности) полученных значений выполняется проверка согласованности мнений экспертов. В настоящее время для оценивания качества (важности, значимости) вариантов, как правило, используется один из следующих методов:
- метод рангов с последующим вычислением коэффициента конкордации Кендала [6], выражающего степень согласованности мнений экспертов, и статистики хи-квадрат, выражающей степень надежности этого коэффициента [7];
- метод парных сравнений [8] с последующим вычислением индексов согласованности, для которых определены критические значения, найденные по оценкам, сгенерированным генератором случайных чисел, - соответствующим «совершенно не согласованным» суждениям.
Балльные оценивания в экономических, управленческих и технологических приложениях используются значительно реже, хотя в образовании остаются практически единственными. Кроме того, балльные оценки часто применяются в психометрике. Для балльных оценок широко используемых методов проверки согласованности экспертов нет. Можно указать восходящие к идеям Гилфорда [9] коэффициенты надежности [10] и коэффициенты вариативности [11, с. 276; 12, с. 391].
Указанные коэффициенты имеют следующий недостаток: для них не определена статистика, характеризующая уровень доверия выводам о наличии расхождений в суждениях экспертов. Применяемые граничные значения имеют «договорный» характер. Например, «принято считать» так: если коэффициент вариации меньше 10%, то степень рассеивания данных является незначительной, от 10 до 20% — средней, от 20 до 30% — значительной, более 30% — очень высокой.
В то же время если учесть, что балльные оценки автоматически определяют ранги, то можно предложить следующую методику проверки согласованности балльных экспертных оценок, лишенную указанного выше недостатка.
Осуществляется искусственный без участия экспертов переход от балльной системы к системе рангов с последующим использованием коэффициента конкор-дации Кендала и критерия Пирсона.
Проблематичность указанной процедуры обусловлена тем, что с большой долей правдоподобности многие операции могут иметь одинаковые баллы. При этом и их ранги также должны быть одинаковыми. Для таких ситуаций существует следующий вариант расчета коэффициента конкордации [13, с. 635]:
-=-с»
п2(т3 -т) -пУт
з з =1
где
£ =
ГГ1 ГЦ \ /
5Х - т
V г =1
; Т =У 3 - ^);
к =1
^ =У" Гу — сумма рангов 7-й операции; т — количество операций в задаче; п — количество экспертов; ¡3 — число связок (групп с одинаковыми значениями рангов) у у-го эксперта; tj к — число одинаковых значений в к-й связке у-го эксперта.
Важной особенностью формулы (1) является следующее ограничение: она верна только для случая
т т(т +1) —
У Г = -(т+-), 3 = 1,п- (2)
1=1 2
Поэтому алгоритм отображения баллов в ранги при наличии одинаковых баллов должен обеспечивать выполнение указанного ограничения.
Условие (2) соответствует стандартной ситуации, — когда каждым экспертом выставляются ранги без повторений от 1 до т. При этом средний ранг операции задачи
_ 1 m m +1 —
= m jjr-■ =—•J =1 n •
одинаков у всех экспертов, и, как следствие, средняя сумма рангов одной операции
d=1 ïd. = 1 jj ±r. = nr. = nm+1).
/ V 1/2/2 y J
m Jl y y 2
Указанному требованию удовлетворяет следующий алгоритм перехода от баллов к рангам.
1. Формируются векторы двоек:
VJ = (С1, К y )'(2, b2, y X-, (m biï, y ))>y=1n При этом j-й вектор выражает мнение j-го эксперта относительно значимости операций в задаче, выраженное в баллах.
2. Осуществляется сортировка векторов Vy, y = 1, n по возрастанию значений вторых элементов двоек. В результате формируются векторы
^ = ((^1, Kj ),(^2, bW ), -, (^m, \m j )), y = 1 П, где ^, i = 1, m — номер элемента bл y в векторе Vy.
Двойки с равными значениями вторых элементов располагаются в векторах v ■, J = 1, n последовательно друг за другом, при этом их исходное положение в
векторах v., J = 1,n не имеет значения.
3. Вторые элементы (баллы) векторов v*, y = 1, n заменяются рангами по правилу:
bW ^rw =1;
далее для всех i = 1, m :
- если элемент К не входит в связку, т. е. уникален (одинок) в векторе v*,
Kj ^ =i,
- иначе, т. е. если К входит в связку, начинающуюся с номера k0 и заканчивающуюся номером к,
K,j ^\J = 1(ko+k).
Очевидно, что в общем случае значения связанных рангов могут быть дробными, с дробной частью, равной 0.5. В результате формируются векторы
у'з = ((П1'4,3)'(^2,ГЛ2,;), ..., (Пт,Гл-3)), 3 =1 п-4. Осуществляется сортировка векторов V*, 3 = 1, п по возрастанию значений первых элементов двоек. В результате формируются векторы
У1 = •••' 3=\ п-Вектор — это, по сути, тот же вектор V,-, но с заменой баллов рангами. Он
также выражает мнение '-го эксперта относительно значимости операций в задаче, но выраженное теперь в рангах.
Заметим, что в изложении алгоритма отображения баллов в ранги использованы соотношения
80Й2((1, Х1), (2, х2), ...,(т, хт)) = ),(^2, хЛ2),..., (Цт, хПт));
ЗОТ^Г^ Х% ),(^ х^ X ...Д^- ХПт )) = ((1, х!),(2, X2), ..., Хт)). выражающие факт: сортировки указанного вектора двоек по второму и первому элементам представляют собой взаимообратные операции, т. е. Я о 11, (У) = Яог^1 (о).
Значения коэффициента конкордации лежат в интервале от нуля до единицы, т. е. 0 < Ж < 1. Равенство Ж = 1 имеет место при полном совпадении всех ранговых последовательностей.
Равенство Ж = 0 соответствует случаю «полной» противоположности мнений экспертов. Слово «полной» помещено в кавычки, потому что подлинная полная противоположность мнений означает следующее: среди всех экспертных мнений можно выделить пары, в которых сумма однопозиционных баллов равна п + 1, т. е. числу экспертов плюс один, или формально:
гиц + =п + \ ' = 1, щ 7', е {1,2.....я}. (3)
Естественно, что указанная ситуация может иметь место только при четном количестве экспертов. При нечетном количестве экспертов коэффициент конкорда-ции равняться нулю не может ни при каких условиях, но может быть близким к нулю, если п — 1 экспертов высказывают полностью противоположные мнения, — для них выполняется условие (3).
Интересен факт: в указанной ситуации конкретные значения рангов оставшегося одного эксперта не имеют никакого значения, т.е. конкретика его мнения не влияет на значение коэффициента конкордации. Это мнение можно удалить и получить «чистый» ноль: Ж = 0.
Обоснование мнений экспертов осуществляется путем проверки нулевой статистической гипотезы Н0: Ж = 0 (мнения экспертов не согласуются друг с другом) против альтернативы Н: Ж Ф 0 (мнения экспертов согласуются).
Для числа сопоставляемых вариантов (в нашем случае операций) т > 5, что всегда имеет место в рассматриваемых задачах, нулевая гипотеза проверяется критерием Пирсона хи-квадрат: статистика х2 = п• (т — 1) •W сравнивается с критическим значением х1.(к) распределения хи-квадрат с числом степеней свободы к = п — 1. Уровень значимости в рамках рассматриваемой предметной области можно положить равным а = 0.05.
Нулевая гипотеза отвергается, т. е. считается, что коэффициент конкордации значимо отличается от нуля, если справедливо неравенство: х2 > Хо05(п —1).
4. Этап В. Определение уровней значимости операций задачи
После получения весовых коэффициентов вычисляются уровни значимости операций либо путем усреднения весов, выставленных всеми экспертами (если мнения экспертов будут признаны согласованными):
п _
Ц =Е 1 = 1 ^ (4)
либо путем использования мнения (весов) наиболее авторитетного эксперта (если мнения экспертов будут признаны существенно различающимися):
ц = wik, I = 1,т; к е{1,2,..., п}, (5)
где к — номер наиболее авторитетного эксперта.
Схема алгоритма реализации методики определения уровней значимости операций в задаче показана на рис. 2.
5. Методика оценивания качества выполнения учебных задач и определений компетенций обучаемых
Результат работы каждого члена экипажа и экипажа в целом оценивается в автоматическом режиме по результатам работы на тренажере с использование стобалльной шкалы и качественных (вербальных) оценок, которые и являются компетенциями. Соответствие количественных и вербальных оценок показано в табл. 3.
Из семантики рассматриваемой задачи естественным образом следует вывод: члены экипажа боевой машины должны действовать правильно и быстро. Поэтому работа членов экипажа на тренажере должна оцениваться двумя оценками — правильности и оперативности выполняемых операций. Процесс оценивания качества выполнения учебных задач обучаемыми экипажами приведен в виде алгоритма на рис. 2.
Таблица 3.Соответствие количественных и качественных оценок
Интервалы оценок в стобалльной шкале Качественная оценка по номинальной шкале
[0;55) Неудовлетворительно
[55;70) Удовлетворительно
[70;85) Хорошо
[85;100) Отлично
Рисунок 2. Алгоритм реализации методики определения уровней значимости операций в задаче
6. Этап 1. Оценивание составной части вектора компетенции правильности работы членов экипажа
По результату решения задачи (выполнения режима) каждому обучаемому (номеру расчета боевой машины) выставляется оценка, которая характеризует компетенцию качества его работы , г е{1, 2,..., к}, где к — это количество обучаемых тренажерной системы. Оценка представляет собой двухкомпонентный вектор компетенции: = {М,, Т), где Mi — оценка правильности работы, а Т — оценка оперативности работы /-го обучаемого.
Оценка правильности работы /-го обучаемого вычисляется по формуле
( \
М =
1— Ъ5зцз/ЪЦ •100%, (6)
V 1е31 / 1е31 у
где «I, = '/,, .¡т} — множество номеров операций, выполненных 7-м членом экипажа; т — количество операций, выполненных /-м членом экипажа; ц — уровень значимости; /-й операции; 83- — признак ошибки при выполнении ]-й операции:
|0, если ошибка не допущена; 3 [1, если ошибка допущена. Очевидно, что оценка М,. принадлежит отрезку [0; 100], т. е. 0 <М —100, поскольку
0 <ЪЬзЧ1 Ъ ц <1
Указанная дробь выражает долю суммы уровней значимости операций, в которых /-й обучаемый допустил ошибку, в сумме уровней значимости всех операций выполненных /-м обучаемым, поэтому М{ выражает долю суммы уровней значимости операций, в которых /-й обучаемый ошибок не допустил.
7. Этап 2. Оценивание составной части вектора компетенции оперативности работы членов экипажа
Оценка Т оперативности работы /-го обучаемого вычисляется по формуле
т
Т=ъШщ •100%' (7)
33
где — фактическое время, затраченное 7-м членом экипажа на выполнение у-й
операции; 3 — нормативное время выполнения у-й операции; /с1ф (х) — функция клиппинга, для которой предлагается следующее определение:
[1, если х < 1;
х) = •
х, если х > 1.
График функции / 1ф( х) показан на рис. 3.
Рисунок 3. График функции клиппинга относительного времени выполнения операции
Семантически числитель т. формулы (7) выражает максимально возможное
значение суммы знаменателя, — в случае, когда обучаемый выполняет все операции, укладываясь в нормативное время; сумма знаменателя (7) выражает время, затраченное 7-м членом экипажа на выполнение всех операции. Причем время представляется в относительных безразмерных единицах — в виде отношения фактического времени к нормативному.
Очевидно, что оценка Т принадлежит отрезку [0; 100], т. е. 0 < Т < 100, поскольку
/т
у/ (з з 1.
Применение относительных единиц позволяет избежать взаимных компенсаций длительностей выполнения операций с разными нормативными временами — быстрое выполнение операции с большим нормативным временем не компенсирует длительное выполнение операции с малым нормативным временем.
На устранение взаимных компенсаций длительностей выполнения операций направлено и применение функции клиппинга с предлагаемой формой ее определения — быстрое (в рамках норматива) выполнение некоторых операций не компенсирует превышение норматива в других операциях.
8. Этап 3. Формирование итоговых оценок
Помимо оценок правильности и оперативности работы, членам экипажа выставляется скалярная итоговая оценка, которая основывается на векторе компетенций:
Ei = min, T), i e {1, 2,..., k},
где k — это количество обучаемых тренажерной системой.
После вычисления количественного значения итоговой оценки она трансформируется в качественную оценку по номинальной шкале в соответствии с табл. 3.
Е{ Таблица 3 >St, i e {1, 2,..., k}, где k — это количество обучаемых тренажерной системой.
Эта вербальная оценка отображается в отчете по результатам работы каждого члена экипажа в качестве итоговой оценки.
9. Этап 4. Оценивание результатов работы экипажа в целом
Завершающим этапом оценивания обучаемых является выставление векторной итоговой оценки G = (M, T) всему расчету. Компоненты оценки вычисляются следующим образом:
м = mi п(м1,м2,.. .,м,);
Т = min(T1,T2,...,Tj), где / е {1, 2,..., к}, к — это количество обучаемых тренажерной системой.
То есть итоговые оценки правильности и оперативности работы всего экипажа формируются как соответствующие минимальные оценки среди всех членов экипажа.
Кроме векторной итоговой оценки, формируется и скалярная итоговая оценка, — как минимум оценок M и T :
E = min(M, T).
Вычисленное количественное значение итоговой оценки трансформируется в качественную оценку по номинальной шкале в соответствии с табл. 3.
j; Таблица 3 ^ ^
Эта вербальная оценка отображается в качестве итоговой оценки работы экипажа в отчете.
10. Этап 5. Формирование отчета с оценками результатов работы экипажа
Отчет с оценками результатов работы отдельных членов и всего экипажа в целом оформляется в виде таблиц, формат которых представлен в табл. 4 и 5. Таблица 4 содержит оценки правильности и оперативности работы каждого члена экипажа (номера расчета боевой машины) в стобалльной шкале, а также соответствующую итоговую оценку в вербальном выражении.
Таблица 5 содержит номер задачи, выполняемой экипажем во время тренировочного занятия, оценки (в стобалльной шкале) правильности и оперативности работы экипажа в целом, а также соответствующую итоговую оценку в вербальном выражении.
Таблица 4. Оценки результатов работы членов экипажа
Номер расчета Оценки номеров расчета
Правильность Оперативность Итог
1 М1 Т Sl
2 М 2 Т2 ^
3 м 3 Тз Бз
Таблица 5. Оценки результата работы экипажа
Номер решаемой задачи Оценки экипажа
Правильность Оперативность Итог
К М Т Б
Схема алгоритма реализации методики оценивания качества выполнения учебных задач показана на рис. 4.
Входные данные для алгоритма:
- уровни значимости операций задачи Ц, I = 1, т;
- нормативы времени выполнения операций ^ , J = 1, т;
- протокол результатов работы на тренажере с данными об операциях, выполненных каждым членом экипажа: т — количество выполненных операций 7-м членом экипажа 7'е{1, 2,..., к}, где к — это количество обучаемых тренажерной системы; ц ? — время выполнения]-й операции 7-м членом экипажа; 8 . — признак ошибки при выполнении ]-й операции 7 е I., I. = Ц, д ..]щ }, 7-м членом экипажа.
Рисунок 4. Алгоритм реализации методики оценивания качества выполнения
учебных задач
11. Заключение
Разработанная методика интегрирует следующие новые результаты, изложенные в статье.
1. Установлен факт: последствия от ошибок при выполнении операций боевой задачи самостоятельно значимы и их сопоставление нецелесообразно, поэтому нецелесообразно и оценивание значимости операций парными сравнениями, как нецелесообразно оценивание парными сравнениями знаний обучающихся. Вследствие этого факта принято проектное решение — осуществлять абсолютное оценивание важности отдельных операций. Для этого авторами введено понятие детри-ментальности ошибок, подлежащей оцениванию экспертами и выражаемой в виде балльных оценок значимости (важности) отдельных операций в составе конкретной боевой задачи.
2. Разработана методика оценивания согласованности мнений экспертов, выраженных балльными оценками качества вариантов, основанной на корректном автоматическом переводе баллов в ранги.
3. Разработан алгоритм корректного отображения балльных оценок в ранговые оценки, позволяющий использовать коэффициент конкордации Кендалла для оцен-
ки согласованности мнений экспертов в случае наличия одинаковых оценок значимости у нескольких вариантов (операций).
4. Внесено рациональное предложение — оценивать качество работы обучаемых на тренажере оценками правильности и оперативности, которые образуют вектор компетенции выполнения боевой задачи.
5. Предложена частная оценка правильности действий обучаемого и соответствующая оригинальная формула (6), отображающая факты допущения ошибок при выполнении отдельных операций в стобалльные оценки правильности работы обучаемого на основе оценок значимости операций в рамках конкретной боевой задачи.
6. Предложена частная оценка оперативности действий обучаемого и соответствующая оригинальная формула (7), отображающая длительность выполнения отдельных операций в стобалльные оценки оперативности работы обучаемого при выполнении конкретной боевой задачи с учетом некомпенсируемости задержек в выполнении одних операций за счет ускоренного выполнения других.
7. Предложена функция клиппинга, позволяющая устранить взаимные компенсации слагаемых при суммировании длительностей выполнения операций.
8. Предложены интегральные оценки качества работы на тренажере как отдельных членов экипажа, так и всего экипажа в целом.
Литература
[1] Кулида Е. Л. Метод реализации тренировочных упражнений в компьютерном тренажерном комплексе // Проблемы управления. 2007. № 5. С. 65-68.
[2] Строгалов А.С. Компьютерные обучающие системы: некоторые проблемы их разработок // Вузовская педагогика в информационном обществе. — М. : РГГУ, 1998. С. 68-72.
[3] Тиффин Д., Раджасингам Л. Что такое виртуальное обучение. — М. : Информатика и образование, 1999.
[4] Кудрявцев В. Б., Вашик К., Строгалов А. С., Алисейчик П. А., Перетрухин В. В. Компьютерная система обучения автоматного типа // Проблемы теоретической кибернетики. — М. : РГГУ, 1996.
[5] Ефремова Т.Ф. Новый словарь русского языка. Толково-образовательный. В 2 т. — М. : Рус. яз, 2000.
[6] Кендэл М. Ранговые корреляции. — М. : Статистика, 1975.
[7] Большев Л. Н., Смирнов Н. В. Таблицы математической статистики — М. : Наука. Главная ред. физ.-мат. литературы, 1983.
[8] Саати Т. Принятие решений. Метод анализа иерархий: пер. с англ. — М. : Радио и связь, 1989.
[9] Guilford J. P. Psychometric Methods. — N.-Y, Toronto, London : Mc-Grow-Hill, 1954. P. 86-153.
[10] Высоков И. Е. Математические методы в психологии: учебник и практикум для академического бакалавриата. — М. : Юрайт, 2017.
[11] Pearson K. Mathematical contributions to the theory of evolution. III. Regression, heredity, and panmixia // Philos. Trans. of the Royal Soc. of London. Ser. A, Containing Papers of a Mathematical or Physical Character, 1896. Vol. 187. P. 253-318.
[12] Крамер Г. Математические методы статистики. — М. : Мир, 1975.
[13] Кобзарь А. И. Прикладная математическая статистика, для инженеров и научных работников. — М. : ФИЗМАТЛИТ, 2006.
Авторы:
Владимир Викторович Белов — доктор технических наук, профессор, профессор кафедры
вычислительной и прикладной математики, Рязанский государственный радиотехнический
университет имени В. Ф. Уткина
Николай Николаевич Власов — аспирант, Рязанский государственный радиотехнический
университет имени В. Ф. Уткина
Method forDetermining Competencies in Modern OTRK Training Systems
V. V. Belov, N. N. Vlasov
Ryazan State Radio Engineering University named after V. F. Utkin, 59/1, Gagarin str., Ryazan, Russia 390005 e-mail: vvbeloff@yandex.ru, z-elements@yandex.ru
Abstract. The article presents the issue of using a reliable approach to assess the quality of training in modern training systems. The competency assessment methodology, which includes two basic indicators. The developed technique is distinguished by the following features of novelty: assessment of the results of work is carried out on the basis of expert assessments of the significance (importance) of operations performed in the process of solving the task; the significance level of operations is considered as a quantitative expression of the potential detrimentality (negative consequences) of errors in the process of performing these operations.
Keywords: methods of assessment in the training system, competence in educational training systems.
References
[1] Kulida E. L. (2007) Problemy upravleniya, (5):65-68. [In Rus]
[2] Strogalov A. S. (1998) Komp'yuternye obuchayushchie sistemy: nekotorye problemy ih razrabotok. In Vuzovskayapedagogika v informacionnom obshchestve (RGGU), pp. 68-72. [In Rus]
[3] Tiffin D., Radzhasingam L. (1999) CHto takoe virtual'noe obuchenie [In Rus]
[4] Kudryavcev V. B., Vashik K., Strogalov A. S., AlisejchikP. A., Peretruhin V. V. (1996) Komp'yutemaya sistema obucheniya avtomatnogo tipa. In Problemy teoreticheskoj kibernetiki (RGGU). [In Rus]
[5] Efremova T. F. (2000) Novyj slovar' russkogo jazyka. Tolkovo-obrazovatel'nyj. [In Rus]
[6] KendjelM. (1975) Rangovye korreljacii (Statistika). [In Rus]
[7] Bol'shev L. N., Smirnov N. V. (1983) Tablicy matematicheskoj statistiki. [In Rus]
[8] Saati T. (1989) Prinjatie reshenij. Metod analiza ierarhij (Radio i svjaz). [In Rus]
[9] Guilford J. P. (1954) Psychometric Methods (Mc-Grow-Hill), pp. 86-153.
[10] Vysokov I. E. (2017) Matematicheskie metody v psihologii: uchebnik i praktikum dlja akademicheskogo bakalavriata (Izdatel'stvo Jurajt). [In Rus]
[11] Pearson K. (1896) Philos. Trans. of the Royal Soc. of London. Ser. A, Containing Papers of a Mathematical or Physical Character, 187:253-318.
[12] Kramer G. (1975) Matematicheskie metody statistiki (Mir). [In Rus]
[13] Kobzar' A. I. (2006) Prikladnaja matematicheskaja statistika, dlja inzhenerov i nauchnyh rabotnikov (FIZMATLIT). [In Rus]
