Реализация субъективных методов вероятностной оценки адекватности тренажеров на основе комплекса программ с привлечением экспертов и анкетированием обучаемых Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 621.391 Дата подачи статьи: 08.04.16

Б01: 10.15827/0236-235X.115.121-128

РЕАЛИЗАЦИЯ СУБЪЕКТИВНЫХ МЕТОДОВ ВЕРОЯТНОСТНОЙ ОЦЕНКИ АДЕКВАТНОСТИ ТРЕНАЖЕРОВ НА ОСНОВЕ КОМПЛЕКСА ПРОГРАММ С ПРИВЛЕЧЕНИЕМ ЭКСПЕРТОВ

И АНКЕТИРОВАНИЕМ ОБУЧАЕМЫХ

А.Н. Потапов, к.т.н., доцент, зам.. начальника кафедры, [email protected] (Военный учебно-научный центр Военно-воздушных сил «Военно-воздушная академия им. проф. Н.Е. Жуковского и Ю.А. Гагарина», ул. Старых Большевиков, 54а, г. Воронеж, 394064, Россия); Ф.Н. Абу-Абед, к.т.н., доцент, [email protected]; Д.В. Мартынов, к.т.н., доцент, [email protected] (Тверской государственный технический университет,

наб. Аф. Никитина, 22, г. Тверь, 1 70026, Россия); Е.П. Угловский, начальник лаборатории, [email protected] (Военная академия воздушно-космической обороны им. Маршала Советского Союза Г.К. Жукова, ул. Жигарева, 50, г. Тверь, 170100, Россия)

Рассмотрено применение субъективных методов вероятностной оценки степени адекватности имитационного моделирования в тренажерах операторов эрготехнических радиоэлектронных средств. Предложено алгоритмическое обеспечение оценки адекватности имитационного моделирования с привлечением экспертов, основанной на использовании значений весовых коэффициентов компетентности ю, каждого г'-го эксперта для определения степени согласованности мнений экспертов при независимой экспертизе, то есть когда все эксперты изолированы. На основании компетентности каждого эксперта данный метод позволяет определить действительные значения параметров оцениваемой системы и тем самым разрешить проблему ограниченного проведения для этих целей исследовательских испытаний. Так как число экспертов ограничено и это может не обеспечить необходимое количество экспериментальных данных, предлагается выполнять оценку адекватности тренажеров с привлечением самих обучаемых, которые прошли полный курс тренажной подготовки с использованием как штатной техники, так и тренажеров и могут сравнивать их. Метод оценки адекватности имитационного моделирования анкетированием обучаемых позволяет избежать дополнительных расходов на проведение испытаний тренажеров и штатной техники.

Предложено выполнять реализацию субъективных методов вероятностной оценки степени адекватности имитационного моделирования в тренажерах операторов эрготехнических радиоэлектронных средств на основе комплекса программ с привлечением экспертов и анкетированием обучаемых.

Особенностью применения программ с привлечением экспертов и анкетированием обучаемых является то, что все они обеспечивают не подтверждение гипотез об адекватности или неадекватности имитационного моделирования, а собственно оценку степени его адекватности, которая является индикатором конфликта применения тренажеров из-за их ограниченной адекватности.

Ключевые слова: вероятностные оценки, имитационное моделирование, оценка степени адекватности, информационные системы, эксперт, анкетирование обучаемых, комплекс программ.

Адекватность имитационного моделирования в тренажерах операторов эрготехнических радиоэлектронных средств (РЭС) (например, средств управления воздушным движением (ВД)) может быть определена, если имеются или могут быть получены необходимые и достоверные экспериментальные данные функционирования и условий применения штатной техники (ШТ).

Однако статистические экспериментальные данные, представляющие собой выборку {Щ,{х)}„ из п элементов некоторого параметра (отклика) Щ(х) РЭО и необходимые для оценки вероятности у адекватности имитационного моделирования в тренажере, как правило, отсутствуют [1]. Единственно возможный путь получения необходимых экспериментальных данных { Щ,(х)}п - это проведение натурных испытаний РЭС.

Известно, что заданной точности р и уровню значимости а оценки адекватности имитации пара-

метра Щ(х) соответствует необходимое (минимальное) число испытаний птш РЭС [2]. Поэтому для оценки адекватности имитационного моделирования в тренажерах необходима выборка значений { Щ(х)}п параметра Щ(х), состоящая из п = п„п элементов. А это означает, что необходимо проведение Пщш количества натурных испытаний РЭС. Однако порой из-за сложности этих испытаний в организационно-техническом плане и по экономическим соображениям их число ограничивается к, то есть возможная выборка значений { Щ,(х)}к параметра Щ(х) составляет к, причем к < птт.

Это приводит к увеличению ошибки р оценки адекватности имитации параметра Щ(х). А с учетом значимости этого параметра Щ(х) увеличение ошибки р может привести к возрастанию конфликтов планирования тренажной подготовки (ТП) операторов с использованием тренажера [3].

Алгоритмическое обеспечение

оценки адекватности имитационного моделирования с привлечением экспертов

Для получения недостающего п-к количества экспериментальных данных {Щ,(х)}— параметра Щ(х) до { Щ,(х)}п, необходимых для оценки адекватности у имитационного моделирования в тренажере РЭС, предлагается метод экспертной оценки Щз(х) параметра Щх) [4]. Суть его заключается в следующем: для получения недостающей статистической информации { Щ,(х)}п-к о значениях параметра Щх) привлекаются лица (эксперты), обладающие специальными знаниями и опытом работы с данным РЭС (или близким к нему аналогом) [4]. Каждый 1-й эксперт дает свою оценку Щ^з(х) параметра Щ(х). Для получения выборки {Щ,(х)}п-к из п-к элементов необходимо N экспертов, число которых определяется количеством птт элементов выборки { Щ(х)}п и к проведенных испытаний РЭС, то есть N = птт - к.

Однако необходимо учитывать, что число экспертов, как и экспериментальных данных, также ограничено. Реальное количество экспертов может быть определено по усовершенствованному методу [5], суть которого в следующем: некоторой начальной группе, состоящей из М0 известных исследователю экспертов (Мо<Щ, предлагается независимо друг от друга назвать g известных им кандидатов, которые могут принять участие в данной экспертизе. Если на основании этого опроса получится, что реальное количество кандидатов, определяемое как

N = !ц(от) + Ы0,

т=\

примерно будет равно

}Г_ (я • мо + \)(Мо -\) +1

(1)

(2)

( g • M о +1)

m=1

где

Ц(m) =

Я, если т-й кандидат из М0 назвал g кандидатов, не входящих в М0, Я - \, если т-й кандидат из М0 назвал

g - \ кандидатов, не входящих в М0,

0, если т -й кандидат из М0 назвал 0 кандидатов, не входящих в М0,

то достаточно одного тура опроса. В противном случае будет проводиться следующий тур с привлечением выявленных в предыдущем туре компетентных экспертов.

Для повышения достоверности экспертной оценки 1-го эксперта Щз(х) параметра системы Щ(х) используют числовую оценку, характеризующую эксперта, - степень его компетенции (вес ю,

/'-го эксперта) в определении параметра Щ(х) [5]. А с учетом веса ю, /-го эксперта по его оценке Щ/з(х) можно определить соответствующее ей 1-е значение выборки { Щ(х)}„-к.

Для этого определяется выборочное среднее

\ N

М (Жэ (х)) = - ЕЩЭ (х)

N ,=\

и средневзвешенное значение

Ж(х) « т(Жэ (х)) = ^ю, • Жэ (х)ю, . Величина

\ N ( N \ / N

аЖз(х) = -еЖз(х)-i ею, •Жз(х) /ею, (3)

N ,=\ V ,=\ Л >=\

показывает, насколько выборочное среднее значение экспертной оценки (без учета компетентности экспертов) отличается от средневзвешенного (с учетом компетентности экспертов). На основании соотношения (3) имеем: \ N

Ж, (х) = Жз (х) - - еЖ'Э (х) +

NГ (4)

+ (е ю,-Жэ (х) )/е ю,.

Таким образом, если ю,=1 (для всех /=1,2,..., Ы), то АЩз(х)=0, следовательно, Щ,(х)=Щ,з(х).

Вес ю/ /-го эксперта можно определить на основании его тестирования по экспериментально подтвержденным заданиям. Так, если имеются к фактических статистических данных параметра Щх), полученных в ходе 5-го испытания системы [5], то

ю, = \Еехр [-(Жз (х) - Ж (х))2М2 (Жз(х))],

где Ws(x) - фактическое значение параметра Щ(х); ^(Щэ(х)) - выборочная дисперсия, определяемая

как S2(W3(x)) =

1 k

— Е (W (x) - W (x))2 .

N — 1 ,=1

На основании полученных значений весовых коэффициентов компетентности ю/ каждого /-го эксперта можно определить степень согласованности мнений экспертов в независимой экспертизе (то есть когда все эксперты изолированы):

а2 (Жз (х)) = ^ (Жз (х) - т(Жз (х}})2 • ю, ^Е ю,..

Чем меньше величина а2(Щз(х)), тем с большей уверенностью можно доверять найденному значению т(Щз(х)) и, следовательно, Щ,(х) в соответствии с соотношением (4).

Очевидно, что реальное число экспертов ^^ может оказаться как больше, так и меньше Кпот. Поэтому при N > Кпот рекомендуется по результатам тестирования из N произвести выбор Кпот -наиболее компетентных экспертов. Если N < Nот, то вероятностно-метрическая оценка адекватности имитационного моделирования в тренажере РзС может производиться лишь по ^к статистическим данным, следовательно, ее точность не будет соот-

ветствовать заданной. Однако экспертиза значений параметров позволяет определить дополнительное количество экспериментальных данных, что повышает точность индикации сопутствующего признака конфликта применения тренажеров.

Таким образом, можно констатировать следующее: разработанное алгоритмическое обеспечение экспертной оценки значений параметров, необходимых для оценки адекватности моделирующего устройства тренажера, позволяет на основании компетентности каждого эксперта определить действительные значения параметров оцениваемой системы и тем самым разрешить проблему ограниченного проведения для этих целей исследовательских испытаний.

Оценка адекватности имитационного моделирования анкетированием обучаемых

Известно, что оценку адекватности тренажеров можно произвести на основании сопоставления их имитационного моделирования с функционированием ШТ. В силу того, что число экспертов ограничено и это может не обеспечить необходимое количество экспериментальных данных, предлагается выполнять оценку адекватности тренажеров силами учебного заведения с привлечением самих обучаемых, которые прошли полный курс ТП с использованием как ШТ, так и тренажеров и могут сравнить их между собой. Этот метод позволяет избежать дополнительных расходов, связанных с проведением испытаний тренажеров и ШТ. При малых группах обучаемых необходимую статистику для требуемой точности оценки адекватности можно получить методом ее накопления.

Суть данного метода состоит в проведении анкетирования обучаемых. Для этого должны быть сформированы анкеты, включающие вопросы в соответствии с информационными признаками, по которым должно происходить сравнение тренажеров с ШТ. Чтобы получить общее представление о методе оценки адекватности имитационного моделирования анкетированием обучаемых, рассмотрим отдельно особенности, связанные с его разработкой.

Постановка вопроса в анкете обучаемых по конкретному информационному признаку тренажера должна иметь следующий смысл: насколько верно то, что при воздействиях на органы управления (...) расхождение между информационным признаком (...) тренажера и ШТ не превышает 10.15 %? При ответе на поставленный вопрос обучаемый выставляет свою балльную оценку юе[0, Ютах], где Ютах - максимально допустимая.

Необходимо обобщенное уточнение: в соответствии с балльной оценкой адекватность тренажера принимает значение

Y = -

(5)

Будем считать, что каких-либо эталонных данных, характеризующих функционирование ШТ, которые могут быть использованы для определения компетентности обучаемых, нет, а значит, в анкете отсутствуют вопросы, связанные с ее определением. Не будем заострять внимание ни на принципах формирования анкеты, ни на информационных признаках, по которым должны сравниваться тренажеры с ШТ.

Предположим, что анкета уже сформирована. Она состоит из М вопросов. Причем каждый /-й вопрос характеризует конкретный /-й информационный признак тренажера. В анкете отсутствуют дополнительные вопросы, направленные на выявление объективности ответов анкетируемых, а значит, и их компетентности в оценках адекватности тренажера. Необходимо определить методику обработки результатов анкет с учетом введенных ограничений. Очевидно, что каждый вопрос в анкете имеет свою значимость. Экспертным путем [6] можно предварительно проранжировать эти вопросы и определить вес каждого /-го вопроса. С учетом этого результирующая оценка адекватности тренажера, данная /-м обучаемым, будет определяться как

» M ю* =£5

j=i

(6)

где 8з/ - эталонный вес/-го информационного признака; Ю/ - оценка /-м обучаемым/-го информационного признака (ю/е [0, Ютах]) [7].

В свою очередь, общая оценка адекватности тренажера при обработке N анкет может определяться по следующему соотношению:

N

еаю* _ '=1

N 1=1

(7)

где а, - компетентность /-го обучаемого [8].

Так как по условию в анкете отсутствуют дополнительные вопросы, по ответам на которые можно было бы определить компетентность анкетируемых, в прямой постановке, используя традиционные методы, определить ее не предоставляется возможным [7]. Остановимся подробнее на определении компетентности на примере использования одного традиционного метода. Пусть одни и те же анкетируемые многократно используются для оценивания числовых величин. Относительная ошибка /-го анкетируемого при к-м опросе

_ К ~ I

T

(8)

где Тэк - эталонное значение; Т,к - оценка, данная /-м анкетируемым.

ю

ю

Тогда а,. = 1 — -

H

е

k =1

-zEk

k s=1

1 m

— es,s

m s=1

(9)

где тп (п=/, к) - количество оценок, которые дал п-й анкетируемый \7].

Примем, что оценка компетентности анкетируемых возможна только в рамках текущего опроса (Н=1). Следовательно, количество оценок, которое может дать анкетируемый, ограничивается количеством в анкете вопросов (тп=М). С учетом этого соотношения (8) и (9) будут иметь вид

s =

Is* —s „

5

1 M

a. = 1--Es..

' ME1 j

(10)

(11)

где 5з,- - эталонное значение веса--го вопроса анкеты; 5-- - оценка веса--го вопроса анкеты, данная 1-м анкетируемым.

Так как оценки 5- в явном виде отсутствуют, то использование (10) и (11) для определения компетентности в прямой постановке не представляется возможным. Оценку компетентности ответа /-го обучаемого на --й вопрос анкеты можно осуществить и без наличия эталонных данных по следующему соотношению:

а ,j = exP <

( го« — го j)

2S.

N

еа «го

где го « = -лг

еа

1 N _

S. =-Е(го — го .)2

j N — 1Û j j)

(12)

(13)

(14)

- соответственно средневзвешенная оценка и дисперсия ошибки --го информационного признака тренажера [7].

Процедура определения щ основана на методе итерации и состоит в следующем:

а) первоначально задают щ=1;

б) по соотношениям (13) и (14) на основании личных оценок ю- определяются компоненты соотношения (12);

в) по соотношению (12) осуществляется уточненное вычисление щ;

г) в соответствии с новым значением щ- происходит повторное выполнение пунктов б) и в) до тех пор, пока не будет достигнуто стационарное состояние значений щ, ю. и 8-.

Очевидно, что возможна ситуация, когда по каждому оцениваемому --му информационному признаку тренажера анкетируемый будет иметь различные степени компетентности, что не совсем

корректно. Для устранения этого недостатка предлагается определять средневзвешенную оценку щ компетентности с учетом ранее полученных а Нахождение средневзвешенной оценки щ происходит аналогичным образом, как и ю , по следую-

M

M ßj а j

щей

формуле:

а = j=1

M

M ß«

где

j=1

ß« =expЬ

(aj—а,)2 2D,.

D = -

1

M — 1 j=Î

e (aj—а,)2 -

степень значимости --го информационного признака тренажера и дисперсия ошибки компетентности /-го анкетируемого соответственно.

Имея значения Р-, можно определить вес каждого --го вопроса, соответствующий /-му анкетируя Ру

емому: 5у = М2— .

М Ру

У=\

На основании сравнения 5з/ с 5- в соответствии с (10) можно определить относительную ошибку оценки веса--го вопроса /-го анкетируемого, а значит, используя соотношение (11), и его компетентность щ/.

Необходимо отметить, что для обеспечения организованного управления ТП важно знать не только результирующую оценку адекватности тренажера, определяемую по соотношениям (6) и (7), но и оценки его -- х информационных признаков. зто позволит выявлять причинно-следственные факторы, характеризующие адекватность тренажера, и определять управляющие воздействия, направленные на корректировку конкретных аспектов его использования в интересах повышения качества обучения. С учетом этого, не нарушая общности рассуждений, (6) и (7) можно представить иначе:

N „

еа*го j — ,=1

еа*

,=1

» M

го* =ES'j го j

j=1

(15)

(16)

где щ* =щщ - уточненная оценка компетентности

N

N Ру

/-го анкетируемого; 5* --вес --го вопроса

М ее Ру

У=\ >=\

анкеты, определенный по результатам анкетирования.

Окончательную степень согласованности результатов анкетирования можно оценить по следующим соотношениям:

,=1

ea*K -ю*)2

eß , (ю* -ю*)2

ст2(ю. ) = ■

ст2(ю) =

j=i

e«*

M

e ßj

j=1

где Р = ЕР,, - суммарная по результатам анкети-

I=1

рования оценка степени значимости /-го вопроса анкеты.

Чем меньше величины а2(ю,) и а2(ю), тем с

большей уверенностью можно доверять найден* *

ным значениям ю / и ю .

На основании (15) и (16) с учетом (5) получаем соответствующие оценки адекватности тренажера, которые будут иметь вид

ю,.

УI =■

у =■

(17)

(18)

Определение 5з/ возможно на основании предварительной экспертизы вопросов анкеты обучаемого. По аналогии с вышеизложенным суть такой экспертизы может заключаться в привлечении N экспертов, которые по каждому ■-му вопросу анкеты обучаемого выставляют оценку рЭ/т его значимости, т = 1, Жэ . Причем эта оценка может быть

дана в баллах. Зная компетентность ат т-го эксперта, можно определить средневзвешенную экспертную оценку ■-го вопроса и дисперсию ее ошибки:

N

_ e « j

ßai =

3jm

E «m (ß3Im -ß3I )

^2(ßai ) =

J3jm

е ру 2: $э

т=1 т=1

Следовательно, эталонное значение веса /-го вопроса, используемого в дальнейшем для обработки результатов анкетирования, может быть опреде-

3j

лено как 5Ч,. = — .

Эу М _

е рэ

у=1

Чем выше ат и больше ЫЭ, тем меньше дисперсия ст2(рЭ/) и с тем большей уверенностью можно доверять значениям Рэ., а значит, и 5Э/.

С учетом этого для проведения экспертизы необходимо первоначально сформировать группу, состоящую из N компетентных экспертов. Для этого можно воспользоваться несколько модернизированной методикой [8].

Пусть организатору экспертизы анкеты обучаемых известно О кандидатов, которые могут принять в ней участие. Сначала для этих кандидатов по контрольному тесту определяется оценка их компетентности ат. Это возможно, если в основу теста заложить некоторые эталонные значения, которые

сравниваются со значениями ответов кандидатов в соответствии с соотношениями (8) и (9). Далее, задав граничное значение компетентности азад, производится выбраковка некомпетентных кандидатов, у которых ат <а зад. Таким образом, формируется группа из Мо<О компетентных экспертов (ат>а зад). Затем производится независимый опрос М0 экспертов, суть которого заключается в следующем: каждый т-й эксперт из М0 называет р известных ему кандидатов, которые могут принять участие в данной экспертизе и не входят в М0. Далее для каждого из р известных кандидатов по аналогии с формированием М0 происходит выбраковка некомпетентных. С учетом этого определяются g компетентных кандидатов, не известных руководителю экспертизы. Если на основании этого опроса получится, что реальное количество компетентных кандидатов, определяемое по (1), будет примерно равно (2), то достаточно одного тура опроса. В противном случае будет проводиться следующий тур с привлечением выявленных в предыдущем туре компетентных экспертов. Далее производится экспертиза по оценке весовых показателей вопросов анкеты. Каждому эксперту должна предлагаться анкета. Отличительной особенностью анкеты эксперта от анкеты обучаемого может быть то, что, помимо вопросов, включенных в последнюю для проведения экспертизы, могут быть включены дополнительные вопросы, необходимые для определения компетентности ат эксперта и р известных ему кандидатов на участие в экспертизе. Помимо этого, проведение такой экспертизы позволит формировать корректную анкету обучаемых с учетом весовых оценок 5Э/, например, исключая те вопросы, которые имеют в анкете наименьшую значимость.

Процесс организации анкетирования и обработки его результатов можно представить в виде структуры [8], изображенной на рисунке 1.

Таким образом, разработан метод, позволяющий обеспечить вероятностную оценку степени адекватности имитационного моделирования в тренажерах анкетированием обучаемых, когда необходимые экспериментальные данные от объектов моделирования отсутствуют или не могут быть получены. Этот метод базируется на применении анкет обучаемых и анкет экспертов и вполне может быть реализован в рамках учебного заведения, где в учебном процессе используются тренажеры. Оценка адекватности тренажера (18) является индикатором конфликта применения тренажеров. В свою очередь, оценка адекватности /-го информационного признака (17) с учетом его значимости может быть использована как для совершенствования методического обеспечения и деятельности инструкторского состава, направленных на сглаживание выявленных недостатков тренажеров, так и для предъявления требований к разработчикам тренажеров по их модернизации.

i=1

i=l

ю

ю

ю

m=1

Корректировка анкеты

Формирование анкет ы

Анкета экспертов

Электронная анкета обучаемых, включающая j = 1, M вопросов_

Опорные вопросы k = 1, K

Начальная группа g

Экспер.

тиза анкеты

обу

чаемых

Формирование группы _экспертов_N э

Результаты ответов на

Эталонные данные Тэк

опорные вопросы £

т„

m = 1, N ,

Оценка компетентности _экспертов_а.

Т

Результаты экспертизы вопросов анкеты обучаемых р

Оценка весов вопросов анкеты обучамых

5

Анкетирование обучаемых

Выбор контрольной группы _обучаемых_N

Начальная компетентность

а,. = 1

Начальный вес

5- =1

Результаты ответов на_

вопросы анкеты

Оценка компетентности обучаемых

Оценка весов вопросов анкеты

Уточнение компетентности обучаемых а

Оценка качества тренажера &

М аксималь но-допуст. оценка

^mQV

Оценка адекватности

тренажера

I____________________________________:

Рис. 1. Организация анкетирования для оценки адекватности имитационного моделирования в тренажерах операторов эрготехнических РЭС

Fig. 1. The survey organization to assess adequacy of simulation modeling in trainers of operators of ergotechnical radio-electronic means

Реализация методов

Реализацию субъективных методов вероятностной оценки степени адекватности имитационного моделирования в тренажерах операторов эрготех-

нических РзС предлагается выполнять на основе комплекса программ оценки адекватности тренажеров с привлечением экспертов и анкетированием обучаемых. Особенностью применения этих программ с привлечением экспертов и анкетированием обучаемых является то, что они обеспечивают не подтверждение гипотез об адекватности или неадекватности имитационного моделирования, а собственно оценку степени его адекватности, которая является индикатором конфликта применения тренажеров из-за их ограниченной адекватности.

На рисунке 2 представлена структура комплекса программ, реализующих субъективные методы вероятностной оценки степени адекватности имитационного моделирования в тренажерах операторов эрго-технических РзС.

Оценка адекватности имитационного моделирования в тренажерах с привлечением экспертов основана на использовании значений весовых коэффициентов компетентности каждого /-го эксперта для определения степени согласованности мнений экспертов в независимой экспертизе, то есть когда все эксперты изолированы. Компетентность каждого эксперта позволяет определить действительные значения параметров оцениваемой системы и, таким образом, решить проблему по ограниченному проведению для этих целей исследовательских испытаний. На рисунке 3 а представлен интерфейс программы оценки адекватности тренажеров с привлечением экспертов [9].

,i = 1,N

5

7j, 7

Комплекс программ, реализующих субъективные методы вероятностной оценки адекватности имитационного моделирования в тренажерах операторов эрготехнических РЭС (с привлечением экспертов и анкетированием обучаемых)

<

Программа оценки адекватности тренажеров с привлечением экспертов

Программа оценки адекватности тренажеров анкетированием обучаемых

Рис. 2. Структура комплекса программ Fig. 2. The structure of the software complex

а)

б)

Рис. 3. Программа оценки адекватности тренажеров: а) с привлечением экспертов, б) анкетированием обучаемых

Fig. 3. The program of trainer adequacy evaluation: а) with experts involved, б) a questionnaire survey of trainees

Программа оценки адекватности тренажеров анкетированием обучаемых [10] создана для автоматизации оценки адекватности тренажеров обучаемыми, прошедшими курс тренажной подготовки с использованием тренажеров и ШТ и способными сравнить их между собой по информационным признакам. Интерфейс этой программы изображен на рисунке 3б. Перечень информационных признаков в виде анкеты обучаемых формируется на основании обработки данных экспертизы. Для этого в программе по новым алгоритмам определяется группа экспертов с учетом их компетентности и производится корректировка вопросов анкеты обучаемых. Помимо этого, в программе производится обработка данных анкетирования обучаемых, на основании которой определяется оценка адекватности информационных признаков и тренажера в целом.

Литература

1. Дудоров А.Д. Методика оценки тренажеров лиц группы руководства полетами в интересах повышения качества их подготовки // Современные проблемы и перспективные направления развития авиационных комплексов и систем военного назначения, формы и способы их боевого применения: сб. стат. Всерос. науч.-практич. конф. Воронеж: Изд-во ВАИУ, 2011. С. 92-98.

2. Сысоев Е.С. Оптимизация тренажерной подготовки операторов сложных информационных радиоэлектронных систем управления воздушным движением // Информатика: проблемы, методология, технологии: матер. 11-й Междунар. науч.-методич. конф. Воронеж: Изд-во ВГУ. Т. 2. С. 216-222.

3. Лебедев В.В., Романов А.В. Теоретико-множественный подход к описанию функционирования эрготехнических радиоэлектронных средств // Проблемы эффективности и безопасности функционирования сложных технических и информационных систем: тр. 32-й Всерос. науч.-технич. конф. Серпухов: Изд-во филиала ВА РВСН, 2013. С. 118-122.

4. Помазуев О.Н., Платонов А.Ю., Миронов А.М., Абу-Абед Ф.Н., Рюмшин А.Р. Методика определения показателей качества обнаружения радиолокационных станций // Программные продукты и системы. 2014. № 2. С. 118-124.

5. Агапов Е.А. Проектирование автоматизированных информационных систем освоения эрготехнических комплексов //

Эффективность автоматизированных систем управления авиацией, систем связи и РТО ВВС: науч.-технич. сборник. Ногинск: Изд-во 4 ЦНИИ МО РФ, 2012. С. 112-118.

6. Дикарев В.А. Особенности профессиональной подготовки операторов при использовании компьютерных систем тренажа // XXXIV научные чтения, посвященные разработке творческого наследия К.Э. Циолковского: сб. стат. Всерос. науч.-тех-нич. конф. Калуга: Калужский дом знаний, 1999. С. 181-184.

7. Пономаренко В.А. Психология жизни и труда летчика. М.: Воениздат, 1992. 58 с.

8. Сысоев В.В., Крутских П.П., Свинцов А.А. Математическая модель информационного конфликта // Радиотехника (журнал в журнале). 1999. № 3. С. 77-80.

9. Потапов А.Н., Пасмурнов С.М. Математическая модель количественного критерия оценки адекватности имитационного моделирования в тренажерах операторов эрготехнических систем // Вестн. Воронеж. гос. технич. ун-та. 2012. Т. 8. N° 3. С. 4-8.

10. Губсков Ю.А., Прокофьев С.Н. Системная модель информационной конфликтно-устойчивой автоматизированной системы освоения эрготехнических комплексов // Информатика: проблемы, методология, технологии: матер. 12-й Междунар. науч.-методич. конф. Воронеж: Изд-во ВГУ. 2012. Т. 1. С.109-112.

DOI: 10.15827/0236-235X.115.121-128 Received 08.04.16

IMPLEMENTATION OF SUBJECTIVE METHODS OF SIMULATOR ADEQUACY PROBABILISTIC ASSESSMENT BASED ON A SOFTWARE SYSTEM INVOLVING EXPERTS AND QUESTIONING TRAINEES

lPotapov A. N., Ph.D. (Engineering), Associate Professor, Deputy Head of Chair, potapov_il@mail. ru 2Abu-AbedF.N., Ph.D. (Engineering), Associate Professor, [email protected] 2Martynov D.V., Ph.D. (Engineering), Associate Professor, [email protected] 3Uglovsky E.P., Head of Laboratory, [email protected]

1 Military Scholastic-Scientific Centre of the Air Forces "Zhukovsky and Gagarin Air Forces Academy", Starykh Bolshevikov St. 54a, Voronezsh, 394064, Russian Federation

2 Tver State Technical University, Nikitin Quay 22, Tver, 170026, Russian Federation

3 Military Academy of the Aerospace Defence, Zhigarev St. 50, Tver, 170022, Russian Federation

Abstract. The article considers the issues of applying subjective methods of probable assessment of a simulation modeling level of adequacy in trainers of operators of ergotechnical radio-electronic means. The authors offer a method of simulation modeling adequacy assessment involving experts. The method is based on using values of weight factors of competence < for each i-th expert to determine a level of coherence of experts' judgements in independent examination, i.e. when all experts are isolated. This method allows defining real values of the evaluated system's parameters based on each expert's competence and, thereby, to resolve a problem of limited investigation tests for these purposes of. As the number of experts is limited and it can not provide enough quantity of experimental data, it is offered to assess trainers' adequacy involving trainees who completed a full course of simulation training using both standard equipment and simulators, and can compare them. The proposed method allows avoiding the additional expenditures connected with carrying out tests of trainers and standard equipment.

The authors propose to implement subjective probabilistic methods to assess the degree of simulation adequacy in training equipment of operators of ergotechnical radio-electronic means on the basis of the software complex with experts and a questionnaire survey among trainees. A special feature of application programs with experts and a questionnaire survey among trainees is the fact that they all provide no verification of the hypothesis about the adequacy or inadequacy of simulation, but its adequacy evaluation, which is the indicator of a conflict of using simulators due to their limited adequacy.

Keywords: probable estimates, simulation modeling, adequacy level assessment, information systems, expert questioning.

References

1. Dudorov A.D. A trainer assessment method for of a flight management group to improve their preparation quality. Sovremennye problemy i perspektivnye napravleniya razvitiya aviatsionnykh kompleksov i sistem voennogo naznacheniya, formy i sposoby ikh boevogo primeneniya: sb. stst. Vseros. nauch.-praktich. konf. [Proc. All-Russian Science and Practice Conf. "Modern Problems and Prospects of Aviation Complexes and Military Systems, Forms and Methods of Their Fighting Application"]. 2011, Voronezh, VAIU Publ., pp. 92-98 (in Russ.).

2. Sysoev E.S. Optimization of simulation training of operators of difficult information radio-electronic traffic air management systems. Informatika: problemy, metodologiya, tekhnologii: mater. 11 Mezhdunar. nauch.-metodich. konf. [Proc. 11th int. Science and Methodological Conf. "Informatics: Problems, Methodology, Technologies"]. Voronezh, VSU Publ., 2011, vol. 2, pp. 216-222 (in Russ.).

3. Lebedev V.V., Romanov A.V. The set-theoretical approach to the description of ergotechnical radio-electronic means functioning. Problemy effektivnosti i bezopasnosti funktsionirovaniya slozhnykh tekhnicheskikh i informatsionnykh sistem: tr. 32 Vseros. nauch.-tekhnich. konf. [Proc. 32nd All-Russian Science and Technical Conf. "Problems of Efficiency and Safety of Difficult Technical and Information System Functioning"]. Serpukhov, Peter the Great Military Academy of Strategic Missile Forces Publ., 2013, pp. 118-122 (in Russ.).

4. Pomazuev O.N., Platonov A.Yu., Mironov A.M., Abu-Abed F.N., Ryumshin A.R. The method of quality factors estimation for radar detection. Programmnyeprodukty i sistemy [Software and Systems]. 2014, no. 2, pp. 118-124 (in Russ.).

5. Agapov E.A. Design of automated information systems for ergotechnical complexes acquisition. Effektivnost avtoma-tizirovannykh sistem upravleniya aviatsiey, sistem svyazi i RTO VVS: nauch. -tekhnich. sb. [Efficiency of Automated Control Systems for Aircraft, Communication Systems and Air Force RTO]. Noginsk, 2012, pp. 112-118 (in Russ.).

6. Dikarev V.A. Features of operators' vocational training using computer training systems. 34 nauchnye chteniya, posvyashchonnye razrabotke tvorcheskogo naslediya K.E. Tsiolkovskogo: sb. stat. Vseros. nauch.-tekhnich. konf. [Proc. All-Russian Science and Technical Conf. 34th Scientific Readings Devoted to K.E. Tsiolkovsky's Creative Heritage Development]. Kaluga, Kaluzhsky dom znany Publ., 1999, pp. 181-184 (in Russ.).

7. Ponomarenko V.A. Psikhologiya zhizni i truda letchika [Psychology of Pilot's Life and Work]. Moscow, Voyenizdat Publ., 1992, 58 p.

8. Sysoev V.V., Krutskikh P.P., Svintsov A.A. A mathematical model of an information conflict. Radiotekhnika [Radio Engineering]. 1999, no. 3, pp. 77-80 (in Russ.).

9. Potapov A.N., Pasmurnov S.M. A mathematical model of the quantitative criterion of simulation modeling adequacy assessment in trainers of operators of ergotechnical systems. Vestn. Voronezh. gos. tekhnich. univ. [Bulletin of the Voronezh State Technical Univ.]. 2012, Voronezh, VGTU Publ., vol. 8, no. 3 pp. 4-8 (in Russ.).

10. Gubskov Yu.A., Prokofev S.N. System model of an information conflict stable automated system of ergotechnical complexes acquisition. Informatika:problemy, metodologiya, tekhnologii: mater. 12Mezhdunar. nauch.-metodich. konf. [Proc. 12th int. Science and Methodological Conf. "Informatics: Problems, Methodology, Technologies"]. Voronezh, VSU Publ., 2012, vol. 1, pp. 109-112 (in Russ.).