CC BY
35
Ovil Aviation High Technologies
Vol. 21, No. 03, 2018
УДК 658.71.08, 519.87
DOI: 10.26467/2079-0619-2018-21-3-56-66
ОЦЕНКА ПРОФЕССИОНАЛЬНОЙ ПОДГОТОВЛЕННОСТИ ОПЕРАТОРОВ ДОСМОТРОВОЙ ТЕХНИКИ С ПРИМЕНЕНИЕМ ДВУХПАРАМЕТРИЧЕСКОЙ МОДЕЛИ А. БИРНБАУМА
Б.В. ЗУБКОВ1, Ал.К. ВОЛКОВ2
1 Московский государственный университет гражданской авиации, г. Москва, Россия 2Ульяновский институт гражданской авиации имени Главного маршала авиации Б.П. Бугаева,
г. Ульяновск, Россия
В статье обосновывается необходимость совершенствования оценки профессиональной подготовленности операторов досмотровой техники. Широкое распространение при подготовке и оценке качества ее результатов операторов получили автоматизированные обучающие системы. Основным преимуществом применения подобных систем являются возможность приспособления к индивидуальным потребностям оператора путем изменения уровня сложности учебного материала. Эффективность применения данных систем подтверждается на основании зарубежных исследований. Для оценки результатов деятельности операторов также применяется технология проецирования опасных предметов. Анализ существующих подходов к оценке эффективности деятельности операторов показал, что они не в полной мере учитывают влияние факторов сложности рентгеновских изображений, на результаты контроля деятельности операторов. Представлены результаты апробации двухпараметрической модели А. Бирнбаума, которая служит для оценки профессиональной подготовленности операторов досмотровой техники посредством тестового контроля. В соответствии с рекомендациями Международной организации гражданской авиации был сформирован банк тестовых рентгеновских изображений, включающий в качестве четыре блока опасных предметов. Согласно модели вероятность обнаружения запрещенных предметов операторами рассматривается как функция от таких параметров, как разности уровня подготовки и уровня сложности изображений, а также меры структурированности знаний. Представлено решение задачи поиска значений параметров модели А. Бирнбаума методом наибольшего правдоподобия. В рамках модели были построены и исследованы характеристические функции уровня подготовленности испытуемых, описывающих их способности по интерпретации рентгеновских изображений различной трудности. Предложен и апробирован критерий оценки уровня подготовленности операторов. Критерий позволяет учитывать не только средний уровень подготовленности оператора, но и возможную его дисперсию. Предложенный критерий может применяться при отборе и сертификации операторов в случае установления к ним требования почти безусловного решения задачи поиска запрещенных предметов.
Ключевые слова: авиационная безопасность, оператор досмотровой техники, оценка профессиональной подготовленности, характеристическая функция, критерий подготовленности, адаптивный подход.
ВВЕДЕНИЕ
Важным компонентом, влияющим на качество обеспечения авиационной безопасности, является уровень профессиональной подготовки операторов досмотровой техники. В настоящее время широкое распространение при подготовке операторов получили автоматизированные обучающие системы. Преимуществами применения подобных систем являются возможность регулирования темпов обучения и приспособление к индивидуальным потребностям оператора путем изменения уровня сложности учебного материала1. По результатам зарубежных исследований [1-3] применение подобных систем позволяет значительно повысить качество обучения операторов. Так, например, в результате обучения с применением автоматизированной обучающей системы в течение 6 месяцев эффективность обнаружения взрывных устройств повысилась на 71 % [4].
Одно из серьезных технологических достижений последнего времени - разработка и внедрение технологии проецирования изображений опасных предметов (далее - ПИОП), кото-
1 Человеческий фактор в системе мер безопасности гражданской авиации. Doc 9808. Изд. 1. Монреаль: ИКАО,
2002. 120 с.
Vol. 21, No. 03, 2018
Ovil Aviation High Technologies
рая является альтернативой скрытого тестирования. Технология ПИОП позволяет накладывать виртуальное изображение опасных предметов на реальное изображение отсканированного багажа или в некоторых случаях полностью воспроизводить изображение виртуального багажа [5]. Целями ПИОП являются: организация непрерывного процесса повышения квалификации персонала; оценка результатов работы операторов; поддержание бдительности операторов. В целях объективной оценки эффективности деятельности операторов важной задачей при разработке данных систем является необходимость автоматического определения уровня сложности рентгеновского изображения, а также уровня подготовленности оператора. При этом сложность рентгеновских изображений характеризуется влиянием факторов сложности, под которыми понимаются специфические свойства рентгеновского изображения, которые влияют на способность к обнаружению запрещенных предметов операторами досмотровой техники [6]. Основными факторами сложности являются: «геометрические характеристики запрещенного предмета», «изменение ориентации запрещенного предмета», «наложение запрещенного предмета другими объектами изображения», «сложность содержимого багажа или ручной клади», «схожесть цветовой гаммы запрещенных и обычных предметов в багаже или ручной клади».
Фактор «геометрия запрещенного предмета» обуславливает то, что при интерпретации теневого рентгеновского изображения багажа или ручной клади оператор досмотровой техники по внешнему виду (геометрии) может принять опасный предмет или его части за обычный предмет багажа. Например, электрошокер в рентгеновском изображении можно принять за электробритву, а складной нож за обыкновенную ручку.
Повышение сложности интерпретации опасного предмета за счет изменения его точки обзора внутри багажа относительно нормальной точки обзора характеризуется тем, что предмет может показаться незнакомым при изменении его ориентации или он может напоминать обычный предмет багажа.
Фактор «наложение запрещенного предмета другими объектами изображения» характеризует степень, в которой запрещенный предмет закрыт другими объектами, то есть опасный предмет или его части закрываются или сливаются с другими объектами в багаже или ручной клади.
Под фактором «сложность багажа или ручной клади» следует понимать количество и тип предметов, находящихся в багаже или ручной клади. Сложность обнаружения опасного предмета по данному фактору обуславливается тем, что общее количество предметов, а также беспорядок их расположения по всему объему багажа или ручной клади создает дополнительный «шум» в процессе интерпретации рентгеновского изображения.
Фактор «схожесть цветовой гаммы запрещенных и обычных предметов» характеризует тот факт, что в результате рентгеновского сканирования опасный предмет и обычный предмет багажа, имея одинаковую плотность вещества, будут иметь схожий цвет на рентгеновском изображении.
Согласно требованиям Международной организации гражданской авиации (далее -ИКАО), одной из основных целей профессиональной подготовки операторов является способность надежно обнаруживать запрещенные предметы на рентгеновских изображениях при влиянии факторов сложности. При этом необходимо отметить ряд недостатков в применяемых в настоящее время моделях оценки подготовленности операторов по результатам либо тестового контроля, либо при использовании технологии ПИОП:
- для оценки способности интерпретации рентгеновских изображений применяется так называемый «индекс чувствительности» [7], который представляет собой разницу между количеством верных обнаружений запрещенных предметов и количеством ложных тревог. Однако данный подход, во-первых, не в полной мере учитывает влияние факторов сложности; во-вторых, рассматривает только факт обнаружения запрещенных предметов операторами без какой-либо вероятностной оценки, что не соответствует требованиям ИКАО;
Ovil Aviation High Technologies
Vol. 21, No. 03, 2018
- в качестве критерия компетентности операторов используется относительное количество обнаруженных предметов (выраженное в процентах), которое затем сравнивается с минимальным проходным уровнем компетентности. При этом необходимо учитывать, что нормативных требований, касающихся значения минимального проходного уровня компетентности на сегодняшний день не установлено. Каждое государство или авиапредприятие самостоятельно устанавливает минимальный уровень компетентности оператора, например 75 %.
Проведенный краткий анализ показал, что актуальной задачей является совершенствование моделей оценки уровня профессиональной подготовленности операторов досмотровой техники в целях реализации требований ИКАО.
АПРОБАЦИЯ ОДНОМЕРНОЙ ДВУХПАРАМЕТРИЧЕСКОЙ МОДЕЛИ А. БИРНБАУМА И КРИТЕРИЯ ПРОФЕССИОНАЛЬНОЙ ПОДГОТОВЛЕННОСТИ
В целях совершенствования оценки уровня профессиональной подготовленности операторов досмотровой техники в работе [8] было предложено использовать вероятностную модель, разработанную в рамках теории моделирования и параметризации тестов (Item Response Theory - IRT). Данная модель является «симметричным» вариантом двухпараметрической модели А. Бирнбаума [9]. Согласно основным положениям IRT, уровень подготовленности испытуемых и трудность заданий теста считаются некоторыми латентными параметрами, оценки которых предстоит получить в процессе шкалирования результатов выполнения теста [9]. Измерение латентных параметров подготовленности операторов и трудности тестовых заданий осуществляется на единой интервальной шкале логитов. Логит уровня подготовленности оператора находится по формуле
l9i = ln P ,
1 q
где Pi и qi - доли правильных и неправильных соответственно ответов i-го оператора на тестовые задания.
Логит уровня трудности j-го тестового рентгеновского изображения рассчитывается аналогичным образом.
В целях апробации предложенной модели на базе Ульяновского института гражданской авиации имени Главного маршала авиации Б.П. Бугаева было проведено экспериментальное исследование, в котором приняло участие 70 курсантов 3 и 4-го курса очной формы обучения направления подготовки 25.03.03 Аэронавигация, профиля подготовки 9. Обеспечение авиационной безопасности, прошедших необходимый теоретический и практический курс по дисциплине «Организация проведения досмотра».
В соответствии с рекомендациями ИКАО был сформирован банк тестовых рентгеновских изображений, включающий в качестве опасных предметов следующие четыре блока:
- самодельные взрывные устройства (имитация);
- огнестрельное оружие;
- холодное оружие;
- другие опасные предметы, включающие в себя гранаты, мины, патроны, газовые баллончики, электрошокеры.
Также среди тестовых изображений присутствовали снимки «чистого» багажа, включающего в себя предметы, приводящие к появлению ложных тревог.
Методика проведения исследования состояла в следующем: испытуемым поочередно предоставлялось 153 снимка теневого рентгеновского изображения багажа и ручной клади. Снимки предъявлялись на экране по одному с экспозицией, сопоставимой с реальными услови-
Том 21, № 03, 2018_Научный Вестник МГТУ ГА
Vol. 21, No. 03, 2018 Civil Aviation High Technologies
ями досмотра багажа и ручной клади. Задача курсантов состояла в интерпретации данных изображений с указанием наличия или отсутствия в них запрещенных предметов. Эксперт регистрировал время и точность выполнения задания. Полученные данные эксперимента заносились в учетную ведомость. Условия испытаний были стандартизированы и сопоставимы для всех испытуемых.
Задача определения параметров модели А. Бирнбаума решалась методом наибольшего правдоподобия Фишера. Результаты тестирования испытуемых курсантов были представлены дихотомической матрицей ответов:
х = (Xj IXj G {0,1},i _ 1,..., n, j _ 1,..., m),
где n - количество тестируемых курсантов; m - количество тестовых рентгеновских изображений.
Соответственно, если испытуемый верно выполнил тестовое задание, то в ячейку матрицы ответов заносится 1, в противном случае 0.
Метод Фишера заключается в построении функции правдоподобия L(х,^j ;0г- ,ßj) дискретной случайной величины х, j [10]:
n m
exp[ £ £ xi j (0,- - ßj)]
n m i _1 j _1 ,J J
L( xi, j ;0i ,ß j) _ П n1 Pj {Xi, j 10 ,ß j} -,
' _1j£ £ 1 + exp(0i - ßj))
i_1j_1
где 0i - уровень подготовленности курсанта, i = 1, ..., n; ßj - уровень трудности рентгеновского изображения, характеризующийся влиянием определенного фактора сложности; j = 1, ..., m;
exp{ xi, j (0i - ß j)} ■ j {xi, j ;0i ,ß j} 1 /A о ч
J J J 1 + exp(0;- - ß j)
Pj{х,- j;0i,ßj} _■
В качестве точечных оценок латентных параметров принимаются значения 0* и р* , при которых L( х.., j ;0г. ,Р j) = max L( xj ;0г. ,P j). При этом учитывают, что L( xj ;0. ,Р j ) и
lnL(х. j ;0. j ) достигают максимума при одних и тех же значениях 0. и р* . Логарифмическая функция правдоподобия в данном случае имеет вид
n m n m
lnL(x;- j ;0i ,Pj ) = £- £ bjPj - £ £ ln[1 + exp(0. - Pj )],
i=1 j=1 i=1j=1
п т
где аI = £ хI ; - первичные баллы /-го испытуемого курсанта; Ь . = £ х^ у - первичные баллы /=1 ' /=1 у'-го тестового рентгеновского изображения.
Для нахождения максимума функции правдоподобия необходимо решить следующую систему уравнений:
Oivil Aviation High Technologies
'ще, ,ß.)
l>rj/ _
ае,. ще, ,ß.)
aß,
m exp(e, -ß ) 0 . i = a. -> --— = 0,/ = 1,..., n;
1 j=11 + exp(e, - ß;) ' ' ' '
b A exP(e, - ß j) 0 . 1 = -b, + > --— = 0, j = 1,..., m.
1 til + exp(e, -ßj) ' '
Vol. 21, No. 03, 2018
(2)
Представленная система уравнений называется системой правдоподобия и содержит (п + т) уравнений с (п + т) неизвестными латентными параметрами: 9. :.= 1,...,п и
: у = 1, ..., к. Система правдоподобия имеет единственное решение, соответствующее максимуму логарифмической функции правдоподобия.
Решение системы правдоподобия (2) для дихотомической матрицы ответов курсантов было выполнено в среде МаШСАО. В табл. 1 приведены полученные в результате решения системы значения параметров модели для двух испытуемых курсантов. Критерий профессиональной компетентности рассчитывался с доверительной вероятностью 95 % [8].
Таблица 1 Table 1
Значения латентных переменных испытуемых The values of trainees' latent variables
Параметр Испытуемый Уровень подготовленности, 9 Мера структурированности знаний, Стандартное отклонение, а/ Критерий компетентности, е, - 1,65а,-
Курсант 1 1,333 11,205 0,152 1,082
Курсант 2 1,382 4,011 0,424 0,682
Анализ табл. 1 показал следующее:
- второй курсант имеет более высокий уровень подготовленности, так как справился с большим количеством тестовых заданий;
- при этом первый курсант имеет лучшую структурированность знаний, что характеризуется более низким значением стандартного отклонения 01;
- так как в качестве порогового значения критерия компетентности установлено значение в 1,02 логит, с доверительной вероятностью 95 % можно утверждать, что подготовленность первого курсанта соответствует требованиям. При этом для второго курсанта можно прогнозировать достижение уровня подготовленности лишь в 0,682 логита, что соответственно ниже установленного критерия.
На рис. 1 представлены монотонно убывающие характеристические кривые уровня подготовленности двух курсантов, построенные на основе модели (1) и данных табл. 1.
На представленных характеристических кривых тестовых заданий имеется одна единственная точка, в которой 9. = в у - это точка перегиба, соответствующая Ру = 0,5 (рис. 1).
В связи с этим наиболее точно значения 9. и в у можно измерить в точке перегиба кривых, когда уровень подготовленности оператора равен трудности тестового задания, а вероятность верной интерпретации рентгеновского изображения наиболее сильно зависит от латентной переменной и позволяет дифференцировать знания операторов.
Vol. 21, No. 03, 2018
Ovil Aviation High Technologies
Рис. 1. Характеристические функции уровня подготовленности Fig. 1. Characteristic function of qualification level
На основании рекомендаций ИКАО применение специальных тренажеров обучения должно обеспечивать адаптацию подготовки к индивидуальным особенностям операторов по интерпретации изображений. В связи с этим компьютерные тренажеры (SIMFOX, Operator Training System) имеют специальный статистический модуль, который фиксирует показатели деятельности испытуемого. На основании данных статистических показателей инструктор формирует индивидуальный план адаптивного тестирования конкретного оператора. С этой же целью сетевая технология ПИОП имеет возможность объединения с автоматизированной обучающей системой. Типичная конфигурация сетевой системы ПИОП представляет собой досмотровое оборудование, коммутатор, центральный сервер и автоматизированное рабочее место, на котором установлено специальное программное обеспечение [4]. Объединение досмотрового оборудования посредством единой сети позволяет организовать централизованный контроль качества деятельности операторов досмотра и реализовать механизмы своевременного реагирования на новые угрозы авиационной безопасности.
Модель А. Бирнбаума также может найти применение при адаптивном тестировании для решения задачи оптимизации выбора тестовых рентгеновских изображений, которые в наибольшей степени соответствуют текущему уровню подготовленности оператора и способствуют дальнейшему развитию его качеств, а также в наибольшей степени способствуют дифференциации умений операторов по интерпретации рентгеновских изображений. Достоинством подхода, основанного на данной модели, является то, что для шкалирования тестовых изображений применяются два параметра: параметр уровня трудности рентгеновского изображения ß, а также параметр дифференцирующей (избирательной) способности j-го задания а.. Данный параметр определяется следующим образом [9]:
rbis.
а j =
1 - (rbisj )2
где rbis . - бисериальный коэффициент корреляции j-го задания.
Oivil Aviation High Technologies
Vol. 21, No. 03, 2018
В качестве примера решения задачи оптимизации выбора тестовых рентгеновских изображений в табл. 2 приведены значения параметров некоторых тестовых заданий из предъявленных 153 изображений.
Значения параметров тестовых заданий The parameter values of test tasks
Таблица 2 Table 2
Параметр """""■■■■■■■^^ 1 2 3 4 5 6
Уровень трудности, Pi -0,971 0,07 0,343 0,701 0,702 0,702
Дифференцирующая способность, aj 2,716 1,872 4,495 5,205 1,537 0,731
На рис. 2 представлены профили характеристических функций трех тестовых заданий (№ 4, 5, 6), оценивающих способность по обнаружению самодельных взрывных устройств при влиянии фактора «изменение ориентации запрещенного предмета». Данные задания имеют одинаковый уровень сложности, но различаются дифференцирующей способностью (крутизной).
Р(в) 1
к
s
о 0.8
*
>>
с.
а
п 0.6
VC
с 0.5
л
f- о 0.4
с
н
к
о 0.2
Г"! 1
о
се
1 1 -задание 4 _..... задание 5 ------задание 6 /
I • * 1 * f 1 ■ *' J * .* * *
{;/ к /■1
у / /71 м
* *' , /1 ' |
-6 - 4 -2 0 6i = Pj2 4
Уровень подготовленности оператора
Рис. 2. Характеристические функции трех заданий Fig. 2. The characteristic functions of the three tasks
6, л о гит
Согласно рис. 2, характеристическая функция задания 4 очень крутая, что соответствует большому значению параметра а у. Характеристическая функция задания 6, напротив, очень
пологая, так как а6 ^ 0. Вероятность обнаружения опасного предмета при интерпретации четвертого тестового изображения для курсанта с уровнями подготовленности, расположенными
Vol. 21, No. 03, 2018
Ovil Aviation High Technologies
на оси 0 по разные стороны от точки перегиба кривых, будут существенно различаться. При этом для шестого задания эти вероятности будут примерно одинаковы. В связи с этим применение задания 4 позволит лучше дифференцировать операторов по способности обнаруживать самодельные взрывные устройства при влиянии фактора «изменение ориентации запрещенного предмета». Аналогичным образом можно проводить анализ тестовых изображений для других опасных предметов при влиянии различных факторов сложности.
На основании вышеизложенного можно охарактеризовать роль параметра ау при дифференциации операторов досмотровой техники в результате тестового контроля. Значения параметра а у близкие к нулю характеризуют случай, когда операторы с разными уровнями подготовки обнаруживают опасный предмет при интерпретации у-го рентгеновского изображения с приблизительно равной вероятностью, что, очевидно, противоречит цели тестирования. Данные задания не пригодны для дифференциации знаний операторов, так как они не несут информации об их индивидуальных различиях. Также ненужными оказываются тестовые изображения с отрицательными значениями а у, так как их верно интерпретируют операторы с низким уровнем подготовки, а вероятность обнаружения для операторов с высоким уровнем подготовленности 0. стремится к нулю.
Методика выбора рентгеновских изображений в системах тестового контроля операторов заключается в следующем. После достижения необходимого уровня достоверности параметров тестовых изображений выполняется оптимизация теста, то есть изъятие малоинформативных заданий с близкими характеристическими кривыми. При формировании теста необходимо включать в него задания с различными значениями а у и в у. Если испытуемая группа однородна по уровню знаний, то тест необходимо формировать из заданий с большой крутизной характеристической кривой. Если группа неоднородна, то тест формируется из заданий с малой крутизной, но при этом необходимо контролировать равномерное заполнение шкалы логитов и непересекаемость кривых заданий. Также учитывается, что тестовые изображения, имеющие крутые характеристические кривые, позволяют лучше дифференцировать тех операторов, уровни знаний которых лежат по разные стороны перегиба. Если точки лежат по одну сторону от перегиба, то задания плохо дифференцируются.
Реализация адаптивного тестирования операторов представляется следующим образом. Рассчитав уровни трудности всех заданий теста и расположив их в порядке возрастания на шкале логитов, на очередном этапе обучения оператору предлагаются те тестовые рентгеновские изображения, уровень трудности которых соответствует его зоне ближайшего развития. В [11] рассматривается следующий механизм выбора зоны ближайшего развития: после оценки уровня подготовки обучаемого, уровень трудности очередного задания определяется выражением 0г. + 0,5. В случае отсутствия предварительной информации об уровне подготовки испытуемого можно использовать алгоритм, предложенный в работе [12]. В начале тестирования всем испытуемым предлагаются задания средней сложности, а затем сложность заданий увеличивается или уменьшается в зависимости от правильных ответов на предыдущие задания до тех пор, пока не будет достигнут момент стабилизации.
ЗАКЛЮЧЕНИЕ
В статье проанализированы основные факторы сложности рентгеновского изображения. Представлены результаты апробации двухпараметрической модели А. Бирнбаума. Предложенная модель отличается от существующих моделей тем, что учитывает параметр, характеризующий меру структурированности знаний операторов, и позволяет проводить вероятностную оценку уровня подготовленности операторов досмотра. На основе предложенной модели были
Civil Aviation High Technologies
Vol. 21, No. 03, 2018
построены и исследованы характеристические функции уровня подготовленности двух курсантов, описывающие их способности по интерпретации рентгеновских изображений различной трудности. Практическая значимость предложенной модели заключается в следующем:
- совершенствовании методов оценки подготовленности операторов с учетом требований ИКАО;
- возможности проведения оценки эффективности систем досмотра с учетом влияния человеческого фактора.
Апробирован критерий оценки уровня подготовленности операторов. Достоинством критерия является возможность учитывать не только средний уровень подготовленности оператора, но и возможную его дисперсию. Практическая значимость критерия заключается в возможности использования его в процедурах сертификации операторов досмотровой техники при предъявлении к ним требования почти безусловного решения задачи поиска запрещенных предметов, что позволит повысить надежность функционирования систем досмотра авиапредприятий.
В статье предложена методика выбора рентгеновских изображений в системах тестового контроля операторов досмотровой техники, основанная на применении одномерной двухпара-метрической модели А. Бирнбаума. Достоинством подхода, основанного на данной модели, является то, что для шкалирования тестовых изображений применяются два параметра: параметр уровня трудности рентгеновского изображения, а также параметр дифференцирующей (избирательной) способности тестового задания. Параметр дифференцирующей способности тестового задания является индикатором условия, определяющим корректировку тестового задания или его исключение из теста. Использование единой шкалы логитов позволит реализовать адаптивное тестирование операторов досмотровой техники. Суть подхода заключается в том, что на очередном этапе тестирования оператору предлагаются те рентгеновские изображения, уровень трудности которых соответствует его зоне ближайшего развития. Практическая значимость предложенной методики заключается в уменьшении количества тестовых рентгеновских изображений, предъявляемых операторам.
СПИСОК ЛИТЕРАТУРЫ
1. Schwaninger A., Hardmeier D., Hofer F. Measuring visual abilities and visual knowledge of aviation security screeners // IEEE International Carnahan Conference on Security Technology Proceedings. 2004. Pp. 258-264.
2. Schwaninger A., Bolfing A., Michel S. A statistical approach for image difficulty estimation in x-ray screening using image measurements // IEEE International Carnahan Conference on Security Technology Proceedings. 2009. Vol. 43. Pp. 303-308.
3. Zhang N., Zhu J. A study of x-ray machine image local semantic features extraction model based on bag-of-words for airport security // International journal on smart sensing and intelligent systems. 2015. Vol. 38(1). Pp. 45-64.
4. Schwaninger A. Increasing efficiency in airport security screening // Safety and Security Engineering. 2005. Vol. 82. Pp. 405-416.
5. Hofer F., Schwaninger A. Using threat image projection data for assessing individual screener performance // Safety and Security Engineering. 2005. Vol. 82. Pp. 417-426.
6. Michel S. Increasing x-ray image interpretation competency of cargo security screeners / M. Mendes, J.C. de Ruiter, C.M. GerKoomen, A. Schwaninger // International journal of industrial ergonomics. 2014. Vol. 44. Pp. 551-560.
7. Hofer F., Schwaninger A. Reliable and valid measures of threat detection performance in X-ray screening // IEEE International Carnahan Conference on Security Technology Proceedings. 2004. Vol. 38. Pp. 303-308.
Vol. 21, No. 03, 2018
Civil Aviation High Technologies
8. Волков Ал.К., Айдаркин Д.В., Волков Ан.К. Применение двухпараметрической модели IRT для оценки вероятностных характеристик обнаружения запрещенных предметов операторами досмотровой техники // Научный Вестник МГТУ ГА. 2017. Т. 20(3). С. 100-109.
9. Baker F.B. The Basic of Item Response Theory. ERIC, 2001. 172 p.
10. Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов. М.: Прометей, 2000. 168 с.
11. Челышкова М.Б. Теория и практика конструирования педагогических тестов: учебное пособие. М.: Логос, 2002. 432 с.
12. Айдаркин Д.В., Косачевский С.Г. Разработка алгоритма адаптивного тестирования для автоматических обучающих систем профессиональной подготовки летного состава // Научный Вестник МГТУ ГА. 2008. № 125. С. 167-172.
Зубков Борис Васильевич, доктор технических наук, профессор, профессор кафедры безопасности полетов и жизнедеятельности МГТУ ГА, bpigd@mail.ru.
Волков Александр Константинович, аспирант Ульяновского института гражданской авиации, oabuvauga@mail.ru.
ASSESSMENT OF AVIATION SECURITY SCREENERS PROFFICIENCY BY MEANS OF APPLYING THE A. BIRNBAUM TWO-PARAMETER MODEL
The necessity to improve assessment of aviation security screeners' competence has been analyzed. Computer based training systems have been widely used in the process of screeners' training and evaluating the results of training. The main advantage of similar systems application is the possibility of adaptation to the individual screeners' requirements by changing the level of training task complexity. The efficiency of applying these systems is proved by foreign researches. To assess the results of screeners' activity the dangerous image projection data is also used. The analysis of modern approaches to assess the screeners' activity efficiency showed that they do not completely take into account x-ray image complexity factors affecting the results of screeners' activity monitoring. There have been presented and tested A. Birnbaum two-parameter model, which is used to assess the screeners' proficiency competence by means of testing. According to International Civil Aviation Organization recommendations the x-ray image data base has been formed; it includes four blocks of prohibited items. Within the suggested model the probability of detecting prohibited items by aviation security screeners is considered as functions of such parameters as the difference between level of qualification and level of x-ray images complexity, and also between the aviation security screeners' structure of their professional knowledge. The solution of the task to search A. Birnbaum model parameters values by using maximum likelihood method have been offered. Within the model the qualification level characteristic functions, which describe multi-complexity level of x-ray image interpretation competency of the aviation security screener, were generated and explored. Complex criterion to assess the level of the aviation security screener qualification is offered and tested. The suggested criterion allows to evaluate aviation security screeners' competency taking into account not only the average level of qualification, but its possible variance. The suggested criterion may be used while selecting and certificating the screeners when the requirement to detect at least 95% prohibited items is applied.
Key words: aviation security, aviation security screener, assessment of proficiency, characteristic function, criterion of competence, adaptive approach.
СВЕДЕНИЯ ОБ АВТОРАХ
1 2 Boris V. Zubkov , Alexander K. Volkov
1Moscow State Technical University of Civil Aviation, Moscow, Russia
2Ulyanovsk Civil Aviation Institute, Ulyanovsk, Russia
2
ABSTRACT
Civil Aviation High Technologies
Vol. 21, No. 03, 2018
REFERENCES
1. Schwaninger, A., Hardmeier, D. and Hofer, F. (2004). Measuring visual abilities and visual knowledge of aviation security screeners. IEEE International Carnahan Conference on Security Technology Proceedings, pp. 258-264.
2. Schwaninger, A., Bolfing, A. and Michel, S. (2009). A statistical approach for image difficulty estimation in x-ray screening using image measurements. IEEE International Carnahan Conference on Security Technology Proceedings, vol. 43, pp. 303-308.
3. Zhang, N. and Zhu, J. (2015). A study of x-ray machine image local semantic features extraction model based on bag-of-words for airport security. International journal on smart sensing and intelligent systems, vol. 1(38), pp. 45-4.
4. Schwaninger, A. (2005). Increasing efficiency in airport security screening. Safety and Security Engineering, vol. 82, pp. 405-416.
5. Hofer, F. and Schwaninger, A. (2005). Using threat image projection data for assessing individual screenerperformance. Safety and Security Engineering, vol. 82, pp. 417-426.
6. Michel, S., Mendes, M., de Ruiter, J.C., GerKoomen, C.M. and Schwaninger, A. (2014). Increasing x-ray image interpretation competency of cargo security screeners. International journal of industrial ergonomics, vol. 44, pp. 551-560.
7. Hofer, F. and Schwaninger, A. (2004). Reliable and valid measures of threat detection performance in X-ray screening. IEEE International Carnahan Conference on Security Technology Proceedings, vol. 38, pp. 303-308.
8. Volkov, Al.K., Aidarkin, D.V. and Volkov, An.K. (2017). Primenenie dvukhpara-metricheskoi modeli IRT dlya otsenki veroyatnostnykh kharakteristik obnaruzheniya zapreshchennykh predmetov operatorami dosmotrovoi tekhniki [The two-parameter IRT model application to assess probabilistic charecterisrics of detecting prohibited items by aviation security screeners]. Civil Aviation High Technologies, vol. 3(20), pp. 100-109. (in Russian)
9. Baker, F.B. (2001). The Basic of Item Response Theory. ERIC, 172 p.
10. Neiman, Yu.M. and Khlebnikov, V.A. (2000). Vvedenie v teoriyu modelirovaniya i par-ametrizatsii pedagogicheskikh testov [Introduction to the theory of modeling and parameterization of pedagogical tests]. Moscow: Prometheus, 168 p. (in Russian)
11. Chelyshkova, M.B. (2002). Teoriya i praktika konstruirovaniyapedagogicheskikh testov: Uchebnoe posobie [Theory and practice of pedagogical tests designing: Manual]. Moscow: Logos, 432 p. (in Russian)
12. Aidarkin, D.V. and Kosachevskii, S.G. (2008). Razrabotka algoritma adaptivnogo testirovaniya dlya avtomaticheskikh obuchayushchikh sistem professional'noi podgotovki letnogo sostava [Adaptive test algorithm design for flight personnel computer based training application]. Scientific Bulletin of the Moscow State Technical University of Civil Aviation, no. 125, pp. 167-172. (in Russian)
Boris V. Zubkov, Doctor of Technical Sciences, Professor, Full Professor of Flight and Life Safety Chair, Moscow State Technical University of Civil Aviation, bpigd@mail.ru.
Alexander K. Volkov, Postgraduate Student of Ulyanovsk Civil Aviation Institute, oabuvauga@mail.ru.
INFORMATION ABOUT THE AUTHORS
Поступила в редакцию Принята в печать
13.09.2017
15.05.2018
Received
Accepted for publication
13.09.2017
15.05.2018
