Использование статистических методов для оценки уровня квалификации диспетчеров управления воздушным движением Текст научной статьи по специальности «Экономика и бизнес»

УДК 007.51:658.52.011.56

ИСПОЛЬЗОВАНИЕ СТАТИСТИЧЕСКИХ МЕТОДОВ ДЛЯ ОЦЕНКИ УРОВНЯ КВАЛИФИКАЦИИ ДИСПЕТЧЕРОВ УПРАВЛЕНИЯ ВОЗДУШНЫМ ДВИЖЕНИЕМ

В.А. САННИКОВ

Статья представлена кандидатом военных наук, профессором Вельмисовым И.А.

Рассмотрены возможности использования статистических моделей для оценки уровня квалификации диспетчеров управления воздушным движением в процессе тренажерной подготовки, построенные на основе исследования законов распределения контролируемых параметров, полученных экспериментальным путем.

Ключевые слова: модель, уровень квалификации, контролируемые параметры.

1. Введение

Проблема количественной оценки уровня квалификации диспетчеров управления воздушным движением (УВД) в последнее время становится все более актуальной в связи с усилением влияния так называемого «человеческого фактора» на безопасность полетов [1-3].

При контроле уровня подготовленности операторов сложных автоматизированных систем управления применяются два метода оценки [4-6]:

• по нормативным показателям;

• по результатам сравнения алгоритма деятельности контролируемого оператора с алгоритмом работы подготовленного оператора (некоторого «эталона»).

В обоих случаях требуется определение достаточно информативного перечня контролируемых параметров (КП), позволяющих оценить качество деятельности оператора при выполнении отдельных операций, блоков операций и алгоритмов деятельности в целом. При этом оценка уровня подготовленности оператора основывается на сравнительном анализе нормативных и фактических значений параметров, характеризующих временные, точностные и надежностные показатели его деятельности и определяющих, в конечном счете, вероятность выполнения поставленной задачи.

Большинство известных в настоящее время способов получения оценок качества деятельности операторов основаны на использовании двух характеристик: математического ожидания и дисперсии в предположении о нормальном законе распределения контролируемых параметров [5,6]. Поскольку вид распределения во многом определяет количественные характеристики порогов пригодности (непригодности) операторов, то при создании системы контроля и определении нормативных значений КП требуется более строгий подход к оценке параметров распределения используемых показателей. Поэтому при обработке и анализе экспериментальных данных, кроме математического ожидания и дисперсии контролируемого параметра, целесообразно рассмотреть такие характеристики, как моменты распределения, мода, коэффициенты асимметрии и эксцесса [10].

Изложенные в [10] процедуры статистического анализа использовались при расчете числовых характеристик, установлении законов распределения и обосновании нормативных значений контролируемых параметров.

Один из возможных подходов к определению уровня квалификации диспетчеров, основанный на диалоговой процедуре тестирования, позволяющей получить оценки эффективности деятельности с помощью адаптивных алгоритмов планирования и проведения тренажерных экспериментов, изложен в [9].

Задача тестирования формулируется здесь как нахождение такой диалоговой процедуры выбора последовательности тестовых задач, которая за минимально возможное тренажерное время позволяла найти предельное значение пропускной способности простейшего контура УВД и оценить принадлежность диспетчера к какому-либо классу по значениям комплексного показателя эффективности деятельности. Процедура классификации предусматривает последовательный анализ результатов выполнения диспетчерами тестовых задач при изменении их относительной степени сложности.

2. Исходные данные

Контрольные (тестовые) упражнения являются основным инструментом, по результатам выполнения которых оценивается уровень квалификации диспетчера, поэтому к ним предъявляются определенные требования:

1) перечень тестовых задач должен охватывать все основные элементы производственной деятельности диспетчера на конкретном рабочем месте;

2) ситуации, моделируемые на тренажере, должны быть адекватными реальным задачам, решаемым диспетчерами в процессе УВД;

3) характеристики упражнения должны обеспечивать максимальную чувствительность контролируемых параметров, по которым оценивается качество деятельности диспетчера, к уровню его профессиональной подготовленности.

Общее количество задач, их тип и структура определяются в первую очередь функциями диспетчера, которые являются специфическими для каждого диспетчерского пункта и зависят от характеристик зон управления, параметров полетов ВС, а также правил полетов и видов обслуживания воздушного движения. Несмотря на многообразие задач, решаемых диспетчерами в процессе УВД, все они могут быть определенным образом сгруппированы и классифицированы [8, 9].

Для определения уровня профессиональной подготовленности диспетчеров необходимо иметь достаточный набор тестов, в результате выполнения которых возможно получение достоверных и объективных оценок. При выборе состава и характеристик тестов используется принцип декомпозиции, согласно которому перечень тестовых задач включает совокупность упражнений, каждое из которых, в свою очередь, состоит из набора тестов. Общее число задач определяется на основе детального анализа ситуаций производственной деятельности диспетчера на определенном диспетчерском пункте. При организации и проведении тренажерных экспериментов необходимо разработать перечень задач (упражнений, тестов), которые позволили бы оценить качество и эффективность работы диспетчера по основным элементам деятельности с достаточной степенью полноты и достоверности.

Сущность рассматриваемого статистического подхода к оценке уровня квалификации диспетчеров заключается в следующем. Для каждой задачи (упражнения), включенных в программу тренажерной подготовки из общего перечня параметров, подлежащих регистрации, выбирается совокупность контролируемых параметров, отражающая цели данного упражнения. По результатам выполнения тест-задачи осуществляется сбор и накопление данных о численных значениях показателей (КП), характеризующих качество деятельности диспетчеров в процессе тестирования (контроля).

Для оценки уровня подготовленности диспетчера используется комплексный показатель в виде взвешенной суммы нормированных частных показателей, определяющих степень его обученности по различным критериям (безошибочности, быстродействия, надежности и др.) [10].

3. Постановка задачи

Для создания автоматизированной системы контроля тренажерной подготовки диспетчеров необходимо решить задачу обоснования и определения нормативных значений контролируе-

мых параметров, по которым должна производиться оценка качества деятельности диспетчера на различных этапах обучения.

При оценке временных характеристик в качестве контролируемого параметра чаще всего применяется время выполнения диспетчером определенных операций, входящих в общую структуру деятельности. Безошибочность определяется отношением количества правильно выполненных действий (операций) к их общему количеству, т.е. по частоте «благоприятных исходов».

Статистические модели для комплексной оценки уровня квалификации диспетчеров в процессе тренажерной подготовки могут быть построены на основе исследования законов распределения численных значений КП, полученных экспериментальным путем.

Обозначим через 8д) эталон и 8 " переменную, характеризующие качество деятельности диспетчеров различной квалификации. При этом

/1 (х; )= N (т в ,&в ) - плотность вероятности показателя качества

деятельности «эталона» (опытного диспетчера);

/ (х;) = N (тв, (Гв ) - плотность вероятности показателя качества

деятельности обучаемого (исследуемого диспетчера).

где х; (1 = 1,п) - численные значения 1-го контролируемого параметра деятельности.

С (0 с(1)

Показатели 8э и ^ могут рассматриваться как случайные величины с законами распределения /1 (х{ ) и /2 (xi ) соответственно. Расстояние между значениями показателей качества деятельности опытного и исследуемого диспетчера (инструктора и обучаемого), т.е. метрика А определяется следующим соотношением:

д = 8® - 8?,

А й й 8(1) с(0

где А - случайная величина, полученная как композиция случайных величин ° и ^э .

При этом

тд = т8 - т8э, Бд = .

Вероятность того, что случайная величина Б будет принята как большая величина, чем Бэ, определится по формуле

1 А (х 1 - тд)2'

Р(Б > Бэ ) = Р(д > 0)= г— | ехр]- х ;2 2Д \

л/2ло-Л 0 I 2 а. I

2

А 0 I ^ Л

или

(

- т„

р(Б > Бэ )= Щх) = N

^2 , _2

/

5 5 э J

где ^х) - значение в точке х функции распределения случайной величины, подчиняющейся нормальному закону с параметрами (0,1).

Для нахождения различий между двумя испытуемыми по одному из показателей может быть использован метод статистических решений [11].

Оценка Бэ и Б осуществляется на фоне шумов (которые можно интерпретировать как ошибки измерения), характеризуемых плотностями вероятностей (хг. ) и /2 (хг. ) соответственно.

Отметим на оси пороговое значение т5э < х0; < т5 и пусть собственная область одного показателя

0 < х; < х0;, а другого х0; < х; < ¥ или х0; < х; < х*, где х* - некоторое разумное ограничение (рис. 1).

Рис. 1. Плотности распределения признака х; - времени реакции обученных и необученных диспетчеров

Определим вероятность ошибки распознавания для двух испытуемых.

Условная вероятность получить решение х; е Бэ, когда в действительности х; е Б

хо1

Р2 (1)= ^ 12 (х! ) ^ .

Условная вероятность получить решение х; е Б, когда в действительности х; е Бэ

Р1 (2)= | f1 (х! ) ^ .

х0,

Если обозначить р(Бэ) и р(Б) априорные вероятности появления Бэ и Б, то полная вероятность ошибки распознавания запишется в виде

РОШ = Р(Бэ )Р2 (1) + Р(Б)Р1 (2)= Р(Бэ ) | 1*2 (х! ) ¿х; + р(Б) | ^(х!) ^ .

0 xOi

Обозначим

Л0 = р (Б) / р (Бэ).

В том случае, когда р(Бэ) = р(Б), Л0 = 1, х0 есть абсцисса точки пересечения кривых ^(х;) и 12(х;) (рис. 1).

Надежность (или правильность) распознавания оценивается при помощи убывающей функции вероятности ошибки [11]

© = -l0g2Poш.

х;

х

о

Процессы распознавания в нашем случае носят ярко выраженный вероятностный характер, поэтому в основу их анализа были положены вероятностные методы (теория вероятностей, математическая статистика, теория информации и т.д.) [12-15].

4. Дивергенция как мера расстояния между двумя случайными векторами

В теории распознавания образов используется понятие «алфавита классов» [16,17]. Обозначим этот алфавит множеством

Ь = (Ь1>Ь2>...,Ьі>ЬМ ) ,

где Ь; - некоторый конкретный класс; М - общее число классов, входящих в данный алфавит.

В нашем случае М = 2:

• Ь1 - класс I (обученные диспетчеры) - вектор X;

• Ь2 - класс II (необученные диспетчеры) - вектор У.

Обозначим совокупность признаков, которой характеризуется распознаваемый класс Ь множеством

^ = (21,22,...,2к,...,2К ) ,

где 2к - определенный признак; N - общее число признаков.

Такими признаками являются контролируемые параметры деятельности обучаемого. Каждый контролируемый параметр можно рассматривать как случайную величину 2к с плотностью вероятности Ік^/Ьі).

Признак данного класса определяется как композиция случайных величин, характеризующих рассматриваемый параметр и погрешности его измерения: для класса I 2к (Ьх )= хк + ик;

для класса II 2к (Ь2 ) = ук + ик,

где хк, ук - значения к-го параметра в соответствующем классе; ик - погрешности измерения рассматриваемых параметров (в первом случае разные инструкторы, разные наблюдатели; во втором случае - разные обучаемые, разные наблюдатели).

Плотность вероятности случайной величины 2к(Ц) можно определить по формуле

4 (2/Ь1 )= (- и + 2,и/Ь1) ¿и (1)

или

4 (2/Ь1 )=|4(^2 - х/Ь1) ¿х. (2)

Если случайные величины хк и ик независимы, то

4 (х,и/Ь1 ) = 4 (х/Ь1) 4 (и/Ь1)

и формулы (1), (2) принимают вид

4(2/Ь1 )= (г-и) 4(и) ¿и = (х) 4(2-х) ¿х.

Плотность вероятности случайной величины 2к(Ь2) может быть вычислена по аналогичным формулам.

Экспериментальные исследования показывают, что законы распределения погрешностей измерений носят характер, близкий к нормальному [4-6]

4 =(и/Ьі )= ^и ) .

При допущениях о нормальности распределений численных значений параметров и характеристик классов Ь1 и Ь2 (согласно центральной предельной теоремы)

4 =(х/Ь1 )= ^(Шх, Ох )

Ак =(у^2 )= N(шy, а у)

и независимости случайных величин хк , ук и ик для случайной величины 2к(Ь;) получим выражение плотности вероятности [15]:

fk=(z/L-)=vik:

2g:

здесь

mz(L1) = mx + mu; Q(L1 )=4QX + a2 ;

mz(L2)= my + mu; Qz(L2 Wq2 + QU .

При статистической связи между признаками возникает необходимость введения совместных распределений вероятностей значений признаков.

Совместное распределение вероятностей значений признаков для класса Li записывается в следующем виде

f N Л

f (zi,z2,...,zN/Li )= f| U zk/Li = f (z/Li ) .

V k=1 J

Признаки i-го класса статистически независимы, если выполняется условие

f | U zk/Li I=Пf (zk/Li).

. k=1

k=1

Совокупность распределений А^, 72, ..., zN/ Ь;) и вероятностей Р(Ц) называют описанием класса Ь; (рис. 2).

Рис. 2. Плотности распределения контролируемых параметров для двух классов испытуемых

При рассмотрении двух классов будем иметь алфавит

{ 1„Ь^1,7„...,х,ЛД Р(Ь,) 1 = 1,2},

где 22, ..., 7,/Ь1) - совместное распределение вероятностей значений признаков (контролируемых параметров) для класса Ь1 - обученные диспетчеры; 22, ..., 2,/Ь2) - совместное рас-

пределение вероятностей значений признаков (контролируемых параметров) для класса Ь2 -необученные диспетчеры.

Для двух многомерных случайных векторов отношение правдоподобия

Л= А (21,22,...,2,/Ь1 ) /А (21,22,...,2,/Ь2 ) позволяет определить вероятность ошибки классификации.

Дальнейшая задача заключается в нахождении меры расстояния (дистанции) между двумя классами, являющимися многомерными случайными векторами, и определении функциональной зависимости между надежностью распознавания и указанной дистанцией.

Такой мерой может служить «расхождение»

1(1,2) = 1(1:2) +1(2:1)= }...} А(^...^/Ц)-А(21,22,...,2,/Ь2)х х ^а(21,22,...,2,/Ь1 ) ал,

А (21,22,...,г,/Ъ2)

где I (1:2) - средняя информация для различения в пользу Ь против Ь2;

I (2:1) - средняя информация для различения в пользу Ь2 против Ьь При этом

1(1:2)= I...I А(21,22,...,г,/Ь1)х 1об2 А((21,22,...,2,/Ь1) ¿л,

-¥ -¥ А 121, г2,..., 2,/Ь2 /

1(2:1)=1... I А (г1,22,...,2,/Ь2 )х 1о§2 а (21,22,...,2,/Ь2 | ал .

1 1 А (21,22,...,2,/Ь1 )

Мера расхождения 1(1,2) между многомерными случайными векторами Ь и Ь2 является мерой (степенью) трудности их различения. Информационные меры 1(1:2) и 1(2:1) можно рассматривать как направления расхождения.

Мера расхождения 1(1,2) называется дивергенцией и обозначается Q. Если признаки классов статистически независимы, дивергенция является аддитивной мерой, т.е.

( N Л N

а(1к]=Т ^).

V к=1 ) к=1

Важным свойством дивергенции является ее связь с вероятностью ошибки распознавания.

5. Зависимость между дивергенцией и надежностью распознавания

Допустим, что при распознавании двух классов распределения признаков описываются нормальными законами

,^(1), Г) и ,(р(2), Г),

где р(1)/( р1(1), р2(1), ..., р,(1)) - вектор среднего значения 1-й генеральной совокупности (1 = 1,2); Г - ковариационная матрица, одинаковая для обоих классов.

Вероятность ошибочной классификации при условии, что наблюдение производится над Ь1

а вероятность ошибочной классификации при условии, что наблюдение производится над Ь2

При допущениях о равенстве ковариационных матриц Г1 = Г2 = Г и независимости при-

руемого параметра) для первого и второго классов.

Таким образом, если признаки классов распределены нормально с равными ковариационными матрицами, дивергенция позволяет однозначно определить вероятность ошибки распознавания.

1. Рассмотренные процедуры статистического анализа позволяют решать задачи классификации и формирования групп обучаемых по результатам выполнения соответствующих тест-программ.

2. Разработанные методы контроля и оценки уровня подготовленности диспетчеров могут быть использованы в автоматизированных обучающих системах, предназначенных для формирования отдельных профессиональных навыков, для которых возможно получение нормативных значений контролируемых параметров в результате экспериментальных исследований.

3. Использование статистической теории распознавания дает возможность ввести понятие надежности распознавания как меры различия двух классов, двух образов и т.п.

4. Установление зависимости между надежностью распознавания и дивергенцией как мерой расстояния (дистанции) между двумя случайными векторами в К-мерном векторном пространстве контролируемых параметров позволит устранить неопределенность, обусловленную наличием только качественных оценок при определении уровня квалификации диспетчеров.

Если принять, что P(L1) = P(L2), то вероятность ошибки составит

знаков классов

N

f (Zi,Z2,...,Zn/Li ) = П f (Zk/LI )

i=1

дивергенция определится по формуле

1=1

где Yi = ji(1) - ji(2) - разность математических ожиданий значений i-го признака (контроли-

6. Выводы

ЛИТЕРАТУРА

1. Human Factors Digest No. 8 - Human Factors in Air Traffic Control (Cir 241), ICAO, 1993 - 45 pp.

2. Doc 9758 Human Factors Guidelines for Air Traffic Management (ATM) Systems - 1st edition, ICAO, 2000 - 135 pp.

3. Руководство по управлению безопасностью полетов (РУБП).Бос 9859 AN/460. - изд. 1-е, ИКАО, 2006.

4. Введение в эргономику / под ред. В.П. Зинченко. - М.: Сов. радио, 1974.

5. Шибанов Г.П. Количественная оценка деятельности человека в системах «человек - техника» - М.: Машиностроение, 1983.

6. Свиридов А.П. Основы статистической теории обучения и контроля знаний. - М.: Высшая школа, 1981.

7. Цепляев Ю.Ф. Коэффициентный метод оценки профессиональной подготовки диспетчеров на тренажерах - В кн.: Навигация и управление воздушным движением: межвуз. сб. науч. тр. - Л.: ОЛАГА, 1979.

8. Совершенствование профессиональной подготовки летного и диспетчерского составов / Г.В. Коваленко, Г. А. Крыжановский, Н.Н. Сухих, Ю.Е. Хорошавцев / под ред. Г. А. Крыжановского. - М.: Транспорт, 1996.

9. Крыжановский Г.А., Цепляев Ю.Ф. К оценке уровня квалификации операторов сложных автоматизированных систем управления // Автоматика и телемеханика. - 1986. - № 1.

10. Крыжановский Г.А., Санников В.А. Процессы формирования навыков при групповом обучении операторов. - В сб.: Техника, экономика, информация. Серия «Эргономика». Проблемы проектирования и применения тренажных средств. - М., 1986. - Ч. 1.

11. Теория обнаружения сигналов / П.С.Акимов, П.А.Бакут, В. А.Богданович и др. / под ред. П.А.Бакута. - М.: Радио и связь, 1984.

12. Рао С.Р. Линейные статистические методы и их применения / пер. с англ. А.М.Кагана, В.М.Калинина, К.П.Латышева / под ред. Ю.В. Линника. - М.: Наука,1968.

13. Айвазян С.А., Бежаева З.И., Староверов О.В. Классификация многомерных наблюдений. - М.: Статистика, 1974.

14. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика. Статистическое исследование зависимостей. - М.: Финансы и статистика, 1985.

15. Вентцель Е.С. Теория вероятностей. - изд. 4-е, стереотипное. - М.: Наука, 1969.

16. Ту Дж., Гонсалес Р. Принципы распознавания образов / пер. с англ. И.В. Гуревича; под ред. Ю.И.Журавлева. - М.: Мир, 1978.

17. Распознавание образов: состояние и перспективы / К.Верхаген, Р.Дейн, Ф.Грун и др. / пер. с англ. Н.Г.Гуревич / под ред. И.Б.Гуревича. - М.: Радио и связь, 1985.

THE APPLICATION OF STATISTICAL METHODS FOR A EVALUATION OF AIR TRAFFIC CONTROLLERS QUALIFICATION LEVEL

Sannikov V.A.

The paper considers the possibilities of applying statistical models for a complex evaluation of Air Traffic Controllers qualification level in the process of simulator training constructed on the basis of researching laws of distribution of parameters being controlled received experimentally.

Key words: model, qualification level, parameters.

Сведения об авторе

Санников Валерий Александрович, 1956 г.р., окончил Ордена Ленина академию гражданской авиации (1977), инженер по управлению движением, кандидат технических наук, старший научный сотрудник Всероссийского научно-исследовательского института радиоаппаратуры, автор 68 научных работ, область научных интересов - применение методов математического моделирования при исследовании и оценке эффективности процессов профессиональной подготовки операторов авиационных эргатических систем.