CC BY
158
УДК 629.73:35.078
ОПЫТ ЭКСПЕРТНОГО ОЦЕНИВАНИЯ УСЛОВНЫХ ВЕРОЯТНОСТЕЙ РЕДКИХ СОБЫТИЙ ПРИ РАЗРАБОТКЕ АВТОМАТИЗИРОВАННОЙ СИСТЕМЫ ПРОГНОЗИРОВАНИЯ И ПРЕДОТВРАЩЕНИЯ АВИАЦИОННЫХ ПРОИСШЕСТВИЙ
© 2012 А.И. Орлов1, Ю.Г. Савинов2, А.Ю. Богданов2
1 Московский государственный технический университет им. Н.Э. Баумана 2 Ульяновский государственный университет
Поступила в редакцию 05.10.2012
В статье описаны процедура опроса и методика экспертного оценивания условных вероятностей, являющихся параметрами дерева промежуточных событий при развитии авиационного события/ происшествия Также проанализированы проблемы, с которыми столкнулись разработчики автоматизированной системы прогнозирования и предотвращения авиационных происшествий (АСППАП) при применении данной методики.
Ключевые слова: авиационное событие/происшествие, логико-вероятностное дерево событий, экспертные оценки, порядковые и абсолютные шкалы, условные вероятности.
ВВЕДЕНИЕ
Экспертное оценивание является, зачастую, незаменимым инструментом, позволяющим разрабатывать обоснованные управленческие решения при отсутствии достаточного объема результатов наблюдений [1-3].
При разработке АСППАП также возникла необходимость применения экспертных оценок. В частности, экспертами оценивались передаточные параметры для дерева событий при развитии авиационного события/происшествия на основе логико-вероятностной модели [4] (представляющие из себя в первом приближении условные вероятности) в условиях почти полного отсутствия статистических данных. Отсутствие данных связано с несколькими причинами. Во-первых, для сбора части данных требовались большие человеческие и временные затраты, и к моменту проведения экспертного опроса они не были готовы. Во-вторых, часть данных для оценки условных вероятностей невозможно получить в принципе, поскольку промежуточные события из дерева событий [4], не приведшие к авиационному событию, часто никак и нигде не анализируются, не записываются и не сохраняются. Здесь можно привести простую аналогию: затруднительно статистически оценить, с какой
Орлов Александр Иванович, доктор технических наук, доктор экономических наук, кандидат физико-математических наук, профессор, директор Института высоких статистических технологий и эконометрики. E-mail: [email protected]
Савинов Юрий Геннадьевич, кандидат физико-математических наук, доцент кафедры «Прикладная математика». E-mail: [email protected]
Богданов Андрей Юрьевич, кандидат физико-математических наук, доцент кафедры «Прикладная математика». E-mail: [email protected]
вероятностью превышение скорости приведет к автомобильной аварии, поскольку большинство превышений скорости не приводят к авариям и остаются вне поля зрения исследователей.
Ниже кратко представлены процедура опроса и методика экспертного оценивания условных вероятностей (см. также [5]). Затем проанализированы проблемы, с которыми столкнулись разработчики АСППАП при применении данной методики.
ПРОЦЕДУРА ОПРОСА
Экспертов (наиболее опытных пилотов авиакомпании "Волга-Днепр") просили для пар событий, представленных в анкетах, выставить две экспертные оценки (см. табл.1):
Оценка 1. Отметить каждое осуществившееся событие номером в порядке убывания его влияния на последующее событие по частоте: (1 -если событие наступило, то оно чаще других событий из списка приводит к последующему событию, и т. д.), т.е. сравнить (проранжировать) вероятности осуществления последующего события, если произошли события из левого столбца.
Оценка 2. Оценить каждое осуществившееся событие по 5-ти бальной шкале по силе влияния (1 - практически не влияет, 2 -влияет слабо, 3 - умеренно влияет, 4 - сильно влияет, 5 -очень сильно влияет), т.е. оценить в балльной системе, насколько велика вероятность осуществления последующего события, если произошло событие из левого столбца.
Кроме этого, экспертов просили для одной пары событий указать в правом столбце (см. табл. 2) число случаев (в процентах), когда осуществление события из левого столбца приводит к событию из правого столбца (указанному
Таблица 1. Пример из заполненной основной анкеты
1 Последующее Потеря управляем событие -ости при взлете
Осуществились события Оценка 1 -По убыванию влияния Оценка 2 -Влияние по 5- ти балльной шкале
1.1 Потеря пространственной ориентировки 3 3
1.2 Обледенение ВС на земле 2 5
1.3 Нарушение загрузки-центровки ВС 4 3
1.4 Попадание в спутный след другого ВС 1 5
1.5 Полет в зоне опасных метеоявлений 5 1
Таблица 2. Пример из заполненной дополнительной анкеты
1 Осуществилось собыггие Последующее событие -
Потеря управляемости при взлете
1.4 Попадание в спутный след другого ВС 10%
в столбце "Последующее событие").
События из левого столбца являются редкими и не всегда приводят к последующим событиям. Другими словами, экспертам нужно было оценить, в каком проценте случаев событие из левого столбца все-таки (с учетом "нормальных" условий: метеоусловия простые, посадочная масса средняя, самолет, средства посадки, светосигнальное оборудование полностью исправны) приводят к событиям из правого столбца, при условии, что событие из левого столбца осуществилось. Для лучшего понимания экспертами поставленной перед ними задачи в каждой анкете приводился поясняющий пример следующего характера:
"Пример. Осуществилось событие - "Попадание в спутный след другого ВС". Это событие способствует событию "Потеря управляемости при взлете", но не обязательно приведет к нему. Реализация события "Потеря управляемости при взлете" зависит от множества факторов, как "внешних", так и "машинных" и "человеческих". Здесь мы считаем, что самолет и оборудование аэродрома исправно, воздействие среды - обычное, среднее. В некоторых случаях пилот, конечно, справится с ситуацией и не допустит потери управляемости. Но в полетах с фактором "Попадание в спутный след другого ВС" может совпасть, например, нежелательное ветровое действие (в пределах среднего) и/или усталость пилота и т.п. и произойдет потеря управляемости. Процент временной потери управляемости при осуществлении события - "Попадание в спутный след другого ВС" и указывается экспертом в правом столбце".
ОПИСАНИЕ МЕТОДИКИ РАСЧЕТА
Пусть некоторое промежуточное событие А в дереве событий зависит от & событий преды-
дущего уровня В1, В2,..., В& с логической связкой "или" (логическая связка "и" приводит к одному передаточному коэффициенту, который может быть оценен усреднением ответов экспертов). Таким образом, необходимо оценить & передаточных коэффициентов Р, в вероятностно-статистической модели имеющих смысл условных вероятностей Р(А|В,),] = 1, 2, ..., &. Будем считать, что мы располагаем п экспертами, которые в равной степени компетентны в данной области. Экспертам предлагается заполнить таблицу следующего вида (табл. 3).
Оценка 1 Хг (у) - это кластеризованная ранжировка [2] (допускается одинаковая оценка факторов, в таком случае они объединяются в группу
- кластер, ранги внутри кластера усредняются). Оценка 2 Уг (у) - это отнесение фактора к одной из пяти упорядоченных градаций (как при оценке знаний учащихся). Здесь г = 1,..., п , у = 1,..., к; п
- число экспертов, & - число событий в группе.
Используя данные анкет с Оценкой 1, строится таблица рангов. В результате п экспертов получают численные оценки & событий X г (у) , где I = 1, 2, ..., п, - номера экспертов, , = 1, 2, ..., &,
- номера событий в группе, причем X г (у) - это ранг события , для эксперта I (использование связанных рангов допустимо). Тогда весовые коэффициенты событий имеют вид:
X X (у)
Ю) = ^п-, } = 1,2,...,к. (1)
XX X (у)
у=1 г =1
Таким образом, вес события - это сумма всех его оценок экспертами, деленный на сумму всех оценок событий экспертами (по всем событиям в группе).
Таблица 3. Шаблон анкета экспертного опроса (фрагмент)
Осуществились события Последующее событие A
Оценка 1 -по убыванию влияния Оценка 2 -влияние по 5-ти балльной шкале
B, X (1) Y (1)
B2 X (2) Y (2)
Bk X (к) Y (к)
Оценки 1 и 2 разнонаправленные, поэтому для совместного использования оценок первого и второго типов X i (7) и У{ (]) формулу (1) для Оценок 1,2 необходимо модифицировать. То есть, если X i (7) - оценка 1 (ранг) события) для эксперта I, то её надо заменить на к+1 - Xi (]) . Данная замена приводит при расчете весовых коэффициентов к следующей формуле:
Ю) = 2-Ю), 7 = 1,2,..., к, (2)
где к - число событий в группе.
Проверка согласованности ответов экспертов при использовании экспертных оценок типа 1 состоит в том, что итоговые ранжировки комиссии экспертов строятся двумя способами. Первый - на основе упорядочения сумм рангов (в использованных выше обозначениях - на основе весов событий, заданных формулой (2) для Оценки 1, формулой (1) для Оценки 2). Второй - на основе упорядочения медиан рангов, выставленных экспертами определенным событиям (при этом итоговой оценкой события ] является медиана рангов X (]) , где I = 1, 2, ..., п - номера экспертов). Две итоговые ранжировки подвергаются процедуре согласования [2], в результате которой события, по поводу упорядочения которых нет единого мнения, выделяются в отдельные кластеры. Весовые коэффициенты для событий, попавших в один кластер, усредняются.
Идеально, если бы пилоты смогли оценить для каждого из событий В, В2,..., Вк с какой вероятностью оно приведет, если произошло, к появлению события А. Но, как показывает практика опросов, многим пилотам это сделать трудно. Пилотам легче провести операцию сравнения вероятностей и рисков, которая более свойственна мышлению эксперта (и любого человека), чем операция оценивания в виде числа. Это обнаруженное при опросе пилотов свойство их мышления - частный случай общего утверждения теории экспертных оценок [1-3]. Поэтому в данной методике оценивается вероятность только одного из событий Р} « Р(А | В7), ] = ] (по разработанной дополнительной анкете). Это самое важное (или наиболее легкое для экспертного
оценивания) событие выбирается на основе результатов предварительного тура анкетирования. Усреднение оценок вероятностей, полученных по дополнительной анкете, происходит одним из четырех способов (в зависимости от разброса значений оценок вероятностей): среднее арифметическое (если отношение максимальной к минимальной оценке менее чем 10); среднее геометрическое (если отношение максимальной к минимальной оценке более 10 и число экспертов менее 5); среднее арифметическое с предварительным исключением двух крайних оценок - максимальной и минимальной (если отношение максимальной к минимальной оценке более 10 и число экспертов не менее 5); среднее арифметическое с предварительным исключением четырех крайних оценок, по две с каждого конца вариационного ряда - двух максимальных и двух минимальных (если отношение максимальной к минимальной оценке более 10 и число экспертов не менее 7). л
Принимается, что отношение $(j)/ X(j*) , построенное для Оценки 1, показывает, во сколько раз чаще встречается событие j по сравнению с событием j*. Предположим, что для события с номером j статистическими (на основе соответствующей базы данных) или экспертными (по дополнительной анкете) методами найдена количественная (т.е. численная, измеренная в абсолютной шкале [2], а не порядковая) оценка вероятности Pj - P( A\Bf) . Тогда для события с номером j оценка находится из соотношения
PL- j P = Ш. р-
р,- Ш(J)j Ш(j*)'■ (3)
В случае, если количественно определенными оказываются оценки нескольких событий, зависимость переменной P от переменной Ш может быть найдена методами регрессионного анализа [6], исходя из пар ( Ш, P), для которых P количественно определена. Для остальных пар в качестве оценки вероятности события используются восстановленные значения.
Так как в анкетах не указывается сила проявления события A, которая может быть различной в зависимости от события B, j=1,...,k,
jj J 7 7 7
вводится скорректированная оценка вероятности, используя оценку 2. Здесь главной причиной коррекции является возможность парирования экипажем воздействия события В} на появление события А.
Кроме того, во-первых, оценка 2 позволяет определить, правильно ли эксперты поняли методику (если Оценка 1, например, равна 3, то Оценка 2 должна быть не больше, чем у более важных факторов, у которых оценка 1 меньше 3). Во-вторых, оценка 2 позволяет "сбалансировать" оценки на основе оценки 1, дающей ранжировку без учета "расстояния" между сравниваемыми факторами. Например, если эксперт всем факторам поставил высокую Оценку 2 (например, всем 5), то мы по одной вероятности из дополнительной анкеты "восстановим" остальные вероятности с учетом того, что они не сильно отличатся друг от друга (все высокие). Эти рассуждения приводят к следующей формуле для расчета скорректированной условной вероятности:
Р, = Р.
У ( 7 )
Р =
К • Р
1 + Р0 • (К -1)-
(5)
Р Р
= К
1 - Р
1 - Р
Заметим, что для формулы (3) К =
* (/)
логично, формула (4) Р, = Р
У ( 7 )
шахУ ( 7 )
1< ]<к
также
быть скорректирована с использованием преобразования (5).
ОПЫТ ИСПОЛЬЗОВАНИЯ МЕТОДИКИ И ДИСКУССИЯ
Заметим, что формула (4) допускает модификации, например, знаменатель может быть равен 5 (максимальный балл). Кроме этого, бо-
лее важна модификация с К =
шахУ(7) , 3 = - А (4)
1< 7<к
где У (7) - средняя оценка 2 для 3-го фактора,
— 1 п
т.е. У(7) = -ЕУ (7) .
п ,=-
Можно также предложить следующую процедуру, заменяющую некорректное умножение (формула (3) может дать оценку вероятности, превышающую 1, что некорректно). Если Р0 -исходная вероятность, К е (0, +ю) - поправочный коэффициент, то вместо формулы Р = К • Р0 для скорректированной вероятности Р1 нами предлагается следующая формула:
Данная формула выводится из соображений пропорционального увеличения или уменьшения в К раз отношения вероятностей "успеха" Р0 и "неудачи" (1 - Р0), а именно:
, и
вероятность Р7 может быть скорректирована, если вместо умножения на коэффициент использовать преобразование по формуле (5). Для малых значений (меньше 0,1) вероятности Р^ формулы (3) и (5) дают близкие значения. Ана-
У (7)
ш гк У (])
\ 1<7<к
где
а> 1. Параметр а > 1 отражает нелинейность шкалы 1-5 оценки 2 при оценке силы влияния (и возможности парирования) осуществившегося события на последующее событие (по умолчанию в формуле (4) полагаем а =1 , что соответствует линейной зависимости вероятности парирования от оценки 2). Кроме этого параметр а > 1 дает возможность учесть возможную априорную информацию о "диапазоне варьирования" оцениваемых вероятностей, поскольку, например, при а = 1 методика позволяет разнести вероятности не более чем в 5 раз. Чтобы получить разброс в 2 порядка, необходимо установить, как минимум, а = log5100 « 3 (поскольку 53=125) и т.д.
Кроме этого, в процессе применения методики (в течение 2011-2012 гг. проведено несколько сот экспертиз) выяснилось, что наиболее трудная часть экспертизы - это оценка условных вероятностей редких событий. Несмотря на указания и поясняющие примеры, ряд экспертов допускали следующие ошибки.
Во-первых, часть экспертов давала оценки существенно ниже основной группы. Это было, на наш взгляд, связано с тем, что вместо условных вероятностей Р(А | В7) они в анкетах, по разным причинам, ставили оценки безусловных вероятностей Р(В}-) или Р(А).
Во-вторых, часть экспертов давала оценки существенно выше основной группы. Это было, на наш взгляд, связано с тем, что вместо условных вероятностей Р(А | В7) они в анкетах ставили оценки апостериорных вероятностей Р(В7 | А) . Последнее вполне понятно, поскольку намного труднее оценить (и проверить по статистическим данным), например, с какой вероятностью превышение скорости приведет к автомобильной аварии, чем в каком проценте происшедших аварий было превышение скорости. Поскольку, как уже было замечено во вве-
а
дении, большинство превышений скорости, слава Богу, не приводят к авариям и остаются вне поля зрения исследователей. Аналогично, курение приводит к раку легких с относительно малой вероятностью. Ежегодно в мире регистрируется около 1 миллиона новых случаев рака легких при 1,3 миллиарда курильщиков по данным Всемирной Организации Здравоохранения. Соответственно, если бы заболевали только курильщики, то вероятность заболеть в течение всей жизни (60 лет) была бы примерно равна 60 х 1 млн. / 1,3 млрд. « 0,04. Поэтому, когда медики говорят, что курение приводит к раку легкого примерно в 90% случаев, то имеется в ввиду именно апостериорная вероятность того, что среди заболевших раком легкого 90% курильщиков.
Кроме этого, для некоторых условных вероятностей редких событий был отмечен большой (более чем в 10 раз) разброс в оценках. С этим приходилось бороться на стадии статистической обработки, используя, как принято в некоторых видах спорта, усреднение с предварительным исключением одного-двух максимальных и минимальных оценок, т.е. урезанное среднее [6] (если отношение максимальной к минимальной оценке более 10 и число экспертов не менее 7) или усреднение с помощью среднего геометрического (если отношение максимальной к минимальной оценке более 10 и число экспертов менее 5).
Используя имеющиеся статистические данные авиакомпании (полетную информацию), удалось оценить некоторые условные вероятности для деревьев событий. Так, например, были получены списки посадок с повышенной вертикальной скоростью и списки грубых посадок. В этом случае оценка условной вероятности считается по формуле Р("Грубая посад-ка"|"Посадка с повышенной вертикальной скоростью") = (Число грубых посадок, при которых была повышенная вертикальная скорость) / (Число посадок с повышенной вертикальной скоростью) « 0,02.
После этого, сравнивая полученные с помощью статистического анализа полетной информации вероятности с вероятностями, которые дали эксперты, можно делать выводы об уровне компетенции экспертов с последующим ранжированием группы экспертов.
Итак, разработанная методика позволяет оценивать передаточные параметры и корректировать базовые средние вероятности для дерева событий при развитии авиационного события/ происшествия на основе логико-вероятностной модели [4]. Совместное использование в анкетах двух ранговых разнонаправленных оценок и
вспомогательной абсолютной оценки позволяет учесть влияние барьеров предотвращения и парирования (в экспертном отражении) на вероятность события верхнего уровня в дереве событий. Оценка 2 позволяет "сбалансировать" оценки передаточных коэффициентов на основе оценки 1, дающей ранжировку без учета "расстояния" между сравниваемыми факторами, на основе оценки 2 можно некоторым образом оценивать близость по влиянию (или, наоборот, различие) факторов опасности. Ранжирование группы экспертов (или приписывание им весов в соответствии с предварительно оцененными уровнями их компетентности) и более продвинутые процедуры на этапе проверки согласованности мнений экспертов являются важными частями экспертного оценивания, и им будет посвящена отдельная публикация.
Необходимо сопоставление двух подходов к получению важных для управления безопасностью полетов и предотвращения авиационных происшествий выводов (например, оценок вероятностей авиационных событий/происшествий) - на основе экспертных технологий и на основе анализа статистических данных. Дело в том, что рассматриваемые события зачастую встречаются в единичных случаях (менее 10 случаев), например, с частотой порядка 10-5, поэтому доверительные границы для вероятностей весьма широки. Как следствие, нельзя априори утверждать, что анализ статистических данных дает более точные результаты, чем экспертные технологии.
Мы благодарны сотрудникам АК "Волга-Днепр", участвовавшим в проведении экспертных опросов.
Работа выполнена при финансовой поддержке Министерства образования и науки РФ в рамках Постановления Правительства РФ № 218.
СПИСОК ЛИТЕРАТУРЫ
1. Орлов А.И. О развитии экспертных технологий в нашей стране // Заводская лаборатория. 2010. Т.76. №11. С.64-70.
2. Орлов А.И. Организационно-экономическое моделирование: учебник: в 3 ч. Ч.2. Экспертные оценки. М.: Изд-во МГТУ им. Н.Э. Баумана, 2011. 486 с.
3. Орлов А.И. Организационно-экономическое моделирование: теория принятия решений. М.: КноРус, 2011. 568 с.
4. Шаров В.Д., Макаров В.П. Методология применения комбинированного метода FMEA-FTA для анализа риска авиационного события // Научный вестник МГТУ ГА. 2011. №174(12). С. 18-24.
5. Орлов А.И., Савинов Ю.Г., Богданов А.Ю. Методика дуальных шкал при экспертном оценивании параметров дерева промежуточных событий развития авиационного происшествия с учетом барьеров пре-
дотвращения и парирования // Научный вестник 6. Орлов А.И. Прикладная статистика. М.: Экзамен, МГТУ ГА. 2012. В печати. 2006. 671 с.
EXPERIENCE OF EXPERT ESTIMATION OF THE CONDITIONAL PROBABILITIES OF A RARE EVENTS DURING DEVELOPING AUTOMATED SYSTEM FOR FORECASTING AND PREVENTION OF AVIATION ACCIDENTS
© 2012 A.I. Orlov1, Yu.G. Savinov2, A.Yu. Bogdanov2
1 Bauman Moscow State Technical University 2 Ulyanovsk State University
This article describes the procedure of the polling and the method of expert estimation of conditional probabilities, which are the parameters of the tree of intermediate events in the development of aviation event / incident. It also was analyzed the problems faced by developers of automated system of forecasting and prevention of aviation accidents (ASPPAA) when using this methodology.
Key words: aviation accident/incident, logical-probability tree of events, expert estimates, order and absolute scales, conditional probabilities.
Alexander Orlov, Dr.Sci.Tech., Dr.Sci.Econ., PhD. Math., professor, the Head of Institute of High Statistical Technologies and Econometrics. E-mail: [email protected] Yuriy Savinov, PhD. Math., Associate Professor of Department of "Applied Mathematics". E-mail: [email protected] Andrey Bogdanov, PhD. Math., Associate Professor of Department of "Applied Mathematics". E-mail: [email protected]
