CC BY
5Труды МАИ. Выпуск № 103
http://trudymai.ru/
УДК: 004.04
Алгоритм анализа согласованности экспертных оценок параметров аппаратно-программного комплекса автоматизированного рабочего
места
Филатов В.И.*, Борукаева А.О.**, Бердиков П.Г***
Московский государственный технический университет им. Н.Э. Баумана, 2-я Бауманская ул., 5, стр.1, 105005, Россия
*e-mail: vfil10@mail.ru **e-mail: alexbmstu.b@yandex.ru ***e-mail: palber96@gmail.com
Аннотация
В данной статье затрагивается проблема расхождения мнений экспертов и предлагается способ оценки степени согласия. Рассмотрена задача, в которой существует множество аппаратно-программных комплексов автоматизированного рабочего места (АПК АРМ), для летательных аппаратов, обладающее набором одинаковых свойств, и в отношении каждого свойства соответствуют количественные оценки группы экспертов. Результаты оценок представлены в виде матрицы. Описан математический аппарат вычисления коэффициента конкордации - коэффициента согласия. Выполнена проверка работы алгоритма в рамках экспертного опроса, результатом которого были получены экспертные оценки для всех характеристик АПК АРМ. Данные экспертных оценок (количество экспертов 13 человек) были сведены в таблицу. Создана структурная блок-схема алгоритма
согласованности экспертных оценок параметров АПК АРМ соединения для летательных аппаратов. Вычислены оценка дисперсии и коэффициент конкордации (степень согласованности оценок параметров АПК АРМ).
В итоге выполнена оценка значимости коэффициента конкордации и сделан вывод в результате полученных расчетов.
Ключевые слова: автоматизированное рабочее место, аппаратно-программный комплекс, согласованность мнений экспертов, конкордация, математическое ожидание, дисперсия, случайная величина, дисперсионный коэффициент конкордации (коэффициент согласия), мера согласованности.
Введение
В современном мире огромное внимание уделено разработке беспилотных летательных аппаратов (БПЛА), которые в свою очередь требуют определенный аппаратно-программный комплекс (АПК). [1-2].
При оценке параметров эргономичности, разрабатываемых автоматизированных рабочих мест (АРМ) для систем связи возможно получение достаточно большой вероятности расхождения мнений экспертов. В связи с этим возникает необходимость количественной оценки степени согласия экспертов. Это позволит более обоснованно интерпретировать причины расхождения мнений экспертов, проводящих оценку качественных параметров системы связи и оказывающих влияние на коррекцию данных систем в фазе разработки.
Основу оценки согласованности суждений экспертов представляет собой конкордация. Параметр конкордации допустимо представить в виде наглядной геометрической компактности точек результатов экспертизы. Оценка каждого эксперта представляется как точка в некотором пространстве, в котором имеется понятие расстояния. Если точки, характеризующие оценки всех экспертов, расположены на небольшом расстоянии друг от друга, то есть образуют компактную группу, то такой результат можно интерпретировать как хорошую согласованность мнений экспертов (СМЭ). Если точки в пространстве разбросаны на большие расстояния, т.е. не принадлежат одной области, то СМЭ будет невысокая. В случае, если точки-мнения экспертов расположены в пространстве так, что образуют две или несколько компактных групп, то это свидетельствует о том, что в экспертной группе существует две или несколько существенно отличающихся точек зрения на оценку объектов исследования.
Выбор методов оценки СМЭ производится в зависимости от использования количественных или качественных шкал измерения и выбора меры степени согласованности.
При использовании количественных шкал измерения и оценке всего одного объекта все мнения экспертов можно представить в виде точек на числовой оси. Эти точки могут рассматриваться, как реализации случайной величины и поэтому для оценки центра группировки и разброса точек используется хорошо разработанные методы математической статистики. Центр группировки точек можно определить как математическое ожидание (среднее значение) или медиану случайной величины, а разброс количественно оценивается дисперсией случайной величины. Мерой
согласованности оценок экспертов, то есть компактности расположения точек на числовой оси может служить отношение среднеквадратичного отклонения к математическому ожиданию случайной величины.
Разработка алгоритма оценки согласованности экспертных оценок параметров АПК имеет большое значение и перспективу в разработках АПК для БПЛА.
Математическая часть Поскольку качество АПК АРМ оценивается множеством числовых параметров, то мнение каждого эксперта должно представляться в виде точек в пространстве параметров. Центр группировки точек так же можно вычислить, как математическое ожидание вектора параметров. Мерой согласованности мнений экспертов в этом случае, может служить сумма расстояний оценок от среднего значения, отнесенная к расстоянию математического ожидания от начала координат. Мерой согласованности может служить количество точек, расположенных в радиусе среднеквадратического отклонения от математического ожидания по всему множеству точек [3-6].
Задача: пусть имеется некоторое множество АПК АРМ, обладающее набором одинаковых свойств {хг},/ = 1, т и ранжированных в отношении каждого свойства (характеристики) соответствующими количественными оценками группой экспертов ¥ = {}, ^ = ё. Результат такого ранжирования экспертных оценок можно представить в виде матрицы, показанной в таблице 1.
После того, как оценки по всему комплексу АПК АРМ от экспертов будут собраны, производится обработка полученных оценок.
При ранжировании объектов использовалась мера согласованности мнений группы экспертов - дисперсионный коэффициент конкордации (коэффициент согласия) - W.
Рассмотрим матрицу оценок ||ги 11, 5 = 1, <, г = 1, т,
где ^ - оценка 1-ой характеристики ТК Б-м экспертом.
Составим суммы рангов по каждой строке таблицы 1. В результате получим
< _ _
вектор с компонентами: ти = X г>*, 5 = 1, <, г = 1, т.
5=1
Будем рассматривать величины г как реализации случайной величины и найдем оценку дисперсии.
Таблица 1
Матрица экспертных оценок
Характерист ика ПК АПК эксперты
ТК1 ТК2 ТКз ТК8 ТКа
Х1 Г11 Г12 Г13 Г1Б Гы
Х2 Г21 г22 г23 Г2Б Г2а
хз Г31 г32 г33 ГЗБ Гза
Х1 Г11 Г12 Г13 Г1а
хт Гт1 гт2 гт3 Гта
Оптимальная по критерию минимума среднего квадрата ошибка оценка дисперсии определяется по формуле [7,8]:
2
i m _ 2
£ (r - Г), (1)
- 1 i=1
D =
m -
где r - оценка математического ожидания (средний ранг), равная [9,10]:
— 1 m d
r =1 £ £ . (2)
m i=1 s=1
Дисперсионный коэффициент конкордации W определяется, как отношение оценки дисперсии (1) к максимальному значению этой оценки:
w=DD , (3)
/ max
поскольку оценка дисперсии измеряется в диапазоне 0 < D < D^, то коэффициент конкордации может принимать значения от нуля до единицы. Максимальное
значение дисперсии равно:
D = d 2(m3 - m) (4)
max 12(m -1) . ( )
введём обозначение
m d _
s = £ £ - Г)2, (5)
i=1 s=1
С учетом (2.5) оценка дисперсии (2.1) может представить в виде:
о = Л 5, (6)
т -1
Подставляя (4), (6) в (3) и сокращая на множитель (т-1), запишем окончательное выражение для коэффициента конкордации:
12
Ж = ^2-5. (7)
ё (т3 - т) У 7
Данная формула определяет коэффициент конкордации для случая отсутствия связных рангов. При W=0 согласованность оценок различных экспертов отсутствует, а при W=1 согласованность мнений экспертов полная.
Существуют следующие рекомендации при крайних значениях коэффициента конкордации. Если W=0, то для получения достоверных оценок следует уточнить исходные данные и (или) изменить состав группы экспертов. При W=1 не всегда можно считать оценки характеристик ТК АСД объективными, поскольку может оказаться, что все члены экспертной группы условились придерживаться одинаковых взглядов. Необходимо, чтобы найденные значения W было больше заданного значения Wз (W>Wз). Обычно принимается W=0,5, то есть при W>0,5 выводы экспертов согласованны в большей мере (сходятся в оценке параметров АПК АРМ). При W <0,5 оценки нельзя считать в достаточной степени согласованными.
При наличии связных рангов коэффициент конкордации вычисляется по формуле:
^ =-< , (8)
< 2(т3 - т) — < X Т
5=1
где
5
Т = Х (Л3 — ^). (9)
к=1
В формуле (9) Т8 - показатель связности рангов в Б-й ранжировке, Ц - число групп равных рангов в Б-й ранжировке, Ик - число равных рангов в к-й крупе связных
рангов при ранжировке Б-м экспертом. Если совпадающих рангов нет, то И8=0, Ик =
0 и, следовательно, Т8 =0. в этом случае формула (2.9) совпадает с формулой (2.7).
Коэффициент конкордации представляет собой случайную величину. Оценка значимости ' может быть произведена по критерию Пирсона х2 [11-15]. Величина ё(т-1)' имеет х2 распределение с^ = т-1 степенями свободы. При наличии связных рангов х2 - распределение с^ = т-1 степенями свободы имеет величину:
х2 = 12У ! ё , (10)
К (т +1)--- ^ Т ]
т -1 ,=1
Вероятность того, что случайная величина меры расхождения х2 примет значение не меньшее, чем наблюдаемое значение х\:
« = Пх2 >х2}. (11)
является функцией хд2 и параметра к, называемого числом степеней свободы. Число степеней свободы определяется по формуле:
к = I - г -1, (12)
1 - число параметров (характеристик) АПК АРМ;
г - число параметров теоретического закона распределения опытных данных (оценок характеристик АПК АРМ).
Например, для нормального закона распределения г=2 [16-18], если математическое ожидание и СКО вычисляются из статистических оценок, и г=1, если один из этих параметров известен до опыта, а другой был найден по результатам испытаний.
Исследовательская часть
Для проверки работоспособности алгоритма проведен экспертный опрос, по результатам которого получены экспертные оценки для всех характеристик АПК АРМ. В состав экспертной группы было включено 13 специалистов в области информационных систем. Данные экспертных оценок представлены (таблица 2).
Таблица 2
Экспертные оценки параметров АПК АРМ
эксперт 1 2 3 4 5 6 7 8 9 10 11 12 13
характеристика
1 1,5 2,0 1,5 2,0 2,0 2,5 1,5 2,0 1,0 2,5 2,0 1,5 2,5
2 2,5 2,0 1,5 2,5 1,0 1,4 2,0 2,5 2,0 1,5 1,5 2,0 2,0
3 3,5 4,0 3,0 2,0 4,5 4,0 4,0 4,5 4,5 3,0 3,5 4,5 4,5
4 2,5 3,5 3,0 3,0 4,0 2,0 3,0 4,5 3,0 3,5 2,5 3,0 3,5
5 6,5 6,0 5,0 5,5 4,5 4,0 6,5 6,0 5,5 5,0 5,0 4,5 6,0
6 5,0 5,5 6,0 5,5 5,0 5,0 6,0 6,5 5,5 4,5 5,0 4,0 6,5
7 4,5 4,0 4,0 3,5 3,0 5,0 4,0 4,5 4,0 5,0 3,0 5,0 5,0
8 6,0 5,5 5,0 5,5 4,0 4,5 4,5 5,5 5,5 6,0 5,0 5,5 5,0
9 3,5 6,5 6,5 5,0 4,5 5,0 5,5 6,0 4,5 4,5 5,0 5,5 4,5
10 4,0 4,5 3,5 3,5 4,0 3,5 5,5 3,5 4,0 4,0 4,5 4,5 5,0
11 2,5 3,5 3,0 4,0 3,5 4,0 3,5 2,5 3,0 4,5 2,5 3,0 3,5
12 4,5 4,0 3,5 3,0 4,5 4,5 4,0 5,0 3,5 3,5 4,5 4,0 4,0
13 1,0 1,5 1,0 1,0 2,0 1,0 1,0 2,5 1,0 1,0 0,5 1,0 1,0
14 0,5 1,0 1,5 1,0 1,0 0,5 1,5 1,5 1,0 1,0 1,5 1,0 1,5
15 4,5 4,0 5,5 3,5 3,5 4,5 4,0 4,0 3,5 5,0 5,0 3,5 4,0
16 3,5 3,5 4,5 4,5 5,0 5,0 3,5 4,5 4,5 4,0 3,5 4,0 3,5
17 2,5 3,5 4,0 3,5 2,5 2,5 4,0 3,5 3,0 3,0 3,5 3,5 4,0
18 4,0 4,5 3,5 5,0 4,0 4,5 4,5 4,0 3,5 3,5 4,0 4,5 4,5
19 1,0 0,5 1,0 1,5 2,0 1,5 1,0 1,0 0,5 1,5 2,0 1,0 1,0
20 5,0 5,5 6,0 4,5 4,5 5,5 4,5 5,0 5,0 5,5 6,0 4,5 5,0
21 2,0 2,5 1,5 1,5 2,0 2,5 2,0 2,0 1,5 2,5 2,0 1,5 2,5
22 4,5 4,0 5,0 5,5 4,0 3,5 4,5 4,0 5,0 4,0 3,5 4,5 4,0
Дисперсионный анализ производится в порядке исследования характеристик АПК АРМ.
Вычисляем оценку математического ожидания по формуле [19,20]:
— 1 т ё г=1 £ 5Х = 1,75,
т I=1 ,=1
Величина Б в соответствии с формулой (2.5) равна
22 13
5 = £ (£ ги -1,75)2 = 361.
1=1 ,=1
Блок-схема алгоритма оценки согласованности экспертных оценок параметров АПК
АРМ соединения представлена на рисунке 1.
Рисунок 1. Блок-схема алгоритма оценки согласованности экспертных оценок
параметров АПК АРМ соединения
Поскольку в равенстве экспертных оценок отсутствуют связанные ранги, то вычисление коэффициента конкордации ' выполняются по формуле (7). Оценка дисперсии:
1 т _
О =-- £ (гг - Г) = 6228,27
т -11=1
максимальное значение дисперсии:
^ = =7126,16 ,
тах 12(т -1)
таким образом, коэффициент конкордации, то есть степени согласованности экспертных оценок параметров АПК АРМ:
ж = -В. = 622827 = 0,874.
В 7126,16
max
Оценка значимости коэффициента конкордации
В данном случае число степеней свободы для нормального закона распределения к=22-2-1=19.
Для уровня значимости ему соответствует табличное значение х2 = 0,625. Вычисляем значение х2 по формуле (2.10):
х2 = 125/ 1 ё = 12 • 3%. 22 - 21 = 0,689.
К(т +1) —\£Т] /13 22 21
т -1 ,=1
Заключение
Поскольку 0,689>0,625, то есть х2 > х2, то гипотеза о согласии экспертных
оценок множества характеристик АПК АРМ принимается и об этом также свидетельствует диапазон изменения коэффициента конкордации:
0,5<W=0,874<1.
Тем самым доказана хорошая обоснованность машинного алгоритма и программы по оценке согласованности экспертных оценок параметров АПК АРМ соединения.
Библиографический список
1. Липова Т.М. Современные достижения в организации программного обеспечения беспилотных летательных аппаратов // LXIX студенческая международная научно-практическая конференция «Научное сообщество студентов XXI столетия. Технические науки». Сборник статей № 9 (68). (Новосибирск, сентябрь 2018) - Новосибирск: СибАК, 2018. С. 33 - 39. URL: https://sibac.info/archive/technic/9(68).pdf
2. Торшин Д.В., Королев В.С. Создание аппаратно-программного комплекса беспилотного летательного аппарата в целях проведения безопасных испытаний различного оборудования и алгоритмов управления в условиях полёта // XLIV Международная молодёжная научная конференция «Гагаринские чтения - 2018». Тезисы докладов. (Москва, 17-20 апреля 2018) - М: Изд-во МАИ, 2018. С. 25 - 26.
3. Ивченко Г.И., Медведев Ю.И. Введение в математическую статистику. - М.: Изд-во ЛКИ, 2010. - 600 с.
4. Лагутин М.Б. Наглядная математическая статистика. - М.: БИНОМ. Лаборатория знаний, 2009. - 472 с.
5. Кобзарь А.И. Прикладная математическая статистика. - М.: ФИЗМАТЛИТ, 2006. - 816 с.
6. Гураков М.А., Кривоносов Е.О., Костюченко Е.Ю. Показатели качества систем распознавания пользователей по динамике подписи на основе наивного классификатора Байеса и нейронной сети // Труды МАИ. 2016. № 86. URL: http: //trudymai .ru/published.php?ID=67851
7. Орлов А.И. Теория принятия решений - М.: Изд-во Экзамен, 2005. - 656.
8. Печинкин А.В., Тескин О.И., Цветкова Г.М. и др. Теория вероятностей. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2004. - 456 с.
9. Гмурман В.Е. Теория вероятностей и математическая статистика. - М.: Высшая школа, 2003. - 479 с.
10. Кордовер К.А., Жданов А.А., Данилов А.М. Универсальный блок управления массивом запоминающих устройств наземного отладочного комплекса // Труды МАИ. 2013. № 65. URL: http://trudymai.ru/published.php?ID=35985
11. Горяинов В.Б., Павлов И.В., Цветкова Г.М., Тескин О.И. Математическая статистика - М.: Изд-во МГТУ им. Н.Э. Баумана, 2001. - 424 с.
12. Волков И.К., Загоруйко Е.А. Исследование операций. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2000. - 436 с.
13. Вентцель Е.С. Исследование операций. - М.: Советское радио, 1972. - 552 с.
14. Короткова Т.И. Многокритериальный алгоритм принятия решения в системе обеспечения информационной безопасности объектов гражданской авиации // Труды МАИ. 2015. № 84. URL: http://trudymai.ru/published.php?ID=63279
15. Волков И.К., Зуев СМ., Цветкова Г.М. Случайные процессы. - М.: Изд-во МГТУ им. Н.Э. Баумана, 1999. - 448 с.
16. Панин С.Д. Теория принятия решений и распознавания образов. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2017. - 239 с.
17. Грешилов А.А. Математические методы принятия решений. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2006. - 584 с.
18. Вентцель Е.С. Теория вероятностей и её инженерные приложения. - М.: Высшая школа, 2000. - 480 с.
19. Шапорев С.Д. Прикладная статистика. - Спб.: Балтийский государственный технический университет «Военмех», 2003. - 254 с.
20. Акимов Е.В., Кузнецов М.Н. Вероятностные математические модели для оценки надежности беспроводных сенсорных сетей // Труды МАИ. 2010. № 40. URL: http://trudymai.ru/published.php?ID=22873
