CC BY
22
ФОРМИРОВАНИЕ КРИТЕРИАЛЬНЫХ ЗАВИСИМОСТЕЙ ДЛЯ ОПРЕДЕЛЕНИЯ УСЛОВНОГО УРОВНЯ КАЧЕСТВА ИНФОРМАЦИОННОЙ СИСТЕМЫ МЕТОДАМИ
ЭКСПЕРТНЫХ ОЦЕНОК
1 2 Захарченко Р.И. , Буданцев Я.Ю.
1Захарченко Роман Иванович - кандидат технических наук, докторант;
2Буданцев Ярослав Юрьевич - оператор, 6-я научная рота, Краснодарское высшее военное училище им. Штеменко, г. Краснодар
Аннотация: в статье описывается разработанный методологический аппарат, позволяющий осуществить подход к решению задачи формирования критериальных зависимостей для определения условного уровня качества информационной системы методами экспертных оценок.
Ключевые слова: ИС, АСУ, СППР, управление, экспертная оценка.
Высокая степень автоматизации управления и объединение разнотипных информационных систем (ИС) через глобальное информационного пространство, а также увеличение количества используемых информационных технологий привело к объективному усложнению механизмов управления ИС при совместном использовании сетевых сервисов и служб [5].
Значительное повышение эффективности решения целевых задач управления в этих условиях невозможно без внедрения в автоматизированные системы управления (АСУ) подсистемы поддержки принятия решений (СППР), реализованной с применением новых информационных технологий. В свою очередь, СППР требует наличия формализованных критериев, позволяющих оценить текущее состояние управляемой ИС на основе собранной информации: внутренних и внешних параметров ИС, а также параметров взаимодействующих ИС, оказывающих на нее конструктивные и деструктивные информационные воздействия.
Анализ существующих подходов к построению подобных СППР показал, что имеется достаточно большое количество способов и методов оценки ИС [1-3], но при этом следует отметить, что высокая сложность их реализации связана с определением (выявлением) соответствующих аналитических и критериальных зависимостей с представлением в виде формализованных критериев, характеризующих взаимосвязь параметров, описывающих совокупность состояний управляемой ИС, оказываемых на нее воздействий и их результатов.
Сложность формализации указанных зависимостей связана с неопределенностью целого ряда исходных параметров описывающих текущую ситуацию:
- знания о внешней среде и воздействующих факторах;
- несогласованность и противоречивость целей взаимодействующих ИС (сервисов и служб) и динамика их изменения во времени;
знания о состоянии ИС и управляющей ею АСУ в режиме реального времени (неполнота, неточность и неоднозначность полученных результатов).
Все это значительно усложняет процесс формирования аналитических зависимостей между состояниями ИС и управляющей АСУ и получением требуемого результата, т.е. четко определенных (детерминированных) критериев оценки, что требует большого объема накопленных эмпирических данных и сложного математического аппарата.
В условиях отсутствия эмпирических данных объективное количественное и качественное определение обозначенных критериев для предметных областей
является одной из сложных научно-технических проблем, что подчеркивает актуальность рассмотрения данного вопроса.
Для решения таких задач на начальном этапе в условиях невозможности математической формализации процесса решения, ввиду нечисловой природы исследуемых объектов или отсутствии эмпирических данных, традиционно используются методы экспертных оценок [4].
Суть данных методов заключается в обращении к рекомендациям компетентных специалистов, владеющих предметной область (экспертам), которые, опираясь на знания, интуицию, логическое мышление и практический опыт в данной области, в условиях неопределенности формируют необходимые критериальные зависимости в виде детерминированных оценок. Несмотря на субъективность, данные оценки на первоначальном этапе позволят обеспечить потребность СППР в формализованных критериях оценки текущего состояния ИС в объеме достаточном для ее отладки (настройки).
В процессе накопления эмпирических данных, оценки, полученные экспертным методом, будут уточняться за счет использования различных подходов к анализу собранных (полученных обратным моделированием для устранения энтропии) статистических данных, начиная от традиционных, использующих методы математической статистики, и заканчивая методами интеллектуальной обработки данных.
Целью данной статьи является совершенствование методологии формирования предварительных критериев условного уровня качества работоспособности сервисов ИС за счет адаптации известных методов экспертных оценок к рассматриваемой предметной области.
Процесс формирования детерминированных значений критериальных зависимостей предлагается осуществлять в автоматизированном режиме по следующему алгоритму:
1. Ввод исходных данных:
опросный лист (таблица) с указанием предметный области для заполнения экспертами,
таблица весов экспертов по предметным областям.
2. Обоснованный выбор экспертов в соответствии с требованиями, предъявляемыми к ним в данной предметной области.
3. Сбор заполненных опросных листов, анализ и корреляция экспертных мнений.
4. Проверка адекватности полученных результатов посредством вычисления статистических характеристик (среднего линейного отклонения и дисперсии).
5. Вывод полученных результатов.
Что позволяет сформировать необходимый методологический аппарат, представленный ниже.
Для реализации первого этапа в качестве исходных данных загружаются ограничения по размеру и формату опросных листов, а также единый реестр экспертов, представляющий собой таблицу (табл. № 1), в котором по вертикали будут находиться эксперты, по горизонтали - области знаний, а на их пересечении -весовые коэффициенты экспертов.
Эксперты Предметные области
Механика Энергетика Информат ика и вычислите льная техника Строитель ство Медицина Философия
Эксперт 1 0,3 0,1 0,1 0,4 0,4 0,1
Эксперт 2 0,4 0,56 0,2 0,2 0,2 0,6
Эксперт 3 0,5 0,7 0,5 0,6 0,8 0,5
Эксперт 4 0,25 0,6 0,68 0,4 0,6 0,2
Эксперт 5 0,8 0,8 0,5 0,5 0,9 0,7
Эксперт 6 0,6 0,4 0,7 0,3 0,4 0,5
Эксперт п 0,85 0,6 0,6 0,8 0,7 0,2
На втором этапе на основе полученных исходных данных осуществляется выбор экспертов в соответствии с требованиями к ним в заданной предметной области.
Используя метод ранжирования [3], осуществляется упорядочение экспертов в соответствии с их весами в заданной предметной области. Затем, вычисляется среднее арифметическое значение веса экспертов и осуществляется выбор требуемого количества экспертов с учетом минимального отклонения от среднего значения.
На третьем этапе осуществляется автоматизированная рассылка опросных листов выбранным экспертам и сбор результатов оценки.
Заполняя таблицы, эксперты следуют следующим принципам выставления оценок:
всем признакам назначают весовые коэффициенты так, чтобы суммы коэффициентов была равна какому-то фиксированному числу (например, единице, десяти или ста);
наиболее важному из всех признаков придают весовой коэффициент, равный какому-то фиксированному числу, а всем остальным - коэффициенты, равные долям этого числа.
Далее выполняется анализ и корреляция полученных данных. Корреляция экспертных оценок выполняется методом среднего взвешенного [1].
Среднее взвешенное вычисляется по следующей формуле:
ХЦ = = 1хкЦ * ск С1)
где: Хр - усредненное значение оценки /'-ой области р-го признака; хкр - значение оценки к-го эксперта /-ой области р-го признака; ск - весовой коэффициент к-го эксперта; п - количество экспертов.
На четвертом этапе выполняется проверка адекватности полученных результатов методом анализа разброса и согласованности оценок [4, 5] путем вычисления дисперсионного коэффициента конкордации, который является наиболее подходящим способом определения степени согласованности мнений экспертов в условиях когда экспертный анализ осуществляется п-м количеством экспертов по т параметрам [1]:
<72
Ш = —, (3)
итах
где: Ж - коэффициент конкордации; а2 - дисперсия -го количества мнений экспертов при оценке т параметров; - максимальное значение оценки
дисперсии.
Дисперсия рассчитывается по формуле:
^ т / п
7=1 \1=1 /
где: о2 - дисперсия; п - количество экспертов; х^ - оценка г-го эксперта ¡-го параметра; х - среднее значение оценки экспертов; т - количество оцениваемых параметров. Значение х определим [3]:
т п
х=1 (5)
7=11=1
Оценка дисперсии принимает максимальное значение ( ст^ах) в тех случае, когда всё -е количество экспертов ранжирует (упорядочивает) всё т-е количество оцениваемых параметров, подлежащих экспертному анализу, одинаково (случай наилучшей согласованности мнений экспертов), в результате чего определим
[3]:
1
Сш ах = тп2 (т + 1 ) , (6)
Дисперсионный коэффициент конкордации (Ш), вычисляемый по формуле (3), принимает значение в пределах 0< Ш <1 [2].
В целях проверки адекватности полученных результатов путем определения степени согласованности мнений экспертов, вычислим критерий Пирсона - [1]:
х2ыч = п Ш (т- 1), (7)
Полученное значение х2^, используя известные статистические таблицы [1], сравним с табличным значением значимости оценки дисперсионного коэффициента конкордации (х2табл), для чего вычислим число степеней свободы ( 8) [1]:
8 = т-1 . (8)
Соответствующее значение 8 указывает на необходимое значение х2абл, принимаемое с определенным уровнем доверительной вероятности (в технических системах доверительная вероятность принимается равной 0,95-0,99).
В случае, если выполняется условие , то формируется вывод об
адекватности полученных результатов.
На пятом этапе осуществляется вывод результирующей таблицы оценок и значения статистических характеристик.
Предложенный методологический аппарат доведен до технического решения, результаты работы которого изображены на рис. 1.
Рис. 1. Результаты работы модуля экспертных оценок
Таким образом, представленный методологический аппарат позволяет осуществить подход к решению рассмотренной проблемы, не смотря на ее
чрезвычайную сложность, новизну, недостаток имеющейся информации и невозможность математической формализации процесса ее решения. Результаты решения данной проблемы - аргументация, формирование количественных и качественных оценок - позволяют обеспечить на первоначальном этапе потребность СППР в формализованных критериях оценки текущего состояния ИС в объеме, достаточном для ее отладки (настройки).
Список литературы
1. Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. 2-е изд., перераб. и доп. М.: Статистика, 1980. 263 с.
2. Захарченко Р.И. Методика оценки устойчивости функционирования объектов КИИ функционирующей в киберпространстве / Захарченко Р.И. Королев И.Д. // Наукоемкие технологии в космических исследованиях земли, 2018. Т. 10. № 2. С. 52-61. ISSN 2409-5419.
3. ЛитвакБ.Г. Экспертные оценки и принятие решений. М.: Патент, 1996. 271 с.
4. Согласование защищенности автоматизированных систем управления на основе метода анализа иерархий. [Электронный ресурс] / Минаев В.А., Королев И.Д., Лукин Д.В., Пивкин И.Г, Коноваленко С.А. // Технологии техносферной безопасности: АГПС МЧС России, 2016. № 6 (70). Режим доступа: http://academygps.ru/ttb - ВАК/ (дата обращения: 26.07.2018).
5. Стародубцев Ю.И., Бегаев А.Н., Вадлятова М.А. Управление качеством информационных услуг. Под общ. Ред. Ю.И. Стародубцева. СПб.: Изд-во Политехнического университета, 2017. 454 с.
6. Теория принятия решений / Орлов А.И. М.: КНОРУС, 2011. 568 с.
7. Экспертные оценки и принятие решений / Литвак Б.Г. М.: Патент, 1996. 259 с.
