УДК 004.05
DOI: 10.24412/2071-6168-2024-1-194-195
МЕТОДИКА РАНЖИРОВАНИЯ КРИТЕРИЕВ ВЫБОРА ПРОГРАММНЫХ
РЕШЕНИЙ МОНИТОРИНГА СОСТОЯНИЯ LINUX-КЛАСТЕРА
П.В. Корчагин, С.В. Войцеховский, А.Д. Шульженко, Э.С. Левчик
В статье рассмотрен вопрос приоритезации критериев оценивания для формирования набора требований к программному продукту. Показано применение метода анализа иерархий для решения этой задачи на примере проектирования программы контроля целостности кластера Linux серверов. Сформулирована вербальная постановка задачи с ограничениями, приведены шаги применения метода. Получены результирующие значения приоритетов, выделен список наиболее приоритетных критериев для формирования набора требований к программному продукту.
Ключевые слова: метод анализа иерархий, метод Саати, требования к программным продуктам, критерии оценивания, приоритет, многокритериальное оценивание.
При определении набора требований к программному продукту (комплексу) необходимо понимать уровень значимости (значения приоритетов) пользовательских критериев его оценивания. Для этого существуют различные методы, например, часто применяется метод экспертной оценки [1]. Однако результаты его применения зависят от личного опыта экспертов, поэтому он не может считаться непогрешимым. Альтернативный метод анализа иерархий (метод Саати) позволяет сделать математически обоснованный вывод о расстановке приоритетов в наборе критериев оценивания программных продуктов. Концепция метода анализа иерархий (МАИ) заключается в декомпозиции сложной проблемы на более простые составные части и последующей обработке последовательности суждений эксперта по парным сравнениям [2].
Принцип декомпозиции является первым этапом применения МАИ. Данный принцип предусматривает структурирование проблемы в виде иерархии, которая может быть полной или неполной. Простейшая полная иерархия проблемы многокритериального выбора включает в себя три уровня: цель, критерии, альтернативы.
Принцип сравнительных суждений используется для установления приоритетов критериев и получения оценок для альтернативных решений. Для этого строятся матрицы парных сравнений, по каждой из которых определяется вектор локальных приоритетов и вычисляется индекс согласованности мнений экспертов.
Последовательное применение указанных принципов МАИ позволяет структурировать сложные проблемы, установить приоритеты критериев и получить оценки для альтернативных решений.
Учитывая сложность задачи оценивания программных продуктов и формирования набора требований на основе полученных оценок в условиях определенности и многокритериальности, целью текущего исследования является обоснование назначения приоритетов критериям оценивания программных продуктов.
Постановка задачи исследования. Рассмотрим применение метода анализа иерархий для приоритезации критериев оценивания при решении задачи разработки нового программного решения для мониторинга целостности кластера Linux серверов, которая в вербальной формулировке выглядит следующим образом:
1. Дано:
Известен ряд конкурирующих решений для организации мониторинга целостности кластера Linux серверов. К ним, согласно статистике популярности соответствующих ресурсов, относятся [3]:
- luntry;
- sematext;
- kubernetes dashboard;
- kubewatch;
- prometheus;
- grafana;
- jaeger.
2. Ограничения: выделен ряд частных критериев для оценивания указанных решений. К ним, согласно результатам опроса пользователей [4] средств мониторинга, относятся следующие:
- наличие встроенной графической информационной панели. Информационная панель позволяет оператору в наглядном виде на графике видеть численные метрики показателей кластера, такие как, например, количество анонимных обращений к кластеру или количество отклонённых запросов к управляющему узлу;
- отображение списка событий кластера. Возможность наблюдать список происходящих событий кластера в реальном времени является важной при отслеживании состояния кластера. При достаточной квалификации контролера позволяет обнаружить нежелательные воздействия на состояние кластера;
- отображение логов приложений. Отображение логов позволяет отслеживать наличие или отсутствие ошибок во время выполнения выбранных приложений. Контроль за состоянием приложений даёт возможность повысить надёжность их работы. Более того, возможность централизованно посмотреть логи приложений помогает при расследовании инцидентов;
- автоматическое определение аномалий. Сложность определения аномальных активностей в большинстве вариантов использования ложится на операторов системы мониторинга. Автоматическое определение позволяет снизить нагрузку на системных администраторов [9];
- поддержка уведомлений. При правильной настройке автоматические уведомления об ошибках, аномалиях, или других нежелательных отклонениях позволяет ускорить реакцию на них за счёт оповещения ответственных администраторов [11];
- поддержка получения событий политики аудита. Информация из audit-policy кластера kubernetes в отличие от просмотра логов или отслеживания стандартных событий кластера позволяет определять вместо текущего состояния наблюдать управляющие воздействия [5, 6, 8, 10];
- стоимость единоразовой покупки программного комплекса;
- стоимость ежемесячной платной подписки на сервис;
- наличие автоматической установки. Автоматическая установка позволяет снизить требования к персоналу организации и снизить затраты на внедрение программного комплекса в использование [12];
- необходимость ручной настройки. В случае, когда решение требует дополнительной настройки или поддержания актуальности после начала использования, повышаются операционные расходы на использование программного комплекса.
3. Найти: список из наиболее важных критериев, на которые нужно ориентироваться при подготовке требований к разрабатываемому программному комплексу.
Методика ранжирования критериев выбора программных решений мониторинга состояния Linux-кластера. Первым шагом [2] необходимо распределить частные критерии оценивания, которые даны при постановке задачи, по группам. Контекстный анализ позволил выделить следующие группы критериев:
- удобство использования,
- стоимость использования,
- функциональные возможности,
- простота настройки,
- степень автоматизации,
- информативность.
В результате распределения критериев получена иерархия, представленная на рис. 1. После получения указанной иерархии необходимо выделить наиболее важные критерии, для этого проводится расчёт относительной важности каждого критерия по методу анализа иерархий.
Вторым шагом для этого определяется фундаментальная шкала предпочтений. Оценки важности проставляются в соответствии с табл. 1.
После определения шкалы относительной важности (шкала фундаментальных предпочтений в терминах метода анализа иерархий Саати), необходимо перейти к третьему шагу - к расчёту фактических показателей векторов приоритетов.
Программный комплекс ;ия мшинориша К-мисри
Рис. 1. Иерархия критериев оценки
Таблица 1
Описание шкалы относительной важности
а_ц Описание
1 Равная важность сравниваемых элементов иерархии. Оба сравниваемых элемента имеют одинаковую значимость для элемента более высокого уровня.
3 Умеренное превосходство г-го элемента иерархии наду'-ым. Предшествующий опыт и оценка говорят о немного большей значимости одного элемента по сравнению с другим.
5 Существенное или сильное превосходство г-го элемента. Предшествующий опыт и оценка говорят о более высокой значимости одного элемента по сравнению с другим.
7 Значительное превосходство г-го элемента. Очень высокая значимость элемента явно проявилась в прошлом.
9 Очень значительное превосходство г-го элемента. Речь идет о максимально возможном различии между двумя элементами.
2, 4, 6, 8 Промежуточные степени превосходства. Значения попадают в интервал между определенными выше баллами значимости.
Матрица парных сравнений приведена в таблице 2, сводная таблица локальных приоритетов критериев приведена в таблице 3.
Для каждой матрицы находятся локальные векторы приоритетов, представляющие собой нормированные показатели важности частных критериев. Для этого необходимо рассчитать среднее геометрическое каждой из строк, после чего каждый из полученных результатов разделить на сумму данных результатов. Пример расчетов для таблицы 2:
6 П/=1- а 1. = 61- 0,1429 • 0,2 • 0,333 • 0,5 • 0,2 = 60,00095 = 0,3137 Первый элемент локального вектора приоритетов:
= 0,0395
6 П -=1а 1- 0,3137
26=16 П?=1 а
7,9354
Локальные векторы приоритетов для «
Таблица 2 Программного комплекса»_
6 П=1
• а
1-
Вектор
0,1429
0,2000
0,3333
0,5000
0,2000
0,3137
0,0395
1
0,3333
1
7
0,2500
1,2643
0,1593
1
1
2,3051
0,2905
1
0,5000
1
0,3333
1,0699
0,1348
0,1429
0,2000
0,3333
0,2000
0,3952
0,0498
4
1
3
5
1
2,5873
0,3260
23
9,2857
3,2333
7,6667
21,5000
2,9833
7,9354
1
Для определения согласованности матрицы парных сравнений необходимо найти индекс согласованности (ИС) по формуле 1.
ИС = ^тах (1)
п-1
где п - размерность матрицы; \тах - сумма попарных произведений сумм столбцов и
локальных векторов (сумма элементов первого столбца матрицы умножается на первый
элемент локального вектора и т. д.).
гг Лтах = 23 • 0,395 + 9,2857 • 0,1593 + 3,2333 • 0,2905 +
Пример расчетов: тах
7,6667 • 0,1348 + 21,5 • 0,0498 + 2,9833 • 0,326 = 6,4048
тогда ИС = 6,4048 - 6 = 0,0810. 6-1
Далее находим отношение согласованности (ОС) по формуле 2.
ОС = — (2)
СС
где СС - случайная согласованность, величина которой зависит от размерности матрицы (см. рис. 2).
Матрица считается согласованной при показателе ОС < 0,1. Например:
ОС==0,0653 < 01. Глобальные приоритеты рассчитываются с использованием 1,24
векторов локальных приоритетов. Для вычисления глобальных приоритетов нижележащих уровней необходимо их локальные приоритеты умножить на глобальный приоритет материнского элемента.
Пример расчетов для критерия 6. Поддержка получения событий политики
аудита:
гл.пр. , = гл.пр. 3 • лок.пр. 6 = 0,296 • 0,2905 = 0,086
^•"К-часн.кр.1 ^ гр.кр.3 ^ часн.кр.6 ' ' '
197
3
4
5
1
1
2
7
3
5
3
2
5
4
3
3
5
2
1
6
5
Рис. 2. Связь между случайной согласованностью и размерностью матрицы
Таблица 3
Сводная таблица локальных приоритетов критериев_
Частные критерии Групповые критерии
1 2 3 4 5 6
0,0395 0,1593 0,2905 0,1348 0,0498 0,3260
1. Наличие встроенной графической информационной панели 0,0671 0 0,0953 0 0 0,1558
2. Отображение списка событий кластера 0 0 0,1490 0 0 0,1689
3. Отображение логов приложений 0 0 0,0252 0 0 0,0414
4. Автоматическое определение аномалий 0,0605 0 0,0696 0 0,2476 0,1895
5. Поддержка уведомлений 0,0272 0 0,0663 0 0,1171 0
6. Поддержка получения событий политики аудита 0 0 0,2960 0 0 0
7. Стоимость единоразовой покупки 0 0,0955 0 0 0 0
8. Стоимость подписки 0 0,6296 0 0 0 0
9. Наличие автоматической установки 0,0671 0,0572 0 0,2500 0,0559 0
10. Необходимость ручной настройки 0,2836 0,2177 0 0,7500 0 0
11. Наличие искусственных ограничений 0,1951 0 0 0 0 0
12. Автоматическое ранжирование событий по важности 0,2993 0 0,2590 0 0,5794 0,4444
13. Возможность скрытого получения информации 0 0 0,0252 0 0 0
14. Возможность работы параллельно с кластером 0 0 0,0145 0 0 0
В случае наличия у элемента более одного родителя следует сложить попарные произведения глобальных приоритетов материнских элементов и соответствующих локальных приоритетов данного элемента.
Итоговая иерархия с учётом локальных и глобальных коэффициентов представлена на рисунке 3.
Таким образом, в ходе решения задачи получен список из наиболее важных критериев, на которые нужно ориентироваться при подготовке требований к программному комплексу. Список включает в себя следующие критерии:
- отображение списка событий кластера;
- поддержка получения событий политики аудита;
- стоимость подписки;
- необходимость ручной настройки;
- автоматическое ранжирование событий по важности.
Заключение. Полученные результаты показали эффективность применения метода анализа иерархий для достижения цели исследования, которая заключалась в обосновании назначения приоритетов критериям оценивания программных продуктов. Была сформулирована вербальная постановка задачи исследования, которая решалась применительно к программе контроля целостности кластера Linux серверов. Результатом решения задачи стал список из наиболее приоритетных критериев, которые должны быть учтены при разработке программного продукта такого класса.
198
Программный комплекс для мошпорнша кластера
I. Удобство
] 1С ПО ЛЫ t>BJ Н11Я
0,0395
2. Сшмхп использования
11. Наличие искусственных ограничений (1)0.0077 0.0077
3. Функциональные
ВОЗМОЖНОСТИ
0,2905
7. Стоимость едннпраювой покупки (2) 0,0152 0.0152
8. Стоимость подписки (2)0,1003 0.1OOJ
4. Простота настройки 0,1148
6. Поддержка получения событий политики зуди га (3) 0,0860 0.OÄG0
I3. Возможность скрытою
ni>:iVML'IIHM Н11||н>р).иЩ1Ш
(3)0.0073 0,0073
14. Вочможноеи. paóoi ы i.ic.imio с kjuctepom
(3) 0.0042 0.0042
5. Степень автоматизации 0.0498
6. Инфармапинюсть 0.3260
I. Наличие встроенной i ршфнчеекой информационной панели (1)0.0027 (3)0.0277 (6)0.0508 «,0811
Ю- Необходимость ручной настройки (1)0.0112 (2) 0,0347 (4)0.1011 0.1470
12, Л и i otia i и ческие ранжирование событий по важности (1)0.0118 (3) 0,0752
(5) 0,0289
(6)0,1449 ОДОЮ
9, Наличие ангочаги ческой установи!
(1)0.0027
(2)0.0091
(4) 0,0337
(5) 0.0028 0.0483
!. Oí »Сражен не списка собышн класгера (3)0.0433 (6)0,0551 0.0984
3. Отражение логов нрнложешгн (3)0.0073 (6) 0.0135 0.0208
4, Автоматическое определение аномалии (1)0.0024 (3)0.0202
(5)0,0123
(6)0.0618 0,0967
Рис. 3. Иерархия критериев после приоритезации
Шаги решения поставленной задачи включали в себя:
- распределение частных критериев оценивания, которые были даны при постановке задачи, по группам с формированием иерархической структуры;
- определение фундаментальной шкалы предпочтений;
- расчёт фактических показателей векторов приоритетов;
- определение списка из наиболее важных критериев.
Направление дальнейших исследований может включать расширение применения метода анализа иерархий на другие области разработки программных продуктов, а также сравнение эффективности этого метода с другими методами приоритезации критериев оценивания.
Список литературы
1. Войцеховский С.В., Хомоненко А.Д. Согласование экспертных оценок при нечётком выводе в системе обнаружения вторжений // Проблемы информационной безопасности. Компьютерные системы. СПб., 2009. № 4. С. 42-50.
2. Саати Т.Л. Об измерении неосязаемого. Подход к относительным измерениям на основе главного собственного вектора матрицы парных сравнений // Cloud of Science. 2015. Т. 2. № 1. С. 5-39.
3. SO community Stack Overflow Developer Survey 2021 [Электронный ресурс]. URL: https://insights.stackoverflow.com/survey/2021#most-loved-dreaded-and-wanted-tools-tech-love-dread (дата обращения: 24.11.2023).
4. Загребаев Д.К. Мониторинг кластера анализа больших данных Apache Spark на основе Kubernetes // Достижения науки и образования. Иваново, 2019. № 5 (46) С. 34-42.
5. RedHat State of Kubernetes Security Report 2021 [Документы]. - 2021: RedHat,
2021.
6. Лазарева Н.Б. Ловцова Н.Н. Автоматизация получения доступа к базам данных для компонентов в среде kubernetes // Инженерный вестник Дона. Хабаровск, 2021. №. 3.
7. Кочовски П., Дробинцев П.Д. Подход к автоматизированному развертыванию облачных приложений в вычислительном континууме Edge-to-Cloud, удовлетворяющих высоким требованиям к качеству обслуживания // Информатика, телекоммуникации и управление. СПб., 2020. Т. 13. № 1. С. 8-18.
8. Бедердинова О.И., Бойцова Ю.А. Интегральная оценка качества программных средств // Вестник САФУ. Сер.: Естеств. науки. 2016. № 2. С. 99-106.
9. Voitsekhovsky S.V., Muzyka V.D., Fayzullina N.O., Shilov A.A. Model of an intelligent system of automatic identification of the state affiliation of military personnel // Известия Тульского государственного университета. Естественные науки. 2021. С. 273.
10. Best Kubernetes Monitoring Tools: Free, Open Source & Paid [Электронный ресурс] URL: https://sematext.com/blog/ kubernetes-monitoring-tools/ (дата обращения: 24.11.2023).
11. Хомоненко А.Д., Краснов С.А., Обухов А.В., Войцеховский С.В., Логашев С.В. Системы искусственного интеллекта практикум // Санкт-Петербург, 2014.
12. Khomonenko A.D., Voitsekhovskii S.V., Logashev S.V., Dashonok V.L. Resolving semantic inconsistencies in elibrary.ru based on fuzzy inference // Automatic Control and Computer Sciences. 2015. Т. 49. № 8. С. 634-642.
Корчагин Павел Викторович, канд. техн. наук, доцент, [email protected], Россия, Санкт-Петербург, Военно-космическая академия им. А. Ф. Можайского,
Войцеховский Станислав Витальевич, канд. техн. наук, доцент, начальник кафедры, [email protected], Россия, Санкт-Петербург, Военно-космическая академия им. А. Ф. Можайского,
Шульженко Анастасия Дмитриевна, канд. техн. наук, начальник лаборатории, [email protected], Россия, Санкт-Петербург, Военно-космическая академия им. А.Ф. Можайского,
Левчик Эдуард Степанович, соискатель, 2 [email protected], Россия, Санкт-Петербург, Военно-космическая академия им. А.Ф. Можайского
METHODOLOGY FOR RANKING CRITERIA FOR SELECTION OF SOFTWARE SOLUTIONS FOR MONITORING THE STATE OF A LINUX CLUSTER
P.V. Korchagin, S.V. Voytsekhovsky, A.D. SHulzhenko, E.S. Levchik
The article discusses the prioritization of evaluation criteria for the formation of a set of requirements for a software product. The application of the analytic hierarchy process is demonstrated to solve this problem using the example of designing a program for monitoring the integrity of a Linux server cluster. A verbal statement of the problem with constraints is formulated, and steps for applying the method are provided. Resulting priority values are obtained, and a list of the most priority criteria for forming a set of requirements for a software product is identified.
Key words: Method of analytic hierarchy, Saaty's method, requirements for software products, evaluation criteria, priority, multicriteria evaluation.
Korchagin Pavel Viktorovich, candidate of technical sciences, docent, [email protected], Russia, Saint Petersburg, A.F. Mozhaysky's Military Space Academy,
200
Voytsekhovsky Stanislav Vitalievich, candidate of technical sciences, docent, head of chair, vka_kaf27_1@,mil.ru, Russia, Saint Petersburg, A.F. Mozhaysky's Military Space Academy,
Shulzhenko Anastasia Dmitrievna, candidate of technical sciences, head of the laboratory, [email protected], Russia, Saint Petersburg, A.F. Mozhaysky's Military Space Academy,
Levchik Eduard Stepanovich, applicant, [email protected], Russia, Saint Petersburg, A.F. Mozhaysky's Military Space Academy
УДК 004 (75)
DOI: 10.24412/2071-6168-2024-1-201-202
АЛГОРИТМ АВТОМАТИЗИРОВАННОГО ПОИСКА ВЕДОМСТВЕННЫХ ДОКУМЕНТОВ НА ОСНОВЕ ИНВЕРСНОЙ ЧАСТОТЫ ПОЯВЛЕНИЯ ТЕРМИНОВ В ТЕКСТЕ
А.А. Архангельский, В.Н. Шемякин
Статья посвящена проблеме совершенствования ведомственной классификации документов при использовании компьютерной техники. Приведены сведения о разных видах библиотечных классификаций, определены направления классификации ведомственных документов. Разработан алгоритм автоматизированного поиска документов на основе инверсной частоты появления терминов в тексте.
Ключевые слова: ведомственные документы, классификация документов, библиотечные классификации, реквизиты документов, номенклатура документов.
В процессе служебной деятельности используется большое количество документов. Если необходимо быстро найти какой-либо из них, то для этого следует организовать систематизированное хранение документов, то есть разделить их на группы (классы). Классификация непубликуемых документов в учреждениях отличается от классификации печатной продукции: книг, журналов, научно-технической информации и заявок на изобретения, патенты. К непубликуемым документам относятся директивы, приказы, распоряжения, протоколы и т. д.
Статья посвящена проблеме совершенствования ведомственной классификации документов в условиях перехода к электронному документообороту.
Актуальность темы статьи определяется необходимостью совершенствования ведомственной классификации документов, сохраняющей преемственность с существующими системами, при введении электронного документооборота.
В работе содержится решение задачи последовательности перехода от бумажного к электронному документообороту и указание групп документов, используемых для классификации ведомственных документов.
Целью статьи является разработка алгоритма поиска документов при использовании электронных баз данных.
Основное отличие данного материала заключается в подходе, при котором предлагается совместно использовать различные системы классификации документов, в том числе, сочетание классификаций и перечней, используемых в бумажном и электронном документообороте.