CC BY
12УДК 004.051
DOI: 10.18698/2308-6033-2020-5-1984
Метод оценки показателя качества разработки автоматизированной системы подготовки данных полета летательных аппаратов
112 1 © А.Г. Андреев , Г.В. Казаков , В.В. Корянов , Н.Н. Котяшев
1ФГБУ «4 ЦНИИ» Минобороны России, г. Королёв, Московская обл., 141091, Россия 2МГТУ им. Н.Э. Баумана, Москва, 105005, Россия
Показано, что качество разработки и приема в эксплуатацию автоматизированной системы подготовки данных (АСПД) полета летательных аппаратов зависит от многих факторов. Результаты проектирования многочисленных автоматизированных систем показали, что оценка качества по их характеристикам на этапе эксплуатации является уже следствием допущенных на этапе разработки проектных ошибок. Сформулирована задача определения факторов, влияющих на качество разработки и сдачи АСПД в эксплуатацию по данным, полученным с помощью математической обработки суждений экспертов о значимости каждого из факторов. Предложено использовать метод анализа иерархий для решения этой задачи. Разработан методический подход, позволяющий определить основные факторы, от которых зависит качество вводимой в эксплуатацию АСПД, и предложить качественные шкалы для оценки меры реализуемости каждого родового критерия; осуществить формализацию многокритериального показателя качества АСПД по степени удовлетворения требованиям родовых критериев и получить его зависимость от уровней разработки и приема в эксплуатацию системы; обосновать требования к функциональной пригодности АСПД, провести ее оценку, а также определить необходимые меры к реализации заданных требований по оперативно-техническим характеристикам АСПД.
Ключевые слова: автоматизированная система, жизненный цикл, информационная устойчивость, летательный аппарат, подготовка данных, показатели качества, родовые критерии
Введение. Качество разработки и приема в эксплуатацию автоматизированной системы подготовки данных (АСПД) полета летательных аппаратов (ЛА), как и любой сложной системы, зависит от многих факторов, среди которых необходимо выявить и обосновать наиболее важные из них, т. е. наиболее значимо влияющие на качество сдаваемой в эксплуатацию системы.
Известно, что наибольшую опасность представляют ошибки и просчеты, допущенные на начальных этапах жизненного цикла (ЖЦ) проектируемой или модифицируемой АСПД — этапах проектирования и сдачи системы в эксплуатацию [1]. Обычно качество системы [2] как обобщенная положительная характеристика системы, выражающая степень ее полезности для метасистемы, исследователя или пользователя, определяется по показателям качества:
Q = {Qi}, i = 1, n,
где Q — неупорядоченное дискретное множество; Qt = {Qij J — упорядоченное по важности множество (j = 1, m).
Показатель качества может быть выражен некоторой интегральной характеристикой. Поскольку АСПД — информационная система, то интегральным показателем может служить показатель информационной устойчивости системы [3].
Определение интегрального показателя для АСПД как сложной системы связано с решением многокритериальной задачи. В [4] утверждается, что оценка системы по многим критериям сводится к решению стандартной задачи математического программирования вида
u ( ^ ) = max ( min ) u ( s ),
^ e S,
где S — множество всех сравниваемых систем; u(s) — вещественная функция, сохраняющая упорядочение на S для количественно измеримой цели А:
s" is"o u (s')> u (s"),
A
где >--символ упорядочения в соответствии с целью А.
Однако практика проектирования АСПД показала, что оценка качества по их характеристикам является уже следствием, т. е. значения показателей качества системы оказываются ниже заданных или при сдаче системы в эксплуатацию все характеристики оказались в норме, но в процессе эксплуатации проявляются ошибки и просчеты, допущенные на начальных этапах ЖЦ АСПД. Эти ошибки не только не были выявлены, но и не могли быть выявлены в процессе приема системы в эксплуатацию. Такая ситуация объясняется наличием более глубинных факторов, которые проявятся только в процессе эксплуатации АСПД.
Если рассматривать этап сдачи АСПД в эксплуатацию, то уместно обратиться к документам [5-7], в которых предписано ориентироваться на заданный класс доверия (класс ADO), определяющий действия как разработчика, так и оценщика (заказчика), и содержащий два семейства: семейство ADO DEL (поставка системы) и семейство ADO IGS (установка, генерация и запуск системы). Эти действия включают:
• документирование разработчиком процедур, необходимых для безопасной установки, генерации и запуска системы;
• подтверждение оценщиком удовлетворения представленной в документации информации всем требованиям к содержанию и представлению свидетельств, которые определены заказчиком в тактико-техническом задании (ТТЗ) на разработку системы.
Цель статьи — разработать метод оценки показателя качества создания АСПД, позволяющий, во-первых, определить основные факторы, от которых зависит качество вводимой в эксплуатацию АСПД, и предложить качественные шкалы для оценки меры реализуемости каждого родового критерия. Во-вторых, осуществить формализацию многокритериального показателя качества АСПД по степени удовлетворения требованиям родовых критериев и получить его зависимость от уровней разработки и приема в эксплуатацию системы. В-третьих, обосновать требования к функциональной пригодности АСПД, выполнить ее оценку, а также определить необходимые меры к реализации заданных требований по оперативно-техническим характеристикам АСПД.
Оценка показателя качества разработки АСПД. По данным, полученным с помощью математической обработки суждений экспертов о значимости каждого из установленного состава факторов, влияющих на качество разработки и сдачи системы в эксплуатацию, требуется определить уровень учета указанных факторов на начальных этапах ЖЦ АСПД.
С этой целью авторами настоящей статьи предлагается использовать метод решения многокритериальных задач — метод анализа иерархий (МАИ), разработанный Т. Л. Саати [8]. В [9] отмечено, что МАИ — одновременно дескриптивная и нормативная теория измерений. Проведение парных сравнений соответствует дескриптивному подходу, нормативный подход проявляется в использовании экспертных суждений для создания шкалы интенсивностей, которую можно применять для раздельной оценки вариантов АСПД. Факторы, от которых в значительной степени зависит качество разрабатываемой АСПД, носят название родовых критериев [9], и они определяют качество процесса эксплуатации системы.
Качество сдаваемой в эксплуатацию АСПД определяет заказчик с использованием известных или разработанных им новых методов и методик, учитывающих специфику системы. Перечень основных факторов, определяющих качество АСПД на начальных этапах ЖЦ, приведен в табл. 1.
Эти факторы (см. табл. 1) носят название родовых критериев. Каждый из перечисленных факторов (критериев) имеет разное влияние на качество системы в процессе ее эксплуатации, которое может быть определено с использованием МАИ. С этой целью экспертами составляется обратно симметричная матрица парных сравнений родовых критериев Мрк (табл. 2).
Таблица 1
Основные факторы, определяющие качество проектирования и сдачи в эксплуатацию АСПД
Номер Обозначение фактора Наименование документа Содержание документа
1 ОПР «Обоснование проектных решений, определяющих облик системы» Результаты оценки показателей качества АСПД для выбранного облика в основных аспектах, соответствующих назначению системы, и интегральный показатель качества с учетом всех основных аспектов, в которых рассматривается АСПД
2 СТЗ «Оценка соответствия проектных решений требованиям ТТЗ на разработку системы» Данные, позволяющие оценить соответствие пунктов ТТЗ, содержащих требования к характеристикам, определяющим качество АСПД, и используемые алгоритмы оценки этих характеристик
3 КПИ «Оценка качества разработанной программы предварительных испытаний» Результаты обоснования необходимого объема и условий испытаний, связанных с видом модели специального программного обеспечения (СПО), положенной в основу алгоритмов реализуемости данных полета ЛА (ДПЛА) [10]
4 КМИ «Качество разработанной методики испытаний (МИ) СПО АСПД с учетом его особенностей» Порядок подтверждения точности и достоверности результатов испытаний СПО АСПД [11]
5 СПМИ «Оценка соответствия проведенных МВИ по разработанным методике и программе испытаний СПО АСПД» Порядок использования алгоритмов и методик проведения испытаний СПО АСПД и оценки полученных результатов испытаний
6 ОД «Оценка достоверности результатов проведенных МВИ СПО АСПД» Порядок использования в качестве инструмента испытаний программного моделирующего комплекса, моделирующего возмущенный полет ЛА в допустимые для данного типа ЛА пункты прибытия
7 СК «Оценка совместимости программно-технических средств компонентов АСПД» Результаты анализа совместимости программно-технических средств, используемых для подготовки различных видов информации при формировании и контроле реализуемости ДПЛА
8 СВС «Оценка совместимости ПТС АСПД и внешних систем» Порядок оценки идентичности протоколов взаимодействия АСПД с внешними системами
Таблица 2
Матрица парных сравнений родовых критериев
Родовые критерии Матрица Мрк
ОПР СТЗ КПИ КМИ СПМИ ОД СК СВС
ОПР 1 а12 а13 а14 а15 а1б а17 а\8
СТЗ 1/а12 1 а23 а24 а25 а26 а27 а28
КПИ 1/а13 1/а2з 1 аз4 аз5 а36 аз7 038
КМИ 1/а14 1/а24 1/а34 1 а45 а46 а47 а48
СПМИ 1/а15 1/а25 1/а35 1/а45 1 а56 а56 а56
ОД 1/а1б 1/а2б 1/азб 1/а46 1/^56 1 а67 а68
СК 1/а17 1/а27 1/а37 1/а47 1/а57 1/а67 1 078
СВС 1/а18 1/а28 1/аз8 1/а48 1/^58 1/а68 1/а78 1
В [8, 9] рекомендуется присваивать следующие значения элементам матрицы парных сравнений — 9, 7, 5, 3, 1 — соответственно для абсолютного, значительного, сильного, слабого преимущества и равенства элементов. Значения 8, 6, 4, 2 используются для достижения компромиссов. Общее количество независимых сравнений элементов весьма велико и равняется числу их парных сочетаний без перестано-( (п - 1)п ^
вок ---— . Этим обеспечивается достаточно высокая достовер-
V 2 у
ность получаемых оценок. Обратная симметричность матрицы до-
1
стигается с использованием соотношения ап =—.
а..
у
Преимущество матрицы парных сравнений в сопоставлении с простым взвешиванием состоит в получении избыточной информации, так как при этом каждый элемент соотносится со всеми остальными. Важным свойством матрицы парных сравнений является ее согласованность, обусловленная взаимным соответствием (в пределах погрешностей суждений экспертов) ее элементов. Числовым показателем — мерой согласованности матриц парных сравнений — может служить ее максимальное собственное число ¿шах. При полностью согласованной матрице ¿шах равно п. На практике удобно использовать и другие относительные меры согласованности — индекс согласованности 1с и отношение согласованности (ОС) [8, 9]:
1с = (¿шах -п) / (п -1);
ОС = 1с / 4с,
где 1сс — индекс согласованности случайных обратно симметричных матриц различной размерности.
Считается, что матрица парных сравнений (размерность п > 2) согласована в достаточной мере, если выполняются условия:
-¿шах п + е;
ОС < 0,1,
где е — малая величина.
В качестве вектора приоритетов родовых критериев Жр.к = (Ж1р.к; ^2р.к; ^Эр.к; ^4р.к; ^5р.к; ^бр.к; ^Ур.к; ^8р.к), с точки зрения их влияния на качество процессов проектирования и сдачи в эксплуатацию АСПД, используется собственный вектор матрицы парных сравнений. Порядок определения собственных векторов, как и собственных чисел, является элементарной задачей линейной алгебры и здесь не рассматривается.
Следующим шагом после получения уровней значимости каждого родового критерия относительно остальных является определение шкалы, в которой можно измерять значения каждого критерия качества разработки и сдачи в эксплуатацию различных вариантов АСПД.
Степень удовлетворения требованиям каждого фактора оценивается в качественной шкале. Такую оценку можно проводить по двухуровневой шкале («да» / «нет»), но результат будет слишком грубым, например, два сравниваемых варианта АСПД будут оценены уровнем «низкий», но у одной системы будет обнаружен несущественный недостаток, а у другой — существенный. Для того чтобы избежать такой ситуации, необходимо градацию качественной шкалы «низкий» разбить на несколько более мелких, например, «весьма низкий» — «очень низкий» — «низкий» — «недостаточный». Тогда качественная шкала будет иметь следующий вид: «весьма низкий» (ВН) — «очень низкий» (ОН) — «низкий» (Н) — «недостаточный» (НД) — «средний» (С) — «выше среднего» (ВС) — «высокий» (В). Для того чтобы преобразовать эту качественную шкалу в числовую (0...1), необходимо воспользоваться МАИ и сформировать матрицу уровней Му.р (табл. 3).
Таблица 3
Матрица парных сравнений качественной шкалы родовых критериев
Родовые критерии Матрица Му.р
ВН ОН Н НД С ВС В
ВН 1 ¿12 ¿13 614 615 616 617
ОН 1/Й12 1 ¿23 624 625 626 627
Н 1/Й13 1/Й23 1 634 635 636 637
НД 1/Й14 1/Й24 1/6 34 1 645 646 647
С 1/^15 1/Й25 1/6 35 1/645 1 656 657
ВС 1/Ьхб 1/Ь2б 1/636 1/646 1/656 1 667
В 1/^17 1/627 1/637 1/647 1/657 1/667 1
Далее вычисляются отношение согласованности ОС этой матрицы и собственный вектор Шу.р:
Шу.р = (Ж1у.р; ^2у.р; Язу.р; Ш4у.р; Шзу.р; Ш6у.р; Шуу.р), определяющий приоритеты каждого из перечисленных уровней шкалы с точки зрения его значимости в общем числе градаций качественной шкалы.
Полученный вектор приоритетов уровней шкалы Шу.р нормируется по максимальному компоненту вектора. В результате можно получить нормированный вектор приоритетов качественной шкалы «измерений» Шунр по каждому родовому критерию:
шн = (шн •ш,н -шн •Ш,н •Шн -Ж? 'Шп ^
у.р \ 1у.р' 2у.р> 3у.р> 4у.р> 5у.р > 6у.р>" 7у.р / •
Для корректного определения уровня, к которому относится оценка родового критерия, необходимо провести анализ и установить признаки (недостатки, уязвимости), которые присущи каждой градации качественной шкалы. Например, для пятого родового критерия градации качественной шкалы могут быть определены так, как показано в табл. 4.
Таблица 4
Градации качественной шкалы пятого родового критерия (пример)
Характеристика Уровень
Номер Содержание ВН ОН Н НД С ВС В
1 Не установлено требуемое число бездефектных испытаний СПО АСПД, соответствующее заданной величине показателя его надежности + + + + + + -
2 Не учитывается множество возмущающих факторов, действующих на ЛА в реальном полете + + + + + - -
3 Отсутствуют алгоритмы контроля реализуемости данных полета ЛА + + + + - - -
4 Испытания СПО проводятся только на тестовых вариантах Разработчика ЛА + + + - - - -
5 Разработчик ЛА не представляет на испытания документально оформленных результатов испытаний СПО в процессе его разработки + +
6 Испытания СПО АСПД проводятся без использования программного моделирующего комплекса +
7 Не оформляются результаты проведения испытаний в плане фиксации обнаруженных ошибок, выявления причин их возникновения и способов устранения этих причин с последующими испытаниями СПО АСПД +
После того как определены признаки градаций качественной шкалы для всех родовых критериев и получен нормированный вектор Жунр, каждый компонент вектора Wv.к умножается на все компоненты
нормированного вектора Wунр:
Wр.к = (^р .к, W2р .к, Wзр .к, W4р . к, W5р .к, W6р .к, W7р . к,
Результаты перемножения записываются в табл. 5.
Таблица 5
Оценки уровней значений родовых критериев в зависимости от числовых значений градаций качественной шкалы
Уровни качества родовых критериев Уровни значений родовых критериев
ОПР СТЗ КПИ КМИ СПМИ ОД СК СВС
Wlv.к W2V.K Wзр.к W4V.K W5V.K W6р.к W7P.K ^8р.к
ВН WUp.к ^21р.к Wзlр.к ^41р.к ^51р.к W61р.к ^18р.к
ОН ^!2р.к ^22р.к ^32р.к ^42р.к ^52р.к ^б2р.к ^27р.к ^28р.к
Н ^!3р.к ^23р.к Wззр.к ^4зр.к ^5зр.к ^бзр.к ^Э7р.к ^з8р.к
НД ^14р.к ^24р.к ^34р.к ^44р.к ^54р.к ^б4р.к ^47р.к ^48р.к
С ^!5р.к ^25р.к ^з5р.к ^45р.к W55V.к ^б5р.к ^57р.к ^58р.к
ВС ^1бр.к ^26р.к ^збр.к ^46р.к ^5бр.к ^ббр. ^б7р.к ^б8р.к
В ^7р.к ^27р.к ^з7р.к ^47р.к ^57р.к ^б7р.к ^77р.к ^78р.к
С помощью данных табл. 2 можно оценить степень удовлетворения требований родовых критериев следующим образом. Проводится оценка степени учета выполнения требований каждого родового критерия в шкале: «весьма низкий» — «очень низкий» — «низкий» — «недостаточный» — «средний» — «выше среднего» — «высокий». Эти оценки суммируются и получается оценка в числовой обобщенной шкале. В результате получаем одну строку оценок в виде табл. 6.
Таблица 6
Значения оценок степени удовлетворения варианта АСПД требованиям родовых критериев
Значения родовых критериев показателя Каспд для варианта АСПД
ОПР СТЗ КПИ КМИ СПМИ ОД СК СВС КАСПД
»'ххр* Прим Wxxр.к <ечание: Wxxр.к ХХ — чи ^ххр.к словое з ^ххр.к ачение кр ^ххр.к итерия. »'ххр.к »'ххр.к Значение
Далее рассмотрим практическое применение изложенного метода на следующем примере. Формируется матрица Мр.к, собственный вектор которой определяет приоритеты каждого из родовых критериев. Эта матрица может иметь вид, представленный в табл. 7.
Таблица 7
Вид сформированной матрицы парных сравнений родовых критериев
Родовые критерии Матрица Мрк
ОПР СТЗ КПИ КМИ СПМИ ОД СК СВС
ОПР 1 0,5 0,25 0,14 0,33 0,2 0,2 0,2
СТЗ 2 1 0,5 0,25 0,5 0,5 0,5 0,5
КПИ 4 2 1 0,5 1 1 1 1
КМИ 7 4 2 1 2 2 2 2
СПМИ 3 2 1 0,5 1 1 1 1
ОД 1 2 1 0,5 1 1 1 1
СК 5 2 1 0,5 1 1 1 1
СВС 5 2 1 0,5 1 1 1 1
Вектор приоритетов на основании данных табл. 7 вычисляют следующим образом:
Шр.к = (0,031; 0,064; 0,29; 0,254; 0,124; 0,133; 0,133; 0,133).
Затем определяют отношение согласованности этой матрицы:
ОС = 0,002.
Матрица Мр.к согласована.
Далее формируется матрица Му.р, собственный вектор которой определяет приоритеты каждой из градаций качественной шкалы «ВН — ОН — Н — НД — С — ВС — (В)». Пусть эта матрица имеет вид, приведенный в табл. 8.
Таблица 8
Вид матрицы парных сравнений градаций качественной шкалы
Родовые Матрица Му.р
критерии ВН ОН Н НД С ВС В
ВН 1 0,5 0,33 0,25 0,2 0,125 0,11
ОН 2 1 1 0,5 0,5 0,25 0,125
Н 3 1 1 0,5 0,5 0,25 0,125
НД 4 2 2 1 1 0,5 0,2
С 5 2 2 1 1 0,5 0,2
ВС 8 4 4 2 2 1 0,5
В 9 8 8 5 5 2 1
Вектор приоритетов градаций качественной шкалы рассчитывают
так:
Шу.р = (0,028; 0,056; 0,059; 0,111; 0,115; 0,222; 0,410).
Далее определяют отношение согласованности этой матрицы:
ОС = 0,01,
что удовлетворяет требованиям согласованности.
Вектор Жу.р нормируется по максимальному компоненту для получения нормированного вектора приоритетов качественной шкалы «измерений» Жунр:
Жунр = (0,068; 0,136; 0,144; 0,27; 0,28; 0,541; 1,00).
По аналогии формируют согласованные матрицы парных сравнений качественных шкал относительно каждого родового критерия, вычисляют их нормированные собственные векторы. В результате можно получить значения шкал уровней для всех родовых критериев (табл. 9), в том числе в виде матрицы.
Таблица 9
Шкалы уровней выполнения требований родовых критериев
Уровни качества родовых критериев Уровни родовых критериев
ОПР СТЗ КПИ КМИ СПМИ ОД СК СВС
ВН 0,064 0,064 0,064 0,064 0,068 0,064 0,074 0,014
ОН 0,104 0,104 0,104 0,104 0,136 0,104 0,114 0,018
Н 0,153 0,153 0,153 0,153 0,144 0,153 0,153 0,153
НД 0,241 0,241 0,241 0,241 0,27 0,241 0,241 0,141
С 0,25 0,357 0,357 0,357 0,28 0,257 0,357 0,357
ВС 0,497 0,39 0,49 0,39 0,541 0,49 0,39 0,49
В 1 1 1 1 1 1 1 1
Оформим шкалы уровней для всех родовых критериев в виде матрицы
(0,064 0,064 0,064 0,064 0,068 0,064 0,074 0,014 ^ 0,104 0,104 0,104 0,104 0,136 0,104 0,114 0,174 0,153 0,153 0,153 0,153 0,144 0,153 0,153 0,153 0,241 0,241 0,241 0,241 0,27 0,241 0,241 0,141 0,25 0,357 0,357 0,357 0,28 0,257 0,357 0,357 0,497 0,39 0,49 0,39 0,541 0,49 0,39 0,49 11111111
Жн =
" р.н
Умножая эту матрицу на собственный вектор приоритетов родовых критериев, получаем формализованное представление многокритериального показателя качества АСПД по степени удовлетворения требованиям родовых критериев. Зависимость обобщенного критерия функциональной пригодности АСПД от уровней ее качества представлена на рис. 1.
Кдспд
1,0--------------1--------------(--------|------У
0,9------/
0,8
0,6
0,4
0,2
0 ------
1 2 3 4 5 6 ]
Рис. 1. Зависимость обобщенного критерия КАСпд функциональной пригодности АСПД от уровней ее качества у. __К • _К • _К •
АСПД ] • АСПД 11 '--------АСПД/2 •
_К • _К • _К •
АСПДз •--------АСПД/4 • ■ аспд/5 •
_К • _К
АСПД! • АСПД/У
Оценка реального значения обобщенного критерия функциональной пригодности варианта АСПД определяется путем выбора экспертом в шкале уровней пригодности (см. табл. 8) уровней, удовлетворяющих требованиям каждого родового критерия. Пусть это будет вектор Ж*р.
Жу*р = (1,000^, ООС^ 0,4^ 0,390;1,000; 0,490; 0,257; 0,490).
Скалярное произведение этого вектора и вектора приоритетов родовых критериев Жр.к и будет значением обобщенного показателя качества для оцениваемого варианта АСПД.
каспд = <рЖр.к = 0,547.
Это значение относится к шестому уровню обеспечения качества АСПД (рис. 2).
Рис. 2. Результаты оценки уровня качества варианта АСПД:
_К • _К • _К •
АСПД / • АСПД / 1 • АСПД/ •
_К • _К • _К •
............АСПД/ • 14 АСПД/, •------------АСПД/з •
"" КАСПД/6 ' КАСПД/7 '---- 0,547
Согласно данным (см. рис. 2), АСПД находится в состоянии «ВС». Точность оценки обобщенного критерий функциональной пригодности АСПД определяется точностью задания исходных данных, т. е. погрешностями формирования матриц парных сравнений, принятыми допущениями относительно исходных структур родовых критериев и градаций качественной шкалы, а также количеством привлекаемых к анализу специалистов.
Расчеты показывают, что изменение любого элемента матрицы парных сравнений на величину 2 — естественную ошибку в суждениях на один ранг в принятой шкале отношений — приводит в среднем к отклонениям весов приоритетов не более, чем на величину 0,02, что практически незначимо и, следовательно, в меньшей мере проявится и в оценке показателя качества разработки и сдачи в эксплуатацию АСПД.
Дальнейшее повышение уровня ее качества направлено на проведение еще нереализованных организационно-технических мер по
всем родовым критериям. Если будут заданы ограниченные средства на их реализацию, то следует находить максимальное значение обобщенного показателя качества АСПД, а в случае заданного его уровня минимизировать средства на его достижение. Эту задачу можно решить нахождением приоритетов мероприятий, в том числе с учетом затрат на их проведение, опять же по правилам МАИ. При наличии коэффициентов затрат на их проведение она может быть решена как задача нелинейного математического программирования с использованием функционала затрат в виде суммы интегралов Римана — Стильтьеса [12].
Заключение. В настоящей статье авторами были сделаны следующие выводы.
1. Определены основные факторы, от которых в определяющей степени зависит качество вводимой в эксплуатацию АСПД, предложены качественные шкалы для оценки меры реализуемости каждого родового критерия.
2. Осуществлена формализация многокритериального показателя качества АСПД по степени удовлетворения требованиям родовых критериев на основе использования метода анализа иерархий как одновременно дескриптивной, так и нормативной теории измерений. Получена его зависимость от уровней разработки на начальных этапах ЖЦ АСПД.
3. Показано, что на основе введенного показателя качества АСПД можно обосновывать требования к функциональной пригодности АСПД, осуществлять ее оценку, а также определять необходимые меры к реализации заданных требований по оперативно-техническим характеристикам АСПД, т. е. осуществлять организационно-техническое совершенствование этапов ее проектирования и сдачи в эксплуатацию.
ЛИТЕРАТУРА
[1] Белик А.Г., Цыганенко В.Н. Качество и надежность программных систем. Омск, Изд-во ОмГТУ, 2018, 80 с.
[2] Антонов А.В. Системный анализ. Москва, Высшая школа, 2004, 454 с.
[3] Андреев А.Г., Казаков Г.В., Корянов В.В. Методы оценки показателя информационной устойчивости автоматизированной системы управления полетами космических аппаратов. Инженерный журнал: наука и инновации, 2016, вып. 6. Б01: 10.18698/2308-6033-2016-06-1505
[4] Николаев В.И., Брук В.М. Системотехника: методы и приложения. Ленинград, Машиностроение, 1985, 199 с.
[5] ГОСТ Р ИСО/МЭК 15408-1-2012. Информационная технология (ИТ). Методы и средства обеспечения безопасности. Критерии оценки безопасности информационных технологий. Часть 1. Введение и общая модель. Москва, Изд-во стандартов, 2013, 56 с.
[6] ГОСТ Р ИСО/МЭК 15408-2-2013. Информационная технология. методы и средства обеспечения безопасности. Критерии оценки безопасности
информационных технологий. Часть 2. Функциональные компоненты безопасности. Москва, Изд-во стандартов, 2014, 161 с.
[7] ГОСТ Р ИСО/МЭК 15408-3-2013. Информационная технология. методы и средства обеспечения безопасности. Критерии оценки безопасности информационных технологий. Часть 3. Компоненты доверия к безопасности. Москва, Изд-во стандартов, 2014, 150 с.
[8] Саати Т.Л. Принятие решений. Метод анализа иерархий. Москва, Радио и связь, 1993, 312 с.
[9] Саати Т.Л. Принятие решений при зависимостях и обратных связях. Аналитические сети. Москва, Ленанд, 2018, 360 с.
[10] ГОСТ 19.301-79. Единая система программной документации. Программа и методика испытаний. Требования к содержанию и оформлению. Москва, Изд-во стандартов, 2014, 3 с.
[11] ГОСТ 16504-81. Система государственных испытаний продукции. Испытания и контроль качества продукции. Основные термины и определения (с изменениями № 1). Москва, Изд-во стандартов, 2014, 24 с.
[12] Глухов А.П., Котяшев Н.Н., Лукин В.Л. Управление ресурсами проектируемых систем и комплексов критических приложений с заранее поставленными для них целями управления в условиях воздействий. Двойные технологии, 2008, № 1, с. 46-55.
Статья поступила в редакцию 23.03.2020
Ссылку на статью просим оформлять следующим образом:
Андреев А.Г., Казаков Г.В., Корянов В.В., Котяшев Н.Н. Метод оценки показателя качества разработки автоматизированной системы подготовки данных полета летательных аппаратов и приема ее в эксплуатацию. Инженерный журнал: наука и инновации, 2020, вып. 5. http://dx.doi.org/10.18698/2308-6033-2020-5-1984
Андреев Анатолий Георгиевич — канд. техн. наук, старший научный сотрудник ФГБУ «4 ЦНИИ» Минобороны России. e-mail: kgv.64@mail.ru
Казаков Геннадий Викторович — канд. техн. наук, доцент, начальник управления ФГБУ «4 ЦНИИ» Минобороны России, почетный работник науки и техники Российской Федерации. e-mail: kgv.64@mail.ru
Корянов Всеволод Владимирович — канд. техн. наук, доцент, первый заместитель заведующего кафедрой «Динамика и управление полетом ракет и космических аппаратов» МГТУ им. Н.Э. Баумана. e-mail: vkoryanov@bmstu.ru
Котяшев Николай Николаевич — д-р техн. наук, профессор, главный научный сотрудник ФГБУ «4 ЦНИИ» Минобороны России. e-mail: kgv.64@mail.ru
Method of evaluating indicator of the quality of development and commissioning the automated system for preparing aircraft flight data
© AG. Andreev1, G.V. Kazakov1, V.V. Koryanov2, N.N. Kotyashev1
1FSBI "The 4th Central Research Institute of the Ministry of Defence of the Russian Federation", Korolyov town, Moscow region, 141091, Russia 2Bauman Moscow State Technical University, Moscow, 105005, Russia
The quality of development and commissioning the automated system for preparing aircraft flight data (ASPD) depends on many factors, among which it is necessary to identify and justify those most significantly affecting quality of the system being commissioned. The practice of designing an ASPD has shown that the quality assessment based on its characteristics is nothing more than a consequence. This situation is due to the presence of deeper factors that will only appear during the operation of the system. To eliminate this situation, the problem is formulated as a task of determining the factors affecting the quality of development and commissioning the system, based on the data obtained by mathematical processing of expert estimates of each factor significance. To solve this problem, it is proposed to use the hierarchy analysis method. Developed on its basis the methodological approach makes it possible:
- to identify the main factors significantly affecting the quality of the ASPD being commissioned, and to propose qualitative scales for assessing the degree of feasibility of each generic criterion;
- to formalize a multi-criteria indicator of the degree of the ASPD quality compliance with the requirements of generic criteria and obtain its dependence on the levels of development and commissioning the system;
- to justify the requirements for ASPD operational suitability, perform its evaluation, as well as determine the necessary measures for implementing the specified requirements on operational and technical characteristics of the ASPD.
Keywords: automated system, life cycle, information stability, aircraft, preparation of data, quality indicators, generic criteria
REFERENCES
[1] Belik A.G., Tsyganenko V.N. Kachestvo i nadezhnost programmnykh system [Quality and reliability of software systems]. Omsk, OmSTU Publ., 2018, 80 p.
[2] Antonov A.V. Sistemnyy analiz [System Analysis]. Moscow, Vysshaya shkola Publ., 2004, 454 p.
[3] Andreev A.G., Kazakov G.V., Koryanov V.V. Inzhenernyy zhurnal: nauka i in-novatsii — Engineering Journal: Science and Innovation, 2016, iss. 6. http://dx.doi.org/10.18698/2308-6033-2016-06-1505
[4] Nikolayev V.I., Bruk V.M. Sistemotekhnika: metody i prilozheniya [System engineering: methods and applications]. Leningrad, Mashinostroyeniye Publ., 1985, 199 p.
[5] GOST R ISO/IEC 15408-1-2012. Informatsionnaya tekhnologiya (IT). Metody i sredstva obespecheniya bezopasnosti. Kriterii otsenki bezopasnosti infor-matsionnykh tekhnologiy. Chast 1. Vvedeniye i obshchaya model [State Standard R ISO/IEC 15408-1-2012. Information Technology (IT). Security methods and tools. Criteria for assessing information technology security. Part 1. Introduction and general model]. Moscow, Standartinform Publ., 2014.
[6] GOST R ISO/IEC 15408-2-2013. Informatsionnaya tekhnologiya. metody i sredstva obespecheniya bezopasnosti. Kriterii otsenki bezopasnosti infor-matsionnykh tekhnologiy. Chast 2. Funktsionalnyye komponenty bezopasnosti [State Standard R ISO/IEC 15408-2-2013. Information technology. Security methods and tools. Criteria for assessing information technology security. Part 2. Functional components of security]. Moscow, Standartinform Publ., 2014.
[7] GOST R ISO/IEC 15408-3-2013. Informatsionnaya tekhnologiya. metody i sredstva obespecheniya bezopasnosti. Kriterii otsenki bezopasnosti infor-matsionnykh tekhnologiy. Chast 3. Komponenty doveriya k bezopasnosti [State Standard R ISO/IEC 15408-3-2013. Information technology. Methods and means of ensuring safety. Criteria for assessing information technology security. Part 3. Components of security assurance]. Moscow, Standartinform Publ., 2014.
[8] Saati T.L. Prinyatie resheniy. Metod analiza iyerarkhiy [Decision Making. Method of hierarchy analysis]. Moscow, Radio i svyaz Publ., 1993, 312 p.
[9] Saati T.L. Prinyatie resheniy pri zavisimostyakh i obratnykh svyazyakh. Anali-ticheskiye seti [Making decisions with dependencies and feedback. Analytical networks]. Moscow, LENAND Publ., 2018, 360 p.
[10] GOST 19.301-79. Edinaya sistema programmnoy dokumentatsii. Programma i metodika ispytaniy. Trebovaniya k soderzhaniyu i oformleniyu [State Standard 19.301-79. Unified system for program documentation. Program and methods of testing. Requirements for contents and form of presentation]. Moscow, Standartinform Publ., 2010.
[11] GOST 16504-81. Sistema gosudarstvennykh ispytaniy produktsii. Ispytaniya
i kontrol kachestva produktsii. Osnovnyye terminy i opredeleniya (s izmene-niyami № 1) [The state system of testing products. Product test and quality inspection. General terms and definitions (as amended by no. 1)]. Moscow, Standartinform Publ., 2011.
[12] Glukhov A.P., Kotyashev N.N., Lukin V.L. Dvoynye Tekhnologii — Dual Technologies, 2008, no. 1, pp. 46-55.
Andreev A.G., Cand. Sc. (Eng.), Senior Researcher, the 4th Central Research Institute of the Ministry of Defence of the Russian Federation, author of over 80 research publications in the field of reliability of automated control systems. e-mail: kgv.64@mail.ru
Kazakov G.V., Cand. Sc. (Eng.), Assoc. Professor, Head of the Department of the 4th Central Research Institute of the Ministry of Defence of the Russian Federation, honorary worker of science and technology of the Russian Federation; author of over 80 research publications in the field of reliability of automated control systems. e-mail: kgv.64@mail.ru
Koryanov V.V., Cand. Sc. (Eng.), Assoc. Professor, First Deputy Head of the Department of Dynamics and Flight Control of Rockets and Spacecraft, Bauman Moscow State Technical University; author of over 40 research publications. e-mail: vkoryanov@bmstu.ru
Kotyashev N.N., Dr. Sc. (Eng.), Professor, Chief Research Officer, the 4th Central Research Institute of the Ministry of Defence of the Russian Federation; author of over 150 research publications in the field of ballistics, reliability of automated control systems. e-mail: kgv.64@mail.ru
