CC BY
19
ФУНДАМЕНТАЛЬНЫЕ ОСНОВЫ ПРОБЛЕМ НАДЕЖНОСТИ И КАЧЕСТВА
FUNDAMENTALS OF RELIABILITY ISSUES
AND QUALITY
УДК 681.2.084-192 DOI 10.21685/2307-4205-2019-4-1
Н. А. Северцев
МОДЕЛИ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ В БЕЗОПАСНОМ И НАДЕЖНОМ ФУНКЦИОНИРОВАНИИ СЛОЖНОЙ КОСМИЧЕСКОЙ СИСТЕМЫ
N. A. Severtsev
SOFTWARE MODELS IN THE SAFE AND RELIABLE OPERATION
OF A COMPLEX SPACE SYSTEM
Аннотация. Актуальность и цели. Проведен анализ функции распределения наблюдаемых результатов тестирования программного обеспечения, влияющих на надежность и безопасность полета космического аппарата. В качестве параметров, позволяющих оценить относительную эффективность моделей оценки безопасности и степень их адекватности, использованы текущая интенсивность потока проявления ошибок, статистика Брауна, функция правдоподобия, а также расстояние Колмагорова. Материалы и методы. Анализ развития адаптивных моделей оценки надежности программного обеспечения показывает, что априори нельзя выделить наиболее эффективную модель оценки надежности отрабатываемого программного обеспечения. Степень адекватности модели оценки безопасности можно уточнить лишь апостериорно по результатам испытаний программного обеспечения. Показано, что в программном обеспечении задействована вполне конкретная мера надежности и безопасности, которая определяется вариантами входных данных. Результаты. Мера надежности программного обеспечения определена через плотность распределения времени. В качестве показателей надежности ПО в момент Ь рассматриваются либо число оставшихся в ПО ошибок, либо время до следующей ошибки, либо оба показателя вместе. Выводы. Рассматриваемая модель является достаточно унифи-
Abstract. Background. An analysis is made of the distribution function of the observed software testing results that affect the reliability and safety of the spacecraft flight. The parameters used to evaluate the relative effectiveness of the safety assessment models and the degree of their adequacy are the current error flow rate, Brown statistics, likelihood function, and Kolmagorov distance. Materials and methods. An analysis of the development of adaptive models for evaluating software reliability shows that a priori it is impossible to single out the most effective model for evaluating the reliability of software being worked out. The degree of adequacy of the safety assessment model can only be clarified a posteriori from software testing results. It is shown that a very specific measure of reliability and security is involved in the software, which is determined by the input data options. Results. A measure of software reliability is determined through the density of time distribution. As indicators of software reliability at time t, we consider either the number of errors remaining in the software, or the time until the next error, or both indicators together. Conclusions. the model under consideration is quite unified. It combines well-known approaches and makes it possible to further generalize on the basis of the theory of stochastic filtering both in the linear and nonlinear cases.
© Северцев Н. А., 2019
цированной. Она объединяет известные подходы и дает возможность дальнейшего обобщения на основе теории стохастической фильтрации как в линейном, так и в нелинейном случае.
Ключевые слова: моделирование, функция распределения, программное обеспечение, надежность, безопасность, космическая система.
Keywords: simulation, distribution function, software, reliability, security, space system.
Рассмотрим функцию распределения наблюдаемых результатов тестирования программного обеспечения (ПО), а также наблюдаемых параметров, влияющих на надежность и безопасность полета космического аппарата.
В качестве параметра, который позволяет оценить относительную эффективность моделей оценки безопасности и степень их адекватности к реальным процессам, можно использовать: 1) текущую интенсивность потока проявления ошибок в виде
I
Xi - Xi-1
i-1
i = 1,2,3,...,
где Х1 _1 - интенсивность проявления ошибок на интервале времени между (I -1) и г -й ошибкой; 2) текущее изменение медианы в виде
I
« -ei-i
где 8. - прогнозная медиана для интервала времени между возникновениями (г - 1)-й и г -й ошибок; 3) статистику Брауна
12
I Г «i- E (« i )1 I [« i-«i ]2
где г = 1,...,п , п - выявленные ошибки в процессе разработки ПО; ТЕ(г.) - оценка среднего 8., т.е. математическое ожидание прогнозного распределения; 8 - статичтическое среднее интервала г.; 4) функцию правдоподобия в виде
j
Qn = П f («i ),
i=j+1
где ^ (г.) - прогнозная плотность распределения для интервала 8., у = 1,...,п - номер шага прогноза. Сравнение двух моделей А и В по этому показателю осуществляется через отношения подобия
RQ„ =
п z f (« i ) п ?JB (« i )
если RQn ^^ при п ^^, то тогда необходимо отдать предпочтение модели А, а модель В не использовать;
5) расстояние Колмагорова, а именно:
а) последовательности и1, где и1 = ^ (г.) получается путем преобразования наблюдаемого
реального 8. с использованием прогнозной функции распределения интервала 8г, если каждое будет идентично ¥1, то и. будут равномерно распределены на интервале (0,1), поэтому вопрос близости Т. к ¥1 определяется близостью распределения (0,1);
б) по последовательности Qi, где Qi = , где V = —1п(1 — u), т.е. Vi - будет выборкой из со-
7=1
вокупности с экспоненциальным распределением и единичной интенсивностью.
Это будет реализация однородного пуассоновского процесса, что можно принять за нулевую гипотезу. Отличие показателя качества по последовательности и и Qi заключается в том, что первый показатель может давать заведомо малое расстояние Колмагорова при неустойчивой работе модели оценки безопасности программного обеспечения, когда на одной части выборки по ошибкам, выявленные в процессе отработки программного обеспечения, модель выдает завышенные оценки надежности и безопасности, а на другой - заниженные. Показатель безопасности последовательности Qi позволяет учесть такую неустойчивость в модели [1].
Сравнительный анализ развития адаптивных моделей оценки надежности программного обеспечения показывает, что априори нельзя выделить наиболее эффективную модель оценки надежности отрабатываемого программного обеспечения [2].
Можно ли ввести частичное упорядочивание на множество моделей, используя, например, введение показателя безопасности на наборе одних исходных данных? В отдельности не адаптивные модели вряд ли могут быть практически применимы для оценки безопасности любого комплекса программного обеспечения. Степень адекватности модели оценки безопасности можно уточнить лишь апостериорно по результатам испытаний программного обеспечения. Например, используя для этого набор необходимых моделей с целью последующего обобщения результатов их работы для окончательного решения в оценке безопасности и надежности программного обеспечения. Количество статистических данных о выявленных ошибках в зависимости от конкретной реализации проекта, например, при полете воздушно-космического корабля, в программном обеспечении должна быть задействована вполне конкретная мера надежности и безопасности, которая определяется вариантами входных данных. На этой ветви может быть ошибка, которая приведет к отказу в системе управления аппаратом. Случайность в выборе конкретного варианта за действия программного обеспечения может быть количественно учтена следующим образом: пусть Рг - вероятность того, что данная ошибка встретится на интервале времени
(г, г + Д1): Рг = фДг + О(Дг), (1)
где ф - интенсивность проявления ошибок.
Допустим, что две любые ошибки на данном интервале времени могут проявляться независимо, тогда ошибке в той части программного обеспечения, который задействуется редко или мало вероятно, будет соответствовать более низкая интенсивность. Все возможные ошибки могут быть разделены на конечное число категорий К так, что ошибкиу'-й категории имеют общее значение фi. Так как
ошибки независимые, рассматривается число ошибок категории у', оставшихся к моменту г [3].
Пусть Е - событие, означающее, что некоторая ошибкау'-й категории встретится на интервале (г, г + Д1;), тогда
Рг (Е )= фХуг Дг+0(Дг). (2)
Введя процесс пг генерации ошибок у'-й категории следующим образом: =Ц+ dWjt, пу0 = 0, где Цу = и Wjt являются независимыми маргиналами, тогда
dnJt = + dWJt, пу0 = 0 (3)
дает модель наблюдаемого процесса.
Действительный случайный процесс 8 = 8(г) на множестве Т действительной прямой называется мартингалом, если математическое ожидание [4] Е[е(г) и Е{е(г)| Г£)] = е(£) с вероятностью 1 при всех £г е Т , £ < г, где условное математическое ожидание берется относительно а -алгебры Г£) ,порожденной всевозможными событиями вида {в(8) < в], £ > г, V е Т.
Перенесение мартингала на дискретное время очевидно. Субмартингал предполагает увеличение условного математического ожидания, а супермартингал - уменьшение по сравнению с текущим моментом времени.
Понятие полумартингала связано с тем, что процесс может быть либо субмартингалом, либо супермартингалом. Итак, если понятие марковского процесса связано с поведением условной вероятности значений процесса на следующем интервале времени, то понятие мартингала (полумартингала) связано с поведением математического ожидания значения процесса в следующий момент времени [5].
Представим векторные процессы в виде Nt =[п1г ,пъ,...,пш]Т, Хг =[хь,х2г,...,xkt] , Щ =[[,^,...,] и матрицу A = diag(Wl,W2,...,Wk).Тогда (3) можно представить в виде
dNt =ЛХ$ + dWt, N. = 0 , (4),
где Nt - наблюдаемый процесс. Если же процесс разработки ПО строится таким образом, что
к
наблюдать можно лишь сумму п1 = ¿пп, то получим уравнение вида
7=1
dnt + dWt, п0 = 0 , (5)
где ^ = , Щ = ¿Щ, .
7=1 7=1
При разработке модели данного процесса надо учитывать механизм коррекции ошибок после их обнаружения и накладывать стохастические и детерминированные ограничения на все возникающие при этом величины. Кроме того, необходимо учитывать неопределенность знания параметров во всех используемых априорных распределениях, неопределенность количественных оценок начального числа ошибок каждой категории и неопределенность самих интенсивностей Щ. В общем подходе недопустимо предположение о случайном характере всех основных величин. Это будет всегда верно, если в качестве программного обеспечения рассматривать не одну небольшую программу [6].
Предположим коррекцию каждой встреченной ошибки, что означает dxt = - dNt, откуда в следующей модели процесса X:
X = - ЛХ^г - dWt. (6)
В итоге получается система стохастических дифференциальных уравнений вида
dxt = - Ах^ - dWt,
dnt = АхД + dWt, (7)
N. = 0.
Данная модель (7) является достаточно общей, чтобы перекрыть категории моделей выше указанных. В качестве показателей надежности ПО в момент 1 могут рассматриваться либо число оставшихся в ПО ошибок, либо время до следующей ошибки, либо оба показателя вместе. Это приводит к оценке случайных наблюдаемых параметров хг, ^ , по наблюдаемым величинам N или п£, 0 < £ < /. В итоге задача свелась к линейной стохастической фильтрации, которая имеет развитую методологию решения [7].
Представим случай ошибок одной категории. Для случая к = 1 модель примет следующий вид:
dxt = - фх^ - dWt,
dnt = фх^ + dWt, (8)
п0 =
Положим, что (х0, ф) есть случайный элемент, который имеет априорную функцию плотности
распределения вероятностей По по отношению к мере £ на NxKt , где N = {0, 1, 2, ...}, К =[0,. Мера £ будет произведением считывающей меры и меры Лебега. Проблема фильтрации сводится к тому, чтобы получить выражение для апостериорной плотности вероятности П на (х, ф) при условии, что имеется информация {Nx, 0 < £ < Для решения этой задачи необходимо знать детерминированные параметры апостериорной плотности П0. В случае если они неизвестны, тогда они оцениваются методом максимального правдоподобия. Функционально правдоподобие можно взять в виде [8]
П t = exp
t t -J (( -1)ds + J log hsdns
(9)
где Ф£ - условное математическое ожидание Ф£ при данных п0, Ф£ = Е{&£ | п, 0 <а< £}. Оно может быть определено, если известна плотность П§ Ф£ = I хфП£ (х, ф) ф (х, ф). Допустим, что в результате наблюдений получены значения П£, 0 < £ < t и ошибки возникли в моменты времени tj, у = 1,..., пу. Тогда апостериорная плотность вероятности Пt на (х,ф) будет иметь вид
Пt ( ф) = Zn0 (X + n, ф)( + ntфп exp [-ф( + X/j)
X!
(10)
где Z выбирается из условия нормировки J nt (x, ф) dp (x, ф) = 1.
Представим частные случаи, получаемые из формулы (10) при разных выборах априорного распределения П0, которые могут быть использованы в практике.
1. Предполагая, что X0 и ф являются статистически независимыми случайными величинами, где X0 имеет биномиальное распределение, X0 = bin(N,P), а ф имеет гамма-распределение ф = Г (а, в), где N, P, а, в - соответствующие параметры указанных распределений. Тогда
П t (x, ф) = px (t - рРвафа"А
exP (вф)
Г (а)
Объединяя с (10), получим апостериорную плотность в виде
П, (x, ф) = Л( f N1 px (1 - р )N - x фа+п-1 Xexp (( + Xt + S )
(11).
Из уравнения (11) видно, что (х, ф) не являются статистическими величинами для любого t > 0. Тем не менее мартингальное распределение для ф является биномиальной смесью из гамма-распределений. Условные средние значения для величин Хх и \ можно определить из уравнения (11).
2. В случае если вместо биномиального распределения принять распределение Пуассона с параметром п, то вместо выражения (11) можно получить предельное выражения для N
Np ^ п следующего вида [9]:
Пt (x,ф) = n^XrexP(-П)фа+Пг + exp(( + Xt + S/;)).
(12)
3. Допустим, что ф является детерминированной величиной ф = ф0 = const, а X0 имеет априорное распределение Пуассона с параметром п . Тогда можно получить, что априорное распределение для Xt будет являться распределением Пуассона с параметром nt = П exp (-ф^). Следовательно,
Xt =ФЛ +ф0п exp (-ф) (13)
т.е. Xt не зависит от nt.
4. Предельный случай.
Пусть X0 является детерминированным числом. При этом в случае 1 можно положить p = 1. Тогда из выражения (11) видно, что апостериорное распределение для Xt выражается в величину (N-nt), а для ф имеем гамма-распределение с апостериорными параметрами Г (а + nt ;Р +1 (N - nt) + S jtj), тогда [10]
- (N + n ) + (a + n)
X _-*-^--. (14)
a + nt;P +1 (N - nt) + Sjtj
Используя данный результат, определяется мера надежности через плотность распределения
времени. При фиксированном ф плотность распределения для qt имеет вид фxt exp(-ф^д), q > 0.
Имея статистику ошибок в ПО и учитывая приведенное уравнение, можно получить выражение апостериорной плотности в виде [11, 12]
г ч / ч (N-n)(a-nt)(( +1(N-nt) + S t )
{фХехр(-фXtq)Пt (ф)ф_^-^-^-i, jj' . (15)
о (в +1 (N - nt) + S/j)
Из уравнения (15) следует, что если условное математическое ожидание для qt существует, то оно будет равно
q (16)
1 N - nt (a + nt -1) ' ^ ;
Во всех описанных случаях оценки максимального правдоподобия для всех параметров априорного распределения (в случаях их неизвестности) могут быть получены посредством подстановок соответствующих выражений для Xt в уравнение (9).
Для случая различных категорий ошибок метод подхода будет следущий. Пусть 1 < K < г -число категорий ошибок. Примем, что пары (Xj0, фj), j _ 1, ..., Kявляются статистически независимыми при данном начальном распределении П0. Тогда для каждого t > 0 при этом оказываются также статистически независимыми и подчиняются совокупному апостериорному распределению П . Более того, все пары ((0, фj), соответствующие той категории ошибок, которые не проявлялись при тестировании, являются идентично распределенными согласно П0. Эти утверждения достаточны для того, чтобы совместную апостериорную плотность пары (Xt, ф), ф _(ф1, ф2,..., фк) определить через набор отдельных апостериорных составляющих ((0, фj), j _ 1, ..., K. Для оценки максимального правдоподобия достаточно знать nS, 0 < S < t [13].
Рассмотрим случай, когда наблюдается величина nS. Обозначим момент выявления ошибки lj -й категории через tj < t, j _ 1,..,nt. Пусть K <г и пары (Xj0, фj) независимы для j _ 1,..,K и идентично распределены по Xj 0 - bin (1, p), фj - Г (a, р). Тогда
, , Px (1 - P)1-Xj рафГехр (-рф,)
П0 ( Фj)_—-Чй- . (17)
Апостериорная плотность Пtj для каждой из пар (Xjt, фу) является выраженной для Xljt в точку Xljt _ 0, а для ф^ имеем гамма-распределение Г (a + 1, р + tj) .Следовательно,
фj
а + 1
(18)
П} у
Это отражает факт, что ошибки, которые обнаруживаются первыми, в среднем имеют большую интенсивность. Для других пар (х^, фу), где у ф{/р - /ы}, имеем для каждой из них апостериорную плотность П в виде [14]
где р (t ) =
Пj (XJt, фj)_1exp(-фj (в +1ф7 ))(в +1)axjpxj (t)(1 -p(t))
Рва
1-x<
(19)
pea+(1 - p )(в +1)
Интерпретация для p(t) следующая: p (t) = Prob {xjt = 1} .
Исходя из изложенного выше, величина EjXjt имеет апостериорное распределение
bin(K-nt,P(t)). Поэтому в качестве оценки для нее выбираем ЕjXjt = (K-nt)P(t). Далее имеем оценку [15]
a(K - nt )P (t)
в + t
Для ошибок одной категории можно вычислить апостериорное распределение для qt
п (t ^ q )=1-
p (t)
в+t в + t + q
\a
\K-n,
+ 1 - P()
(20)
Равенство (20) не выполняется, если р = 1. Если взять р = 1, то получим следующие апостериорные вероятности в виде ф/у - Г (а +1, р + tj), фу = Г (а, р +1), у Ф {/1,..., /ы } , а величина выражается в К - п, \ - Г ((ТС - п), р +1). Допустим, что число К бесконечно, т.е. рассматриваются только определенные апостериорные плотности \. Естественный выбор для априорной плотности П0 и априорной плотности для \ следует из первого случая при предположении, что X0 = V . Тогда [16]
П () = I ^ exp (-п)Г (av, в).
(21)
Апостерионое распределение для X]Хр принимает вид Пуассона с параметрами п и П0 (), переходит в П/ (/):
П t (l ) = exp (-П )Г (av, в +1),
. an(t)
' в+t '
где n(t ) =
i О \а
Пв
v в + ' /
, отсюда а,
(22)
Оценки максимального правдоподобия для параметров априорных распределений могут быть получены путем подстановки соответствующих выражений для ^ в уравнение (9). Таким образом, рассматриваемая модель является достаточно унифицированной. Она объединяет известные подходы и дает возможность дальнейшего обобщения на основе теории стохастической фильтрации как в линейном, так и в нелинейном случае [17].
v
Библиографический список
1. Иванющенко, А. С. Математические модели при испытании летательных аппаратов / А. С. Иванющенко, А. И. Иванов, Н. Н. Козлов, А. М. Московский. - Москва : Тех. инф., 2004. - 600 с.
2. Иванов, Н. И. Вопросы теории испытаний структурно-сложных систем / Н. И. Иванов, А. С. Иващенко, А. М. Московский. - Москва : Технология информационных систем, 2006. - 701 с.
3. Литвинов, А. Н. Моделирование напряженно-деформированного состоятния слоистых структур радиоэлектронных средств при технологических и эксплуатационных воздействиях / А. Н. Литвинов, О. Ш. Хади, Н. К. Юрков // Известия высших учебных заведений. Поволжский регион. Технические науки. - 2014. - № 4 (32). - С. 146-157.
4. Кочегаров, И. И. Моделирование оценки риска при отказе электронных средств длительного функционирования / И. И. Кочегаров, Н. В. Горячев, Н. К. Юрков // Проектирование и технология электронных средств. - 2014. - № 4. - С. 36-41.
5. Полтавский, А. В. Модель отказов автоматизированных средств контроля / А. В. Полтавский, Н. К. Юрков // Надежность и качество сложных систем. - 2015. - № 1 (9). - С. 63-67.
6. Полтавский, А. В. Информационное моделирование в задачах поиска управления подвижным объектом / А. В. Полтавский, В. П. Буц, Н. К. Юрков // Надежность и качество сложных систем. - 2017. - № 4 (20). -С. 56-63. - DOI 10.21 685/2307-2017-4-8.
7. Гришко, А. К. Построение эффективной системы радиоэлектронных средств на основе анализа полумарковской модели обеспечения электромагнитной совместимости / А. К. Гришко, Н. В. Горячев, Н. К. Юрков // Проектирование и технология электронных средств. - 2017. - № 4. - С. 18-25.
8. Северцев, Н. А. Безопасность в информационно-телекоммуникационном пространстве / Н. А. Северцев, А. В. Бецков // Труды международного симпозиума Надежность и качество. - 2018. - Т. 1. - С. 12-15.
9. Северцев, Н. А. Информационная безопасность и принципы ее обеспечения / Н. А. Северцев, А. В. Бецков // Труды международного симпозиума Надежность и качество. - 2018. - Т. 1. - С. 92-96.
10. Северцев, Н. А. Адаптивная модель оценки безопасности и надежности программного обеспечения / Н. А. Северцев, А. В. Бецков, А. Н. Дарьина // Надежность и качество сложных систем. - 2018. -№ 4 (24). - С. 19-28.
11. Северцев, Н. А. Исследование эффективности функционирования технической системы специального назначения на основе марковского процесса / Н. А.Северцев // Научный вестник Московского государственного технического университета гражданской авиации. - 2016. - Т. 19, № 5. - С. 61-68.
12. Северцев, Н. А. Алгоритм и результаты оценки структурной безопасности функционирования нелинейных автономных динамических систем / А. Н. Катулев, Н. А. Северцев, И. В. Прокопьев // Труды международного симпозиума Надежность и качество. - 2016. - Т. 1. - С. 97-98.
13. Северцев, Н. А. Достоверность метода оценки классической устойчивости не по ляпунову функционирования нелинейных автономных динамических систем / А. Н. Катулев, Н. А. Северцев, А. А. Тарасов // Труды международного симпозиума Надежность и качество. - 2016. - Т. 1. - С. 99-101.
14. Северцев, Н. А. Метод оценки показателей структурной безопасности функционирования нелинейных автономных динамических систем / А. Н. Катулев, Н. А. Северцев // Надежность и качество сложных систем. - 2016. - № 2 (14). - С. 3-8.
15. Северцев, Н. А. Теория преобразования многомерных данных на основе использования пространства характеристик оптимально расположенных элементов / Н. А. Северцев, В. В. Шипилов // Труды международного симпозиума Надежность и качество. - 2014. - Т. 1. - С. 68-71.
16. Северцев, Н. А. Полумарковская модель исследования безопасности систем. Безопасность и надежность системы как объекта, имеющего систему защиты / Н. А. Северцев, А. В. Бецков, Ю. В. Лончаков // Надежность и качество сложных систем. - 2014. - № 1 (5). - С. 2-8.
17. Северцев, Н. А. Моделирование оценки математического ожидания дисперсии случайных функций характеристик сложной технической системы / Н. А. Северцев // Надежность и качество сложных систем. -2014. - № 3 (7). - С. 16-21.
References
1. Ivanyushchenko A. S., Ivanov A. I., Kozlov N. N., Moskovskiy A. M. Matematicheskie modeli pri ispytanii le-tatel'nykh apparatov [Mathematical models for testing aircraft]. Moscow: Tekh. inf., 2004, 600 p. [In Russian]
2. Ivanov N. I., Ivashchenko A. S., Moskovskiy A. M. Voprosy teorii ispytaniy strukturno-slozhnykh system [Questions of testing theory of structurally complex systems]. Moscow: Tekhnologiya informatsionnykh sistem, 2006, 701 p. [In Russian]
3. Litvinov A. N., Khadi O. Sh., Yurkov N. K. Izvestiya vysshikh uchebnykh zavedeniy. Povolzhskiy region. Tekhnicheskie nauki [University proceedings. Volga region. Engineering sciences]. 2014, no. 4 (32), pp. 146157. [In Russian]
4. Kochegarov I. I., Goryachev N. V., Yurkov N. K. Proektirovanie i tekhnologiya elektronnykh sredstv [Design and technology of electronic means]. 2014, no. 4, pp. 36-41. [In Russian]
5. Poltavskiy A. V., Yurkov N. K. Nadezhnost' i kachestvo slozhnykh system [Reliability and quality of complex systems]. 2015, no. 1 (9), pp. 63-67. [In Russian]
6. Poltavskiy A. V., Buts V. P., Yurkov N. K. Nadezhnost' i kachestvo slozhnykh system [Reliability and quality of complex systems]. 2017, no. 4 (20), pp. 56-63. DOI 10.21 685/2307-2017-4-8. [In Russian]
7. Grishko A. K., Goryachev N. V., Yurkov N. K. Proektirovanie i tekhnologiya elektronnykh sredstv [Design and technology of electronic means]. 2017, no. 4, pp. 18-25. [In Russian]
8. Severtsev N. A., Betskov A. V. Trudy mezhdunarodnogo simpoziuma Nadezhnost' i kachestvo [Proceedings of the international symposium Reliability and quality]. 2018, vol. 1, pp. 12-15. [In Russian]
9. Severtsev N. A., Betskov A. V. Trudy mezhdunarodnogo simpoziuma Nadezhnost' i kachestvo [Proceedings of the international symposium Reliability and quality]. 2018, vol. 1, pp. 92-96. [In Russian]
10. Severtsev N. A., Betskov A. V., Dar'ina A. N. Nadezhnost ' i kachestvo slozhnykh system [Reliability and quality of complex systems]. 2018, no. 4 (24), pp. 19-28. [In Russian]
11. Severtsev N. A. Nauchnyy vestnik Moskovskogo gosudarstvennogo tekhnicheskogo universiteta grazhdanskoy aviatsii [Scientific Bulletin of the Moscow State Technical University of Civil Aviation]. 2016, vol. 19, no. 5, |pp. 61-68. [In Russian]
12. Severtsev N. A., Severtsev N. A., Prokop'ev I. V. Trudy mezhdunarodnogo simpoziuma Nadezhnost' i kachestvo [Proceedings of the international symposium Reliability and quality]. 2016, vol. 1, pp. 97-98. [In Russian]
13. Severtsev N. A., Severtsev N. A., Tarasov A. A. Trudy mezhdunarodnogo simpoziuma Nadezhnost' i kachestvo [Proceedings of the international symposium Reliability and quality]. 2016, vol. 1, pp. 99-101. [In Russian]
14. Severtsev N. A., Severtsev N. A. Nadezhnost ' i kachestvo slozhnykh system [Reliability and quality of complex systems]. 2016, no. 2 (14), pp. 3-8. [In Russian]
15. Severtsev N. A., Shipilov V. V. Trudy mezhdunarodnogo simpoziuma Nadezhnost' i kachestvo [Proceedings of the international symposium Reliability and quality]. 2014, vol. 1, pp. 68-71. [In Russian]
16. Severtsev N. A., Betskov A. V., Lonchakov Yu. V. Nadezhnost' i kachestvo slozhnykh system [Reliability and quality of complex systems]. 2014, no. 1 (5), pp. 2-8. [In Russian]
17. Severtsev N. A. Nadezhnost' i kachestvo slozhnykh system [Reliability and quality of complex systems]. 2014, no. 3 (7), pp. 16-21. [In Russian]
Северцев Николай Алексеевич
доктор технических наук, профессор, главный научный сотрудник, Федеральный исследовательский центр «Информатика и управление» Российской академии наук (Вычислительный центр им. А. А. Дородницына РАН) (119333, Россия, г. Москва, ул. Вавилова, 40) E-mail: severs@ccas.ru
Severtsev Nikolay Alekseevich
doctor of technical sciences, professor,
chief researcher,
Federal research center
«Computer science and control» of RAS
(Dorodnitsyn computer center
of the Russian Academy of Sciences)
(119333, 40 Vavilova street, Mosraw, Russia)
Образец цитирования:
Северцев, Н. А. Модели программного обеспечения в безопасном и надежном функционировании сложной космической системы / Н. А. Северцев // Надежность и качество сложных систем. — 2019. — № 4 (28). - С. 5-13. - БОТ 10.21685/2307-4205-2019-4-1.
