CC BY
18
А
Крымский В. Г. Krymsky V. G.
доктор технических наук, профессор кафедры управления
и сервиса в технических системах,
ФГБОУВО «Уфимский государственный нефтяной
технический университет»,
г. Уфа, Российская Федерация
УДК 004.052 DOI: 10.17122/1999-5458-2019-15-3-61-69
МОДЕЛИ РОСТА НАДЕЖНОСТИ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ: НОВЫЕ ПОДХОДЫ К ПОСТРОЕНИЮ И ПУТИ СОВЕРШЕНСТВОВАНИЯ
Надежность является важной составляющей качества программного обеспечения. Между тем, специфическим свойством программного обеспечения является тот факт, что его надежность возрастает с течением времени вследствие обнаружения и устранения содержащихся в нем ошибок («багов»). Этот процесс описывается математическими моделями роста надежности.
В статье анализируются разнообразные модели роста надежности применительно к совершенному и несовершенному дебаггингу. Традиционный подход к использованию таких моделей требует задания всех функций в аналитической форме, что затруднительно ввиду наличия неопределенности.
Показывается возможность преодоления отмеченной трудности за счет применения математического аппарата, основанного на теории интервальнозначных вероятностей и привлечения экспертных суждений. Это позволяет сделать модель более адекватной реальным условиям.
Ключевые слова: программное обеспечение, модель роста надежности, интервально-значные вероятности.
SOFTWARE RELIABILITY GROWTH MODELS: NEW APPROACHES TO CREATION AND WAYS OF ENHANCEMENT
Reliability is an important component of software quality. Meanwhile, a specific property of the software is the fact that its reliability increases over time due to the detection and elimination of errors («bugs») contained in it. This process is described by mathematical models of reliability growth.
The paper analyzes various reliability growth models in relation to perfect and imperfect debugging. The traditional approach to using such models requires specifying all the functions in an analytical form, which is difficult due to the presence of uncertainty.
There is shown the possibility of overcoming the noted obstacles through the application of a mathematical technique based on the theory of interval-valued probabilities and the use of expert judgments. This allows us to make the model more adequate to the real conditions.
Key words: software, reliability growth model, interval-valued probabilities.
Введение
Надежность программного обеспечения (ПО) принято включать в перечень характеристик его качества. В соответствии с ГОСТ Р ИСО/МЭК 9126-93 «Информационная технология. Оценка программной продукции. Характеристики качества и руководства по
их применению» под надежностью ПО следует понимать набор атрибутов, относящихся к способности программного обеспечения сохранять свой уровень качества функционирования при установленных условиях за установленный период времени. Таким образом, если уровень качества функционирова-
- 61
и системы. № 3, т. 15, 2019
ния не сохраняется, то можно говорить об отказе ПО. Более подробно определение понятия отказа программного обеспечения приводится в п. 3.57 ГОСТ Р МЭК 615132011 «Атомные станции. Системы контроля и управления, важные для безопасности. Общие требования», где утверждается, что отказ ПО — это отказ системы из-за проявившейся проектной ошибки в компоненте программного обеспечения. Кроме того, подчеркивается, что «... все отказы программного обеспечения связаны с ошибками при проектировании, так как программное обеспечение в данном контексте не связано с физическими носителями, не изнашивается или не страдает от физических отказов». Хотя отказы ПО и являются следствиями человеческих ошибок, допущенных при разработке (проектировании), они, подобно отказам технических устройств, проявляются и / или могут быть обнаружены в случайные моменты времени. По этой причине их можно рассматривать как случайные события и применять для анализа надежности ПО статистические модели и методы [1].
Жизненный цикл программного обеспечения содержит следующие «укрупненные» этапы:
— непосредственно проектирование ПО, в том числе — разработку необходимых алгоритмов, выбор платформы и концепции построения программного обеспечения, кодирование и дизайн интерфейсов;
— тестирование и отладку ПО;
— выпуск в эксплуатацию и собственно эксплуатацию созданного программного обеспечения.
Ошибки, допущенные при проектировании ПО, могут проявляться на второй и третьей стадиях, обнаруживаться и устраняться. Процедуры обнаружения и исправления ошибок получили название дебаггинга (от английского «bug» — «жучок», как по традиции называют ошибку в кодировании на программистском сленге). При успешной реализации дебаггинга общее количество ошибок, содержащихся в ПО, с течением времени уменьшается, что соответствует росту надежности. В этом заключается принципиальное отличие ПО от технических устройств (аппа-
ратного обеспечения), для которых надежность с течением времени, как известно, падает.
Отмеченный рост надежности программных продуктов описывается рядом математических моделей, первые из которых были предложены еще в конце 70-х — начале 80-х годов прошлого века. Наибольшее распространение получили модели, основанные на неоднородном пуассоновском процессе (по-английски «non-homogeneous poisson process», или NHPP) [2].
Обозначим N(t) суммарное количество отказов, проявившихся к моменту времени t. Тогда в случае NHPP вероятность любого фиксированного значения x указанного количества отказов выражается соотношением
P{N(t) = x) = MUxp(-M(0), x = 0,1,2,-., (1)
где ^(t) — зависящая от времени скорость процесса, которая здесь приобретает смысл математического ожидания числа отказов (по-английски «mean value function», или MVF) [3].
Дальнейшая дифференциация моделей роста надежности ПО (по-английски такая модель называется «software reliability growth model», или SRGM) осуществляется в зависимости от вида выражения для MVF ^(t), а также особенностей дебаггинга. В отношении указанных особенностей принято различать идеальный, или «совершенный («perfect») и неидеальный, или «несовершенный» («imperfect») дебаггинги.
Для идеального дебаггинга предполагается, что при обнаружении ошибки в программном продукте она полностью (с вероятностью, равной единице) устраняется, и при этом новые ошибки в ПО не вносятся. Напротив, при неидеальном дебаггинге не только вероятность полного устранения ошибки не равна единице, но и существует возможность внесения в ПО новых ошибок. Очевидно, что вторая ситуация более реалистична, но соответствующие ей модели на сегодняшний день являются менее разработанными, нежели модели для идеального дебаггинга.
Остановимся на анализе существующих разновидностей SRGM более подробно.
Модели роста надежности программного обеспечения применительно к ситуации с идеальным дебаггингом
Ниже рассматриваются только некоторые, наиболее известные SRGM.
Как уже отмечалось, различные модели на базе NHPP предполагают задание разных выражений для p(t). Наиболее «старой» из них следует признать модель Гоэля-Окумото [4], предложенную в 1979 г. Она основывается на уравнении
d\i(t)ldt = b-(a-\x{t)). (2)
В этом уравнении X(t)=d^(t)/dt — значение функции интенсивности отказов ПО в момент времени t, a= /w(ro)=const — ожидаемое общее количество отказов, которое можно обнаружить за неограниченное время, и b = const характеризует интенсивность обнаружения отказов (по-английски «fault detection rate», или FDR).
Из уравнения (2) вытекает следующее выражение для ¡u(t):
М(0 = а ■ (l - ехр(- bt% а>0,Ъ>0. (3) Позднее, в 1982 г., Гоэль предложил обобщенную модель [5], также базирующуюся на концепции NHPP и предполагающую включение в формулу для ^(t) дополнительного параметра с:
|j(0 = a-(l-exp(-6ic)) а>о, Ъ> О, с>0, (4) где параметры b и с отражают качество проведения тестирования ПО.
Несколько SRGM, в частности описанных в работе [6], используют кривые Гомперца или логистические кривые. Для модели, в которой применяется кривая Гомперца, MVF характеризуется выражением
\i(t) = ak*, а>0, 0<Ь<1, 0<£<1. (5) Здесь b и k — параметры, которые могут оцениваться в процессе регрессионного анализа.
Если используется логистическая кривая, соотношение для MVF приобретает вид
№
а> О, 6>0, £>0. (6)
1 + кехр(-Ы)' Более сложная ^-образная) форма кривой роста надежности с учетом задержки задается моделью Ямады [7]. Она принимает во внимание тот факт, что программисты, осуществляющие поиск ошибок в ПО, пер-
воначально затрачивают некоторое время на освоение данного программного продукта (что и обуславливает задержку). Формула для MVF в этом случае:
M(0 = a-(l-(l + ^)exP(_6i))> а>0' ь>°- (7)
Безусловно, разнообразие моделей роста надежности ПО применительно к предположению об идеальном дебаггинге поставило вопрос о возможности построения универсального описания, из которого каждую модель можно было бы получить как частный случай. Такое описание было предложено в 1998 г. в работе [8]. В ней показано, что модели (3)-(7) при определенных условиях вытекают из уравнения:
g{dmidt) = b{t)\a-g{m)\ (8)
где g(») — монотонная и дифференцируемая функция действительного переменного.
Так, если g(x)=x, то из уравнения (8) можно получить (см. работу [9]):
d\x(t)ldt = b(t)\a-№\ (9)
или
М(0 = л-(1-ехр(-2?(0)), а>0, (10)
где b(t) — это FDR для наиболее общей ситуации (когда она зависит от времени t) и
I
B(t) = ^b(t)dt
(11)
представляет собой кумулятивную FDR.
Нетрудно увидеть, что модель (3) Гоэля-Окумото получается из соотношения (10) при b(t)=b=const.
Появление универсального описания моделей роста надежности ПО на базе NHPP обусловило существенный прогресс в развитии указанных SRGM. Тем не менее, оно не решило проблемы преодоления той трудности при их построении, которая вызвана необходимостью задания всех функций, входящих в соотношение (8), а именно — g(*) и b(t) в аналитической форме. К сожалению, такое требование противоречит реальному положению дел, связанному с тем, что задать аналитический вид этих функций невозможно в силу недостатка информации (наличия априорной неопределенности).
Модели роста надежности программного обеспечения применительно к ситуации с неидеальным дебаггингом
В данном случае дифференциация моделей также связана с реализацией различных подходов к заданию MVF ¡u(t).
Здесь, в первую очередь, следует сказать о модели, предложенной в 1992 г. Ямадой [10] для ситуаций с неидеальным дебаггингом. Она ориентируется на представление MVF в виде:
|J(0 = a(l- expt-ôOX1 -a/b) + aat, (12) a(t) - a{ 1 + at), где b(t) = b, a>0, b>0, a>0. (13)
В этих соотношениях a(t) — сумма ожидаемого числа исходных ошибок в ПО и новых ошибок, дополнительно внесенных в него к моменту времени t,b(t) — FDR, a, b и a — постоянные параметры модели. Подразумевается, что новые ошибки вносятся в программу при проверках и корректировках.
Модель Фама-Чжана [11], также основанная на NHPP, предполагает, что MVF задается выражениями:
= (c + a)(l-exp(-fa)) _ 1 + /?ехр(-Ы) ab(exp(-at) -exp(-èi))I {b-а)
l + /?exp(-Ztf) '
и a(t) = c + a{1 - exp(-ai)), b(t) = b/(\ +fi exp(-bt)\ a> 0, b>0, с >0, a >0, > 0.
(14)
(15)
Данная модель соответствует случаю, когда новые отказы вносятся в ПО с интенсивностью, которая представляет собой экспоненциальную функцию времени тестирования. В свою очередь, FDR b(t) характеризуется неубывающей зависимостью от параметра р.
Другой известной SRGM, принимающей во внимание неидеальный дебаггинг, является модель Фама-Нордманна-Чжана (Pham-Nordmann-Zhang, или P-N-Z) [12]. Она базируется на следующей формуле для MVF:
q((l - ехрНОХ1 ~a/b) + at)
1 + /?ехр i-bt) '
где a{t) = a(l + at),
b{t) = 6/(l + /3exp(-bt)), (17)
a > 0, b > 0, a>0, P>0.
M(0:
(16)
Модель P-N-Z реализует предположение о том, что новые отказы вносятся в ПО с постоянной интенсивностью. Она составляет а новых ошибок на один обнаруженный отказ.
Аналогично тому, как это имело место с моделями применительно к идеальному дебаггингу, в рассматриваемой ситуации также известен ряд попыток создания универсального описания. При этом ставилось целью, чтобы отдельные модели вытекали из него как частные случаи. Можно заключить, что наибольшими достоинствами в этом отношении обладает описание [13], предложенное в 2005 г. Лю и др. Оно объединяет учет эффективности устранения отказов, рассматриваемой как процентная доля обнаруженных и скорректированных ошибок, и вероятности внесения в ПО новых дефектов. Результирующая модель характеризуется системой дифференциальных уравнений:
</М(0 / dt = b(t) ■ (a(t) - y(t)), dy(t) / dt = p(t) ■ d\\{t) / dt, da(t)ldt = q(t)-d\\{t)ldt. (18)
Здесь _y(t) — ожидаемое число шибок, устраненных к моменту времени t, p(t) — эффективность устранения ошибок к моменту t, а q(t) — вероятность внесения новых отказов к тому же моменту времени.
Начальные условия для уравнений (18) задаются соотношениями
М(0) = 0; а(0) = я0; j;(0) = 0, (19)
где a0 обозначает математическое ожидание начального количества ошибок в ПО.
Таким образом, класс SRGM на базе NHPP, учитывающих неидеальный дебаг-гинг, в последние десятилетия развивается и расширяется, пополняясь новыми моделями. Тем не менее, и в этой области сложилась ситуация, при которой использование моделей роста надежности ПО предполагает задание аналитического вида всех входящих в них функций. Это противоречит факту наличия реальной неопределенности.
Ниже рассматривается возможность преодоления такой трудности, которую способно создать применение специального аппарата, базирующегося на теории интервальнознач-ных вероятностей.
Новые модификации методик построения моделей роста надежности программного обеспечения: использование интервально-вероятностных описаний
Новые перспективы с точки зрения приближения свойств моделей к реальным условиям открывает использование положений теории «интервальнозначных», или «неточных» («imprecise»), вероятностей, в отношении которых основополагающими работами принято считать монографии [14, 15]. Ряд идей, относящихся к реализации указанного подхода при анализе надежности ПО, изложен в работах [16, 17].
Покажем далее, как отмеченный математический аппарат позволяет оценивать надежность ПО, не вводя требования к заданию в аналитическом виде, например, FDR и соответственно кумулятивной FDR.
Последовательность действий в данном случае выглядит следующим образом.
Этап 1. В первую очередь, необходимо привести описание, включенное в модели, к форме, фигурирующей в постановках задач оптимального управления. Покажем это на примере преобразования универсального описания (18).
В задачах оптимального управления рассматриваются системы, динамика которых характеризуется совокупностями дифференциальных уравнений в пространстве состояний [18]:
dxl(0I dt- ф, (x1 (t),...,xr(0,Mi(t),...,um(0,0'
/ = 1,2,..„г. (20)
Здесь входные сигналы (управления); х/(0> Р/О, / = 1,2,...,г, — координаты состояния и заданные функции соответственно.
Применительно к уравнениям (18) обозначим
u,(t) = b(t), u2(t) = -{p(t)-q(t)\ xx{t) = |J(0, x2(t) = a(t)-y(t). (21)
Тогда соотношения (18) могут быть переписаны в виде:
cbcj(t) / dt = u1 (t)x2(t) = $ (x2(t),щ(i)), dx2(t) Idt = m1(0m2(0^(0=#2(0,"i(0,"2(0)- (22) Выражения (22) задают модель, относящуюся к числу типовых моделей, применяемых в задачах оптимального управления. Она схематически показана на рисунке 1.
"iCO
и2 (О
МО
x2(t)
Рисунок 1. Модель для анализа надежности ПО в форме «пространства состояний»
Решение уравнений (22) дает результат
х2(0 = а0 ехр| и,(т)и2(г)б?г^ =
' /
■а0ехр
V о
(23)
где Ш(0 = -м2(0 = p{t) - q(t),
и
x1(t) = a0
i i
J 1^(0ехр ^ux{T)u2{z)dT
Vo Г t
\ \ dt J J
\
dt
J J
(24)
Jb(i)exp -Ju)(r)b{r)dr Vo V о
На практике величина ro(t) может быть найдена с помощью экспертного оценивания. При этом эксперты нередко дают информацию только о нижней ю и верхней ю границах интервала [ю, ю], для которого выполняется 0<ю<ю(0<о)<1. (25)
Анализ показывает, что в этом случае возникают следующие ограничения на величину MVF:
|х(/) = а0 (l - ехр(- ю ■ 5 (/)))/со,
ц(0 = а0(1-ехР(-®'5(0))/®- (26)
Таким образом, уже на данном этапе фактически осуществляется переход к интервальным оценкам величины MVF.
Этап 2. Необходимо обработать «историю» отказов ПО, информация о которых накоплена за период от начала тестирования до текущего момента времени tk. С этой целью можно использовать принцип максимального правдоподобия [19].
Разобьем указанный период (0, tk] на k подинтервалов одинаковой длины: (t0, tj], (tb t2],..., (tk.!, tk]. При этом t0=0, ti — ti_!=At =tk / k, i=1,2,.. ,,k. Обозначим ni число отказов, проявившихся (обнаруженных) в течение подин-тервала (ti-b t;], i = 1,2,...,k. Логарифм
Data processing facilities and systems
функции правдоподобия L(wbw2,...,wk) для модели на базе NHPP и MVF p(t) применительно ко всему рассматриваемому периоду времени равен:
к
In Ь^п^.щ) = 1п(м(0 - M^î-i)) -
i=1
-(м(О-м(^))-ь(«г0). (27)
Если n(t) удовлетворяет неравенствам (26), то можно записать
\пЬ(п1,п2,..мк)>Ш.(п1,п2,...пк) =
к
(28)
i=i
Обозначим B(t)=B,, i = 0,1,...,k, и примем во внимание, что B0=0 по определению (11). При этом аналитические выражения для B(t) и соответственно b(t) будем считать неизвестными.
Тогда, находя частные производные от ЬЯя,,«;,..^]по a0, B,, i = 0,1,...,k, и приравнивая их к нулю, можно получить систему уравнений относительно указанных параметров, отражающую необходимые условия достижения максимального правдоподобия. Решение полученной системы нелинейных алгебраических уравнений завершает данный этап оценивания надежности ПО. Отметим, что никаких предположений о наличии информации относительно аналитического вида FDR и вычисляемой на ее основе MVF в предлагаемой процедуре не вводилось.
Этап 3. На этом этапе осуществляется собственно оценивание надежности ПО. Следует уточнить, что в качестве показателя надежности программного обеспечения R{t* | s), как правило, выбирается вероятность его безотказного функционирования на определенном интервале времени [s, s+t*] и в определенных условиях [20]. Если процесс проявления отказов ПО описывается моделью на базе NHPP, то формула для записывается следующим образом [11]:
R(t* I s) = exp(- (j(Î' +s)~ м(5))), (29)
где s>tt, i = l,2,...,k.
Применительно к рассматриваемой ситуации подразумевается, что s = tk.
Оценки показателя R(t* \ s) предлагается искать в виде интервала [R(t* | s), R(t* 15)]. При
этом его нижняя R(t* \ s) и верхняя R(t* | s) границы должны удовлетворять неравенствам
(30)
Поиск значений R(t* \ s) и R(t* \ s) фактически сводится к соответственно минимизации и максимизации величины показателя (29) при учете ряда ограничений, в качестве которых выступают:
а) результаты обработки «истории» обнаруженных отказов, выполненной на этапе 2 (в частности, они могут послужить основой для экспертного оценивания нижней и верхней границ интервала значений FDR);
б) дифференциальные уравнения (22), представляющие универсальную модель роста надежности ПО;
в) соотношения (25), характеризующие «баланс» эффективности обнаружения дефектов в ПО и вероятности внесения в него новых ошибок.
Как показано в работе [17], такого рода задачи оптимизации могут быть успешно решены с использованием методов, развитых в рамках теории оптимального управления.
Результирующие оценки приобретают вид: _
R(t* |s) = exp(-M(i* |s)),
R(t*\s) =ехр(-М(Г |s)), (31)
где
ï+Г
M_(t" I s) = J a0bexp(-iiibt^dt =
S
= =(exp(-U)ès ) - exp(-(jd6(s +
М(Г |s)=^(exp(-wfo)-exp(-wè(s + i*))). (32)
Продемонстрированный подход показывает, что надежность программных продуктов с использованием моделей роста их надежности можно оценивать и без введения предварительных допущений об аналитическом виде функций, входящих в эти модели. Между тем, «платой» за это оказывается получение итоговых оценок с точностью до границ содержащих их интервалов. Такие оценки выглядят не столь привлекательно, как «точечные», но они являются более адекватными имеющейся на практике реальной неопределенности.
Вывод
Данная публикация содержит подробный анализ текущего состояния проблемы, относящейся к оценке надежности программного обеспечения с помощью моделей роста указанной надежности. Показаны перспективы решения этой проблемы в условиях, когда отсутствуют предварительные сведения об аналитическом виде входящих в модель функций. Таких допущений можно избежать, если применить методы, разработанные в рамках теории интервальнозначных вероятностей. Дальнейшее совершенствование
1. Pham H. System Software Reliability. London: Springer-Verlag London Ltd, 2006. 456 p.
2. Lai R., Garg M. A Detailed Study of NHPP Software Reliability Models // Journal of Software. 2012. Vol. 7. Issue 6. P. 1296-1306. DOI: 10.4304/jsw.7.6.1296-1306.
3. Goel A.L. Software Reliability Models: Assumptions, Limitations, and Applicability // IEEE Transactions on Software Engineering. 1985. Vol. SE-11. Issue 12. P. 1411-1423. DOI: 10.1109/TSE.1985.232177.
4. Goel A.L. Okumoto K. A Time Dependent Error Detection Rate Model for Software Reliability and Other Performance Measures // IEEE Transactions on Reliability. 1979. Vol. R-28. Issue 3. P. 206-211. DOI: 10.1109/ TR.1979.5220566.
5. Goel A.L. Technical Report RADC-TR-82-263. Software Reliability Modelling and Estimation Techniques. Rome (USA): Rome Air Development Center, 1982. 14 p.
6. Xie M. Software Reliability Modeling. Singapore: World Scientific Publishing, 1991. 228 p. DOI: 10.1142/1390.
7. Yamada S., Ohba M., Osaki S. S-Shaped Reliability Growth Modelling for Software Error Detection // IEEE Transactions on Reliability. 1983. Vol. R-32. Issue 5. P. 475-484. DOI: 10.1109/TR.1983.5221735.
8. Hou R.H., Kuo S.Y., Chang Y.P. On a Unified Theory of Some Nonhomogeneous Poisson Process Models for Software Reliability // Software Engineering: Education and Practice (SEEP'98) — 1998: Proceedings of the International Conference. Washington DC, USA. 1998. P. 60-67. DOI: 10.1109/SEEP. 1998.707634.
отмеченных методик может базироваться на ряде результатов, изложенных в публикациях [21-26]. Указанные результаты, в основном, направлены на повышение точности определения границ интервалов для искомых значений показателей надежности. В свою очередь, более адекватные и точные модели позволят добиваться высокого качества разрабатываемых и тестируемых программных продуктов.
Список литературы
9. Huang C.-Y., Lyu M.R., Kuo S.Y. Unified Scheme of Some Nonhomogeneous Poisson Process Models for Software Reliability Estimation // IEEE Transactions on Software Engineering. 2003. Vol. 29. Issue 3. P. 261-269. DOI: 10.1109/TSE.2003.1183936.
10. Yamada S., Tokuno K., Osaki S. Imperfect Debugging Models with Fault Introduction Rate for Software Reliability Assessment // International Journal of Systems Science. 1992. Vol. 23. No. 12. P. 2241-2252.
11. Zhang X.M., Teng X.L., Pham H. Considering Fault Removal Efficiency in Software Reliability Assessment // IEEE Transactions on Systems, Man, and Cybernetics — Part A: Systems and Humans. 2003. Vol. 33. Issue 1. P. 114-120. DOI: 10.1109/TSMCA. 2003.812597.
12. Pham H., Nordmann L., Zhang X. A General Imperfect Software Debugging Model with S-Shaped Fault Detection Rate // IEEE Transactions on Reliability. 1999. Vol. 48. Issue 2. P. 169-175. DOI: 10.1109/24.784276.
13. Liu H.-W., Yang X.-Z., Qu F., Shu Y.-J. A General NHPP Software Reliability Growth Model with Fault Removal Efficiency // Iranian Journal of Electrical and Computer Engineering. 2005. Vol. 4. No. 2. P. 144-149.
14. Кузнецов В.П. Интервальные статистические модели. М.: Радио и связь, 1991. 352 с.
15. Walley P. Statistical Reasoning with Imprecise Probabilities. London: Chapman and Hall, 1991. 719 p.
16. Krymsky V.G., Ivanov I.V. Applications of Interval-Valued Probabilities and Unified Scheme of Non-Homogeneous Poisson Process Models to Software Failure Prognostics // Safety and Reliability of Complex Engineered Systems
— 2015: Proceedings of ESREL 2015 Conference. London, UK. 2015. P. 2403-2411.
17. Krymsky V.G. Software Failure Prognostics: Application of Interval-Valued Probabilities to Assessment of Reliability under Imperfect Debugging // Safety and Reliability — Theory and Applications — 2017: Proceedings of ESREL'2017 Conference. London, UK. 2017. P. 847-855.
18. Friedland B. Control System Design: an Introduction to State-Space Methods. New-York: Dover Publications, 2005. 528 p.
19. Xie M., Hong G.Y., Wohlin C. A Practical Method for the Estimation of Software Reliability Growth in the Early Stage of Testing // Software Reliability Engineering — 1997: Proceedings The Eighth International Symposium. Albuquerque, New Mexico, USA. 1997. P. 116-123. DOI: 10.1109/ISSRE.1997. 630856.
20. Hong G.Y., Xie M., Zhao M., Wohlin C. Interval Estimation in Software Reliability Analysis // Applied Statistics in Industry — 1997: Proceedings of the 4th International Conference. Kansas City, Missouri, USA. 1997. P. 105-112.
21. Krymsky V.G. Computing Interval Bounds for Statistical Characteristics Under Expert-Provided Bounds on Probability Density Functions // Lecture Notes in Computer Science. 2006. Vol. 3732. P. 151-160.
22. Kozine I.O., Krymsky V.G. Computing Interval-Valued Statistical Characteristics: What is the Stumbling Block for Reliability Applications // International Journal of General Systems. 2009. Vol. 38. Issue 5. P. 547-565. DOI: 10.1080/03081070802187798.
23. Kozine I., Krymsky V. Bounded Densities and Their Derivatives: Extension to Other Domains // Journal of Statistical Theory and Practice. 2009. Vol. 3. Issue 1. P. 25-38. DOI: 10.1080/15598608.2009.10411909.
24. Kozine I., Krymsky V. An Interval-Valued Reliability Model with Bounded Failure Rates // International Journal of General Systems. 2012. Vol. 41. Issue 8. P. 760-773. DOI: 10.1080/03081079.2012.721201.
25. Krymsky V.G. Control Theory Based Uncertainty Model in Reliability Applications // International Journal of Performability Engineering. 2014. Vol. 10. No. 5. P. 477-486.
26. Kozine I., Krymsky V. Computing Interval-Valued Reliability Measures: Application of Optimal Control Methods // International Journal of General Systems. 2017. Vol. 46. No. 2. P. 144-157. DOI: 10.1080/03081079. 2017.1294167.
References
1. Pham H. System Software Reliability. London, Springer-Verlag London Ltd, 2006. 456 p.
2. Lai R., Garg M. A Detailed Study of NHPP Software Reliability Models. Journal of Software, 2012, Vol. 7, Issue 6, pp. 1296-1306. DOI: 10.4304/jsw.7.6.1296-1306.
3. Goel A.L. Software Reliability Models: Assumptions, Limitations, and Applicability. IEEE Transactions on Software Engineering, 1985, Vol. SE-11, Issue 12, pp. 1411-1423. DOI: 10.1109/TSE.1985.232177.
4. Goel A.L. Okumoto K. A Time Dependent Error Detection Rate Model for Software Reliability and Other Performance Measures. IEEE Transactions on Reliability, 1979, Vol. R-28, Issue 3, pp. 206-211. DOI: 10.1109/ TR.1979.5220566.
5. Goel A.L. Technical Report RADC-TR-82-263. Software Reliability Modeling and Estimation Techniques. Rome (USA), Rome Air Development Center, 1982. 14 p.
6. Xie M. Software Reliability Modeling. Singapore, World Scientific Publishing, 1991. 228 p. DOI: 10.1142/1390.
7. Yamada S., Ohba M., Osaki S. S-Shaped Reliability Growth Modeling for Software Error Detection. IEEE Transactions on Reliability, 1983, Vol. R-32, Issue 5, pp. 475-484. DOI: 10.1109/TR.1983.5221735.
8. Hou R.H., Kuo S.Y., Chang Y.P. On a Unified Theory of Some Nonhomogeneous Poisson Process Models for Software Reliability. Proceedings of the International Conference «Software Engineering: Education and Practice (SEEP'98) — 1998». Washington DC, USA, 1998, pp. 60-67. DOI: 10.1109/SEEP.1998. 707634.
9. Huang C.-Y., Lyu M.R., Kuo S.Y. Unified Scheme of Some Nonhomogeneous Poisson Process Models for Software Reliability Estimation. IEEE Transactions on Software Engineering, 2003, Vol. 29, Issue 3, pp. 261-269. DOI: 10.1109/TSE.2003.1183936.
10. Yamada S., Tokuno K., Osaki S. Imperfect Debugging Models with Fault Introduction Rate for Software Reliability Assessment. International Journal of Systems Science, 1992, Vol. 23, No. 12, pp. 2241-2252.
11. Zhang X.M., Teng X.L., Pham H. Considering Fault Removal Efficiency in Software Reliability Assessment. IEEE Transactions on Systems, Man, and Cybernetics — Part A: Systems and Humans, 2003, Vol. 33, Issue 1, pp. 114-120. DOI: 10.1109/TSMCA. 2003.812597.
12. Pham H., Nordmann L., Zhang X. A General Imperfect Software Debugging Model with S-Shaped Fault Detection Rate. IEEE Transactions on Reliability, 1999, Vol. 48, Issue 2, pp. 169-175. DOI: 10.1109/24.784276.
13. Liu H.-W., Yang X.-Z., Qu F., Shu Y.-J. A General NHPP Software Reliability Growth Model with Fault Removal Efficiency. Iranian Journal of Electrical and Computer Engineering, 2005, Vol. 4, No. 2, pp. 144-149.
14. Kuznetsov V.P. Interval'nye statist-icheskie modeli [Interval Statistical Models]. Moscow, Radio i svyaz Publ., 1991. 352 p. [in Russian].
15. Walley P. Statistical Reasoning with Imprecise Probabilities. London, Chapman and Hall, 1991. 719 p.
16. Krymsky V.G., Ivanov I.V. Applications of Interval-Valued Probabilities and Unified Scheme of Non-Homogeneous Poisson Process Models to Software Failure Prognostics. Proceedings of ESREL 2015 Conference «Safety and Reliability of Complex Engineered Systems — 2015». London, UK, 2015, pp. 2403-2411.
17. Krymsky V.G. Software Failure Prognostics: Application of Interval-Valued Probabilities to Assessment of Reliability under Imperfect Debugging. Proceedings of ESREL' 2017 Conference «Safety and Reliability — Theory and Applications — 2017». London, UK, 2017, pp. 847-855.
18. Friedland B. Control System Design: an Introduction to State-Space Methods. New-York, Dover Publications, 2005. 528 p.
19. Xie M., Hong G.Y., Wohlin C. A Practical Method for the Estimation of Software Reliability Growth in the Early Stage of Testing. Proceedings the Eighth International Symposium «Software Reliability Engineering — 1997». Albuquerque, New Mexico, USA, 1997, pp. 116-123. DOI: 10.1109/ISSRE.1997.630856.
20. Hong G.Y., Xie M., Zhao M., Wohlin C. Interval Estimation in Software Reliability Analysis. Proceedings of the 4th International Conference «Applied Statistics in Industry — 1997». Kansas City, Missouri, USA, 1997, pp. 105-112.
21. Krymsky V.G. Computing Interval Bounds for Statistical Characteristics Under Expert-Provided Bounds on Probability Density Functions. Lecture Notes in Computer Science, 2006, Vol. 3732, pp. 151-160.
22. Kozine I.O., Krymsky V.G. Computing Interval-Valued Statistical Characteristics:What is the Stumbling Block for Reliability Applications. International Journal of General Systems, 2009, Vol. 38, Issue 5, pp. 547-565. DOI: 10.1080/03081070802187798.
23. Kozine I., Krymsky V. Bounded Densities and Their Derivatives: Extension to Other Domains. Journal of Statistical Theory and Practice, 2009, Vol. 3, Issue 1, pp. 25-38. DOI: 10.1080/15598608.2009.10411909.
24. Kozine I., Krymsky V. An Interval-Valued Reliability Model with Bounded Failure Rates. International Journal of General Systems, 2012, Vol. 41, Issue 8, pp. 760-773. DOI: 10.1080/03081079.2012.721201.
25. Krymsky V.G. Control Theory Based Uncertainty Model in Reliability Applications, International Journal of Performability Engineering, 2014, Vol. 10, No. 5, pp. 477-486.
26. Kozine I., Krymsky V. Computing Interval-Valued Reliability Measures: Application of Optimal Control Methods. International Journal of General Systems, 2017, Vol. 46, No. 2, pp. 144-157. DOI: 10.1080/03081079. 2017.1294167.
