CC BY
15_ДОКЛАДЫ АН ВШ РФ_
2015_январь-март_№ 1 (26)
ТЕХНИЧЕСКИЕ НАУКИ
УДК 519.2
ПРОВЕРКА АДЕКВАТНОСТИ ПАРАМЕТРИЧЕСКИХ
РЕГРЕССИОННЫХ МОДЕЛЕЙ НАДЕЖНОСТИ ПО УСЕЧЕННЫМ СЛЕВА И ЦЕНЗУРИРОВАННЫМ СПРАВА ДАННЫМ
Е.В. Чимитова, М.А. Семёнова
Новосибирский государственный технический университет
В настоящей работе рассмотрены основные проблемы построения вероятностных моделей надежности с учетом объясняющих переменных по усеченным слева и цензуриро-ванным справа выборкам. Проведено исследование точности оценок максимального правдоподобия параметров распределения Вейбулла по усеченным слева выборкам. Показано, что при одновременном оценивании двух параметров определитель ковариационной матрицы для усеченной выборки значительно больше, чем для полной выборки отказов. С ростом глубины усечения определитель ковариационной матрицы для усеченной выборки увеличивается. Предложен универсальный подход к проверке гипотезы о согласии с вероятностной моделью надежности по усеченным слева и цензурированным справа выборкам. Предлагаемый метод заключается в использовании модифицированных критериев типа Колмогорова, Крамера-Мизеса-Смирнова и Андерсона-Дарлинга для проверки гипотезы о равномерном распределении выборок остатков, полученных в соответствии с проверяемой вероятностной моделью. Сформулированный алгоритм статистического моделирования неизвестных распределений статистик критериев согласия позволяет их корректное применение для усеченных и цензурированных выборок. В результате исследования мощности рассматриваемых критериев показано, что метод проверки согласия на основе выборок остатков позволяет проверять как предположения относительно вида регрессионной зависимости, так и предположения о виде закона распределения отказов.
Ключевые слова: цензурированная выборка, усеченная выборка, модель надежности, модель пропорциональных интенсивностей, модель ускоренных испытаний, проверка адекватности, критерии согласия.
Э01: 10.17212/1727-2769-2015-1-104-120
Введение
Одной из важнейших задач в теории надежности является построение модели зависимости функции надежности от объясняющих переменных, в качестве которых обычно выступают воздействия различного типа, такие как температура, давление, напряжение, механические нагрузки и другие. Для описания подобного рода зависимостей наиболее широко используются такие модели, как модель ускоренных испытаний [1] и модель пропорциональных интенсивностей Кокса, предложенная в [2]. Если зависимость функции надежности от объясняющих переменных не удается описать данными моделями, в [3] предложены их обобщения.
В зависимости от характера привлекаемой априорной информации различают три типа вероятностных моделей надежности: непараметрические модели, полупараметрические модели, требующие спецификации вида регрессионной зависи-
Исследование выполнено при поддержке Министерства образования и науки Российской Федерации в рамках проектной части государственного задания в сфере научной деятельности № 2.541.2014К от 17.07.2014.
© 2015 Е.В. Чимитова, М.А. Семёнова
мости, и параметрические модели, для построения которых необходима информация как о виде регрессионной зависимости, так и о законе распределения отказов. Один из методов построения непараметрической регрессионной модели надежности был предложен в [4] и получил дальнейшее развитие в [5]. Методы построения полупараметрических моделей пропорциональных интенсивностей и ускоренных испытаний рассматривались, например, в [6-8]. В данной работе рассматриваются вопросы построения параметрических моделей надежности, на основе которых рассчитываются интересующие исследователя показатели надежности при заданных значениях объясняющих переменных, например, время безотказной работы с заданной вероятностью, средняя наработка на отказ или интенсивность отказов.
В задачах анализа данных типа времени жизни полученные в результате проведенного эксперимента выборки, как правило, являются цензурированными. Цензурированные наблюдения в отличие от полных наблюдений не содержат информации о точном времени наступления отказа, указывая лишь на время, в течение которого отказа не произошло. Более того, на практике часто возникают ситуации, когда в выборку попадают только те объекты, время безотказной работы которых не меньше некоторой величины. Такие наблюдения называют усеченными, а соответствующие выборки отказов называются усеченными слева.
Неизвестные параметры моделей, как правило, оценивают методом максимального правдоподобия, так как данный метод является универсальным относительно формы регистрации наблюдений и позволяет получать состоятельные и асимптотически эффективные оценки. Для вычисления оценок максимального правдоподобия (ОМП) по усеченным слева и цензурированным справа данным в [9-11] применяется ЕМ-алгоритм.
Основной проблемой, возникающей при построении вероятностных моделей надежности, является проверка их адекватности, т. е. проверка справедливости предположения о виде регрессионной зависимости и распределении отказов, для чего используются статистические критерии согласия. Проблема заключается в том, что проверка гипотезы о согласии осуществляется на основе цензурирован-ной и усеченной выборки наблюдений, которые имеют различные распределения и получены при разных значениях объясняющих переменных, вследствие чего использование классических критериев согласия невозможно. В случае усеченных слева и цензурированных справа данных в [12] предложен параметрический критерий проверки гипотезы о согласии с моделью Кокса против обобщенной модели пропорциональных интенсивностей. В настоящей работе предлагается универсальный метод проверки гипотезы о согласии с вероятностной моделью надежности по усеченным слева и цензурированным справа выборкам. Предлагаемый метод заключается в использовании модифицированных критериев типа Колмогорова, Крамера-Мизеса-Смирнова и Андерсона-Дарлинга для проверки сложной гипотезы о виде распределения выборок остатков, полученных в соответствии с проверяемой вероятностной моделью.
1. Данные типа времени жизни
Пусть Тх - неотрицательная случайная величина, определяющая время безотказной работы, которое зависит от вектора объясняющих переменных (воздействий) х = (х1,Х2,...,хт)Т, область значений которых определяется условиями
проведения эксперимента и представляет собой отрезок числовой прямой.
В зависимости от условий проведения эксперимента и способа регистрации отказов можно выделить следующие виды выборок отказов: полные, цензурированные справа и усеченные слева. Рассмотрим каждую из них подробнее.
Выборка отказов называется полной, если для каждого объекта в выборке определены значения времен отказов:
X„ ={(71,х1), (t2,x2),..., (Тп,xn)}, (1)
где n - объем выборки, x' - значение вектора объясняющих переменных для г-го объекта.
Цензурированной справа называют выборку вида
Xn = {Xх1,51), (Х2,х2,52),..., (хп,xn,5n)}, (2)
где X' = min {Тг, Ci} - время наступления отказа Т' или момент цензурирования C' (время завершения наблюдения за '-м объектом), 5г - индикатор цензурирования, который содержит информацию о причине прекращения наблюдения, ' = 1, n. Если в ходе эксперимента было зафиксировано время отказа, то X' = Т', 5' = 1, и данное наблюдение называется полным. Если же Тг неизвестно по причине окончания наблюдения в момент C' < 7 , то X' = C', 5, = 0 , наблюдение называется цензурированным справа.
Цензурированные справа выборки можно разделить на три основных типа и их комбинации. Если время эксперимента ограничено, т. е. наблюдение за объектами ведется до заранее определенного момента времени c, тогда V5' = 0 : C' = c, и полученная в результате выборка называется цензурированной I типа. В случае, если эксперимент продолжается до наступления определенного количества отказов r, и наблюдение за остальными объектами прекращается в момент наступления r -го отказа, то полученная в результате выборка наблюдений называется цензурированной II типа, и V5' = 0: C' = Т(r), где T(r) - время наступления последнего отказа. Если C', ' = 1, n , - случайные величины, то выборка наблюдений (2) называется цензурированной III типа или случайно цензурированной. Данный тип цензурирования, в свою очередь, делится на неинформативное цензурирование, когда случайные величины 7 и C', ' = 1, n , являются независимыми, и информативное цензурирование, при котором параметры распределения случайных величин C' зависят от распределения отказов 7 , ' = 1, n . В данной работе при исследовании свойств оценок параметров и распределений статистик критериев по случайно цензурированным выборкам рассматривается неинформативное цензурирование.
Рассмотрим понятие усеченной слева выборки. Пусть имеется генеральная совокупность объектов, для которых необходимо построить вероятностную модель надежности. При этом часть объектов была введена в эксплуатацию до начала эксперимента. Обозначим через F(t) функцию распределения случайной величины Т - времени с начала эксплуатации до отказа. Предположим, что в момент времени t0 началась регистрация отказов исследуемых объектов с целью анализа их надежности. При этом объекты из рассматриваемой генеральной совокупности, которые отказали до момента времени t0, не включены в выборку. Необходимо отметить, что если рассматривать полученную выборку времен отказов как обычную выборку из распределения F(t), то полученный результат будет слишком оптимистичным, поскольку чем больше продолжительность безотказной
работы объекта, тем больше у него шансов попасть в выборку, в то время как объекты с ранними отказами в выборку не попадают. Обозначим через Б/ время с начала эксплуатации /'-го объекта до начала регистрации отказов (0 (время усечения). Тогда распределение наблюдаемой случайной величины при условии, что время отказа не меньше времени усечения, имеет вид
FLT (() = , ( > А ,
ы 1 - р (Б) /
аналогично, плотность распределения определяется соотношением
1ьТ (() = /(() , (> Б. 1 - р (Б) /
В выборку могут быть включены также объекты, эксплуатация которых началась уже после момента времени (0. В этом случае соответствующий элемент выборки представляет собой неусеченное наблюдение, для которого Б/ = 0 . Усеченную слева выборку можно представить в следующем виде:
Х„ ={(ТЬГ1,х1), (Т2,х2),..., (Тп,Бп,хп)} , (3)
где Т - время наступления отказа / -го объекта, Б/ - время усечения, х/ - значение вектора объясняющих переменных для /-го объекта, / = 1,п .
В общем виде рассматриваемые в работе выборки можно записать следующим образом:
Хп ={(ХьД,х1,51), (Х2,Б2,х2,52),..., (Хп,Бп,хп,5п)} . (4)
Если v/ Б/ = 0 и 5/ = 1, то выборка (4) является полной выборкой (1); если v/ Б/ = 0 , то выборка (4) является цензурированной выборкой вида (2); если же V/ 5/ = 1, то выборка (4) является усеченной слева выборкой (3). В противном случае выборка (4) представляет собой усеченную слева и цензурированную справа выборку отказов.
2. Вероятностные модели надежности
Закон распределения случайной величины Тх определяется одной из следующих функций: функция плотности распределения /х ((), функция распределения
Рх (() = 11х (у)Ли , функция надежности Бх (() = Р (Тх > () = 1 - Рх ((), функция ин-
0
тенсивности Xх (() = Иш (Р {(< Тх < (+ к | Тх > (}/к) и кумулятивная функция рис-
Н—^0
(
ка Л х (() = |Х х (и)^и = - 1п (Бх (()).
0
Нелинейную регрессионную модель зависимости времени безотказной работы от объясняющих переменных в общем виде можно записать следующим образом:
Тх = 8 (х; е), (5)
где g (•) - неотрицательная функция, случайная ошибка е имеет положительно определенное распределение F0(t) с конечной дисперсией, которое совпадает с законом распределения случайной величины Tx при нулевых значениях объясняющих переменных: Fx=0 (1) = F0 (1). Функция F0 (1) называется базовой функцией распределения.
Поскольку в теории надежности объектом моделирования является не столько время безотказной работы, сколько вероятность безотказной работы за наработку 1, т.е. функция надежности Sx (1), поэтому регрессионную модель (5) принято записывать через функцию надежности
Sx (1) = й (х; So(t)), (6)
или кумулятивную функцию риска
Лх (1) = й2 (х; Ло(1)),
где й2(х; 5) = й! (х;ехр(-5)), функция й^) определяет изменение базовой функции надежности для различных значений объясняющих переменных.
При построении параметрических моделей надежности базовая функция надежности So (1) и функция риска Ло (1) соответствуют некоторому параметрическому семейству распределений Fo (1; 6). В качестве базовых законов часто используются распределения, функции плотности которых представлены в табл. 1.
Таблица 1 / Table 1
Функции плотности базовых распределений Density functions of baseline distributions
Распределение / Distribution Функция плотности f0(t; 6) / Density function f0(t; 6)
Экспоненциальное / Exponential 60exp)
Логнормальное/ Lognormal / 1 1 -¡=exp — t2 V ( Л ( \A2) illn )) V9i V9oJJ J
Вейбулла / Weibull 7" [90 )'exp [-it л
Гамма / Gamma 9o -Г(9 )[öo ) eXP( 9o )
Простейшим примером модели (5) является модель ускоренных испытаний
тх =г (х; Р)•е
которую можно переписать в виде вероятностной модели надежности вида (6) следующим образом:
Sx (1; в, 6) = Р {Тх > 1} = Р {г (х; в) • е > 1} = So ^; 6 ^,
где r (x; р) - положительная функция от воздействий, которая обычно задается в
виде
r (x;р) = exp(Р1Ф1 (x) +... + pmФт (x)):
Фг- (x) - некоторые функции от компонентов вектора объясняющих переменных
(регрессоры), i = 1, m .
Естественным обобщением модели ускоренных испытаний является модель изменения масштаба и формы (Changing Scale and Shape model) или CHSS-модель [3]
7 t y(x;y) л
^x (t; P, y, 0) = So -r— Vr (x;P)
v
где v(x; y) и r(x; P) являются положительными функциями от объясняющих переменных.
Модель пропорциональных интенсивностей Кокса обычно определяется в терминах кумулятивной функции риска следующим образом [2]:
Лx (t; р, 0) = exp(pTx) • Ло (t; 6), (7)
где р - m -мерный вектор параметров, Л о (t; 0) - базовая кумулятивная функция риска. Несмотря на широкую популярность данной модели, обусловленную в том числе наличием возможности ее построения в известных статистических пакетах, таких как SPSS и Statistica, ее применение возможно только при выполнении предположения о пропорциональности интенсивностей:
1Y=„ (t) exp (pT a) x~a = -¡-f-—(■ = const.
^ x=b(t) exp (pTb)
В случае базового распределения Вейбулла модель Кокса совпадает с моделью ускоренных испытаний.
Модель Ксая, полученная возведением базовой функции риска модели пропорциональных интенсивностей (7) в степень exp (yTx), позволяет описать непостоянное отношение функций интенсивности и имеет следующий вид [13]:
Лx (t; р, y, 0) = exp (pTx^(t; б)}6^x). (8)
Параметры p и обобщающие параметры y являются m -мерными. При y = 0 данная модель представляет собой модель пропорциональных интенсивностей, тогда как при y ^ 0 функции интенсивности при разных значениях ковариат пересекаются [13].
Достаточно подробный обзор различных вероятностных моделей надежности можно найти в [1, 3].
3. Метод максимального правдоподобия
Вектор неизвестных параметров n = (6T, PT, YT) , где 0 - вектор параметров базового закона распределения, р - вектор параметров функции от воздействий и
у - вектор обобщающих параметров обобщенных моделей, по имеющейся выборке отказов можно оценить с помощью метода максимального правдоподобия. Для этого максимизируется логарифм функции правдоподобия:
1п Ь (Х„; л) = £
г=1
5г 1п
/х' (х; п)' ^ (А; п)
+ (1 -5г) 1п
(А; п)
(9)
Если функция правдоподобия дифференцируема по п, то для нахождения
т
ОМП параметра п = (бт, вТ, УТ
) решают систему уравнений правдоподобия: д 1п Ь (Хп; п)
5пг
= 0, ' = 1, 5 .
Оценки, построенные методом максимального правдоподобия, широко применяются на практике, поскольку при достаточно больших объемах выборок для них характерны следующие свойства.
Асимптотическая несмещенность: Мп ^ п , п ^ ж .
Состоятельность: тЛ -
->Г| , п ^ да .
При выполнении условий регулярности модели ОМП обладают свойствами асимптотической эффективности и нормальности:
4П (тл-л)-^ ^ N (о, Гп\Л)), п
^ да,
где Зп (п) - информационное количество Фишера о параметре п, содержащееся в выборке Хп.
При построении вероятностных моделей надежности по усеченным и цензу-рированным выборкам особый интерес представляет исследование свойств ОМП параметров базового закона распределения. Об относительной эффективности оценивания параметров по усеченным и цензурированным выборкам по сравнению с оцениванием по полным выборкам можно судить по величине *
Зп (6)/ Зп (6), где Зп (6) - количество информации Фишера в усеченной и/или
*
цензурированной выборке, З (6) - количество информации Фишера в полной
выборке. Для цензурированных I или II типа выборок в [14] для ряда законов рас*
пределения найдены значения Зп (6) / Зп (6), либо значения отношения определителей соответствующих информационных матриц в случае оценивания векторного параметра.
Информационное количество Фишера, содержащееся в выборке усеченных слева наблюдений, имеет вид
-|2
Зп (6) = п |
Б
д 1п/ьт (1;6)
д6
/ьт (1; 6) л.
(10)
В табл. 2 для базового закона распределения Вейбулла найдены значения Зп (6) / З*п (6) и значения отношения определителей соответствующих информационных матриц для случая векторного параметра в зависимости от величины усечения. При этом для удобства сравнения время усечения Б выбиралось как
квантиль базового распределения отказов F0-1(d), 0 < d < 1, где F0-1(-) - функция, обратная к F0 (t). Величину d назовем глубиной усечения. В табл. 2 представлены также значения аналогичных отношений для цензурированных I и II типа выборок в зависимости от степени цензурирования.
Таблица 2 / Table 2
Отношение количества информации Фишера в усеченной слева или цензурированной справа выборке к количеству информации в полной выборке Ratio of the Fisher information in truncated sample or in censored sample to the Fisher information in complete sample
Глубина усечения / Truncation depth О параметре 60 / About parameter 60 О параметре 6j / About parameter 6j О двух параметрах / About both parameters
0,1 1,0000 0,7327 0,4948
0,2 1,0000 0,7733 0,3455
0,3 1,0000 0,8774 0,2574
0,4 1,0000 1,0204 0,1970
0,5 1,0000 1,1979 0,1521
0,6 1,0000 1,4144 0,1170
0,7 1,0000 1,6836 0,0882
0,8 1,0000 2,0400 0,0635
Степень цензурирования / Censoring degree О параметре 60 / About parameter 60 О параметре 6j / About parameter 6j О двух параметрах / About both parameters
10 % 0,9000 0,7410 0,7133
20 % 0,8000 0,5920 0,5240
30 % 0,7000 0,4949 0,3791
40 % 0,6000 0,4343 0,2657
50 % 0,5000 0,4010 0,1771
60 % 0,4000 0,3878 0,1093
70 % 0,3000 0,3859 0,0595
80 % 0,2000 0,3814 0,0257
Как видно из табл. 2, в случае оценивания только параметра масштаба 60 распределения Вейбулла при известном значении параметра формы 0!, точность ОМП не зависит от глубины усечения. Что интересно, для случая оценивания только параметра формы 0! при фиксированном параметре масштаба и глубине усечения d > 0,4 информационное количество Фишера Зп (0!) больше, чем
(01), и с ростом d увеличивается. При одновременном оценивании двух параметров распределения Вейбулла определитель информационной матрицы для усеченного наблюдения, напротив, значительно меньше, чем для полного наблюдения, и уменьшается с ростом глубины усечения.
В отличие от усечения цензурирование выборки всегда приводит к потере информации Фишера. Однако в зависимости от степени цензурирования можно оценить минимально необходимый объем выборки, при котором дисперсия ./-1(0)
должна быть не выше заданной. Или, наоборот, по объему выборки можно оценить наибольшую степень цензурирования, при которой обеспечивается требуемая точность оценивания.
4. Проверка гипотез о согласии на основе выборок остатков
После оценивания неизвестных параметров предполагаемой вероятностной модели необходимо проверить адекватность полученной модели. Как правило, эту задачу сводят к проверке сложной гипотезы о виде вероятностной модели, которая может быть решена с использованием одного из критериев согласия. Для проверки такого рода гипотез по выборкам независимых одинаково распределенных случайных величин может использоваться целый ряд критериев согласия, например, критерии типа хи-квадрат, непараметрические критерии типа Колмогорова, Крамера-Мизеса-Смирнова, Андерсона-Дарлинга. Однако к выборкам вида (4) классические критерии согласия неприменимы, поскольку элементы данной выборки не являются одинаково распределенными.
Необходимым этапом решения задачи является формирование выборки остатков по усеченным слева и цензурированным справа выборкам. В частности, элементы выборки остатков для модели (6) могут быть получены в результате следующего преобразования:
Б (X,; п) _
Я = / (п -), ' = 1 п . (11)
Бх'(Б,; п)
Если модель верна, то полученная цензурированная выборка остатков Яп ={(Я1,81),...,(Яп,5п)} принадлежит равномерному на интервале (0,1) распределению.
Для проверки гипотезы о принадлежности цензурированной выборки остатков равномерному распределению можно использовать модифицированные критерии согласия типа Колмогорова, Крамера-Мизеса-Смирнова и Андерсона-Дарлинга, в выражениях статистик которых вместо эмпирической функции распределения Еп (1) используется оценка Каплана-Мейера [15] для функции распределения.
Областью определения случайных величин Я,, ' = 1, п , является интервал (0,1). Обозначим через 0 < а1 <^2 <... <ак = т< 1, к < п , неповторяющиеся значения полных наблюдений (Я,, 8, = 1) в выборке остатков. Тогда оценку Капла-на-Мейера можно вычислить по формуле
Fn (t) = 1 -П
a <t
1 i
(12)
где d1 = j , r1 - количество наблюдений, для которых Rj > a1, j = 1, n .
Rj =ai
В модифицированном критерии Колмогорова для цензурированных выборок в качестве расстояния между оценкой Каплана-Мейера и равномерным законом распределения используется величина
Dn = sup |Fn (t) - d .
0<t <т
В модифицированном критерии Колмогорова будем использовать статистику с поправкой Большева
SC = ^, (13)
6>/ n
где Бп = тах
{£>+, Оп) , £>+ = тах {Рп {а,) - а,} , Бп = тах (а, - Рп (а, - )} .
= тах |
1<г<к 1
В модифицированном критерии Крамера-Мизеса-Смирнова в качестве расстояния между распределениями используется величина
ю2 =}( Рп (Г) - Г )2 сИ .
Статистика модифицированного критерия Крамера-Мизеса-Смирнова с оценкой Каплана-Мейера принимает вид
С п • а,
¿Ю = —— + пX 3 ]=1
Р2 {а] ){а]+1 - а}) - Рп {а]) (а2+1 - а2 ) +
(ау +1 - ау )
(14)
В модифицированном критерии Андерсона-Дарлинга в качестве меры рассматривается величина
Н2 =
X
:К Рп а) -1)
о
2 СГ
Г {1 - Г)
Соответственно, статистика модифицированного критерия Андерсона-Дар-линга имеет вид
= п | -а1 + X а] - а] +1 + (а] ) (1п а]+1 - 1п а] ) -]=1
\2
(1 - Рп (а] )) (Ь (1 - а]+1)- 1п(1 - а] ))
- 1п (1 - а1 )[,
(15)
Проверяемая гипотеза о согласии отвергается при больших значениях статистик. Необходимо отметить, что проверяемая гипотеза о равномерности остатков является сложной, поскольку при вычислении остатков по формуле (11) используются ОМП параметров модели. Аналитические выражения для распределений статистик рассматриваемых критериев в этом случае неизвестны. Более того, они зависят от множества факторов, определяющих «сложность» гипотезы, включая факторы, связанные с зависимостью от свойств оценок параметров, от типа и степени цензурирования, от наличия усеченных наблюдений, что полностью исключает возможность аналитического построения распределений статистик критериев. Поэтому вычисление критических значений статистик (или достигнутых уровней значимости), необходимых при проверке гипотезы о согласии с использованием данных критериев, возможно только с опорой на численные оценки распределений статистик, получаемые с использованием статистического моделирования.
5. Распределения статистик и мощность критериев согласия
Как сказано выше, проверяемая гипотеза о согласии с построенной вероятностной моделью является сложной, поскольку параметры модели оцениваются по той же выборке, по которой проверяется гипотеза. В этом случае на распределения статистик критериев типа Колмогорова, Крамера-Мизеса-Смирнова и Ан-дерсона-Дарлинга влияют как свойства непараметрической оценки Каплана-Мейера, так и свойства ОМП параметров модели.
Если исходная выборка Xn является цензурированной, то и выборка остатков Rn также будет цензурированной, при этом одинаковые времена цензурирования в исходной выборке (при I или II типах цензурирования) после преобразования (11) будут различными. В [16] было показано, что свойства оценки Каплана-Мейера зависят от типа и степени цензурирования, а также от распределения моментов цензурирования в случае III типа.
Оценка Каплана-Мейера вычисляется по выборке остатков, тогда как ОМП параметров модели вычисляются по исходной выборке Xn , содержащей в общем случае как полные, так и усеченные слева и цензурированные справа наблюдения. Как показано в разделе 3, на свойства ОМП параметров вероятностных моделей существенное влияние оказывают вид базового закона распределения отказов, тип и количество оцениваемых параметров базового закона, а также степень цензурирования и глубина усечения выборки. Кроме этого для некоторых законов распределения (например, для гамма-распределения) свойства ОМП зависят и от конкретного значения параметра формы [17].
Таким образом, алгоритм моделирования распределений статистик, учитывающий влияние указанных факторов, можно сформулировать следующим образом.
1. На основе построенной вероятностной модели надежности, с которой проверяется гипотеза о согласии, сгенерировать выборку Yn, аналогичную исходной выборке Xn , по заданному плану эксперимента (при заданных значениях вектора объясняющих переменных x и количествах объектов в группах, имеющих разные значения x ).
1.1. Если Xn представляет собой полную выборку вида (1), то элементы выборки Yn моделируются в соответствии с выражением Ti = F-1 {%i ), где
^ ^ Uniform(0,1), i = 1,..., n .
1.2. Если Xn представляет собой цензурированную выборку вида (2), то сначала моделируется полная выборка (см. п. 1.1), а затем полученная выборка преобразуется в соответствии с типом цензурирования выборки Xn .
1.3. Если Xn представляет собой усеченную слева выборку вида (3), то для формирования i -го элемента выборки Yn , i = 1, n , генерируется последовательность величин | j ^ Uniform(0,1), j = 1,2,..., пока не выполнится условие
Ti = Fj ) > Di, где Di - время усечения i -го наблюдения выборки Xn .
x1
1.4. Если Xn представляет собой выборку вида (4), усеченную слева и цензурированную справа, то сначала моделируется усеченная выборка в соответствии с п. 1.3, а затем полученная выборка преобразуется в цензурированную (в соответствии с типом цензурирования выборки Xn ).
2. По полученной выборке Yn оценить параметры модели методом максимального правдоподобия.
3. Сформировать выборку остатков Rn .
4. По выборке Rn вычислить значение статистики соответствующего кри-
C C C
терия (статистики SK , Sra или Sq ).
5. Повторить пункты 1-4 N раз. По полученной выборке статистик объема N построить эмпирическую функцию распределения статистики критерия Gn(S|tfо ).
По построенному в соответствии с данным алгоритмом распределению статистики Gn (S | H0) вычисляется оценка достигнутого уровня значимости
an = 1 - Gn (Sn | Ho), где Sn - значение соответствующей статистики, полученное по исходной выборке Xn . Если an не превышает заданного уровня значимости а, то гипотеза о согласии отвергается.
В качестве примера исследуем мощность рассматриваемых модификаций критериев согласия относительно следующей пары конкурирующих гипотез:
Ho : модель пропорциональных интенсивностей Кокса (7) с базовым распределением Вейбулла;
Hi: модель Ксая (8) с тем же базовым распределением.
Конкурирующая гипотеза H1 представляет собой обобщение модели пропорциональных интенсивностей Кокса, при котором функции надежности для разных значений воздействий пересекаются. Таким образом, данное исследование позволит выявить чувствительность рассматриваемых критериев согласия к изменению вида регрессионной зависимости.
Распределения статистик критериев согласия при справедливости гипотезы Ho моделировались на основе модели Кокса со скалярной объясняющей переменной х е (0,1} и параметрами 6o = 22,0, 6i = 1,1, в = 0,2 . Количество наблюдений с одинаковым значением ковариаты - ni = 100 для х = 0 и х = 1, i = (1,2}. При справедливой конкурирующей гипотезе H1 выборки моделировались в соответствии с моделью Ксая с обобщающим параметром у = 0,5 при тех же прочих условиях.
В табл. 3 представлены оценки мощности рассматриваемых критериев, полученные по выборкам вида (2) с цензурированием II типа при а = 0,1, объем моделирования N = 10000.
Таблица 3 / Table 3
Оценки мощности критериев согласия для первой пары гипотез Estimates of the power of goodness-of-fit tests for the first pair of hypotheses
Степень цензурирования / Censoring degree Критерий согласия / Goodness-of-fit test
Колмогорова / Kolmogorov Крамера-Мизеса-Смирнова / Cramer-von Mises-Smirnov Андерсона-Дарлинга/ AndersonDarling
0 % 0,19 0,22 0,23
10 % 0,16 0,19 0,21
30 % 0,13 0,14 0,16
50 % 0,13 0,13 0,14
Из табл. 3 видно, что непараметрические критерии согласия типа Колмогорова, Крамера-Мизеса-Смирнова и Андерсона-Дарлинга способны различать близкие гипотезы, соответствующие моделям с разными видами регрессионной зависимости. Наибольшей мощностью для всех рассмотренных степеней цензурирования обладает критерий типа Андерсона-Дарлинга.
Для того чтобы исследовать чувствительность критериев к изменению вида базового закона распределения, сравним мощности критериев согласия для следующей пары близких конкурирующих гипотез:
H0 : модель пропорциональных интенсивностей Кокса (7) с базовым распределением Вейбулла;
Hj: модель пропорциональных интенсивностей Кокса (7) с базовым гамма-распределением.
В данном случае при справедливости гипотезы H00 распределения статистик критериев согласия моделировались на основе модели Кокса со скалярной объясняющей переменной x е {0,0; 0,5; 1,0; 1,5; 2,0} и значениями параметров 6о = 2 , 01 = 2, в = 2. Количество наблюдений с одинаковым значением ковариаты -n1 = 40, i = 1,5 . При справедливости конкурирующей гипотезы H выборки моделировались в соответствии с базовым гамма-распределением при значениях параметров 00 = 0,5577 , 01 = 3,1215 , в = 2 по тому же плану эксперимента.
В табл. 4 представлены оценки мощности рассматриваемых критериев согласия в случае усеченных слева и цензурированных справа выборок вида (4) при различной величине глубины усечения d и степени цензурирования. При этом
времена усечения Di = F-1(d).
Таблица 4 / Table 4
Оценки мощности критериев согласия для второй пары гипотез Estimates of the power of goodness-of-fit tests for the second pair of hypotheses
Глубина усечения / Truncation depth Степень цензурирования / Censoring degree Критерий согласия / Goodness-of-fit test
Колмогорова / Kolmogorov Крамера-Мизеса-Смирнова/ Cramer-von Mises-Smirnov Андерсона-Дарлинга/ AndersonDarling
0,0 0 % 0,41 0,49 0,56
0,0 10 % 0,19 0,21 0,29
0,0 30 % 0,20 0,18 0,18
0,0 50 % 0,14 0,14 0,13
0,1 0 % 0,25 0,31 0,34
0,1 10 % 0,19 0,22 0,25
0,1 30 % 0,17 0,17 0,18
0,1 50 % 0,15 0,15 0,14
0,3 0 % 0,20 0,23 0,25
0,3 10 % 0,16 0,18 0,19
0,3 30 % 0,15 0,15 0,15
0,3 50 % 0,12 0,12 0,11
0,5 0 % 0,16 0,18 0,19
0,5 10 % 0,14 0,15 0,17
0,5 30 % 0,13 0,13 0,12
0,5 50 % 0,11 0,10 0,10
Как видно из табл. 4, с увеличением глубины усечения и ростом степени цензурирования мощность критериев согласия падает. Однако потери в мощности критериев для усеченных слева выборок оказались меньше, чем аналогичные потери для цензурированных выборок на данной паре конкурирующих гипотез. Также стоит отметить, что при малых степенях цензурирования большей мощностью обладает критерий типа Андерсона-Дарлинга, тогда как с ростом степени цензурирования мощность всех рассматриваемых критериев приближается к заданному уровню значимости а = 0,1.
Заключение
В настоящей работе рассмотрена проблема проверки адекватности вероятностных моделей надежности с учетом объясняющих переменных по усеченным слева и цензурированным справа выборкам. Проведено исследование точности ОМП параметров распределения Вейбулла по усеченным слева выборкам. Показано, что в случае оценивания параметра масштаба при известном значении параметра формы точность ОМП не зависит от глубины усечения; в случае оценивания параметра формы при фиксированном параметре масштаба и глубине усечения d > 0,4 дисперсия ОМП по усеченной выборке меньше, чем по полной выборке отказов; при одновременном оценивании двух параметров определитель ковариационной матрицы для усеченной выборки, напротив, значительно больше, чем для полной, и увеличивается с ростом глубины усечения.
Предложен универсальный подход к проверке адекватности построенных вероятностных моделей надежности, основанный на применении модификаций критериев согласия типа Колмогорова, Крамера-Мизеса-Смирнова и Андерсона-Дарлинга для проверки сложных гипотез о принадлежности выборок остатков, вычисленных в соответствии с проверяемой моделью, равномерному на (0,1)
распределению. Предложен и реализован алгоритм статистического моделирования неизвестных распределений статистик критериев при справедливости проверяемой гипотезы, позволяющий в итоге вычислять достигнутый уровень значимости и принимать корректное решение о результатах проверки. Показано, что предложенный подход позволяет проверять как предположения относительно вида регрессионной зависимости, так и предположения о виде базового закона распределения отказов.
ЛИТЕРАТУРА
1. Meeker W.Q., Escobar L.A. Statistical methods for reliability data. - New York: John Wiley & Sons, 1998. - 680 p.
2. Cox D.R. Regression models and life tables // Journal of the Royal Statistical Society. Series B (Methodological). - 1972. - Vol. 34, iss. 2. - P. 187-220.
3. Bagdonavicius V., Nikulin M. Accelerated life models: modeling and statistical analysis. -Boca Raton, Florida: Chapman & Hall/CRC, 2002. - 334 p.
4. Beran R. Nonparametic regression with randomly censored survival data: technical report. -Berkeley: University of California, Department of Statistics, 1981.
5. Демин В.А., Чимитова Е.В. Выбор оптимального параметра сглаживания для непараметрической оценки регрессионной модели надежности // Вестник Томского государственного университета. Управление, вычислительная техника и информатика. -2013. - № 1 (22) . - C. 59-65.
6. Breslow N.E. Analysis of survival data under the proportional hazards model // International Statistical Review. - 1975. - Vol. 43, N 1. - P. 45-57.
7. Lawless J.F. Statistical models and methods for lifetime data. - Hoboken, New Jersey: John Wiley & Sons, 2003. - xx, 630 p.
8. Чимитова Е.В., Ведерникова М.А., Галанова Н.С. Непараметрические критерии согласия в задачах проверки адекватности моделей надежности по цензурированным данным // Вестник Томского государственного университета. Управление, вычислительная техника и информатика. - 2013. - № 4 (25). - С. 115-124.
9. Balakrishnan N., Mitra D. Left truncated and right censored Weibull data and likelihood inference with an illustration // Computational Statistics and Data Analysis. - 2012. - Vol. 56, iss. 12. - P. 4011-4025. - doi: 10.1016/j.csda.2012.05.004.
10. Balakrishnan N., Mitra D. Likelihood inference for lognormal data with left truncation and right censoring with an illustration // Journal of Statistical Planning and Inference. - 2011. -Vol. 141, iss. 11. - P. 3536-3553. - doi: 10.1016/j.jspi.2011.05.007.
11. Balakrishnan N., Mitra D. Likelihood inference based on left truncated and right censored data from a gamma distribution // IEEE Transactions on Reliability. - 2013. - Vol. 62, iss. 3. -P. 679-688. - doi: 10.1109/TR.2013.2273039.
12. Bagdonavicius V., Levuliene R., Nikulin M.S. Goodness-of-fit criteria for the Cox model from left truncated and right censored data // Journal of Mathematical Sciences. - 2010. -Vol. 167, iss. 4. - P. 436-443. - doi: 10.1007/s10958-010-9929-6.
13. Hsieh F. On heteroscedastic hazards regression models: theory and application // Journal of the Royal Statistical Society. Series B (Statistical Methodology). - 2001. - Vol. 63, iss. 1. -P. 63-79. - doi: 10.1111/1467-9868.00276.
14. Лемешко Б.Ю., Гильдебрант С.Я., Постовалов С.Н. К оцениванию параметров надежности по цензурированным выборкам // Заводская лаборатория. Диагностика материалов. - 2001. - Т. 67, № 1. - С. 52-64.
15. Testing goodness-of-fit of parametric AFT and PH models with residuals / N. Balakrishnan, E.V. Chimitova, N.S. Galanova, M.A. Vedernikova // Communications in Statistics - Simulation and Computation. - 2013. - Vol. 42, iss. 6. - P. 1352-1367. - doi: 10.1080/03610918. 2012.659824.
16. Лемешко Б.Ю., Чимитова Е.В., Ведерникова М.А. Модифицированные критерии согласия Колмогорова, Крамера-Мизеса-Смирнова и Андерсона-Дарлинга для случайно цензурированных выборок. Ч. 2 // Научный вестник НГТУ. - 2013. - № 1 (50). - С. 3-16.
17. Статистический анализ данных, моделирование и исследование вероятностных закономерностей. Компьютерный подход / Б.Ю. Лемешко, С.Б. Лемешко, С.Н. Постовалов, Е.В. Чимитова. - Новосибирск: Изд-во НГТУ, 2011. - 887 с. - (Монографии НГТУ).
TESTING GOODNESS-OF-FIT OF PARAMETRIC RELIABILITY REGRESSION MODELS WITH LEFT TRUNCATED AND RIGHT CENSORED DATA
E.V. Chimitova, M.A Semenova.
Novosibirsk State Technical University, Novosibirsk, Russian Federation
The paper addresses basic issues of constructing probabilistic reliability models with explanatory variables for left truncated and right censored samples. The study of the accuracy of the maximum likelihood estimates of the Weibull distribution parameters has been carried out for left truncated samples. It has been shown that the determinant of the covariance matrix for the truncated sample is significantly larger than the determinant for a complete sample. Moreover, the determinant of the covariance matrix for the truncated sample increases as the depth of truncation grows. A universal approach to testing the goodness-of-fit hypothesis for the probabilistic reliability model by left truncated and right censored samples is proposed. This approach is based on using modified goodness-of-fit criteria for testing the hypothesis of the uniformity of residual samples corresponding to the model tested. In the paper, the Kolmogorov type, Cramer-von Mises-Smirnov type and Anderson-Darling type goodness-of-fit tests are considered. The proposed algorithm of statistical simulation of unknown distributions of test statistics makes it possible to use these tests in the case of left truncated and right censored samples correctly. The study of the tests power has shown that the approach based on residual samples can be applied for testing the assumption of the regression dependence kind as well as for testing the choice of baseline distribution.
Keywords: censored sample, truncated sample, reliability model, proportional hazards model, accelerated failure time model, goodness-of-fit tests.
DOI: 10.17212/1727-2769-2015-1-104-120
REFERENCES
1. Meeker W.Q., Escobar L.A. Statistical methods for reliability data. New York, John Wiley & Sons, 1998. 680 p.
2. Cox D.R. Regression models and life tables. Journal of the Royal Statistical Society. Series B (Methodological), 1972, vol. 34, iss. 2, pp. 187-220.
3. Bagdonavicius V., Nikulin M. Accelerated life models: modeling and statistical analysis. Boca Raton, Florida, Chapman & Hall/CRC, 2002. 334 p.
4. Beran R. Nonparametic regression with randomly censored survival data. Technical report. Berkeley, University of California, Department of Statistics, 1981.
5. Demin V.A., Chimitova E.V. Vybor optimal'nogo parametra sglazhivaniya dlya nepara-metricheskoi otsenki regressionnoi modeli nadezhnosti [Choice of optimal smoothing parame-
ter for nonparametric estimation of regression reliability model]. Vestnik Tomskogo gosudar-stvennogo universiteta. Upravlenie, vychislitel'naya tekhnika i informatika - Tomsk State University Journal of Control and Computer Science, 2013, no. 1 (22), pp. 59-65.
6. Breslow N.E. Analysis of survival data under the proportional hazards model. International Statistical Review, 1975, vol. 43, no. 1, pp. 45-57.
7. Lawless J.F. Statistical models and methods for lifetime data. Hoboken, New Jersey, John Wiley & Sons, 2003. xx, 630 p.
8. Chimitova E.V., Vedernikova M.A., Galanova N.S. Neparametricheskie kriterii soglasiya v zadachakh proverki adekvatnosti modelei nadezhnosti po tsenzurirovannym dannym [Non-parametric goodness-of-fit tests in testing adequacy of reliability models for right censored data]. Vestnik Tomskogo gosudarstvennogo universiteta. Upravlenie, vychislitel'naya tekhni-ka i informatika - Tomsk State University Journal of Control and Computer Science, 2013, no. 4 (25), pp. 115-124.
9. Balakrishnan N., Mitra D. Left truncated and right censored Weibull data and likelihood inference with an illustration. Computational Statistics and Data Analysis, 2012, vol. 56, iss. 12, pp. 4011-4025. doi: 10.1016/j.csda.2012.05.004
10. Balakrishnan N., Mitra D. Likelihood inference for lognormal data with left truncation and right censoring with an illustration. Journal of Statistical Planning and Inference, 2011, vol. 141, iss. 11, pp. 3536-3553. doi: 10.1016/j.jspi.2011.05.007
11. Balakrishnan N., Mitra D. Likelihood inference based on left truncated and right censored data from a gamma distribution. IEEE Transactions on Reliability, 2013, vol. 62, iss. 3, pp. 679-688. doi: 10.1109/TR.2013.2273039
12. Bagdonavicius V., Levuliene R., Nikulin M.S. Goodness-of-fit criteria for the Cox model from left truncated and right censored data. Journal of Mathematical Sciences, 2010, vol. 167, iss. 4, pp. 436-443. doi: 10.1007/s10958-010-9929-6
13. Hsieh F. On heteroscedastic hazards regression models: theory and application. Journal of the Royal Statistical Society. Series B (Statistical Methodology), 2001, vol. 63, iss. 1, pp. 63-79. doi: 10.1111/1467-9868.00276
14. Lemeshko B.Yu., Gil'debrant S.Ya., Postovalov S.N. K otsenivaniyu parametrov nadezhnosti po tsenzurirovannym vyborkam [About the estimation of reliability parameters by censored samples]. Zavodskaya laboratoriya. Diagnostika materialov - Industrial laboratory. Materials diagnostics, 2001, vol. 67, no. 1, pp. 52-64.
15. Balakrishnan N., Chimitova E., Galanova N., Vedernikova M. Testing goodness-of-fit of parametric AFT and PH models with residuals. Communications in Statistics - Simulation and Computation, 2013, vol. 42, iss. 6, pp. 1352-1367. doi: 10.1080/03610918.2012.659824
16. Lemeshko B.Yu., Chimitova E.V., Vedernikova M.A. Modifitsirovannye kriterii sogla-siya Kolmogorova, Kramera-Mizesa-Smirnova i Andersona-Darlinga dlya sluchaino tsenzuri-rovannykh vyborok. Ch. 2 [Modified goodness-of-fit tests of Kolmogorov, Cramer-von Mis-es-Smirnov and Anderson-Darling for randomly censored samples]. Nauchnyi vestnik NGTU -Science bulletin of Novosibirsk state technical university, 2013, no. 1 (50), pp. 3-16.
17. Lemeshko B.Yu., Lemeshko S.B., Postovalov S.N., Chimitova E.V. Statisticheskii analiz dannykh, modelirovanie i issledovanie veroyatnostnykh zakono-mernostei. Komp'yuternyi podkhod [Statistical data analysis, simulation and study of probability regularities. Computer approach]. Novosibirsk, NSTU Publ., 2011. 887 p.
СВЕДЕНИЯ ОБ АВТОРАХ
Чимитова Екатерина Владимировна - родилась в 1977 году, канд. техн. наук, доцент, доцент кафедры теоретической и прикладной информатики Новосибирского государственного технического университета. Область научных интересов: статистические методы анализа данных типа времени жизни. Опубликовано 80 научных работ. (Адрес: 630073, Россия, г. Новосибирск, пр. Карла Маркса, 20. E-mail: [email protected]). Chimitova Ekaterina Vladimirovna (b. 1977) - PhD (Eng.), associate professor at the Theoretical and Applied Informatics Department of the Novosibirsk State Technical University. Her research interests are currently focused on statistical methods of lifetime data analysis. She is the author of 80 scientific papers (Address: 20, Karl Marx Av., Novosibirsk, 630073, Russian Federation. E-mail: [email protected]).
Семёнова Мария Александровна - родилась в 1989 году, аспирант кафедры теоретической и прикладной информатики Новосибирского госу-) дарственного технического университета. Область научных интересов: проверка статистических гипотез при построении моделей выживаемости ' ..,. по цензурированным выборкам. Опубликовано 10 научных работ. '«&. (Адрес: 630073, Россия, г. Новосибирск, пр. Карла Маркса, 20. E-mail: [email protected]).
Semenova Maria Alexandrovna (b. 1989) - a postgraduate student at the Theoretical and Applied Informatics Department in the Novosibirsk State Technical University. Her research interests are currently focused on statistical tests for survival models by censored samples. She is the author of 10 scientific papers. (Address: 20, Karl Marx Av., Novosibirsk, 630073, Russian Federation. E-mail: vederniko va.m. a@gmail .com)
Статья поступила 10 декабря 2014 г. Received on December 10, 2014
To Reference:
Chimitova E.V., Semenova M.A. Proverka adekvatnosti parametricheskikh regressionnykh modelei nadezhnosti po usechennym sleva i tsenzurirovannym sprava dannym [Testing goodness-of-fit of parametric reliability regression models with left truncated and right censored data]. Dokla-dy Akademii nauk vysshei shkoly Rossiiskoi Federatsii - Proceedings of the Russian higher school Academy of sciences, 2015, no. 1 (26), pp. 104-120. doi: 10.17212/1727-2769-2015-1-104-120
