Сравнение критериев выбора модели в задачах аппроксимации с естественным базисом Текст научной статьи по специальности «Математика»

УДК 004.942 + 623.454.862 Е.Г. РЕВУНОВА

СРАВНЕНИЕ КРИТЕРИЕВ ВЫБОРА МОДЕЛИ В ЗАДАЧАХ АППРОКСИМАЦИИ С ЕСТЕСТВЕННЫМ БАЗИСОМ__________________________________________________________________________________

Abstract: A comparative analysis of linear model selection criteria applied to the problem of assessing the radionuclide content in environmental objects is performed. Detector outputs obtained for gamma-quanta of particular energy are used as basis functions. Complexity and quality of models vs noise level for various model selection criteria is investigated.

Key words: linear approximation, model selection criteria, spectrometry.

Анотація: Проведено порівняльний аналіз критеріїв вибору лінійної моделі на прикладі задачі визначення складу радіонуклідів в об'єктах навколишнього середовища. За базисні функції було взято функції відгуку детектора на вплив гамма-квантів з визначеною енергією. Досліджено залежність складності й адекватності (якості) моделей від рівня шуму для різних критеріїв вибору моделі.

Ключові слова: лінійна апроксимація, критерії вибору моделі, задача спектрометрії.

Аннотация: Проведен сравнительный анализ критериев выбора линейной модели на примере задачи определения содержания радионуклидов в объектах окружающей среды. В качестве базисных функций использованы функции отклика детектора на воздействие гамма-квантов с определенной энергией. Исследована зависимость сложности и адекватности (качества) моделей от уровня шума для разных критериев выбора модели.

Ключевые слова: линейная аппроксимация, критерии выбора модели, задача спектрометрии.

1. Введение

Для многих технических приложений типичной является следующая ситуация. Имеется система «датчик - измерительный прибор», на вход которой осуществляются некоторые воздействия. Исследователь располагает априорной информацией о наборе возможных воздействий. Задача -определить, какие именно воздействия и с какими весовыми коэффициентами (параметрами) сформировали измеряемый выход прибора. Примерами таких задач являются определение активностей радионуклидов по измеренному спектру их гамма-излучения [1, 2], подавление активных радио помех [3, 4] и др. [5, 6].

В рамках аппроксимационного подхода к решению таких задач сигнал / (г) на выходе прибора представляют моделью, линейной относительно параметров

я*)=1>иМ(*)(1)

где г - независимая переменная (например, время, значение энергии и т.п.); (£) - некоторая

система базисных функций (каждая функция - отклик системы на определенное воздействие); в = (в1,в2,...,вт)Т - параметры (весовые коэффициенты воздействий); е - собственный шум системы.

/Л*

Традиционно задача аппроксимации состоит в оценке вектора параметров в по известному набору Ь пар данных вход-выход ЭЬ = {(хі, уі )}=1Ь, где уі - измеренное значение сигнала на

выходе прибора; ху =р(*),і = 1...Ь,] = 1...Ц. Матрицу значений базисных функций X = {ху}

называют матрицей плана. Для вычисления оценки параметров в*, как правило, применяют обычный или регуляризованный метод наименьших квадратов (МНК - см. также [4]). Для интересующего нас случая с неизвестным составом воздействий и, соответственно, базисных функций задача усложняется, так как перед этапом оценки параметров модели необходимо выбрать ее структуру, т.е. некоторое подмножество m базисных функций из их полного набора, включающего ¡1 функций.

В настоящее время существует целый ряд критериев выбора структуры модели, предложенных исходя из разных принципов и теоретических посылок. Наиболее известные из них можно разделить на следующие группы. Критерии на основе минимизации ошибки обобщения (generalization error) - SIC [7], AIC [8], ошибки прогнозирования на обучающей выборке (predictive training error) - Cp, Cl [9, 10], минимальной длины описания (minimum description length MDL) - gMDL [11]. При создании каждого критерия делается ряд предположений или упрощений, поэтому априори нельзя сказать, какой из них окажется лучшим для конкретной практической задачи.

В данной работе экспериментально исследована адекватность разных типов критериев выбора модели для задач с "естественным" базисом - дискретно заданными функциями, каждая из которых является результатом измерений (или реконструкции) одного определенного воздействия в L точках. В качестве примера рассмотрена актуальная задача спектрометрии - определение активности отдельных радиоактивных элементов по измеренному суммарному спектру. В качестве базисных использованы функции отклика детектора на воздействие гамма-квантов с определенной энергией.

С помощью установки ПРС “Вектор” [12] получены результаты измерений спектров, для которых известен состав базисных функций, их веса и уровень шума. Это позволило оценить качество моделей, сконструированных в соответствии с разными критериями, путем сравнения получаемых результатов с "эталонными" как по точности восстановления весовых коэффициентов (активностей) отдельных элементов, так и по точности восстановления самой функции, т.е. суммарного спектра.

2. Критерии выбора модели

Рассмотрим ряд критериев, которые будут далее использованы для построения моделей. Оптимальной по некоторому критерию считается модель, для которой данный критерий принимает оптимальное (обычно, минимальное) значение.

2.1. Критерии, основанные на ошибке обобщения

Ошибкой обобщения для квадратичной функции потерь называют

II * ||2

Е,||/, - /о||. (2)

где Ee - матожидание по всем возможным реализациям шума; /0 - идеальная оценка - функция, минимизирующая средний риск на классе функций F ; /*- оценка, полученная по модели в.

Критерием, основанным на наихудшей ошибке обобщения, является минимизация структурного риска [14]. К критериям, основанным на средней ошибке обобщения, относятся информационный критерий подпространств SIC (subspace information criterion) [7] и информационный критерий Акаике (AIC) [8, 13]. SIC позволяет получить несмещенную оценку ошибки обобщения при

условии наличия аддитивного шума e (y = y0 + e) с нулевым средним и известной дисперсией s2 :

II * || 2

EeSIC = E,\/e-/0| . (3)

Для обучения, минимизирующего среднеквадратичную ошибку, выражение для критерия SIC имеет следующий вид:

SIC = (Ty, y) - s2tr (T) + s2tr (T+ ), (4)

T = t+ - t;Ts t+ - t;Ts t; + t; . (5)

(•) + обозначает псевдоинверсию; TS и TF - матрицы LxL, элементы которых есть воспроизводящие ядра [15]. Модификация SIC, учитывающая неотрицательность (Ty,У -s2tr(T) , имеет вид [7]:

cSIC = [( Ty, y) - s2tr (T)]+ + s2 tr(T; ). (6)

[•]+ определяется как [t]+= max(0, t). Моделью оптимальной сложности является модель с минимальным значением SIC. Для вычисления TS и TF может быть использовано выражение для воспроизводящих ядер конечномерных классов [15]. Тогда, для матриц плана XS (L X m1) и

хF(L xm) (m <m)

Ts = ((XsXS )-J)T XsXTS , Tf = ((XFXF )-J)T XFXF. (7)

Критерии Акаике (AIC, cAIC) [8, 16] основаны на асимптотической несмещенной оценке среднего правдоподобия (при L ® ¥ ). Выражение для cAIC имеет вид

cAIC = (L/2)logRSS + (L/2)(1 + mJ /L)/(l - (m + 2))/L ; (8)

RSS = ||y - yf =||y- Xs (XTsXs)-1 XSy||", (9)

* T . _i t *

где y - оценка y , полученная моделью; B = XS (XSXS ) XS - оператор, отображающий y в y ; XS - (L xm) матрица плана, ассоциированная с выбранными базисными функциями.

2.2. Критерии, основанные на ошибке прогнозирования для обучающей выборки

Ошибкой прогнозирования для обучающей выборки (predictive training error) JPTE [17] называют

il »г» 112 _ и 112 11_ 112 _ _ 't'

JPTE = Ee\\у - у0 = Ee\By - у0 = ВУо - yJ + tr(BQB ) . (10)

К критериям, основанным на ошибке прогнозирования для обучающей выборки, относятся критерии Маллоуза Ср, CL [9, 10], и (обобщенная) кросс-валидация [18]. В данной работе

используется Ср, который дает несмещенную оценку JPTE :

CP = RSS + 2s2m. (11)

2.3. Критерии, основанные на минимизации длины описания

Предложен ряд критериев, основанных на минимизации длины описания [19]

L(У I Xs ,s) + L(s^ (12)

где L(y | XS, s) - длина описания данных у моделью s ; L(s) - длина описания модели s .

Такими критериями выбора модели являются L(у), gMDL, критерий нормализованного максимума правдоподобия (nMDL) [11], критерий стохастической сложности [19]. Критерий Бина Ю L(y) основан на так называемой смешанной форме принципа минимизации длины описания (mixture form MDL). Длина кода L(y) , т.е. число бит, необходимое для передачи у , есть

L(у) = - log2 m(у | X), (13)

где т(у | X) - смешанное распределение, которое объединяет все члены класса моделей.

L( у) вычисляется следующим образом:

L( у) = 0,5( уТ у — FSS )/s2 + 0,5m[l + log(FSS /(s2m))] + 0,5log L при FSS >ms2;

(14)

L(у) = 0,5(yTy)s2 - иначе, где FSS = уТXs (XSXs)-1 XSy.

В [11] также предложен критерий gMDL для случая неизвестной дисперсии шума: gMDL = (L /2) log S + 0,5m logF + logL при R2 > m1 /L ;

(15)

gMDL = (L/2)log(yTy/L) + 0,5logL - иначе, где S = RSS/(L — m), F = (yTу — RSS) / ju1 S, R - множественный коэффициент корреляции.

3. Схема экспериментального исследования

Общая схема эксперимента включает этапы выбора структуры и построение модели, оптимальной с точки зрения исследуемых критериев, вычисление показателей качества полученных моделей, оценку адекватности критериев для тестовой задачи по показателям качества полученных ими моделей.

3.1. Выбор структуры модели

Исчерпывающим методом перебора моделей-претендентов для определения структуры модели оптимальной сложности является полный перебор всех возможных подмножеств базисных функций [20]. Для каждой из моделей-претендентов оцениваются параметры (в нашем случае, с помощью МНК)

и определяется значение критерия выбора модели. В качестве модели-победителя отбирается модель с оптимальным (обычно, наименьшим) значением критерия. Используя полученные на этапе перебора моделей оценки параметров модели-победителя, вычисляются значения аппроксимируемой функции в точках обучающей выборки и/или в точках тестирующей выборки.

Полный перебор моделей реален только для размерности полного базиса не больше 20-30 [20]. В рассматриваемых далее задачах размерность базиса может составлять 256 и более, что исключает полный перебор. Поэтому в данной работе использовалась следующая процедура "жадного" перебора моделей-претендентов и выбора модели-победителя.

Начиная с моделей сложности с = 1 (с одной базисной функцией), для всех ¡1 моделей вычисляется значение критерия выбора модели СК Выбирается базисная функция, соответствующая оптимальному (обычно, минимальному) значению критерия, которая и включается в модель. Среди оставшихся (1 — с) базисных функций выбирается одна, которая в совокупности с отобранными

ранее минимизирует значение критерия. Она включается в модель сложностью с +1. Аналогично, с добавлением на каждом шаге только одной базисной функции, проверяются модели сложностью до 1. Для каждой сложности модели фиксируются минимальное значение критерия СЯ(с) и соответствующий ему набор базисных функций. На выходе получаем набор базисных функций, при котором достигнуто минимальное по всем с значение критерия СЯ(с*) , их число 11 = с * и вектор оценок параметров 0 *. При таком алгоритме проверяется (перебирается) всего лишь ОЦ +1) / 2) моделей, однако, очевидно, не гарантируется выбор глобально оптимальной модели.

3.2. Показатели качества построенной модели

Для экспериментального исследования (разд. 4) качества модели используются данные, для которых известны незашумленные ("эталонные") значения функции на выходе, сформировавший ее состав базисных функций, их эталонные весовые коэффициенты и уровень шума. Эту информацию можно использовать для оценки качества модели независимо от критерия, по которому выбран состав базисных функций. В экспериментах использовались два показателя качества моделей.

1. Jm (я) - дисперсия ошибки восстановления эталонного сигнала по я реализациям зашумленного:

II 112

Jm (я) = Ея||У0 — /о*\ • (16)

Здесь Ет - матожидание по я реализациям; у0 - известное значение эталонного вектора выходных данных у в Ь точках; /0* - соответствующие значения функции, полученные моделью я с параметрами 0 *. Отличие от "идеального" критерия J(я) [10] заключается в том, что в последнем матожидание Ее берется по всем возможным реализациям шума.

2. J0 (я) - дисперсия ошибки восстановления эталонного вектора параметров:

II «112

1 в (*) = Ет\ | | - в I , (17)

где в0 - эталонный вектор параметров; в * - оценка вектора параметров, давшая /в».

3.3. Прикладная задача и план эксперимента

В качестве задачи аппроксимации с естественным базисом и выходом, формируемым линейной моделью вида (1), рассмотрим задачу определения содержания радионуклидов в объектах окружающей среды. Эта задача заключается в том, что по измеренному суммарному спектру требуется определить состав и параметры (весовые коэффициенты, активности) сформировавших его элементов (радионуклидов).

Традиционный метод окон и его модификации [12] основан на определении состава спектра в так называемых зонах интереса (участках спектра), которым соответствуют лишь некоторые радиоактивные элементы. Работа в зонах интереса не позволяет исследовать пробы произвольного состава и понижает точность определения активностей. Кроме того, для относительно недорогих и широко распространенных сцинтилляционных детекторов характерно сильное перекрытие зон интереса, соответствующих пикам полного поглощения радионуклидов. Задача исследования проб произвольного состава для таких детекторов ранее не рассматривалась. Предлагаемая схема решения этой задачи, в отличие от традиционных методов, позволяет определять (радио)активность элементов не только в зонах интереса, а во всем диапазоне энергий спектрометра.

Будем строить модели, оптимальные с точки зрения одного из критериев разд. 2, с помощью процедуры "жадного" перебора моделей разд. 3.1. В качестве ¡1 базисных функций (формирующих

исходную матрицу плана) будем использовать функции отклика детектора на воздействие гамма-квантов с определенной энергией. Для оптимальной модели получаем подмножество полного набора базисных функций, соответствующих радионуклидам в пробе, и вектор оценок их параметров * (то есть активностей). Построим оптимальные модели для целого ряда реализаций шума определенного уровня о и вычислим для них показатели качества (разд. 3.2). По зависимостям показателей

качества моделей от уровня шума о2 определим наиболее адекватный критерий как такой, который формирует модели с наилучшими показателями качества в наибольшем диапазоне шумов.

4. Экспериментальные исследования

Для сравнения поведения моделей использовались как реально измеренные спектры, так и спектры, искусственно сформированные линейной моделью.

4.1. Реальные данные

В качестве исходных данных использовались результаты измерения спектров радионуклидов спектрометрическим трактом, включающим детектор типа Ыа^Т!) 63x63 и ПРС “Вектор”. Измеряемый

спектр представлял собой вектор из L = 256 чисел, каждое из которых - количество гамма-квантов, обладающих определенной энергией в диапазоне 120...2000 КЭВ. Набор из 256 базисных функций (по числу измеряемых энергий) формировался следующим образом. Спектрометрическим трактом измерялись функции отклика нескольких реально существующих монохромных источников гамма-квантов, и такие функции отклика включались в набор базисных функций как «первичные». Остальные базисные функции формировались из первичных алгоритмически [12].

Для тестирования из базы данных ПРС “Вектор” были отобраны спектры, в состав которых входили радионуклиды Со60, Cs137, Cs134, Mn58 с известными активностями. Для них была произведена оценка уровня собственного шума спектрометрического тракта, и спектры были

упорядочены по уровню шума s = 0,0...9,0.

Спектры включали пять спектральных линий с энергиями 662, 795, 834, 1173, 1332 кЭв (у Со60 две линии), имеющих близкие пики полного поглощения. Кроме пяти вышеперечисленных, в качестве базисных функций использовались еще пять с энергиями 863, 883, 1120, 1461, 1764 кЭв. Такие спектры были выбраны потому, что для них традиционный метод окон и его модификации [12], а также метод редукции модели [12] не обеспечивают достаточную точность оценки параметров.

Эксперименты на реальных данных показали, что при изменении уровня шума меняется сложность модели, что влечет за собой соответствующие изменения значений показателей качества модели Jm и Jq. На рис. 1 показана зависимость сложности оптимальной модели от уровня шума для

критериев выбора модели Ср, gMDL, LyMDL, SIC (разд. 2) и "жадной” процедуры выбора модели (разд. 3.1). TRUE - истинная модель, OLS (ordinary least squares) - МНК с десятью базисными функциями. Для всех исследуемых критериев сложность модели не превышает истинной, т.е. критерии не включают в модель избыточных (реально не входящих в модель) регрессоров. Исключением является критерий LyMDL, дающий при уровне шума 0 сложность модели на один большую, чем истинная.

На рис. 2 представлена зависимость значения показателя качества модели Jm от уровня

шума. Истинная модель TRUE дает минимальные значения Jm относительно исследуемого набора

критериев практически во всем диапазоне шумов, OLS - максимальные. Остальные критерии при нарастании уровня шума дают примерно одинаковый результат, приближающийся к OLS. Зависимость значения показателя качества модели Jq от уровня шума (рис. 3) ведет себя аналогично.

с;

Ф

О

X

о

2

Рис. 1. Зависимость сложности модели от О для реальных данных

4.2. Искусственные данные

Для формирования искусственных тестовых данных с использованием в качестве базисных функций реальных функций отклика детектора использовались те же ¡1 = 10 базисных функций, что и для

реальных данных, число реализаций случайного процесса для каждого уровня шума т = 6 , в0 =(0, 3,

0, 3,5, 0, 4, 7, 9, 0, 0), е - нормально распределенная центрированная случайная величина с дисперсией О2 в широком диапазоне 0,0-104,5 с шагом 5,5. Все Ь = 256 значений у для конкретной реализации шума вычислялись по (1).

Рис. 2. Зависимость 3 т от О2 для реальных данных Рис. 3. Зависимость 3 д от О2 для реальных данных

Рассмотрим результаты экспериментов на искусственных данных. На рис. 4 показана зависимость сложности оптимальной модели от уровня шума для тех же критериев и процедуры выбора модели, что и ранее. С ростом уровня шума сложность модели для всех критериев понижается, при этом кривая для Ср находится выше других, что свидетельствует о том, что Ср обеспечивает сложность модели ближе к истинной.

На рис.5 представлена зависимость 3т от уровня шума. Истинная модель ТКЫЕ дает минимальные значения относительно

т

исследуемого набора критериев практически во всем диапазоне шумов. Для других критериев при росте уровня шума значения 3т достигают и

превышают уровень для OLS, однако Ср в большом диапазоне параметров шума ведет себя

6,0

5.5

5.0

4.5

4.0

3.5

3.0

2.5

2.0

1.5 1,0 0,5

Ср

а—gMDL А—LyMDL *—SIC Ж_ТКУЕ

Уровень шума

т—І—І—І—І—І—І—І—І—І—І—І—І—І—І—І—І—І—І—І

2

Рис. 4. Зависимость сложности модели от О для искусственных данных

лучше OLS и остальных исследованных критериев.

Зависимость J q от уровня шума приведена на рис. 6. Ее вид несколько иной, чем для Jm. Все

критерии дают модель хуже TRUE, но лучше OLS. В большом диапазоне параметров шума Cp ведет себя близко к TRUE и, как и в предыдущих случаях, лучше остальных критериев.

1200 и О о

—В—LyMDL

1000 - —ь.— gMDL

—х—SIC

800 - —Є—OLS

600 -

400 -

200 -

0

Уровень шума

Т I—I—I—I 1—I—I—I 1—I—I—I 1—I—I—I 1—I

11 22 33 44 55 66 77 88 99

300 и —е—Cp

—в—gMDL

250 - —а— Ly

О (Л

200 - —е—OLS

®150 -

100 -

1 0 5

Уровень шума

1

т—і—і—і—і—і—і—і—і—і—і—і—і—і—і—і—і—і—і

3 5 7 9 11 13 15 17 19

Рис. 5. Зависимость Jm от О2 для искусственных данных

Рис. 6. Зависимость Jq от О для искусственных данных

0

0

5. Заключение

Проведен сравнительный анализ критериев выбора модели для линейных по параметрам аппроксимационных моделей. Исследовалось поведение моделей, построенных с помощью недавно предложенных критериев: основанного на несмещенной оценке ошибки обобщения SIC, на принципе минимальной длины описания gMDL, LyMDL, а также классического критерия Маллоуза Cp. В качестве показателя качества модели использовался квадрат Евклидова расстояния между известными незашумленными значениями функции в точках обучающей выборки и значениями на выходе модели, а также непосредственно между известными и полученными моделью векторами параметров.

В качестве тестовой была выбрана актуальная задача определения содержания радионуклидов в объектах окружающей среды с помощью спектрометров со сцинтилляционными детекторами. Применение аппроксимационного подхода с использованием критериев выбора позволило впервые решить задачу определения активности элементов в пробах с произвольным радионуклидным составом для такого типа спектрометров.

В качестве базисных функций использовались функции отклика детектора на воздействие гамма-квантов с определенной энергией. Исследованные зависимости сложности и адекватности (качества) моделей от уровня шума для разных критериев выбора модели показали, что для данных тестовой задачи при умеренном уровне шума (порядка 0,0...9,0, что соответствует уровню шума при реальных измерениях спектра) все критерии функционируют примерно одинаково, с незначительным

преимуществом Ср. При дальнейшем повышении уровня шума преимущество Ср становится более заметным. Предположительно, это связано с тем, что Ср основан на минимизации ошибки прогнозирования в точках обучающей выборки, а остальные три исследованных критерия ориентированы на минимизацию ошибки и в других точках входного пространства. Исследование этого вопроса является темой дальнейшей работы.

СПИСОК ЛИТЕРАТУРЫ

1. Козлов В.Ф. Справочник по радиационной безопасности. - Москва: Энергоатомиздат, 1991. - 208 с.

2. Забулонов Ю.Л., Лісіченко Г.В., Ревунова О.Г. Визначення ступеню радіаційного забруднення об'єктів в нефіксованих геометріях // Збірник наукових праць ІПМЄ НАН України “Моделювання та інформаційні технології”. -2004. - № 27. - C. 95-101.

3. Ширман Я.Д. Радиоэлектронные системы: основы построения и теория. - Москва, 1998. - 828 с.

4. Revunova E.G., Rachkovskij D.A. Jamming cancellation based on a stable LSP solution // International Journal "Information Theories & Applications". - 2005. - N 1. - P. 578-583.

5. Пытьев Ю.П. Математические методы интерпретации эксперимента. - М.: Высшая школа, 1989. - 351 с.

6. Старков В.Н. Конструктивные методы вычислительной физики в задачах интерпретации. - Киев: Наукова думка, 2002. - 263 с.

7. Sugiyama M., Ogawa H. Subspace Information Criterion for Model Selection // Neural Computation. - 2001. - Vol. 13. -N 8. - P. 1863-1889.

8. Akaike H. A new look at the statistical model identification // IEEE Transactions on Automatic Control. - 1974. - Vol. 19.

- N 6. - P. 716-723.

9. Mallows C.L. Some comments on Cp // Technometrics. - 1973. - Vol. 15. - N 4. - P. 661-675.

10. Степашко В.С. Теоретические аспекты МГУА как метода индуктивного моделирования // УСИМ. - 2003. - №2. -C. 31-38.

11. Hansen M., Yu B. Model selection and minimum description length principle // In J. Amer. (ed.) Statist. Assoc. - 2001.

- Vol. 96. - P. 746-774.

12. Ревунова Е.Г. Институт экологических и медицинских систем: Техн. отчет. - 1998. - C. 1-20.

13. Akaike H. Likelihood and the Bayes procedure // In N. J. Bernardo, M. H. DeGroot, D. V. Lindley, A. F. M. Smith (eds.) Bayesian Statistics. - Valencia: University Press, 1980. - P. 141-166.

14. Vapnik V.N. Statistical Learning Theory. - John Wiley & Sons, Inc.: New York, 1998. - 736 p.

15. Aronszajn N. Theory of reproducing kernels // Trans. of the American Mathematical Soc. - 1950. - Vol. 68. - P. 337-

404.

16. Sugiura N. Further analysis of the data by Akaike's information criterion and the finite corrections // Communications in Statistics. Theory and Methods. - 1978. - Vol. 7. - N 1. - P. 13-26.

17. Murata N., Yoshizawa S., Amari S. Network information criterion - Determining the number of hidden units for an artificial neural network model // IEEE Transactions on Neural Networks. - 1994. - Vol. 5, N 6. - P. 865-872.

18. Craven P., Wahba G. Smoothing noisy data with spline functions: Estimating the correct degree of smoothing by the

method of generalized cross-validation // Numerische Mathematik. - 1979. - N 31. - P. 377-403.

19. Rissanen J. Stochastic complexity // J. of the Royal Statistical Society, Series B. - 1987. - Vol. 49, N 3. - P. 223-239.

20. Ивахненко А.Г., Степашко В.С. Помехоустойчивость моделирования. - Киев: Наукова думка, 1985. - 216 с.