РОБАСТНЫЕ НЕЙРОННЫЕ СЕТИ ДЛЯ ПРОГНОЗИРОВАНИЯ НА ОСНОВЕ КРИТЕРИЯ ТЕЙЛА - СЕНА Текст научной статьи по специальности «Компьютерные и информационные науки»

ISSN 1560-3644 IZVESTIYA VUZOV. SEVERO-KAVKAZSKIYREGION.

TECHNICAL SCIENCE. 2020. No 3

УДК 519.7:007.52

DOI: 10.17213/1560-3644-2020-3-22-26

РОБАСТНЫЕ НЕЙРОННЫЕ СЕТИ ДЛЯ ПРОГНОЗИРОВАНИЯ НА ОСНОВЕ КРИТЕРИЯ ТЕЙЛА - СЕНА

© 2020 г. О.В. Сташкова

Приднестровский государственный университет им. Т.Г. Шевченко, г. Рыбница, Приднестровье

ROBUST NEURAL NETWORK FOR FORECASTING BASED ON THE TAIL -SEN TEST

O. V. Stashkova

Pridnestrovian State University, Rybnitsa, Pridnestrovie

Сташкова Ольга Витальевна - ст. преподаватель, кафедра «Информатка и программная инженерия», Приднестровский государственный университет им. Т.Г. Шевченко, г. Рыбница, Приднестровье. E-mail: stashkova.ola@mail.ru

Stashkova Olga V. - Senior Teacher, Department of «Computer Science and Software Engineering», Pridnestrovian State University, Rybnitsa, Pridnestrovie. E-mail: stashkova.ola@mail.ru

Описаны нейронные сети и методы их обучения на основе эффективных модификаций метода Тейла - Сена для получения робастных оценок в случае множественной как линейной, так и нелинейной регрессии. Приводятся примеры, подтверждающие высокие вычислительные качества предложенных моделей и методов.

Ключевые слова: нейронные сети; обучение; прогнозирование; статистика; оценки; регрессия; робастность.

Neural networks and methods of their training based on effective modifications of the Tail - Sen method for obtaining robust estimates in the case of multiple linear and nonlinear regression are described. Examples are given that confirm the high computational quality of the proposed models and methods.

Keywords: neural networks; training; forecasting; statistics; estimates; regression; robustness.

Введение

Искусственные нейронные сети (ИНС) с успехом применяются для решения задач прогнозирования. Процесс обучения ИНС в основном сводится к отысканию значений весов связей, соответствующих минимуму некоторого критерия. Обычно применяется среднеквадратический критерий. В данной работе предложено использование критериев медианного типа, которые, как наглядно показано, приводят к робастным оценкам весов ИНС, характеризующихся более высокой устойчивостью к выбросам в анализируемых выборках. Предложенный подход может быть обобщен на основе применения критериев и методов квантильной регрессии. Рассмотрим критерии, наиболее широко применяющиеся в робастной статистике.

Робастная множественная линейная и нелинейная регрессия

Описание подходов нахождения робастной регрессии дано в литературе, где широко приме-

няются функции Хубера, использующие оценки медианы абсолютного отклонения [1 - 5]. Предположим, что отыскивается робастная многомерная линейная регрессия в евклидовом пространстве Rm: y=wo + WlXl+ ... + +WmXm на основе га+1-мерной выборки с объемом п: {(у(1) , Х1(1) ,... Xm(1)), ...(Уя) , Xl(") ,..., Xm("))}. Для вычисления ее коэффициентов применим медианный метод на основе минимизации суммы абсолютных значений невязок:

fti =

У

(n)

(!) i1) i1) У 1 - w0 - W1 V ) - ...- wmxm 1

(n)

-wn - Wix! -... - wmx,

+... +

(n)

(1)

■ min;

минимум находится относительно коэффициентов регрессии wo, Wl, ... , Wm.

Медианная нелинейная регрессия Весьма широко применяется полиномиальная регрессия [1 - 5]. Сформулируем соответствующий подход в следующем виде. Предположим, что требуется построить робастную

ISSN 1560-3644 IZVESTIYA VUZOV. SEVERO-KAVKAZSKIYREGION.

TECHNICAL SCIENCE. 2020. No 3

квадратическую регрессию: у = wo + WlX + W2X2. Для отыскания ее коэффициентов применим медианный метод на основе минимизации невязки:

\2

g =

У

(1) (1) 'W — wr — Vf. Y^ ' —

0

w1x

y(n) -w0 - w^(n) - w2

W2 (X(1))

( x( 1

+... +

■ min;

(2)

минимум отыскивается относительно коэффициентов регрессии wo, Wl, W2.

Робастный (медианный) нейрон для прогнозирования

На рис. 1 изображен искусственный нейрон, вычисляющий функцию линейной регрессии у = wo + WlXl +...+ wmxm. Процесс обучения нейрона по заданной выборке заключается в настройке значений весов wo, Wl, ... , w m, что реализуется при помощи нахождения минимума критериальной функции.

Е

NET=xw

F

'OUT=F(NET)

g2 =

У(1) - wo -

w1x1

(1)

yW -wo - w1x1(n) -...- wmxjn

+... +

• min;

(3)

МНК при всех его преимуществах критикуется в связи с чувствительностью к выбросам [6 - Ю]. По этой причине на практике большой интерес вызывает применение робастных методов. Наиболее широко применяется медианный метод на основе минимизации суммы абсолютных значений невязок (1). Его реализация для ИНС приводит к нейронным сетям, обладающим устойчивостью к выбросам. Естественно назвать такие ИНС робастными.

На рис. 2 изображен искусственный нейрон, вычисляющий функцию нелинейной регрессии - квадратическую функцию: у = wo + + WlX + W2x2. Обучение данной ИНС возможно как обычным МНК, на основе среднеквадратиче-ского критерия

2

g2 =

y(1) - w0 - w1x(1) - w2 I x

y(n) -w0 - w1x(n) - w2

И

( x,n>)

+... +

• min,

(4)

где минимум отыскивается относительно весов ИНС wo, Wl, W2, так и при помощи медианного метода на основе минимизации невязки (2).

Xo=1

Fn

wo

Fi w1 F

х1 w2

OUT

\

F,

Рис. 1. Искусственный нейрон для вычисления линейной функции регрессии / Fig. 1. Artificial neuron for calculating a linear regression function

Как и в описанном выше случае, предполагаем, что задана m+1-мерная выборка объемом n: {(y(1), xi(1),... xm(1)),...,(/n), xi(n),..., xjn)}. Для отыскания весов нейронной сети (и коэффициентов линии регрессии) применяются разнообразные критерии. Но обычно основываются на среднеквадратическом критерии, который приводит к классическому методу наименьших квадратов (МНК). Соответствующий критерий имеет вид:

(1) 2

V ' — — г

Рис. 2. Искусственный нейрон для вычисления нелинейной функции регрессии / Fig. 2. Artificial neuron for calculating a nonlinear regression function

ИНС для прогнозирования на основе критерия Тейла - Сена

Прогнозирование на основе аналога множественной линейной регрессии

В соответствии с регрессионным методом на основе функции Тейла - Сена для отыскания весов ИНС на рис. 1 применим медианный метод на основе процедуры Гаусса - Зейделя с выделением диагональных элементов:

(^ = Me{[y -y} -w/^(xy -xw)-...-'k(xk-и - xk-i,j)- wk+1(S) (xk+u - xk+i,j)- - -

vns) (xn,; - xn, j)] / (xki- xk, j)}k=1 - • n;

0(s+1) = Me(y; -ъ -...-wns1)xn,),

где Me - статистическая оценка медианы по парам точек выборки i, j=1,...,n (i не равно j); s - номер итерации по методу Зейделя.

Понятно, что должно быть задано начальное приближение, которое может быть выбрано разнообразными способами, например, часто нулевым.

Рассматриваемая система уравнений относительно весов wo, w1, ., wn является нелинейной, так как медиана не всегда обладает линейным свойством. Часто можно решать данную

w

-w

w

m

2

ISSN 1560-3644 IZVESTIYA VUZOV. SEVERO-KAVKAZSKIYREGION.

TECHNICAL SCIENCE. 2020. No 3

систему методом простой итерации или более эффективным методом Зейделя для нелинейной системы уравнений. Если у системы нет диагонального преобладания, то метод Зейделя может расходиться. Для преодоления этой проблемы можно предложить метод решения на основе метода релаксации:

И)=(1 - гк) Ме{[у - у, - ^ (Ху - ) -...-

w,

-w,

k-

l(í+1) (xk-1,i- xk-1, j) - wk+1(s) (xk+1,i- xk+1, j)-

-^ (Хп. - Хп,, )]/ (Хк. - Хк,, )} + гЛ, к = П

щ(^=Ме(у -хи -...-Хп,),

где Гк - коэффициент релаксации.

Пример 1. Построить и обучить ИНС для робастного прогнозирования, соответствующего множественной линейной регрессии в Я2: у = а0 + +01X1 + а2Х2 по данным статистической выборки из 10 - 100 точек, равномерно распределенных в единичном квадрате. Точное решение - уравнение плоскости у = 1 + Х1 + 10x2. Выборочные значения функции у, получались суммированием точных значений с равномерно распределенным шумом с амплитудой 0,25. Примерно в одном из 10 случаев моделировался выброс, равный 1.

Сходимость описанного метода достигалась менее чем за 10 итераций. Коэффициенты регрессии вычислялись с точностью от 20 до 7 % (рис. 3).

■Е GraphABC.NET УАВ

Начальное приближение

а0 = 0.50 а1 = 0.50 а2= 0.50

Результаты итерационные вычислят!

Номер итерации 10 аО = 1.03 а1 = 107 а2 = 9.94

Номер итерации 20 аО = 1.03 а1 = 107 а2 = 9.94

Номер итерации 30 аО = 1.03 а1 = 107 а2 = 9.94

Номер итерации 40 аО = 1.03 а1 = 107 а2 = 9.94

Номер итерации 50 аО = 1.03 а1 = 1.07 а2 = 9.94

|П=100 Ввести |

■5 GnphABC.NET

Начальное приближение

аО = 0.5» al = 8.50 а2 = 0.50

Результаты итерационных вычислений

Номер итерации 10 аО - 1 19 а1 - 1.00 a2 - 9.54

Номер итерации 20 аО = 1 19 а1 = 1.00 a2 = 9.54

Номер итерации 30 аО = 1 19 a1 = 1.00 a2 = 9.54

Номер итерации 40 аО - 1 19 a1 - 1.00 a2 - 9.54

Номер итерации 50 аО - 1 19 a1 - 1.00 a2 - 9.54

|н=Ю Ввести I

Рис. 3. Сходимость метода / Fig. 3. Convergence of the method

Вычисления осуществлялись в системе программирования Pascal ABC.

ИНС для прогнозирования на основе метода, аналогичного множественной нелинейной регрессии

Предположим, что требуется прогнозировать в соответствии с робастной квадратической регрессией с функцией y = W0 + W1X + W2X2. Если

применить для отыскания весов ИНС медианный метод на основе процедуры Гаусса - Зейделя с выделением диагональных элементов по аналогии с линейной регрессией, то очень часто имеет место расходимость итерационного процесса. Система уравнений и соотношения метода Зей-деля при этом имеют вид:

41 = Ме[у - у - 42(х, 2- х/)]/ (х - х у)],

42 = Ме[у - уу - м>1(х-ху)]/ (х 2- х/)],

4о = Ме(уг- - - W2Xi 2); (5)

41(т) = Ме[у - у] - ^(х 2- х;2)]/ (х - х ;)], ^+1) = Ме[у -у - Ч1(^+1)(хг- х)]/ (х 2- х/)], чо(я+1) = Ме(у - ч^х, - ч^х, 2),

где Ме - статистическая оценка медианы по парам точек выборки: ,,у=1,..., п (, не равно у); s - номер итерации по методу Зейделя.

Для сходимости часто требуется задание очень точного начального приближения.

Требуемое количество итераций часто является непомерным. Автором предложена эффективная вычислительная процедура решения системы медианных уравнений. Перепишем первое уравнение системы в виде:

4 1 = Ме [(у - у,)/(х - х ]) - Ч2(х, + х у)].

Учтем, что корреляция двух слагаемых под знаком медианы относительно мала. Уравнение запишем в виде:

41 = Ме[(у - у,)/(х - х у)] - Ч2Ме[х, + х у] + г,

где невязка, определяемая согласно (6),

г = Ме [(у. - у,) / (Х - Х,) - (Х + Х,)] -

- Ме [(Уi - у, ) / (Х - Х, ) + ^2 (Х + Х, )],

(6)

часто, если не как правило, принимает относительно малые значения. Выразим второй коэффициент через первый:

^ ={ме [(у. - у,) / ( х. - х, )]-^ + г)/Ме [х. + х, ] , (7)

и далее подставим это выражение в общее уравнение регрессии у = 4о + 41х + 42х2:

у=4о + 41х + х2{Ме[(у - уу)/(х, - х у)] -- 41 + г }/ Ме[х, + х у],

откуда

у1(х)=у(х)- х2{Ме[(у, - уу)/(х, - х у)] + г}/Ме[х, + х у], у1(х) = 4о + 41(х - х2/Ме[х, + х у]) = 4о + 41х1,

отсюда находим медианную оценку:

41 = Ме [(у1, - у 1у)/(х1, - ху)]. (8)

ISSN 1560-3644 IZVESTIYA VUZOV. SEVERO-KAVKAZSKIYREGION.

TECHNICAL SCIENCE. 2020. No 3

Далее система (1) - (4) решается методом Зейделя в следующем порядке: построение вариационного ряда, вычисление Me[xг■ + х] выборочных значений у,. Следующий шаг - вычисление Me[(yг■ - у)/(хг- - х;)] и далее в цикле итерационного метода Зейделя поправка г, значения хц, у 1 соответственно (8) значение веса ^1, согласно (5) значение ^0, и наконец значение ^2, в соответствии с (7).

Пример 2. Построить робастную нелинейную регрессию: у = ^0 + WlX + ^х2 по данным статистической выборки из 10 - 100 точек, равномерно распределенных на интервале (0,1). Точное решение - уравнение параболы у = 1 + х + х2. Выборочные значения функции у, получались суммированием точных значений с равномерно распределенным шумом с амплитудой 0,5. Примерно в одном из 10 случаев моделировался выброс, равный 5.

Сходимость достигалась за 1 - 2 итерации. Коэффициенты регрессии вычислялись с точностью от 20 до 7 % (рис. 4).

О к_0 МТС2 МТС2 МТС2 МТС2 МТС2 MNK кО

0.50 к 1 = 0.50 к 2 = 0.50 v0 :

к_0 =

к_0 =

к_0 =

к_0 =

к 0 =

0.97 0.97 0.97 0.97 0.97

kl к 1

к_1 к_1 к 1

1.22 1.21 1.20 1.20 1.20

к_2 =

к_2 =

к_2 =

к_2 =

к 2 =

1 04 1.05 1.05 1.05 1.05

0.49 vi 0.01 0.00 0.00 0.00 0.00

1.74 к1 =-0.43 053 &20В2Б6&В1 к2 = 2.58

Рис. 4. Вычисление коэффициентов нелинейной регрессии / Fig. 4. Calculation of nonlinear regression coefficient

На рис. 4 МТС2 обозначает нелинейный вариант метода Тейла - Сена, MNK - метод наименьших квадратов, 100 точек, выбросы через 10 точек, равны 5. Пять итераций. Точность МТС2 существенно выше.

На рис. 5 точки и кривая 1 - это выборочные значения и точное решение, кривая 2 - робастный нелинейный вариант метода Тейла - Сена (высокая точность), кривая 3 - метод наименьших квадратов (точность плохая).

0,2 0,4 0,6 0,8 1,0 Рис. 5. Кривые нелинейной регрессии / Fig. 5. Nonlinear regression curves

Выводы

Описаны нейронные сети и методы их обучения на основе эффективных модификаций метода Тейла - Сена для получения робастных оценок в случае множественной как линейной, так и нелинейной регрессии. Приводятся примеры, подтверждающие высокие вычислительные качества предложенных моделей и методов.

Литература

1. Хампель Ф., Рончетти Э., Рауссеу П., Штаэль В. Робаст-ность в статистике. Подход на основе функций влияния = Robust statistics: the approach based on influence functions. М.: Мир, 1989.

2. Шестопал О.В., Сташкова О.В. Использование искусственных нейронных сетей для восстановления пропусков в массиве исходных данных // Изв. вузов. Сев.-Кавк. регион. Техн. науки. 2017. № 1(193). С. 37 - 43.

3. Шестопал О.В. Робастные методы получения адекватных статистических моделей // Изв. вузов. Сев.-Кавк. регион. Техн. науки. 2018. № 1(197). С. 18 - 23.

4. Бодянский Е.В., Винокурова Е.А. Робастный алгоритм обучения радиально-базисной адаптивной фаззи-вэйвлет-нейронной сети. «АСАУ». 2007. № 11(31).

5. Царегородцев В.Г. Робастная целевая функция с допуском на точность решения для нейросети-предиктора // Нейрокомпьютеры: разработка, применение. 2003. № 12.

6. Neural Network Software, About NeuroSolutions URL: http://www.neuroproject.ru/aboutproduct.php

7. Hornik K., Stinchcombe M., White H. Multilayer feedforward networks are universal approximators // Neural Network. 1989. Vol. 2. 366 р.

8. Хайкин С. Нейронные сети: полный курс = Neural Networks: A Comprehensive Foundation. 2-е изд. М.: Вильямс, 2006.

9. Снитюк В.Е. Эволюционный метод восстановления пропусков в данных: c6. тр. VI-й Межд. конф. «Интеллектуальный анализ информации», Киев, 2006 г. С. 262 - 271.

10. Мартышенко С.Н. Методы восстановления пропусков в данных, представленных в различных измерительных шкалах // Территория новых возможностей. 2013. №4 (22). С. 242 - 255.

ISSN 1560-3644 IZVESTIYA VUZOV. SEVERO-KAVKAZSKIYREGION.

TECHNICAL SCIENCE 2020. No 3

References

1. Hampel F., Ronchetti E., Rausseu P., Stael V. Robustness in statistics. Influence function approach = Robust statistics: the approach based on influence functions. M.: Mir, 1989.

2. Shestopal O.V., Stashkova O.V. Using artificial neural networks to recover gaps in the array of initial data // Izv. universities. North Caucasus. region. Tech. science. 2017. No. 1 (193). P. 37 - 43.

3. Shestopal O.V. Robust methods for obtaining adequate statistical models // Izv. universities. North Caucasus. region. Tech. science. 2018. No. 1 (197). P. 18 - 23.

4. Bodyansky E.V., Vinokurova E.A. Robust algorithm training a radial-basis adaptive fuzzy-wavelet neural network. "ASAU". 2007. No. 11 (31). 5. Tsaregorodtsev V.G. Robust objective function with a tolerance for the accuracy of the solution for the predictor neural network // Neurocomputers: development, application. 2003. No. 12.

5. Stohastic check for control of electronic wares quality // Trans. of 10-th International Symposium on Applied stochastic Models and Data Analysis. Univ. de Techn. de Compiegne, France. June 12-15. 2001. V.1. P.387-390.

6. Neural Network Software, About NeuroSolutions. URL: http://www.neuroproject.ru/aboutproduct.php .

7. Hornik K., Stinchcombe M., White H. Multilayer feedforward networks are universal approximators // Neural Network. 1989. Vol. 2. 366 p.

8. Haykin S. Neural Networks: A Complete Course = Neural Networks: A Comprehensive Foundation. 2nd ed. M.: Williams, 2006.

9. Snityuk V.E. An evolutionary method for recovering data gaps. Collection of works of the VIth Int. conf. "Intelligent analysis of information", Kiev, 2006. P. 262 - 271.

10. Martyshenko S.N. Methods for restoring gaps in data presented in various measuring scales // Territory of new opportunities. 2013. No. 4 (22) P. 242 - 255.

Поступила в редакцию /Received

12 мая 2020 г. /May 12, 2020