Аппроксимация непрерывных функций через синтез нейронных сетей с минимальной конфигурацией Текст научной статьи по специальности «Математика»

Вычислительные технологии

Том 14, № 1, 2009

Аппроксимация непрерывных функций через синтез нейронных сетей с минимальной конфигурацией

Н. А. Игнатьев Национальный университет Узбекистана, Ташкент e-mail: n_ignatev@rambler.ru

Рассматривается решение задачи численной аппроксимации непрерывных функций в пространстве количественных и разнотипных признаков через синтез нейронных сетей с минимальной конфигурацией.

Ключевые слова: нейронные сети, численная аппроксимация, разнотипные признаки.

Введение

Аппроксимация непрерывных функций от многих переменных с помощью искусственных нейронных сетей (НС) с любой наперед заданной точностью является базовой задачей для многих прикладных исследований. Методы обучения НС решению этой задачи еще далеки от совершенства. В частности, это проявляется в отсутствии строго формализованных процедур адаптации конфигурации нейронной сети под сложность восстанавливаемых функций. Как правило, выбор конфигурации производится эвристическим путем и определяется интуицией и опытом исследователя.

Предлагаемый структурный и алгоритмический синтез однослойных НС основан на оптимизации через построение минимального покрытия обучающей выборки объектами-эталонами в пространстве количественных и разнотипных признаков. Решается задача локально-оптимального покрытия обучающей выборки объектами-эталонами при заданной величине максимального уклонения е табличного значения функции от аппроксимируемого.

Аппроксимация функций в окрестностях объектов-эталонов (локальных областях) осуществляется с помощью радиально-базисных функций активации. В отличие от известных методов аппроксимации (например, [1, 2]) базовые элементы сети относительно равномерно (в смысле задаваемой точности) распределяются по локальным областям признакового пространства. Рассматриваются вопросы о способности обобщения НС решаемой задачи в зависимости от точности аппроксимации непрерывной случайной функции и объема обучающей выборки.

© Институт вычислительных технологий Сибирского отделения Российской академии наук, 2009.

1. Аппроксимация функций в пространстве количественных признаков

Считается что табличное представление (по строкам) функции задается с помощью п+1 количественных признаков. Один из признаков строки объявляется целевым, остальные — зависимыми от него. Множество значений целевого признака обозначим через У, зависимых — через Х\, ...,Хп и будем считать, что между ними существует некоторая явно не заданная функциональная зависимость у = f(х1,...,хп). Далее по тексту при употреблении термина объект подразумевается, что он описывается на множестве зависимых признаков. Требуется синтезировать НС через аппроксимацию вектора значений функции У = {уг каждому элементу которого соответствует объект из множества

Е0 = {БЬ Б2) Бт}.

Аппроксимационные свойства НС для восстановления функциональной зависимости реализуются с помощью радиально-базисных функций так называемыми ДВ^-сетями. Описание множества радиально-базисных функций и их использование в ДВ^-сетях можно найти в [1]. Однослойные НС, использующие эти функции, в данной работе рассматриваются как альтернатива многослойным НС, которые в силу многоэкстремаль-ности решаемой задачи не всегда могут выдать глобальный минимум ошибки. В данной работе при описании процесса выбора локально-оптимального покрытия Ео объектами-эталонами для аппроксимации табличных функций используется радиально-базисная функция ехр(аг).

Пусть объект Б3 £ Е0(Б3 = (xj1) •••)Xjn)) является одним из эталонов выборки и

1 п 2

значения весов его признаков [3, 4], вычисляются как и^ = Xjt и из0 = — ^^ Для

г=1

синтеза НС, вычисляющей значения целевого признака, необходимо:

а) задать значение е — максимальной величины уклонения | у — у |< е значения целевого признака у, восстанавливаемого с помощью радиально-базисной функции, от табличного у;

б) построить локально-оптимальное покрытие П(е) множества Е0 объектами-эталонами с учетом значения е.

Значение взвешенной суммы по объекту-эталону Б3 £ Е0 для произвольного допустимого объекта Б = (а1, ...,ап) вычисляется как

п

<р(Б, Б3) = ^ изгаг + из о (1)

г=1

и используется для определения по тах ^(Б,Б3) локальной области пространства для

аппроксимации функции по объекту (точке) Б. По каждому объекту Бг £ Е0 из уравнения

уг — 81§п(уг) ехр(аг^(Бг, Бг)) = 0

вычисляется значение параметра аг радиально-базисной функции ехр(аг).

Для каждого Бг £ Е0 строится упорядоченная по мере убывания значений <^(Б3-, Бг) по (1) последовательность

Бг1, Бг2 ) Бгт , Бг = Бг1. (2)

Из (2) выделяется подпоследовательность {Si1, Si2, ...,Sik}, 1 < k < m, для каждого Sij , j = 1, k, которой выполняется

| yi — sign(yi) exp(aij^(Sj, Si)) |< е

(| yi — sign(yi) exp(aik+1 ^(Sik+1, Si)) |> e), и объект Si включается в состав множества Tij.

Процесс построения минимального покрытия П(е) обучающей выборки производится следующим образом.

1. Выбирается максимальное по числу объектов множество Ti. Объект Si £ E0 включается в состав объектов покрытия П(е). По каждому Sj £ Ti производится коррекция состава множеств {Ti} как

0, u = j,

TU - Л

Tu\Sj, u = j.

2. Если U Ti — 0, то процесс формирования П(е) заканчивается, в противном случае

i= 1

происходит переход на 1.

Описанная технология синтеза НС позволяет предотвращать паралич сети, который имеет место при использовании градиентных методов обучения. RBF-сети являются универсальными аппроксиматорами и при необременительных ограничениях могут быть использованы для аппроксимации любой непрерывной функции.

Вопрос о соотношении точности (задаваемой значением е) восстанавливаемой функции, длины обучающей выборки и количества зависимых параметров в [5] исследовался через равномерную сходимость частот появления событий Jm£ — {Si | (yi — yi)2 > e} к их вероятностям. Пусть Птп(е) — покрытие объектами -эталонами множества Eo в n-мерном признаковом пространстве при аппроксимации функций из Y с максимальной величиной уклонения е. Способность НС к обобщению должна проявляться при выполнении минимум двух условий:

1) lim | Птп(е) |= СП;

2) lim 1 Птга(е) 1 = 0. т^те m

Первое условие обеспечивает ограниченность (конечность) числа объектов-эталонов покрытия E0. Значение Cn = const при фиксированной размерности пространства и состава его признаков. Смысл второго условия заключается в том, что число точек, которое может обобщить каждый объект-эталон для аппроксимации значений функции, стремится к бесконечности.

2. Аппроксимация функций в разнотипном признаковом пространстве

Считается, что множество значений целевого признака У измеряется по количественной шкале, г признаков из числа зависимых Х\, ...,ХП измеряются по количественным шкалам, п — г — по номинальным. Обозначим множество количественных признаков через I, номинальных — через 3.

Для решения проблемы разномасштабности измерений и согласования синаптиче-ских весов количественных и номинальных признаков используется дробно-линейное

отображение значений количественных признаков в интервал [0,1]. По каждому признаку Е ^ с числом градаций производится разбиение значений целевого признака (у»}™ на Ь непересекающихся классов К1, К2,■ ■■, Кц для вычисления весового коэффициента и^. Упорядоченное множество значений (у»}™ разбивается на интервалов (с2к— 1, с2к], с2к-1 < с2к ,к = 1,/4. Критерий для определения границ интервалов (с2к-1,с2к] основывается на проверке гипотезы (утверждения) о том, что каждый интервал содержит значения признака только одного класса.

Пусть и^ — множество значений целевого признака класса К» в интервале (с2р-1, с2р], А = (а0 ,---,о>и ),а0 = 0,а1( = т,ар — возрастанию последовательности rj1,. правую границу интервала с2р = гар.

Критерий

порядковый номер элемента упорядоченной по , rjm значений целевого признака, определяющий

/ h it

' EX

p= 1 i= 1

it it

N E E

p=1i=1

EEuP(uP -1) WE Euf(m-| Ki |-E up + up)

it

E I Ki | (| Ki | -1) \i=1

j=1

V

E | Ki | (m- | Ki |)

i= 1

^ max (3)

{A}

/

позволяет вычислять оптимальное значение синаптического веса при классификации (у»}™ по градациям признака х € /.

Значение взвешенной суммы синаптических весов объекта Б = (61,..., Ьп) по объекту-эталону Ба = (ха1, ■■■,хап) вычисляется как

^(Sd,S) = ^ wdubu + ^ w2u + Wdo,

(4)

Xu£l

xu eJ,xdu —bu

где {wdo,Wd1, ...,Wdn} — веса нейронов сети, Wdo = -^

( J] w22u + ^ WU )

\Xu e/ eJ /

При заданной величине максимального уклонения е табличных значений функции от аппроксимируемых объекты минимального покрытия П(е) отбираются по тому же самому принципу, что и для количественных признаков. Локальная область для вычисления значений функции по S определяется через объект-победитель Sd £ П(е) по (4), для которого w(Sd,S) = max w(Sv,S).

Sv ёИ(е)

Проблема выбора признакового пространства при аппроксимации функций заключается в поиске критериев для выделения информативных наборов признаков и в данной работе специально не рассматривается.

3. Вычислительный эксперимент

Для эксперимента был взят модельный пример из 40 объектов с данными об аномальной сетевой активности, описываемых множеством из восьми разнотипных признаков:

1) характер воздействия;

2) цель воздействия;

3) условие начала воздействия;

4) наличие обратной связи с атакуемым объектом;

5) расположение субъекта атаки;

Результаты эксперимента

Максимальное Число объектов Среднее

уклонение е покрытия уклонение

0.1 23 0.0437

0.15 18 0.0576

0.2 9 0.0807

6) объем передаваемой информации;

7) вероятность нанесения ущерба;

8) сумма ожидаемого ущерба.

Максимальное число градаций номинальных признаков в описании объектов не превышало 3. Точность аппроксимации значений целевого признака "Вероятность нанесения ущерба" семью зависимыми признаками определялась по объектам обучения Е0\П(е) как величина среднего абсолютного уклонения вычисленного значения функции от табличного. Для вычисления значения функции использовалась радиально-базисная функция exp(ar'-p(Sr, S)). Влияние выбора величины максимального уклонения е на результаты аппроксимации целевого признака представлены в таблице.

Список литературы

[1] Терехов В.А., Ефимов Д.В., Тюкин И.Ю. Нейросетевые системы управления М.: Высшая школа, 2002.

[2] Буцев А.В., Первозванский А.А. Локальная аппроксимация на искусственных нейро-сетях // Автом. и телемеханика. 1995. № 9. С. 127-136.

[3] Игнатьев Н.А., Мадрахимов Ш.Ф. О некоторых способах повышения прозрачности нейронных сетей // Вычисл. технологии. 2003. Т. 8, № 6. С. 31-37.

[4] Игнатьев Н.А. О синтезе факторов в искусственных нейронных сетях // Вычисл. технологии. 2005. Т. 10, № 3. С. 32-38.

[5] Вапник В.Н. Восстановление зависимостей по эпирическим данным. М.: Наука, 1979.

Поступила в редакцию 9 ноября 2006 г., в переработанном виде — 28 июля 2008 г.