Модель нейрона с входной сигмоидальной функцией активации Текст научной статьи по специальности «Электротехника, электронная техника, информационные технологии»

стейшего потока (математическое ожидание не равно среднеквадра-тическому отклонению, коэффициент вариации больше единицы);

- исследования по определению дисперсии агрегирования трафика выявило одно из свойств самоподобия;

- влияние самоподобия необходимо учитывать при разработке сетевых устройств и при проектировании пакетных сетей;

- необходимо учитывать эффект самоподобия трафика с тем чтобы улучшить качество обслуживания.

Список литературы:

1. Вентцель Е.С. Теория вероятностей. - М.: Наука, 1964. - 572 с.

2. Крылов В.В., Самохвалов С.С. Теория телетрафика и ее приложения. - СПб.: БХВ-Петербург, 2005. - 288 с.

3. Алгоритм предупреждения перегрузки компьютерной сети путем прогнозирования средней длины очереди [Электронный ресурс] / Л.О. Кириченко, Т.А. Радивилова, А.В. Стороженко. - Режим доступа: http://masters.donntu. edu.ua/2010/fkita/tishenko/library/article7.htm.

4. Шелухин О.И., Тенякшев А.М., Осин А.В. Фрактальные процессы в телекоммуникациях. - М.: Радиотехника, 2003.

МОДЕЛЬ НЕЙРОНА С ВХОДНОЙ СИГМОИДАЛЬНОЙ ФУНКЦИЕЙ АКТИВАЦИИ

© Мусакулова Ж.А.*

Международный университет Кыргызстана, Республика Кыргызстан, г. Бишкек

Рассматривается новая структура модели искусственного нейрона, с нелинейным входом. В новой структуре используется сигмоидальная функция активации на входе нейрона с настраиваемым наклоном сиг-моиды [2]. Благодаря нелинейности на входе не требуется нормализации данных при обучении персептрона. Рассматривается применение градиентного алгоритма обучения для нейрона с нелинейным входом.

Большинство современных моделей искусственных нейронных сетей строятся на основе формальной модели нейрона, которая была предложена Мак-Каллоком и Питтсом в 1943 году [1], под этой формальной моделью понимают многовходовой нелинейный преобразователь с взвешенными входными сигналами [5]. В работе Мак-Каллока и Питтса [1] показано, что при определенном выборе весов, система параллельно функцио-

* Старший преподаватель кафедры «Компьютерные информационные системы и управление».

нирующих нейронов способна производить достаточно универсальные вычисления. В математическом представлении функционирование нейрона можно описать следующими зависимостями:

п

V = Е + ь (1)

¿=1

У = / (V) (2)

где х,- - входные сигналы нейрона;

- синаптические веса нейрона; Ь - порог, обеспечивающий эффект аффинного преобразования; V - индуцированное локальное поле нейрона; /(у) - функция активации; у - выходной сигнал нейрона; «-количество входных сигналов.

Чаще всего в нейронных сетях преимущественно применяют нелинейную передаточную функцию, поскольку линейные функции ограничены и их выход пропорционален входу.

В большинстве современных моделях искусственных нейронных сетей в качестве функции активации /(•) применяют S-подобную кривую, которая приближает минимальное и максимальное значения в асимптотах и называется сигмоидой. Сигмоидальная функция активации [2], является монотонно возрастающей всюду дифференцируемой нелинейной функцией с насыщением:

/ (V) =-1--(3)

J ( ) 1 + ( )

где а - параметр наклона сигмоидальной функции активации; у - индуцированное локальное поле нейрона.

При этом, настраивая параметр а сигмоидальной функции активации нейрона в процессе обучения, можно обеспечить лучшую сходимость функции ошибки обучения нейронной сети [2], так в зависимости от разных значений а, меняется вид сигмоидальной функции, она становиться боле крутой или пологой, соответственно изменяя знак коэффициента, меняется направление s-образной функции.

Модель нейрона с выходной сигмоидальной функцией активации. В работе предлагается новая структура нейрона (рис. 1), позволяющая при обучении персептрона настраивать в два раза больше параметров, тем самым обеспечивая быстрый поиск глобального минимума функции ошибки обучения нейронной сети. Кроме того новая структура нейрона позволяет избавиться от проблемы нормирования входных данных, обеспечивая не-

линейный сигнал на входе нейрона. Так как сигналы, подающиеся на вход нейрона, поступают с внешнего мира, предлагается на входе нейрона использовать нелинейную функцию активации, тем самым, если делать аналогию с биологической моделью нейрона, на вход нейрона будут подаваться «аксонные дендриты».

В предлагаемой модели нейрона входные сигналы подаются через нелинейный элемент - функцию активации, в данной модели предлагается использование сигмоидальной функции активации, с настраиваемым параметром наклона сигмоиды [2]. Выходной сигнал нейрона у описывается выражением (2), а выражение (3) с учетом настраиваемого коэффициента а примет следующий вид:

/ (V) =-- (4)

J \ > 1 + е-ш ( )

где а - настраиваемый коэффициент сигмоидальной функции активации на выходе нейрона; V - индуцированное локальное поле нейрона, которое описывается следующим выражением:

п

V = Е / (х + Ъ<) + Ь (5)

¿=1

где х, - входные сигналы нейрона;

Ь, - сигнал смещения для входных сигналов; Ъ - смещение сигнала для выходной функции активации; /(•) - нелинейная функция активации; п - количество выходных сигналов нейрона.

Соответственно, учитывая, что входные сигналы подаются через нелинейный элемент, в частности через сигмоидальную логистическую функцию выражение (5) примет следующий вид:

■=£ т

¿=1 1

+ е

1 £

—77 + Ъ (6)

-а,( х+Ъ) V )

где а, - настраиваемый коэффициент сигмоидальной функции активации на входе нейрона (параметр наклона сигмоиды); х, - входные сигналы нейрона; Ь, - сигнал смещения для входных сигналов; Ъ - смещение сигнала для выходной функции активации; п - количество выходных сигналов нейрона.

п

У

Выход

Рис. 1. Модель нейрона с нелинейным входом

Градиентный алгоритм обучения нейронной сети. Под обучением сети понимается процесс последовательной настройки весовых коэффициентов нейронной сети. На начальном этапе случайным образом подаются весовые коэффициенты, далее рассчитывается выходной сигнал персептрона, который сравнивается с учителем, то есть с эталонным сигналом и вычисляется ошибка. После нахождения значения ошибки, в зависимости от используемого алгоритма обучения сети, происходит настройка парметров нейронной сети и снова осуществляется передача сигнала в прямом направлении.

В классическом случае [3, 4, 5] свободными параметрами нейронной сети, являются весовые коэффициенты синаптической связи, то есть при обучении сети происходит настройка весов синаптической связи. После каждого этапа настройки вычисляется сигнал ошибки е:

е = й - у (7)

где й - желаемый выход сети (учитель); у - выходной сигнал нейрона (2).

Изменения коэффициентов нацелены на пошаговое приближение выходного сигнала у к желаемому й. Эта цель достигается за счет минимизации функции стоимости Е:

1 7

Е = - е2 (8)

где е - сигнал ошибки.

Согласно градиентному методу обучения нейронной сети, синаптический вес на каждом шаге обучения изменяется по следующему правилу:

w(t + 1) = w(t) - rg(t)

(9)

где r - положительная константа, называемая параметром скорости обучения;

w(t) - предыдущее значение массива весов; w(t + 1) - последующее значение массива весов; g(t) - вектор градиента, вычисленный в точке w(t):

g = VE(w)

(10)

Для минимизации функции стоимости Е, необходимо двигаться в сторону обратную градиенту. Градиент, представляет собой направление, в котором достигается наибольший прирост значений [3]:

VE{wx, w2,..., wn) =

SE SE dwl ' Sw2

SE

' Sw_

(11)

где m - общее число весовых коэффициентов.

Таким образом, в данном методе [3] корректировка весов синаптической связи выполняется в направлении противоположном вектору градиента (9).

Рассмотрим применение градиентного метода для минимизации функции стоимости Е (8) для нейрона с нелинейным синапсом. Сигнал ошибки выхода нейрона определяется выражением (7).

Для нейрона с входной сигмоидальной функцией активации предлагается настраивать параметр наклона а сигмоидальных функций на входе,

смещение на входе Ь, смешение на выходе Ь и параметр наклона а сигмоидальной функции на выходе нейрона. Введем настраиваемый массив параметров В:

B =

а b

а

(12)

где а= [а! ... ап]т, Ь = [Ь ... Ьп]т.

Соответственно настраиваемый массив параметров В на каждом шаге обучения будет изменяться по следующему правилу:

T

Б(Г + 1) = Б® - (13)

где ^ - положительная константа, называемая параметром скорости обучения;

Б(0 - предыдущее значение массива настраиваемых коэффициентов; Б(/ + 1) - последующее значение массива настраиваемых коэффициентов;

g(t) - вектор градиента, вычисленный в точке Б(0:

g = VE(B) (14)

VE (B) =

-\T

SE SE SE

SBj ' SB2 '"'' SBm

(15)

где т - общее число настраиваемых коэффициентов нейрона;

УЕ(Б) - градиент.

Обучение персептрона осуществляется путем последовательного предъявления векторов обучающего множества, с одновременной подстройкой настраиваемых коэфициентов Б, в соответствии с градиентным алгоритмом обучения, пока ошибка настройки по всему множеству не достигнет приемлемого низкого уровня. При достижении требуемой ошибки обучения, нейронная сеть считается обученной.

Предлагаемая модель нейрона с входной сигмоидальной функцией активации является более эффективной, по сравнению со стандартной моделью нейрона. Благодаря нелинейному сигналу, поступающему на адаптивный сумматор, не требуется нормирование входного сигнала, подаваемого в нейронную сеть. При использовании модели нейрона с нелинейным входом количество настраиваемых коэффициентов для одного нейрона в два раза больше чем для стандартного нейрона, что позволяет улучшить скорость и процесс обучения нейронной сети.

* * *

Список литературы:

1. McCalloch W.S., Pitts W. A logical calculus of the ideas immanent in nervous activity // Bull. Math. Biophys. - 1943. - V 5. - Р. 115-133.

2. Савченко Е.Ю., Мусакулова Ж.А. Настройка сигмоидальной логистической функции активации в алгоритме обратного распространения. // Материалы Международной конференции «Проблемы управления и информационных технологий». Проблемы автоматики и управления. № 1. - Бишкек, 2010. - С. 241.

3. Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы. - М.: Горячая линия - Телеком, 2007. - 452 с.

4. Барский А.Б. Нейронные сети: распознавание, управление. Принятие решений. - М.: Финансы и статистика, 2007. - 176 с.

5. Бодянский Е.В. Искусственные нейронные сети: архитектура, обучение, применение / Е.В. Бодянский, О.Г. Руденко. - Харьков, 2004. - 372 с.

ЭФФЕКТИВНОСТЬ АВТОМАТИЧЕСКОЙ ИНТЕРВАЛЬНОЙ ОЦЕНКИ КРИВИЗНЫ ФУНКЦИИ ПРИ ПОИСКЕ ЭКСТРЕМУМА

© Панов Н.В.*

Конструкторско-технологический институт вычислительной техники

Сибирского отделения Российской академии наук, г. Новосибирск

Работа посвящена изучению влияния учёта выпуклости или вогнутости функции на определённых подобластях области поиска глобального экстремума этой функции на вычислительную эффективность интервальных методов глобальной оптимизации.

Многие задачи, возникающие в различных сферах человеческой деятельности, могут быть сведены к задаче поиска глобального оптимума. Оптимизация является неотъемлемой частью важнейших этапов моделирования технических, социальных, экономических и т.д. систем. В ряде случаев именно сложность возникающей оптимизационной задачи становится тем ограничением, которое не позволяет решить обратную задачу или исследовать общую постановку проблемы.

В настоящее время глобальная оптимизация - широко востребованное и интенсивно развивающееся направление вычислительной математики. Трудности численного решения оптимизационных задач во многом связаны с видом оптимизируемой целевой функции и количеством её аргументов.

Подходы глобальной оптимизации существенно отличаются от техники стандартных методов поиска локальных оптимумов функции (часто неспособных найти глобальный оптимум рассматриваемых многоэкстремальных задач) и характеризуются высокой вычислительной трудоемкостью.

Кроме того, во многих задачах, возникающих в практике оптимизации, требуется не просто приближённое численное решение, но ещё и гарантия его близости к идеальному математическому оптимуму, а также часто га-

* Научный сотрудник.