Алгоритм обратного распространения ошибки Текст научной статьи по специальности «Компьютерные и информационные науки»

АЛГОРИТМ ОБРАТНОГО РАСПРОСТРАНЕНИЯ

ОШИБКИ

© Горелова А.В.*, Любимова Т.В.*

Северо-Кавказский филиал Белгородского государственного технологического университета им. В.Г. Шухова, г. Минеральные Воды

В данной статье мы рассмотрим алгоритм обратного распространения ошибки. Начнем с того что же такое нейронная сеть. Для простоты объяснения этого понятия можно рассмотреть нейронную сеть в качестве взвешенного направленного графа, узлы (нейроны) которого расположены слоями. Узел одного слоя имеет связи со всеми узлами предыдущего слоя. При этом присутствуют входной и выходной слои, узлы которых выполняют роль входов и выходов соответственно. Каждый из узлов (нейрон) обладает активационной функцией которая ответственна за вычисление сигнала на выходе узла (нейрона). По мимо этого имеется понятие смещения. Смещение это узел, на выходе которого всегда появляется единица.

Ключевые слова: алгоритм обратного распространения ошибки, нейронная сеть, графы, многослойный персептрон.

Существует два типа обучения нейронных сетей - с учителем и без учителя. В случае с учителем, на входной вектор имеется готовый ответ, в случае без учителя нейронная сеть самообучается. У каждого типа обучения есть свои задачи и они почти не пересекаются. На сегодняшний день придумано множество архитектур нейронных сетей и методов их обучения. Но основными являются - для обучения с учителем это «алгоритм обратного распространения ошибки», а для обучения без учителя это алгоритмы Хеб-ба и Кохонена. Эти типы очень схожи с биологической реальностью, например - ребенок обучается с учителем или без? Что то ребенку показывают родители и учителя, чему то он учиться сам. Есть так же половинчатые примеры обучения, например игра в мяч во дворе, малыш видит как это получается у других и сам процесс обучения он проходит самостоятельно [1].

Для того чтобы решить задачи с помощью нейронных сетей необходимо:

1. Подробно рассмотреть поставленную задачу и проанализировав её подумать не легче ли будет решить её при помощи других методов;

2. Определить множество входов. Множество входов выбирается в течении некоторого времени и отбираются те на которых выдается наименьшая ошибка;

3. Необходимо выбрать выходные переменные, то есть то что будет на выходе нейронной сети;

* Преподаватель кафедры «Экономических и естественно-научных дисциплин».

* Старший преподаватель кафедры «Экономических и естественно-научных дисциплин».

4. Определить какое будет количество слоев и узлов в них;

5. Сгенерировать сеть и обучить ее на данных примерах.

Алгоритм обратного распространения ошибки это один из методов обучения многослойных нейронных сетей прямого распространения, которых ещё называют многослойными персептронами. Многослойные персептро-ны часто применяются для решения многих сложных задач [2].

Предполагается два подхода по всем слоям сети для обучению алгоритма обратного распространения ошибки: прямой и обратный. При прямом проходе входной вектор подается на входной слой нейронной сети, после чего разделяется по сети от слоя к слою. В процессе производиться набор выходных сигналов которые являются действительной реакцией сети на имеющийся входной образ. Во время прямого прохода все синаптические веса сети фиксированы, а при обратном проходе все синаптические веса настраиваются в соответствии с правилом коррекции ошибок. Фактический выход сети выводиться из желаемого, в результате этого формируется сигнал ошибки. Этот сигнал после распространяется по сети в направлении, обратном направлению синаптических связей. Отсюда и название алгоритм обратного распространения ошибки. Синаптические веса настраиваются с целью лучшего приближения выходного сигнала сети к желаемому.

Рассмотрим подробнее работу алгоритма. Представим, нужно обучить следующую нейронную сеть, используя алгоритм обратного распространения ошибки (рис. 1).

Рис. 1. Пример двухслойного персептрона

На приведенном рисунке применяются следующие условные обозначения:

- каждому слою нейронной сети соответствует своя буква;

- все нейроны каждого слоя пронумерованы арабскими цифрами;

- WA1 _в1 - синаптический вес между нейронами A1 и B1;

- OUTA1 - выход нейрона A1.

В качестве активационной функции в многослойных персептро-нах обычно используется сигмоидальная активационная функция, в частности логистическая:

OUT = 1

1 + exp(-a7)

где а - параметр наклона сигмоидальной функции (рисунок 2). Изменяя этот параметр, можно построить функции с различной сложностью. В дальнейшем будут использованы только логические функции активации.

Рис. 2. График функции в многослойном персептроне

Сигмоид уменьшает диапазон изменения так, что значение OUT лежит между нулем и единицей. Если имеются нелинейности то многослойные нейронные сети буду обладать большей мощностью чем однослойные. Требуемую нелинейность будет давать сжимающая функция. Имеется множество функций, которые можно использовать. Для алгоритма обратного распространения ошибки необходимо только, чтобы функция была везде дифференцируема. Сигмоид подходит этому требованию. Ещё одно его преимущество состоит в автоматическом контроле усиления. Для слабых сигналов (т.е. когда OUT близко к нулю) кривая вход-выход имеет сильный наклон, который дает большое усиление. Усиление будет падать, когда величина сигнала увеличивается. Из вышесказанного следует, что большие сигналы воспринимаются сетью без насыщения, а слабые сигналы проходят по сети без особого ослабления [3].

Подстановка весов алгоритма обратного распространения ошибки так, чтобы приложение некоторого множества входов приводило к требуемому

множеству выходов является целью обучения. Для простоты эти множества входов и выходов можно называть векторами. При обучении ожидается, что для каждого входного вектора существует парный ему целевой вектор, который задает необходимый выход. В общем они называются обучающей парой. Сеть обучается на множестве пар.

Рассмотрим корректировку весов сети. Здесь следует выделить два приведенных ниже случая.

Случай 1. Корректировка синаптических весов выходного слоя.

Например, для модели нейронной сети на рис. 1, это будут веса имеющие следующие обозначения: WBl-Cl и WB2-C^ Обозначим, что индексом p будем обозначать нейрон, из которого выходит синаптический вес, а q - нейрон в который входит:

Рис. 3. Корректировка синаптических весов выходного слоя

Вводим величину 5, которая равна разности между требуемым Т и реальным OUTq выходами, умноженной на производную логистической функции активации:

8,=оит, (1-оит, - оит,).

Тогда, веса выходного слоя после коррекции будут равны:

^, (7 +1) = , (0+8оигр,

где I - номер текущей итерации обучения;

- величина синаптического веса, соединяющего нейрон р с нейроном д;

П - коэффициент «скорости обучения», позволяет управлять средней величиной изменения весов; ОиТр - выход нейрона р.

Приведем пример вычислений для синаптического веса WB1-C1:

8С1 = оитС1 (1 - оитС1 )(т - оитС1)

(7 +1) = ЖВ1-С1(7) + 8 оиТВ1

Случай 2. Корректировка синаптических весов скрытого слоя.

Для модели нейронной сети на рис. 1, это будут веса соответствующие слоям А и В. Определим, что индексом р будем обозначать нейрон из которого выходит синаптический вес, а q - нейрон в который входит (обратите внимание на появление новой переменной к):

Рис. 4. Корректировка синаптических весов скрытого слоя Вводим величину 5, которая равна:

8Ч = отд (1 - отд ,

к=1

N

где ^ - сумма от 1 по N.

к=1

Тогда, веса скрытых слоев после коррекции будут равны:

^ (7 +1) = (0 + пЗ,оигр

Приведем пример вычислений для синаптического веса WA1_B1:

8т = оигт(1 - оигт) ЯА-В1 (7 +1) = (7) + фтоиТА

Для каждого нейрона в скрытом слое должно быть вычислено 5 и подстроены все веса, ассоциированные с этим слоем. Процесс будет повторяться слой за слоем по направлению к входу, до тех пор, пока все веса не будут подкорректированы [3].

Появление алгоритма обратного распространения ошибки стало важным событием в области развития нейронных сетей, поскольку он реализует вычислительно эффективный метод обучения многослойного персептрона. Конечно неверно утверждать, что алгоритм обратного распространения ошибки дает действительно оптимальное решение всех потенциально решаемых проблем, но он дал надежду относительно обучения многослойных машин.

Список литературы:

1. Головачев А.Г. Лекции по курсу «Нейросетевые технологии». - 2008.

2. Уоссермен Ф.Нейрокомпьютерная техника. Теория и практика. - 1992.

3. Нейронные сети: алгоритм обратного распространения [Электронный ресурс] / С. Короткий. - Режим доступа: http://www.uran.donetsk.ua.

КОМПАКТНОЕ СИММЕТРИРУЮЩЕЕ УСТРОЙСТВО НА ТРЕХ СВЯЗАННЫХ ЛИНИЯХ ПЕРЕДАЧИ1

© Девятков Г.Н.*, Протасова М.В.*

Новосибирский государственный технический университет, г. Новосибирск

В данной статье рассмотрено компактное согласующее-симметрирующее устройство на связанных линиях передачи, получена его математическая модель, найдены условия идентичности передачи сигнала в плечи. В качестве примера проведен синтез и моделирование компактного согласующе-симметрирующего устройства в полосе нормированных рабочих частот 0,7-1,3 с модулем коэффициента отражения по входу не более 0,2 для различных сопротивлений нагрузок.

Ключевые слова: компактное симметрирующее устройство, согласование, связанные отрезки линий передачи.

Введение

Симметрирующие устройства - это основные компоненты во многих коммуникационных устройствах, таких как балансный смеситель, двухтактный усилитель, антенные системы и др. Основные функции симметрирующего устройства - это симметрирование и согласование. Важнейшими характеристиками симметрирующего устройства являются широкополос-ность, уровень модуля коэффициента отражения в полосе пропускания. Одной из современных тенденций развития симметрирующих устройств является миниатюризация конструкции данных устройств.

1 Работа выполнена при финансовой поддержке Минобрнауки России (Госзадание № 8 337 2014/К).

* Профессор кафедры Конструирования и технологии радиоэлектронных средств, доктор технических наук, доцент.

* Аспирант кафедры Конструирования и технологии радиоэлектронных средств.