Синтез структурной модели ИНС-преобразователя с использованием нейронов с «Упрощенными» сигмоидальными функциями Текст научной статьи по специальности «Электротехника, электронная техника, информационные технологии»

УДК 681.325.5

В.Н. Локтюхин, С.В. Челебаев, А.В. Антоненко

СИНТЕЗ СТРУКТУРНОЙ МОДЕЛИ ИНС-ПРЕОБРАЗОВАТЕЛЯ С ИСПОЛЬЗОВАНИЕМ НЕЙРОНОВ С «УПРОЩЕННЫМИ» СИГМОИДАЛЬНЫМИ ФУНКЦИЯМИ

Рассмотрена процедура синтеза структурной модели ИНС-преобразователя с использованием нейронов с «упрощенными» сигмоидальными функциями. Для каждого из четырех этапов синтеза приводится содержание операций по его осуществлению с учетом требуемой задачи преобразования.

Преобразователи формы информации, искусственные нейронные сети, синтез устройств, обучение нейросетей

V.N. Loktiukhin, S.V. Chelebaev, A.V. Antonenko SYNTHESIZING A STRUCTURAL MODEL OF THE NEURAL NETWORK CONVERTER USING «SIMPLIFIED» SIGMOIDAL FUNCTIONS NEURONS

The authors consider structural synthesis of the neural network converter using «sim-plified» sigmoid neuron functions. Details of the operations are elaborated for each of the four synthesis stages with regard to the demanded conversion problem.

Information сonverters, artificial neural network, devices synthesis, neural network training

Применение аппарата искусственных нейронных сетей (ИНС) для синтеза структурных моделей функциональных преобразователей информации (ФПИ), включаемых в состав измерительно-управляющих систем, позволяет формализовать получение проектных решений, а также расширить операционные (интеллектуальные) возможности ФПИ. Указанный класс устройств ориентирован как на решение задачи линеаризации характеристики датчика, так и на получение нелинейной функции управляющего воздействия совместно с операцией преобразования «аналог - код» или «код - аналог». Однако большая часть известных процедур синтеза такого рода преобразователей обеспечивает получение их структур, предназначенных в основном для построения линейных преобразователей с применением чаще всего пороговых функций активации [1], а также «мелкозернистого» уровня описания устройства [2]. Вместе с тем с целью расширения круга воспроизводимых зависимостей является актуальным синтез нейросетевых ФПИ (или ИНС-преобразователей), в состав сети которых входят нейроны с непрерывными нелинейными функциями активации.

В данной работе представлены этапы синтеза структурных моделей ИНС-преобразователей с применением активационной функции в виде «упрощенной» сигмоиды, ориентированных на их последующую аппаратную реализацию. Для формирования структурной модели предлагается выполнение следующих этапов процедуры ее синтеза [1]:

1) выбор и обоснование архитектуры исходной ИНС и типов ее нейронов;

2) определение базовой конфигурации структуры ИНС;

3) обучение сети преобразователя;

4) оценка возможных аппаратных затрат на реализацию сети.

Этап 1. Выбор и обоснование архитектуры исходной нейросети

Выполнение данного этапа требует определения: разновидности сети (персептронная, рекуррентная, радиально-базисная и т.д.); возможного количества ее слоев L, структуры синаптических связей

wi ■ (I - номер нейрона предыдущего слоя, _/ - номер нейрона текущего слоя) между ними; типов нейронов сети и связанного с ними вида активационной функции. Кроме того, необходимо задать количество входных сигналов xi, например, x1 = x - преобразуемая величина, x2 = x0 - эталонная (опорная) величина как эталон преобразования. Характеристики и вид сети могут уточняться в ходе разработки преобразователя.

При выборе нейросети преобразователя необходимо учитывать требования к значениям допустимой погрешности преобразования Апр и времени преобразования Тпр, а также стремление обеспечить минимальные аппаратные затраты C ^ тш [1].

В качестве примера далее рассматривается решение задачи нелинейного преобразования циф-* * рового эквивалента Л математической переменной х (или кода Л ) в аналоговый сигнал у путем создания функционального ИНС-преобразователя. Решение данной задачи сопряжено с необходимо*

стью аппроксимировать характеристику преобразования «код - аналог» Л ^ у, заданную, например, в табличном виде конечным количеством Увыб отсчетов, отражающих зависимость выхода у от

*

входа Л . Данный вид преобразований является на настоящий момент менее изученным с точки зрения его реализации в нейросетевом базисе операций.

*

На первом этапе синтеза математическая модель структуры преобразователя Л ^ у [2] представляется в виде двухслойной нейронной сети прямого распространения с линейной функцией активации выходного слоя (рис. 1). Сеть оперирует переменными в заданных диапазонах изменения

Х с ^ ^ и у С [Утш’ Утак] , определяющими исходно более укрупненное (или «крупнозернистое») нейросетевое описание устройства при его синтезе.

Рассматриваемая сеть состоит из двух обрабатывающих слоев математических нейронов (МН(1) и МН2) и описывается выражением

где ,1 - весовые коэффициенты входов нейрона МН2 2-го выходного слоя сети, / = [ 1,М ] ; М -

Л2)

количество нейронов в 1-м слое; - функция активации ] -го нейрона МН(1) первого слоя; р

- активационная функция нейрона МН2 выходного слоя сети (выбор вида функций активации про-

7(2)

МН,

изводится далее на следующем этапе); СМ^ = м]МН • X +

X и Х0 , поступающих с нейронов МН0 и МН0 0-го (распределительного) слоя сети на входы

’(1) = 1 и м>МН - весовые коэффициенты входов нейронов МН(1),

„(!)

Мн, ■ " Хо - взвешенная сумма сигналов

нейронов МН(1) первого слоя; ^мн,

и

УМН-

/ = [1, М ]; X - входной преобразуемый к -разрядный цифровой эквивалент (двоичный код); Х0 -опорная величина (эталон преобразования).

0-й слой

Входы

мн10)

1-й слой

МН!(1)

2-й слой

Выход

Рис. 1. Структурная модель ИНС-преобразователя Х ^ у на основе двухслойной сети

Для сокращения времени обучения второй (выходной) слой сети преобразователя представляется в виде одного нейрона МН(2 с линейной функцией активации:

(2)

1(2) = Ст(2)

1 МН, ^МН,

М (1) т(2)

где С(2) = "V ^(2) • V(1) - взвешенная сумма входных сигналов у■ нейрона МН .

МН^ МН j 1 У / /

/=1

Наличие в структуре ФПИ входа, через который задается эталон х0, определяющий меру

преобразования (измерения), обусловлено проблемно-ориентированным назначением проектируемого устройства как средства преобразования формы представления информации. Для ИНС-

преобразователя «код - аналог» эталон Х0 представляется в виде дискрета (кванта) преобразования Ду0 = ушах/2к , максимального значения утах или величин, связанных с ними по обратно пропорциональной зависимости. Для преобразователя «аналог - код» Х0 представляется в виде Дх0 = хтах /2к или максимального значения Хтах.

Этап 2. Определение базовой конфигурации структуры преобразователя как аппроксимирующей сети

Указанный этап включает следующие действия: определение количества нейронов в слоях выбранной архитектуры исходной сети, а также разновидностей применяемых активационных функ-

ций 1 (О), необходимых для достижения поставленной задачи преобразования с обеспечением допустимой погрешности преобразования Апр и необходимого времени преобразования Тпр.

Итогом данного этапа является получение исходного аналитического (1) и матричного описания математической модели структуры сети как ИНС-аппроксиматора, характеризующегося возможностью его обучения конкретной задаче линейного или нелинейного преобразования. При этом матричное описание выбранной сети (см. рис. 1) представляется следующим образом:

у = 1(2) (у(2)Г • 1(1) V(1)Г • Х(0))) (3)

у 1 МН VуМН 1 МН VуМН Х )), (3)

где - транспонированная матрица весовых коэффициентов нейронов МН/ второго слоя

(/ = [1, М]); РММ 'Н - матрица функций активации нейронов первого слоя МН/; - транспониро-

ванная матрица весовых коэффициентов нейронов МН/ первого слоя, в которой 1-й и 2-й столбцы соответственно содержат веса связей нейронов МН(10) и мН20) со всеми М нейронами МН(1 первого

у'(0) ~

слоя; X - матрица входов нейронной сети соответственно:

(2) ™МН„ Г(1) 1 МН, Л*,(1) ™МН,, ЛА,(1) ™МН2,

у(2)Г = уу МН ^(2) ' уумн, ,2 Г(1) = ; 1 мн Г(1) 1 МН 2 • ш(1)Г = ; УУМН ЛМ) ' ™мн,л лл(1) ' ™МН2,2

ла,(2) ™мн,м 1(1) 1 МН м Л*,(1) мн1М л*,(1) ^н2М

X(0) =

Х

Хг

(1)Т (2)Т

Матрицы ^МН и ^МН являются памятью сети, хранящей значения параметров аппроксимирующей нейросети, настроенной на определенную характеристику преобразования. Цена этой памяти учитывается в затратах на реализацию всех синаптических связей.

Определение числа входов М(0) и выходов М(^ сети (L - количество ее слоев) производится с учетом характера задачи, выполняемой ИНС-преобразователем. Так, для рассматриваемого преобразователя «код - аналог» (см. рис. 1) для L =2 принимается М(0) = 2 , М(1) = 5 , М(2) = 1.

В качестве активационной функции нейронов МН(1) первого слоя сети (см. рис. 1) предлагается использовать функцию «упрощенной» сигмоиды [3] (рис. 2), вычисление которой в отличие от обычной («классической») сигмоиды ¥с (С) = 1/(1 + е-к (е_е)) сводится к вычислению дробнолинейной функции вида

1(1) (О(1) ) -

ГМН Л°МН, ) "

о

(1) МН ,

ь,+о'МНн,

0, иначе,

если > 0;

(4)

где Ь/ - коэффициент, задающий индивидуальный вид функции активации

і

ТІ)

МН, каждому нейрону

МНпервого слоя.

*

Рис. 2. График функции активации ГММН. нейронов-преобразователей 1-го слоя

Функция активации в виде «упрощенной» сигмоиды обладает такими достоинствами, как малые вычислительные и аппаратные затраты на ее реализацию по сравнению с классическим представлением сигмоиды в виде экспоненциальной зависимости.

Кроме того, на основе упрощенной сигмоиды (4) имеется возможность получения линейной, дробно-линейной и ступенчатой функций активации, необходимых для построения сети преобразователя, в том числе и с различными типами нейронов в одном слое, что позволяет строить эффективные ФПИ-аппроксиматоры в виде гетерогенных нейросетей (т.е. сетей нейронов с разными активационными функциями в слоях сети). При обосновании эффективности применения нейронов с сигмоидальной функцией преобразования (4) для построения аппроксимирующих сетей следует отметить достаточно хорошие аппроксимирующие свойства плавных приближений воспроизводимой нелинейной функции f (х) суммой простых дробей [4]:

Р^п(х) = а0 + £

а • х

—1 х+Ь;

При выборе количества М(1) нейронов МНпервого слоя ИНС-преобразователя (см. рис. 1) следует перед его обучением задаться неким их минимальным числом, поскольку невозможно заранее определить М(1) для решения конкретной задачи. В связи с этим возникает необходимость итеративного возвращения на данный этап процедуры синтеза с целью нахождения оптимального количества нейронов сети.

Таким образом, сформированная структура двухслойной сети (см. рис. 1) с использованием сигмоидальных нейронов, описываемая в аналитической (1) и матричной (3) формах, является аппроксимирующей нейросетью, которая способна в результате ее обучения реализовать конкретную задачу линейного или нелинейного преобразования.

Этап 3. Обучение сети преобразователя

На данном этапе осуществляются выбор алгоритма обучения сети (см. рис. 1) на решение поставленной задачи преобразования, а также формирование обучающей выборки. В результате обучения формируется структура сети и значения весовых коэффициентов w синаптических связей между нейронами - как итоговый результат построения структурной модели ИНС-преобразователя. Выбор алгоритма обучения производится исходя из вида сети ИНС-преобразователя и требуемого времени сходимости алгоритма Тсх.

Функция (или характеристика) преобразования для рассматриваемого ИНС-преобразователя кода в частоту (см. рис. 1) задана в виде таблицы, которая содержит эмпирические данные о характеристике преобразования. В таблице приняты следующие обозначения: - требуемое значение вы-

_ * * хода у сети преобразователя, соответствующее V -му входному элементу хг; хг - значение входной

величины, V — [ 1, Увыб ].

Обучающая выборка для получения структурной модели ИНС-преобразователя кода в частоту х* ^ у

№ Входная * величина Xv Выходная величина dv , кГц № Входная * величина х^! Выходная величина dv, кГц

1 400 400 10 737,5 863,8

2 437,5 458,8 11 775 898,2

3 475 517,1 12 812,5 929,2

4 512,5 574,2 13 850 954,3

5 550 629,6 14 887,5 974,2

6 587,5 682,8 15 925 988,5

7 625 733,3 16 962,5 997,1

8 662,5 780,6 17 1000 1000

9 700 824,3

Начальные значения весовых коэффициентов 1Н,., задающих смещение функции активации

_/ -го нейрона МН(1) первого слоя сети, следует равномерно распределить по диапазону изменения входной величины х , равному [0,2* -1] (к - количество разрядов двоичного кода х ):

* *

лл(1) х* і Хтах Хті

ЩМН- _ Хтіп + "

2,і

тіп

М(1) -1

• (і -1),

где і _ [1, М(1) ] - номера нейронов МН.

(1)

Начальным значениям коэффициентов Ъ- можно придать значение единицы (Ъ- = 1,

і _ [1, М <'>]).

Обучение производится в соответствии с алгоритмом обратного распространения ошибки [5].

Коррекция коэффициентов Н^Н и Ъ■, задающих вид активационной функции (4), и весовых коэф-

фициентов производится с помощью следующих выражений:

і, 1

щМН,,(1 +1) _ • (й, - у)• У,,

Л2)

і 1

і 1

щмн, ( +1) _ Щмн, М) + 7,

(1)

дК

(1) и/2)

МНі Щ 1

2,і

2, і

Щмн

МН2,

Щ

(2)

• (й, - У) •х**,

МНт,

Ь( +1)_і)+76 •-

дК(1)

і,./2)

^ • й - у)- х*,

дЬ Щ,

і

(2)

тах

где у (2) , у (1) ,уЬ - скорости обучения коэффициентов ЩМ}Н , щ(^Н и Ь ■ соответственно; й, -

Щмн щлли 2>.! и і

ЩМН ЩМН

V -й выходной элемент обучающей выборки, соответствующий V -му входному элементу ху,

V = [1,Увыб\, Уеыб - количество примеров в обучающей выборке (или объем обучающей выборки); у - -

выход ] -го нейрона 1-го слоя сети, - = [1, М(1)]; у - выход сети, описываемой выражением (1);

дК(1) дК(1)

дГМН, Ш МН і

дЬ ’ дщЦ1

- частные производные функции КМН, (4) активации і -го нейрона МН(1 первого

(2)

слоя сети;

Щ

(2)

- нормированное значение і -го весового коэффициента нейрона МН2 выходно-

го слоя сети с линейной функцией активации р^Н , при чем значение НМН = тах{Н'Мн . }.

,(2)

,(2)

і,1

Погрешность обучения сети определяется как среднеквадратическая погрешность, вычисленная для элементов обучающей выборки:

Е _

,1 - у)2

_ У у=1________________

V,

•100%,

выб

где Увыб - общее количество примеров обучающей выборки.

Полученные в результате обучения весовые коэффициенты Н-можно записать в матричной форме:

(2) МН

і,1

(1)

МН,

и параметры Ьі

Щ(2) ЩМНп 1 щ(1) ЩМН21 Ь1

Ш(2)Т _ ГУМН Щ(2) ЩМН21 ^(1)Т _ , ГУМН 1 щ(1) ' ЩМН2,2 , вТ _ Ь2

Щ(2) ЩМНм1 1 щ(1) ЩМН2М ЬМ

Этап 4. Оценка возможных аппаратных затрат на реализацию сети

Цель проведения данного этапа - получение приближенных оценок возможных аппаратных затрат С на реализацию сети в некоторых условных единицах, что необходимо для обоснования выбора вида сети при синтезе структуры ИНС-преобразователя на метауровне ее описания. Наличие такого рода оценок, например в числе логических ячеек программируемой логической интегральной

МН

2,}

і

схемы (ПЛИС), позволяет формализовать процедуру выбора структуры по критерию минимизации

C. Для формирования оценки C необходимо иметь библиотеку реализаций нейронов и синаптических связей, образующих конкретную структуру сети. Также на данном этапе могут быть приближенно оценены затраты на время решения задачи преобразования.

Получение более точных оценок затрат, в частности при отсутствии полной библиотеки реализаций компонентов нейросети, возможно только на уровне получения структурных (логических) схем ИНС-преобразователей, формируемых на основе применения, например, типовых операционных узлов вычислительной техники с представлением их конкретных реализаций на выбранной элементной базе, например на ПЛИС.

Таким образом, предложенная процедура синтеза структурной модели ИНС-преобразователя на основе математических нейронов с «упрощенными» сигмоидальными функциями активации позволяет обеспечить решение задачи синтеза функциональных преобразователей информации «код - аналог» и «аналог - код» с широким классом реализуемых ими нелинейных зависимостей.

ЛИТЕРАТУРА

1. Локтюхин В.Н. Нейросетевые преобразователи импульсно-аналоговой информации: организация, синтез, реализация / В.Н. Локтюхин, С.В.Челебаев; под общ. ред. А.И. Галушкина. М.: Горячая линия - Телеком, 2008. 144 с.

2. Локтюхин В.Н. Нейросетевые аналого-цифровые преобразователи / В.Н. Локтюхин, С.В. Челе-баев, А.В. Антоненко; под общ. ред. А.И. Галушкина. М.: Горячая линия - Телеком, 2010. 128 с.

3. Комарцова Л.Г. Нейрокомпьютеры: учеб. пособие / Л.Г. Комарцова, А.В. Максимов. 2-е изд., перераб. и доп. М.: Изд-во МГТУ им. Н.Э. Баумана, 2004. 400 с.

4. Локтюхин В.Н. Микропроцессоры и ЭВМ: учеб. пособие: в 4 кн. Кн. 4. Микропроцессорные системы сбора и первичной обработки импульсно-аналоговой информации / В.Н. Локтюхин. М.: Энергоатомиздат, 2000. 156 с.

5. Головко В.А. Нейронные сети: обучение, организация и применение: учеб. пособие: в 4 кн. Кн. 4 / В.А. Головко; под общ. ред. А.И. Галушкина. М.: ИПРЖР, 2001. 256 с.

Локтюхин Виктор Николаевич - Viktor N. Loktiukhin -

доктор технических наук, профессор кафедры Dr. Sc., Professor

«Биомедицинская и полупроводниковая Department of Biomedical and Semiconductor Electronics

электроника» Рязанского государственного Ryazan State Radioengineering University

радиотехнического университета

Челебаев Сергей Валерьевич - Sergey V. Chelebaev -

кандидат технических наук, доцент кафедры Ph. D., Associate Professor

«Биомедицинская и полупроводниковая Department of Biomedical and Semiconductor Electronics

электроника» Рязанского государственного Ryazan State Radio Engineering University

радиотехнического университета

Антоненко Андрей Васильевич - Andrey V. Antonenko -

младший научный сотрудник кафедры Junior Research Fellow

«Биомедицинская и полупроводниковая Department of Biomedical and Semiconductor Electronics

электроника» Рязанского государственного Ryazan State Radio Engineering University

радиотехнического университета

Статья поступила в редакцию 04.02.12, принята к опубликованию 04.06.12

УДК 528.284