Вычислительное устройство для распознавания режимов функционирования динамических объектов Текст научной статьи по специальности «Электротехника, электронная техника, информационные технологии»

УДК 007:681.515

В. Д. ДМИТРИЕНКО, д-р техн. наук,

В. М. ТЕРЁХИНА, А.Ю. ЗАКОВОРОТНЫЙ

ВЫЧИСЛИТЕЛЬНОЕ УСТРОЙСТВО ДЛЯ РАСПОЗНАВАНИЯ РЕЖИМОВ ФУНКЦИОНИРОВАНИЯ ДИНАМИЧЕСКИХ ОБЪЕКТОВ

Розроблена нова модифікація безперервних нейронних мереж адаптивної резонансної теорії АРТ-2, що дозволяє розпізнавати реальні динамічні процеси в технічних системах. Нейронні мережі, що пропонуються, можуть зберігати інформацію у вагах зв’язків кожного нейрона не про окремі процеси, що характерно для відомих мереж АРТ-2, а про цілі класи динамічних процесів, що розпізнаються.

New modification uninterrupted neuron net of adaptive resonance theory had developed. It identifies real dynamic process in the technical systems. ART-2 neuron net keeps in one's memory information about single process. New neuron net keep in weight connection information about big class identify dynamic process.

Постановка проблемы и анализ литературы. В настоящее время все большее число задач распознавания решается с помощью искусственных нейронных сетей, позволяющих традиционные трудности решения задач распознавания заменить проблемами обучения нейронных сетей на обучающих выборках. Если информация о распознаваемых объектах достаточно полна, то для создания распознающих систем может использоваться значительное число различных нейронных сетей. Однако при разработке систем распознавания динамических процессов реальных технических объектов разработчики сталкиваются с тем, что информация об объекте далека от полноты и будет уточняться в процессе функционирования объекта. Это резко сужает круг сетей-кандидатов, так как в подобных распознающих системах нецелесообразно использовать нейронные сети Хопфилда, двунаправленную ассоциативную память, нейронные сети, обучаемые методом обратного распространения, генетическими алгоритмами и т.д., поскольку обучение новому образу ситуации или ассоциации в общем случае в этих сетях требует полного переобучения сети [1 - 3].

Невозможность с помощью указанных нейронных сетей решить проблему чувствительности (пластичности) к новой информации при сохранении (стабильности) имеющейся информации привели к разработке принципиально новых конфигураций нейронных сетей на основе адаптивной резонансной теории (АРТ) [4 - 6].

Нейронные сети АРТ относят входное изображение к одному из известных классов, если оно в достаточной степени похоже на прототип этого класса. Если найденный прототип соответствует входному изображению с заданной точностью, то он модифицируется, чтобы стать более похожим на

70

предъявленное изображение. Если входное изображение сети АРТ не похоже в достаточной степени ни на одно из изображений, хранящихся в весах связей нейронной сети, то на его основе создается новый класс. Это возможно благодаря наличию в сети избыточных нейронов, которые не используются до тех пор, пока в этом нет необходимости (если избыточных нейронов уже нет и входное изображение не относится ни к одному из известных классов, то оно не вызывает реакции сети). Таким образом, нейронные сети АРТ могут запоминать новую информацию без искажения имеющейся информации или переобучения сети.

Дискретные и непрерывные сети адаптивной резонансной теории АРТ-1 и АРТ-2 могут эффективно использоваться при работе систем распознавания в условиях существенной априорной неопределенности, когда необходимо распознавать десятки или сотни различных изображений. Однако использование этих сетей в реальных системах управления, где необходимо распознавать динамические режимы объектов по множеству изменяющихся переменных, затруднено из-за большого разнообразия конкретной измерительной информации об одних и тех же динамических режимах объектов управления (тысячи и даже десятки тысяч различных графических отображений одного и того же режима). Это порождает сложную проблему селекции и хранения существенной информации [7], поскольку прямое использование сетей АРТ в таких случаях проблематично из-за слишком большого числа необходимых нейронов.

В работах [7, 8] для дискретных нейронных сетей АРТ-1 предложена новая архитектура сетей и метод компактного хранения информации, что позволило использовать эти сети для распознавания различных динамических режимов работы технологического агрегата. Однако применение дискретных сетей АРТ для распознавания режимов функционирования технологического агрегата только по пяти измеряемым переменным требовало использования более пятнадцати тысяч двоичных нейронов. Интуитивно понятно, что замена нейронной сети АРТ-1 на непрерывную сеть АРТ-2 может существенно уменьшить число распознающих нейронов в системах распознавания и расширить область применения непрерывных нейронных сетей АРТ.

Целью статьи является адаптация непрерывных нейронных сетей АРТ для решения задач распознавания режимов функционирования динамических объектов в условиях существенной априорной неопределенности.

Основной раздел. Типичная архитектура непрерывной нейронной сети АРТ-2 изображена на рис. 1. Она включает три группы нейронов: поле F1 входных обрабатывающих нейронов, состоящее из шести типов элементов

(Wi, Xi, Vi, Ui, Ri, Qi, i = 1, n) и нормализующих модулей (WN, VN, PN), поле F2 распознающих 7-нейронов и управляющих нейронов R1, ..., Rn, R.

Рис. 1. Архитектура нейронной сети АРТ-2

Нейроны W1, ..., поля ^1 воспринимают сигналы 51, ..., &•„

предъявляемых изображений и суммируют их с выходными сигналами щ, и„ нейронов и1, ..., и„

wi = + ап1, г = 1, п .

Выходные сигналы V (/ = 1, п) нейронов W1, Ж„ поступают на входы

элементов Х1, ..., Х„ и модуля WN, вычисляющего норму ||м|| = д/М +...+М2

вектора сигналов V = (^1, ., м>„).

Входные сигналы х1, ..., х„ нейронов Х1, ..., Х„ определяются

соотношением

где е - небольшая положительная константа, предотвращающая деление на нуль в случаях, когда ||м|| = 0 .

Функция активации нейронов W1, ..., W„, Q1, ..., Q„ задается

соотношением

\и„., если > 0 ,

/ (П ) = /П вх, если П вх > 0

вх) [0, если ивх < 0

где 9 - параметр, определяющий порог для подавления шумовых сигналов. Если величина входного сигнала иех меньше порогового значения 9, то он рассматривается как шум и подавляется (/ (ивх) = 0).

Выходные сигналы ц1, ..., ц„ нейронов У1, ..., ¥„ определяются выражением

V, = /(X) + ъ/ (д,) ,

где Ь - константа; qi (, = 1, п) - выходные сигналы нейронов Q1, ., Q„.

Нейроны и1, ..., и„, используя соответственно выходные сигналы ц1, ..., ц„ К-нейронов и модуля VN, вычисляющего норму Ц вектора V = (у1, ..., ц„), определяют свои выходные сигналы по соотношению:

П, = ~^, , = 1п . (1)

е + Г

Если нейрон-победитель в 7-слое еще не определен, то сигналы (1) однозначно определяют выходные сигналыр1, ..., р„, q1, ..., q„ соответственно нейронов Р1, ..., Р„ и Ql, ..., Q„:

р, = и,, , = 1, п ,

д, =—pг\\, 1 =1 п . е +1р

Устойчивое состояние обрабатывающих нейронов в поле ¥1 при исходных нулевых выходных сигналах нейронов и1, ..., и„, Р1, ..., Р„, Q1, ..., Q„ достигается после двух модификаций выходных сигналов нейронов этого поля. После достижения равновесия в поле -?1 Р-нейроны посылают свои выходные сигналы на входы 7-нейронов:

П вхГ/ =Х ЪУР,, 1 1 т .

Среди распознающих 7-нейронов определяется нейрон-победитель 7/, имеющий наибольший выходной сигнал. Во время определения нейрона 7J выходные сигналы всех нейронов поля ^ остаются неизменными до тех пор,

пока сигнал с выхода нейрона-победителя не поступит на входы Р-нейронов. После этого по сигналам нейронов р, иі каждый нейрон Яг (і = 1, п) рассчитывает свой выходной сигнал

„ _ и і + СРі

Є + \и\\ + С

где с - вес связи от нейрона Р1 к нейрону Яі (і = 1, п).

Получив выходные сигналы г (і = 1, п) -нейронов, элемент Я

рассчитывает норму вектора сигналов г = (г1, ...,гп)

им = ||иі + СРі||

и + с

и сравнивает ее с параметром сходства р между входным изображением и изображением, хранящемся в весах связей победившего нейрона. Если ||г|| < р, то нейрон затормаживается (Пеыхы^ = -1) и не принимает в дальнейшем участия в соревнованиях при предъявлении текущего изображения. Если ||г|| > р, то происходит обучение весов связей победившего 7-нейрона одним из известных алгоритмов обучения: быстрым, медленным или мгновенным [6]. Нейронная сеть АРТ-2 неплохо зарекомендовала себя при распознавании различных отдельных изображений. Однако непосредственно использовать сеть АРТ-2 для распознавания режимов функционирования динамических объектов, когда режимы распознаются по поведению во времени нескольких переменных, принадлежащих определенным областям своего изменения, невозможно по нескольким причинам.

Во-первых, применяемое в нейронной сети АРТ-2 нормирование компонент входного вектора (изображения) 5 = (¿1,) с помощью соотношения

*11

I *2

і=1

позволяет воспринимать любые два вектора ^ = О^,...^), 52 = ...^) =

= (к$2, ...,кз^), где к е (0, <х>), как одинаковые. При распознавании динамических режимов процессы одинаковой или близкой формы, но существенно отличающиеся по амплитуде, в большинстве случаев

характерны для различных режимов функционирования динамических объектов.

Во-вторых, в сети АРТ-2 в весах связей каждого распределенного 7-нейрона хранится только одно изображение, которое получено в результате выделения общих свойств всех обучающих изображений. Признаки, присущие только отдельным изображениям, в памяти сети не хранятся. Фактически в весах связей любого обученного нейрона 7^ хранится информация в виде пересечения нормированных обучающих изображений:

57к = 517к П 52,7к П... П 5ННк,7к,

где 57к - нормированное изображение, хранящееся в весах связей нейрона 7к; $н7к ( = 1, Нк) - нормированные изображения, использованные для

обучения распознающего нейрона 7к; Нк - число обучающих изображений для нейрона 7к.

При значении параметра сходства, близкого к единице, изображения, воспринимаемые человеком как одинаковые или очень близкие, из-за своих индивидуальных особенностей нейронной сетью классифицируются как относящиеся к разным классам. Поэтому память сети будет хранить практически каждое изображение в весах связей отдельного распознающего нейрона, т.е. в памяти сети информация будет храниться в виде объединения нормированных обучающих изображений

^к и52нк и ...ият,к, (2)

где 5“к (' = 1, т) - обучающие изображения, относящиеся к одному к-му

образу; т - число обучающих изображений.

Архитектура и алгоритмы функционирования сети АРТ-2 не позволяют на отдельных нейронах обеспечить хранение информации в виде (2).

В-третьих, в нейронной сети АРТ-2 отсутствуют возможность одновременного сравнения входного изображения с двумя или большим числом изображений, хранящихся в памяти сети.

Для адаптации нейронной сети АРТ-2 к решению задач распознавания режимов функционирования динамических объектов в архитектуру и алгоритмы функционирования сети внесены следующие изменения:

1. Изменено нормирование компонент входного вектора 5 = (^, ...^п):

,

где 5гтах - максимально возможное значение г-й компоненты для всех допустимых входных векторов нейронной сети.

Подобное нормирование введено и для других векторов выходных сигналов нейронов поля , что привело и к изменению алгоритма функционирования нейронов этого поля.

2. Для распознавания по принадлежности к определенным областям

01т (I = 1, Ь ; к = 1, К) изменения переменных 1к у,) заданного числа Ь режимов функционирования объекта необходимо сформировать эти области на основе обучающих процессов (изображений). В нейронной сети АРТ-2 отсутствует механизм формирования таких областей. В связи с этим на стадии предварительной обработки информации предлагается для каждой переменной 1к (^) в любом из Ь режимов функционирования объекта определять по две функции (изображения):

1^,) = т!п(1гк1((,), 11к2(11 \ ...,11ы(Г,)), I = Ц, к = 1К, Г, = 0, 1,2, ..., (3)

I) = так(11к1(Г1 \ 11к2(11 \ ...,11ы(Г,)), I = к = ЦК, Г, = 0, 1,2, ..., (4)

где 11ктп^1), 11кт1Х(^,) - минимальное и максимальное значение переменной 1к (^) (к = 1, К) в 1-ом режиме функционирования объекта в учитываемом множестве 11к 1 ), 11к2), ...,1к„1 ) обучающих процессов в момент времени

Ц; щ - число учитываемых изображений при обучении сети распознаванию 1-го динамического режима.

Затем все 2ЬК функций (3), (4) используются для обучения сети АРТ-2.

3. Для определения принадлежности входного изображения 1к ((,)

(к = 1, К) некоторому 1-му режиму функционирования объекта необходимо

выполнить его сравнение с двумя изображениями 11щл(11), 11ктх($1) и определить значение параметра сходства р. В обычных непрерывных нейронных сетях АРТ-2 отсутствует возможность одновременного сравнения с двумя изображениями. Поэтому предлагается новая сеть адаптивной резонансной теории АРТ-2Д - непрерывная сеть адаптивной резонансной теории для распознавания динамических режимов. Сеть состоит из двух параллельно работающих модулей, каждый из которых является сетью АРТ-2. Первый модуль (рис. 2) предназначен для запоминания в режиме обучения соотношений (3), а второй - соотношений (4). В режиме распознавания первый модуль выполняет сравнение входного изображения с функциями, описываемыми выражениями (3), а второй модуль - соответственно с функциями, описываемыми выражениями (4). При задании Ь режимов

функционирования объекта по переменным 1к ((,) (к = 1, К) с помощью соотношений (3), (4) нетрудно представить ситуацию, когда по 1!ктп У,) или по 1^х (^) выполняется соответственно Ь соотношений:

1к V, ) > 1'кшп({, X к = 'Л или 1к V,) < 1^ X к = ^Л .

В связи с этим введены связи между парами 71 и 7г2 ( г = 1, т) 7-нейронов, предназначенных для распознавания одного и того же режима функционирования объекта в разных модулях. С помощью этих связей 7-нейроны первого модуля управляют соответствующими распознающими нейронами второго модуля.

Рис. 2. Архитектура нейронной сети АРТ-2Д 77

Нейрон-победитель второго модуля выделяется не в результате соревнования между распознающими элементами, а сигналом с нейрона-победителя 7 1 первого модуля после проверки соответствия нейрона 7} по величине параметра сходства р входного изображения и изображения, хранящегося в весах его связей. Выделенный нейрон 7/ второго модуля также проверяется по величине параметра сходства р. Если он выдерживает эту проверку и выдерживает последующую проверку по величине параметра сходства и пара нейронов 7] и 7^, то на выходе распознающего нейрона 7 сети АРТ-2Д появляется единичный сигнал, свидетельствующий о распознавании наблюдаемого режима функционирования объекта. Если нейрон 7/ или пара элементов 7], Уне выдерживают проверку по величине параметра сходства, то нейрон 7) затормаживается (и 1 = -1),

въvхYJ

а нейрон 7} переводится в неактивное состояние (и 2 = 0).

выхYJ

Отметим, что непосредственно выполнить проверку пары элементов 71, 72 по величине параметра сходства р при известных параметрах сходства рг и р2 соответственно для нейронов 7} и 7} нельзя. Ее необходимо осуществлять с помощью параметров несходства:

рн = 1 - р, рГ = 1 - рг, р2 = 1 - Р2, (5)

где рн - параметр несходства входного изображения с изображениями,

хранящимися в весах связей нейронов 7] и 7/; рн, ^ - соответственно параметр несходства и параметр сходства входного изображения с изображениями, хранящимися в весах связей нейрона 7} ; р2 , р2 соответственно параметр несходства и параметр сходства входного изображения с изображениями, хранящимися в весах связей нейрона 7 2 .

Параметры несходства р™, р^ показывают соответственно относительное число компонент входного изображения, которые не удовлетворяют ограничениям (3) или (4), а их сумма р™ + р^ - общее число компонент входного изображения, не соответствующих образу, хранящемуся в весах связей нейронов 7} и 7^. Очевидно, что для изображений данного образа должно выполняться условие

рн + рн ^ рн. (6)

Используя соотношение (5), из выражения (6) нетрудно получить новое неравенство, с помощью которого можно проверять, удовлетворяет ли пара

нейронов 7} и 7} по значению параметра сходства р, если известны

параметры сходства для каждого из отдельных нейронов:

р1 + р2 - 1 > р.

Алгоритм функционирования сети АРТ-2Д при распознавании динамических режимов предусматривает выполнение следующих шагов:

Шаг 1. Предъявляется входное изображение и первый модуль определяет

нейрон-победитель 71 .

Шаг 2. Определяется параметр сходства р1 для нейрона-победителя по соотношению

\\РГ(к, и, )||

р1 = К(Т +1) ,

где Рк*(к, tj) - функция, соответствующая 1-му динамическому режиму, распознаваемому по минимальным значениям !^п (^) динамических процессов 11к (и,);

* _Ь, если 11Шп(и) < 11:(и X к = 1К, и = 0,1, ...,Т,

Р1 (к, ti) = 1 , ,* ________________________

[0, если ^(и) > 1к ($,х к = 1, К, tl = 0,1, ...,Т.

Норма функции Р-1*(к, и,) определяется соотношением

К Т

\р\к, и, )|| = р\к, и,).

к =1 и =1

Шаг 3. Проверяется условие

р\ > p, (7)

где р - параметр сходства входного изображения и изображения, хранящегося в весах связей нейрона-победителя 7} первого модуля. Если условие (7) не

выполняется, то нейрон 7 1 затормаживается и исключается из дальнейшего участия в соревнованиях при предъявлении данного изображения, затем определяется новый нейрон-победитель первого модуля (шаг 1 алгоритма). Если условие (7) выполняется, то переход на следующий шаг алгоритма.

Шаг 4. Нейрон 7} первого модуля своим выходным сигналом на вход нейрона 7 2 второго модуля превращает его в нейрон-победитель второго модуля.

Шаг 5. Определяются параметр сходства р2 и параметр несходства р2н для входного изображения и изображения, хранящегося в весах связей нейрона-победителя 7} второго модуля:

" I*

: 2

р = Г2 и■ , р2« = 1 - р2,

К(Т +1)

где Р2* (к, ^) - функция, соответствующая 1-му динамическому режиму, распознаваемому по максимальным значениям 1^х (^) динамических процессов 11к (ti);

Рк* (к t ) =\1, если ^ (и X к = 1К, Ь = 0 1, ...,T,

1) [0, если 1к* (^) > Iктх«,), к = 1, К, ^ = 0, 1, ...,Т,

»/* II 7*

Р2 (к, tj) - норма функции Р2 (к, tj), определяется соотношением

и КТ

Р (к, ^ )|| = ]Г ^р* (к, ^).

к=1Ц =1

Шаг 6. Проверяется соответствие по значению параметра сходства входных процессов по верхним границам областей Б11к (к = 1, К) 1-го режима функционирования динамического объекта:

р2 ^ р. (8)

Если условие (8) не выполняется, то нейроны 7}, 7} обоих модулей сети исключаются из дальнейшего участия в соревнованиях при предъявлении данного входного изображения, затем осуществляется переход к первому шагу алгоритма. Если условие (8) выполняется, то переход к следующему шагу алгоритма.

Шаг 7. По вычисленным значениям параметров сходства для обоих

модулей проверяется соответствие входных процессов 1к (ti), к = 1, К,

tj = 0, 1, ...,Т областям В11к (к = 1,К) 1-го режима функционирования

динамического объекта:

(9)

Если условие (9) выполняется, то по входным процессам (t¡),

k = 1,K, tj = 0,1,...,T распознается l-й режим функционирования объекта. Если условие (9) не выполняется, то переход к шагу 1 алгоритма и поиск другого режима функционирования объекта, более соответствующего входным процессам.

Шаг 8. Останов.

Математическое моделирование архитектуры и алгоритмов функционирования нейронной сети АРТ-2Д при распознавании различных режимов функционирования динамических объектов подтвердили работоспособность предложенной непрерывной сети адаптивной резонансной теории.

Выводы. Разработана новая непрерывная сеть адаптивной резонансной теории АРТ-2Д, позволяющая распознавать режимы функционирования реальных динамических объектов. Новая сеть существенно расширяет возможности разработки эффективных систем распознавания на основе сетей адаптивной резонансной теории. В дальнейшем предполагается разработка нейронных сетей адаптивной резонансной теории с несколькими параллельно работающими полями входных нейронов. Такие нейронные сети необходимы для распознавания режимов функционирования динамических объектов с большим числом наблюдаемых переменных.

Список литературы: 1. Оссовский С. Нейронные сети для обработки информации. - М.: Финансы и статистика, 2002. - 344 с. 2. Руденко О.Г., Бодянский Е.В. Основы теории искусственных нейронных сетей. - Харьков: ТЕЛЕТЕХ, 2002. - 317 с. 3. Круглов В.В., БорисовВ.В. Искусственные нейронные сети. Теория и практика. - М.: Горячая линия - Телеком, 2001. - 382 с. 4. Carpenter G.A., Grossberg S. A. massively parallel architecture for self-organising neural pattern recognition machne // Computing, Vision, Graphics and Image Processing. - 1987. - Vol. 37. - P. 54 - 115. 5. Grossberg S. Competitive learning: From interactive activation to adaptive resonance // Cognitive Science. - 1987. - Vol. 11. - P. 23 - 63. 6. FausettL. Fundamentals of Neural Networks. Architectures, Algorithms and Applications. - New Jersey: Prentice Hall Int., Inc., 1994. -461 p. 7. Дмитриенко В.Д., Расрас Р.Д., Сырой АМ. Специализированное вычислительное устройство для распознавания динамических режимов объектов управления // Інформаційно-керуючі системи на залізничному транспорті. - 2002. - N° 1. - С. 15 - 22. 8. Дмитриенко В.Д., Расрас Р.Д.. Повышение точности и стабильности информационно-измерительных систем на основе нейронных сетей АРТ // Вестник ХГПУ. - Харьков: ХГПУ, 2000. - Вып. 92. - С. 149 -154.

Поступила в редакцию 05.04.04