Модель динамического нейрона с памятью состояния Текст научной статьи по специальности «Компьютерные и информационные науки»

Модель динамического нейрона с памятью состояния

В.Ф. Гузик, А.С. Гамисония, С.А. Черный, А.В. Шестаков, Д.А. Шалютин Южный федеральный университет, Ростов-на-Дону - Таганрог

Аннотация: Рассматриваются вопросы синтеза модели динамического нейрона с памятью состояния (ДНПС). Обосновывается введение специального дополнительного параметра в модель нейрона, определяемого как параметр состояния. Указывается, что параметр состояния нейрона способен меняться во времени в зависимости от характера информационных процессов, которые протекают в соседних нейронах сети. На этом эффекте реализуется процедура самоэволюционирования сети непосредственно в процессе ее эксплуатации. Топологическое представление нейронной сети в виде графовой модели позволяет формализовать взаимодействия нейронов в сети друг с другом как во времени, так и в пространстве. Предложен вариант структуры схемотехнической реализации ДНПС, ориентированный на реализации с помощью технологии ПЛИС. Ключевые слова: динамический нейрон с памятью состояния, нейросетевая модель, механизм самоэволюционирования.

Наблюдаемое в настоящее время интенсивное развитие методов нейросетевого моделирования сопровождается появлением новых моделей нейроэлементов, обладающих теми или иными свойствами, наиболее подходящими для соответствующих предметных областей [1]. При этом, трудно предположить, что будет сформирована некоторая единая универсальная модель, тем ни менее можно указать модели, эффективно применяемые для решения большого круга разнородных задач [2 - 4]. Исследованиям одной из таких моделей - динамического нейрона [5], включая схемотехнические реализации, посвящены работы, проводимые на кафедре вычислительной техники Таганрогского радиотехнического института под руководством заведующего кафедрой В.Ф. Гузика и профессора кафедры Ю.В. Чернухина еще с начала 70-х годов прошлого столетия. Излагаемые в настоящей статье материалы являются продолжением вышеупомянутых работ.

В работе [6] описана модель, определяемая, как динамический нейрон с памятью состояния (ДНПС) в дискретной формулировке. Ее основной особенностью является введение параметра, определенным образом учитывающего историю развития вычислительного процесса, определяемого,

как «параметр состояния». Следует отметить, что и традиционная модель динамического нейрона [7] также определенным образом связана с историей развития процесса. Однако подобная схема является достаточно функционально ограниченной и действует только на период до перехода мембранного потенциала через порог. В настоящей статье модель ДНПС, сформулированная для дискретной области, расширяется для непрерывной области, что позволяет повысить точность вычислительного процесса и использовать полученные ранее схемотехнические решения (в частности, цифровые интеграторы и квантователи).

Формальное описание рассматриваемой модели нейрона приводится в соответствии с нижеследующим. Известно [7], что топологическое представление нейронной сети описывается графовой моделью О:

о={ V, и}, У=(Ук}к=1л и={Ы j2eK},

здесь: V- множество вершин графа, где каждая вершина ук соответствует определенному элементу из множества К нейроэлементов; и - множество дуг графа G, отображающих синаптические связи между нейроэлементами, причем,'1 обозначает номер элемента, являющегося исходным для данной связи, '2- входным. Для некоторого нейроэлемента (вершины графа) к указываются подмножества входных/выходных элементов, которые обозначаются, как

N окр_N окр_вхи^ окр вых

Здесь: Nkокр-вх - набор номеров нейроэлементов, связанных с

рассматриваемой вершиной входящими синаптическими связями и определяемый, как входная окрестность элемента к или входная к-окрестность. Аналогичным образом определяется выходная к-окрестность.

Формальное описание ДНПС определяется в виде нижеследующих соотношений:

V(г)=в* *х1 (<);

^=1кр Р ($), ук (г), 5 % (), & (г)); (1)

^ = /ь (Бк (г), Рк (г), Бк _ окр (г));

окР«)=^ * + 2 ъ * ^ (*);

где: ¥к (г) - функция входного потенциала ДНПС;

вк - коэффициент влияния входного потенциала; у/ - номер входящей синаптической связи из входной к-окрестности; х/ (г) - вход по ./-ой синаптической связи; Рк (г) - функция мембранного потенциала; /кр - функциональная зависимость определения мембранного потенциала;

5 * к (г) - функция состояния нейронного элемента;

бк (г) - функция порога срабатывания нейронного элемента;

Бк (г) - функция состояния нейронного элемента на предыдущем шаге;

{5/ }к-окг - множество функций состояний нейронов, принадлежащих

к-ой окрестности (к-я окрестность - множество нейронов, связанные с рассматриваемым к-м по входам и выходам); Ыкокр - количество нейронов во входной окрестности элемента; g/ - коэффициент учета влияния состояний нейронов.

У- вых / , \ 7-1 вЫХ Г п / ^ ~ ~ ^ ~

к (г,) = ^ {Рк (г,)} - выход нейрона;

Fkвьы - функция формирования выхода;

При этом

(2)

где: - множество состояний нейронов, являющихся входными для

к-го нейрона (т.е. нейронов, принадлежащих к-входной окрестности);

^2}ш - множество состояний нейронов, для которых данный нейрон является входным (т.е. нейронов, принадлежащих, к-выходной окрестности).

Множество ^2}ш может не включаться в зависимость (2) - это зависит от особенностей решаемой задачи.

Учитывая то обстоятельство, что параметры мембранного потенциала и состояния находятся в итерационной связи и решение вышеприведенной системы дифференциальных уравнений осуществляется численными

методами, а значит с использованием итерационных дискретных алгоритмов,

*

обозначение S к означает, что на ¿-ом шаге используется значение состояния на предыдущем шаге.

Как следует из приведенных соотношений, введение параметра S(t) обеспечивает определенное самоэволюционирование нейросетевой модели непосредственно в процессе ее эксплуатации.

Кроме того, из этих же соотношений следует, что сведения о функционировании нейрона накапливаются в периметре состояния в виде функции S(t) и оказывают существенное влияние на поведение функции Р() и, в конечном итоге, на выходное значение нейрона У(). В соответствие с этим можно ввести понятие «напряженного» нейрона, т.е. нейрона, имеющего высокое значение функции состояния, и «нейтрального» нейрона с нулевым или малым значением функции состояния. Таким образом,

и

введение параметра 8(г) обеспечивает определенное самоэволюционирование нейросетевой модели непосредственно в процессе ее эксплуатации.

Как следует из выше изложенного, общее представление функций 8(г) и Р(г) допускает определенную вариативность конкретных реализаций. Одним из вариантов представления основных функций нейроэлементов, обеспечивающих наибольшую простоту вычислений приводится ниже

йР(г) йг

= - а * Р (г) + Р*£у] * х. (г) - Q;

(3)

.=1

= -К* 8 (г) + V Р \ (г) + кз* £ (г)

. =1

Здесь: а - кумулятивный мембранный коэффициент [7];

к1, к2, к3 - подбираемые на стадии проектирования коэффициенты. На рис. 1 приведена возможная структура ДНПС.

Рис. 1 Структурная схема ДНПС Схемотехническая реализация рассмотренных моделей нейронных сетей осуществляется на основе технологии ПЛИС и организуется в составе трех основных частей - Операционного Нейронного Поля (ОНП); Информационного Поля (ИП); Коммутационного Автомата (КА).

Для формирования ОНП на предварительном этапе производится ранжирование графа структуры нейросетевой модели от входных вершин к

выходным. Данная процедура позволяет сформировать схему в виде последовательности слоев нейроэлементов, причем внутри слоя нейроэлементы могут обрабатываться параллельно. Алгоритм подобного ранжирования описан в [7]. Синхронизация вычислительного процесса и отработка обратных связей в графовой модели (в случае их наличия) осуществляться с использованием процедур КА. Алгоритмы и схемные модели численного интегрирования построены на основе алгоритмических и схематехнических решений в области цифровых интеграторов, полученных на кафедре Вычислительной техники Таганрогского радиотехнического института [8]. Для исследований особенностей поведения вновь вводимых нейронов организуется информационно- моделирующий комплекс, который планируется развивать с использованием технологии прототипов [9], аппаратная реализация осуществляется в среде ПЛИС [10].

Работа выполнена при финансовой поддержке гранта РФФИ № 16-0700335 «Иерархическая организация нейроэволюционных вычислений».

Литература

1. Барский А.Б. Нейронные сети: распознавание, управление, принятие решений. — М.: Финансы и статистика, 2004. — 176 с.

2. Анохин К.В., Бурцев М.С., Ильин В.А., Киселев И.И., Кукин К.А., Лахман К.В., Параскевов А.В., Рыбка Р.Б., Сбоев А.Г., Твердохлебов Н.В. Современные подходы к моделированию активности культур нейронов in vitro. Математическая биология и биоинформатика. 2012. Т. 7. № 2. с. 372397.

3. Cox, E. (Feb. 1993) Adaptive fuzzy systems. Spectrum, IEEE, 30:2. pp. 7-31.

4. Lakhmi C. Jain; N.M. Martin Fusion of Neural Networks, Fuzzy Systems and Genetic Algorithms: Industrial Applications. — CRC Press, CRC Press LLC, 1998, 297 p.

5. Чернухин Ю.В. Нейропроцессорные ансамбли .-Таганрог: ТРТУ, 1995, 149 с.

6. Гузик В.Ф., Катаев Б.В., Черный С.А., Шестаков А.В. Модели нейронов с памятью состояния для организации нейроэволюционных вычислений. Научный журнал КубГАУ, №133(09), 2017, с. 467-474, URL: ej.kubagro.ru/2017/09/pdf/36.pdf.

7. Чернухин Ю.В. Искусственный интеллект и нейрокомпьютеры. Таганрог. Изд-во ТРТУ, 1997, 273 с.

8. Гузик В.Ф., Чернухин Ю.В. Нейрокомпьютеры в системах обработки информации. Нейрокомпьютеры: разработка, применение. - №7-8, 2001, с. 56-69, 72-84.

9. В. Тельпухов, В. С. Рухлов, И. С. Рухлов Исследование и разработка методов оценки сбоеустойчивости комбинационных схем, реализованных в базисе ПЛИС // Инженерный вестник Дона, 2016, №1. URL: ivdon.ru/ru/magazine/archive/n1y2016/3504

10. Бутенко Д.В., Ананьев А.С., Попов К.В. Интеллектуальные технологии проектирования информационных систем. Методика проектирования программных продуктов в условиях наличия прототипа // Инженерный вестник Дона, 2012, №2. URL: ivdon.ru/magazine/archive/n2y2012/815

References

1. Barskij A.B. Nejronny'e seti: raspoznavanie, upravlenie, prinyatie reshenij [Neural networks: recognition, control, decision making]. M.: Finansy' i statistika, 2004. 176 p.

2. Anoxin K.V., Burcev M.S., IT in V.A., Kiselev I.I., Kukin K.A., Laxman K.V., Paraskevov A.V., Rybka R.B., Sboev A.G., Tverdoxlebov N.V. Matematicheskaya biologiya i bioinformatika. 2012. V. 7. № 2. pp. 372-397.

3. Cox, E. (Feb. 1993) Adaptive fuzzy systems. Spectrum, IEEE, 30:2. pp. 7-31.

4. Lakhmi C. Jain; N.M. Martin Fusion of Neural Networks, Fuzzy Systems and Genetic Algorithms: Industrial Applications. CRC Press, CRC Press LLC, 1998, 297 p.

5. Chernuxin Yu.V. Nejroprocessorny'e ansambli [Neuroprocessor Ensembles]. Taganrog: TRTU, 1995. 149 p.

6. Guzik V.F., Kataev B.V., Chernyj S.A., Shestakov A.V. Nauchny'j zhurnal KubGAU, №133 (09), 2017, pp. 467-474. URL: ej.kubagro.ru/2017/09/pdf/36.pdf.

7. Chernuxin Yu.V. Iskusstvenny'j intellekt i nejrokomp'yutery' [Artificial Intelligence and Neurocomputers]. Taganrog. Izd-vo TRTU, 1997 g., 273 p.

8. Guzik V.F., Chernuxin Yu.V. Nejrokomp'yutery': razrabotka, primenenie. №7-8, 2001. pp. 56-69, 72-84

9. V. Telpuxov, V. S. Ruxlov, I. S. Ruxlov Inzenernyj vestnik Dona (Rus), 2016, №1. URL: ivdon.ru/ru/magazine/archive/n1y2016/3504.

10. Butenko D.V., Anan'ev A.S., Popov K.V. Inzenernyj vestnik Dona (Rus), 2012, №2. URL: ivdon.ru/magazine/archive/n2y2012/815