CC BY
19
УДК 004.032.26
05.00.00 Технические науки
МОДЕЛИ НЕЙРОНОВ С ПАМЯТЬЮ СОСТОЯНИЯ ДЛЯ ОРГАНИЗАЦИИ НЕЙРОЭВОЛЮЦИОННЫХ ВЫЧИСЛЕНИЙ1
Гузик Вячеслав Филиппович д.т.н., профессор [email protected]
Катаев Борис Владимирович
к.т.н., доцент кафедры вычислительной техники
Чёрный Сергей Александрович
к.т.н., доцент кафедры вычислительной техники
Шестаков Александр Валентинович
к.т.н., доцент кафедры вычислительной техники
Южный Федеральный Университет, Россия
В статье рассматривается модель нейрона, обладающая возможностью запоминания значения специально вводимого параметра состояния нейрона, отражающего историю развития процесса данного нейрона в рамках нейросети. Базой для формирования предлагаемой модели является модель динамического нейрона, с дополнениями, рассматриваемыми в настоящей статье. Предлагаемые решения позволяют, с одной стороны, эффективно моделировать динамические процессы, с другой стороны, обеспечить реализацию двухуровневой схемы эволюционирования нейронных сетей. В рамках указанной схемы первый уровень эволюционирования обеспечивается за счёт использования традиционных нейроэволюционных моделей (например, генетических алгоритмов), которые позволяют формировать/модифицировать основные сетевые параметры (топология, веса синаптических связей). Второй уровень можно рассматривать как оперативный, реализуемый непосредственно в процессе функционирования сети (решения задач) за счёт использования специальных моделей нейронов, позволяющих определённым образом отслеживать историю развития процесса. В статье приводятся формальные описания предлагаемых моделей и алгоритмов функционирования сети, проводится обоснование применения предлагаемых моделей
Ключевые слова: МОДЕЛЬ, НЕЙРОН,
UDC 004.032.26 Technical sciences
MODELS OF NEURONS WITH MEMORY OF STATE FOR ORGANIZATION OF NEURO-EVOLUTIONAL CALCULATIONS
Guzik Vyacheslav Filippovich Dr.Sci.Tech., professor vf guzik@sfedu. ru
Kataev Boris Vladimirovich Сand.Tech.Sci., associate professor bvkataev@,sfedu. ru
Chernyy Sergey Aleksandrovich Сand.Tech.Sci., associate professor schernyy @sfedu. ru
Shestakov Alexander Valentinovich Сand.Tech.Sci., associate professor [email protected] South Federal University, Russia
The article discusses the model of a neuron with memory. The proposed model is formed based on the model of the dynamic neuron. The proposed solutions allow to efficiently model dynamic processes and to provide a two-level scheme for evolution of neural networks. The first level of evolution is achieved using traditional neuro-evolution models that allow you to create or to modify basic network settings. The second level allows you to track the history of the development process. The article presents a formal description of the proposed models and algorithms of functioning of the network, is the rationale for the use of the proposed models
Keywords: MODEL, NEURON, NEURONET,
Работа выполнена при финансовой поддержке гранта РФФИ № 16-07-00335 «Иерархическая
НЕЙРОСЕТИ, ЭВОЛЮЦИОНИРОВАНИЕ EVOLUTION
Doi: 10.21515/1990-4665-133-036
Эволюция нейронных сетей является одним из наиболее перспективных направлений в области искусственного интеллекта (ИИ). Традиционный подход к организации нейроэволюций заключается в применении соответствующих эволюционных методов и процедур к формированию или корректировке основных сетевых конструкций и параметров: сетевой топологии; весов синаптических связей; параметров активационных функций [1]. При этом, процессы эволюционирования сети и, собственно, функционирования сети (решения задач на сети) разделены во времени.
Следует отметить, что нейросетевые модели в силу своей специфики уже обеспечивают свойства адаптивности. Вводимые здесь модели позволяют не только повысить уровень адаптивности нейросетевого моделирования, но и обеспечить эволюционирование сети непосредственно в процессе функционирования сети. Рассматриваемая схема позволяет производить подстройку сети в процессе её функционирования. Данная схема предполагает осуществление текущего эволюционирования на основе определённого накопления информации об истории протекания процессов. Таким образом предусматривается двухуровневая схема эволюционирования нейросети:
• структурная эволюция, выполняемая на основе традиционных нейроэволюционных методов и моделей;
• оперативная (текущая) эволюция, совмещённая с процессом функционирования сети.
Структурная эволюция осуществляется традиционным образом [1]. Как уже указывалось, подобная процедура сетевой реконструкции требует
организация нейроэволюционных вычислений».
остановки решения функциональных задач на время указанной реконструкции сети.
Второй тип эволюции осуществляется в процессе функционирования самой сети за счёт использования специальных моделей нейронов, позволяющих определённым образом отслеживать ход самого процесса решения задач на сети.
Применительно к разработке новых моделей нейронов необходимо указать на следующие обстоятельства. Разнообразие моделей нейронов, интенсивность появления новых разработок со всей очевидностью указывают, что к настоящему времени отсутствует единая универсальная модель, и для каждого конкретного применения можно говорить о своей собственной модели. Причём, выбор модели из числа существующих или разработка новой модели является не формально и методологически обоснованным действием, а скорее актом, опирающимся на опыт и предпочтения исследователя.
В рассматриваемом в настоящей статье случае, введение новой модели нейрона обуславливается необходимостью введения в сетевую модель и, соответственно, в модель нейрона дополнительного параметра, позволяющего определённым образом фиксировать историю развития процесса.
Приводимое здесь описание модели нейроэлемента (нейрона, клетки) обозначим как динамический нейрон с памятью состояния (ДНПС). Данная модель является развитием работ по нейропроцессорной тематике и робототехнике, проводимой в течении ряда лет на кафедре вычислительной техники Таганрогского радиотехнического института под руководством заведующего кафедрой профессора В.Ф. Гузика и профессора кафедры Ю.В. Чернухина. В рассматриваемой модели за основу взята модель динамического нейрона, формальное описание и
схемотехническая проработка которого рассмотрены в [2], описание развития данной модели рассмотрены в [3].
Для описания модели ДНПС введём понятие входной окрестности ]-го нейрона, обозначаемое как Овх_|, представляющее собой набор номеров нейронов, являющихся входными для ]-го нейрона. Входной потенциал ]-го нейрона по аналогии с базовой моделью динамического нейрона определим следующим образом:
Рвх^) = X ук(Ъ)*У]ф где к £ Овх_] (1)
Здесь Рвх_^) - входной потенциал >го нейрона на ^-м шаге, Овх_ - окрестность ]-го нейрона; ук(^)-активационная функция к-го нейрона из входной ^окрестности в текущий момент времени на ^-ом шаге; у^ -вес синаптической связи, ориентированной от к-го нейрона в рассматриваемый ]-ый нейрон.
Мембранный потенциал ]-го нейрона определим следующим образом:
Рш^) = иРвив), Рпи(Ы Sj(ti), д^) (2)
Здесь fш - функция определения мембранного потенциала; Р^О^) -мембранный потенциал на предыдущем шаге; Sj(ti.1) - значение состояния ]-го нейрона (описание определения значений состояний приводится ниже) на предыдущем шаге; - порог срабатывания нейрона (соответствует этому же понятию в динамическом нейроне /3/). Вид функции ^ произвольный и может подбираться в процессе моделирования. В простейшем случае мембранный потенциал может определяться в виде полинома:
Рш^) = к1*Рвх_^) + к2*Рпи(Ъ-1) + kз*Sj(ti_l) - к4* д (3)
Коэффициенты к1, к2, к3, к4 могут варьироваться, в простейшем случае к1=к2=кз=к4=1. Как следует из соотношения (3), данная модель базируется на традиционном представлении динамического нейрона, за
исключением ввода дополнительного члена полинома, связанного с параметром состояния, рассматриваемого ниже.
Этот, вводимый в дополнение к традиционной модели динамического нейрона параметр состояния 8 описывается следующим образом. Определим 8вх_ как множество состояний нейронов из Овх_^ Тогда:
ЗД) = ЫЗД.О, 8вх_^ы), Рт^), (4)
из чего следует, что текущее состояние нейрона рекуррентно определяется из его предыдущего состояния (таким образом, отслеживается история процесса), а также зависит от мембранного потенциала на текущем шаге, состояний нейронов входной окрестности и пороговой функции изменения состояния Qs. Перепишем данное соотношение следующим образом:
ЗД) = ЫЗД-О, АЗД)}. (5)
Из этого соотношения следует, что изменения текущего состояния нейрона определяются величиной мембранного потенциала (и, следовательно, величиной входов), а также значениями состояний близлежащих нейронов.
Для обеспечения стабильного функционирования сети, значение состояний следует ограничивать, вводя соотношения следующего вида: 8т1п < 8^) < 8тах, где 8т1п , 8тах — наименьшее и наибольшее возможные состояния нейрона. Определение значения текущего состояния нейрона, исходя из соотношений (4) и (5), может быть выполнено в виде многошаговой процедуры:
1 шаг): = БЛЗД.О, 8^.1), Рт_^), Qs} (6),
2 шаг): ЗД) = если 8™ < < 8тах;
8j(tl) = 8т1п, если < 8тт;
Sj(tl) = 8тах, если 8тах < Sj *(tl) (7).
В соответствии с этим можно провести определённую классификацию нейронов в зависимости от уровня значений состояний нейронов.
а): Sj(ti) = Sшin - напряжённый отрицательный нейрон;
б): Sj(ti) = Sшax - напряжённый положительный нейрон;
в): Sшin < ад < ^шт+Я) - отрицательный активный нейрон (Я-задаваемый параметр, определяющий диапазон активности нейрона);
г): Sшax-Я < Sj(ti) < Sшax - положительный активный нейрон;
д): Sj(ti) = 0 - нейтральный нейрон.
Как следует из приведённых формальных описаний параметры состояния: а) определяются ходом (историей) протекания процессов; б) в значительной степени влияют на поведение нейрона. Причём, в зависимости от знака значения S (плюс или минус) можно говорить о возбуждающем или тормозящем нейроне. Введённые выше качественные определения состояний нейрона характеризуют степень влияния нейрона на вычислительный процесс.
Таким образом, эволюционирование сетей, построенных на основе ДНПС, организуется на двух уровнях.
Первый уровень обеспечивается за счёт применения к нейросетевым моделям эволюционных алгоритмов для формирования или модификации основных сетевых конструкций. Здесь можно выделить два подуровня: а) синаптические веса; б) топологические характеристики и активационные функции. Обработка данных подуровней в рамках настоящего проекта РФФИ № 16-07-00335_2016 рассмотрена в работах [1,5,6]. Данный уровень можно обозначить как стратегический и с его реализации начинается обработка нейросети при необходимости проведения эволюционных преобразований. Можно отметить, что на данном уровне осуществляется настройка сети.
Второй уровень организации эволюционирования осуществляется непосредственно в процессе функционирования сети и базируется на описанном выше механизме изменения значений состояний. Можно сказать, что данный уровень организации эволюционирования обеспечивает подстройку сети.
В качестве прикладного примера применения предлагаемой двухуровневой схемы организации процесса эволюционирования можно привести задачу регулирования твёрдотопливных паровых энергетических котлоагрегатов большой мощности, где первый уровень обеспечивает настройку с учётом основных конструктивных характеристик и свойств проектного топлива. Второй уровень организует текущую подстройку, обеспечивающую учёт изменений конструктивных характеристик, произошедших в процессе эксплуатации (например, шлакование поверхностей нагрева), а также реальных характеристик топлива из конкретной партии поставки.
Работа выполнена при финансовой поддержке гранта РФФИ № 1607-00335 «Иерархическая организация нейроэволюционных вычислений».
ЛИТЕРАТУРА:
1. Родзин С.И., Родзина О.Н. Нейроэволюционный алгоритм балансирования тележки с двумя флагштоками разной длины. Научное периодическое издание IN SITU. №9, 2016 г.
2. Чернухин Ю.В. Искусственный интеллект и нейрокомпьютеры. Таганрог: Изд-во ТРТУ, 1997 г.
3. Шестаков А.В., Мунтян Е.Р., Потапов В.В., Терлецкий В.В. Моделирование нейросетевых взаимодействий с использованием механизма клеточных автоматов. Научный журнал КубГАУ, №124(10), 2016 г.
4. Чернухин Ю.В. Нейропроцессорные сети. Монография. Таганрог. Изд-во ТРТУ. 1999 г.
5. Вовк С.П., Гинис Л.А. Элементы эволюционного моделирования принятия решения в сложных системах с динамичными видами иерархий» // Фундаментальные исследования. 2016. № 6-1. - С. 47-51. Статьи в изданиях, включенных в библиографическую базу данных
6. Родзина О.Н., Родзина Л.С., Шестаков А.В. На что способен нейроэволюционный алгоритм с применением только оператора мутации? // Труды Конгресса по интеллектуальным системам и информационным технологиям
«IS&IT'16» (Дивноморск, Россия, 2-9 сент. 2016). Научное издание в 3-х томах. Таганрог: Изд-во ЮФУ, 2016, Т.2. С.207-215.
References
1. Rodzin S.I., Rodzina O.N. Nejrojevoljucionnyj algoritm balansirovanija telezhki s dvumja flagshtokami raznoj dliny. Nauchnoe periodicheskoe izdanie IN SITU. №9, 2016 g.
2. Chernuhin Ju.V. Iskusstvennyj intellekt i nejrokomp'jutery. Taganrog: Izd-vo TRTU, 1997 g.
3. Shestakov A.V., Muntjan E.R., Potapov V.V., Terleckij V.V. Modelirovanie nejrosetevyh vzaimodejstvij s ispol'zovaniem mehanizma kletochnyh avtomatov. Nauchnyj zhurnal KubGAU, №124(10), 2016 g.
4. Chernuhin Ju.V. Nejroprocessornye seti. Monografija. Taganrog. Izd-vo TRTU. 1999 g.
5. Vovk S.P., Ginis L.A. Jelementy jevoljucionnogo modelirovanija prinjatija reshenija v slozhnyh sistemah s dinamichnymi vidami ierarhij» // Fundamental'nye issledovanija. 2016. № 6-1. - S. 47-51. Stat'i v izdanijah, vkljuchennyh v bibliograficheskuju bazu dannyh
6. Rodzina O.N., Rodzina L.S., Shestakov A.V. Na chto sposoben nejrojevoljucionnyj algoritm s primeneniem tol'ko operatora mutacii? // Trudy Kongressa po intellektual'nym sistemam i informacionnym tehnologijam «IS&IT'16» (Divnomorsk, Rossija, 2-9 sent. 2016). Nauchnoe izdanie v 3-h tomah. Taganrog: Izd-vo JuFU, 2016, T.2. S.207-215.
