CC BY
83
УДК 004.032.26
05.00.00 Технические науки
МОДЕЛИРОВАНИЕ НЕЙРОСЕТЕВЫХ ВЗАИМОДЕЙСТВИЙ С ИСПОЛЬЗОВАНИЕМ МЕХАНИЗМА КЛЕТОЧНЫХ АВТОМАТОВ1
Шестаков Александр Валентинович
К.т.н., доцент кафедры вычислительной техники
Мунтян Евгения Ростиславна Старший преподаватель кафедры вычислительной техники Email: [email protected]
Потапов Валентин Вадимович магистрант
vpotapov013 @gmail. com
Южный федеральный университет, Таганрог, Россия
Терлецкий Владимир Вячеславович
Преподаватель
Управление образованием, Таганрог, Россия
В статье рассматриваются методы организации нейросетевых взаимодействий на основе моделей клеточных автоматов. Данные модели ориентированы на повышение эффективности итерационных процессов функционирования нейросетей и их обучения. Вводимые в статье модели представляется в виде двухуровневых иерархических структур. Модели нижнего уровня определяются как «клеточный нейронный элемент». Они создаются на основе формальных описаний динамических нейронов с дополнительным введением функции состояния и специальных процедур формирования указанной функции. Вводятся также специальные методы формирования моделей активационных функций. Представления разрабатываемых моделей строятся на основе использования аппарата теории графов, теории нейронных сетей, механизма клеточных автоматов. Данные модели планируется использовать в качестве основы программного моделирующего комплекса
Ключевые слова: МОДЕЛЬ, КЛЕТОЧНЫЙ АВТОМАТ, НЕЙРОННЫЕ СЕТИ
Doi: 10.21515/1990-4665-124-036
UDC 004.032.26 Technical sciences
MODELING NEURAL INTERACTIONS WITH THE USE OF CELLULAR AUTOMATION
Shestakov Alexander Valentinovich Са^.ТеЛ.Бсг, associate professor [email protected]
Muntyan Evgenia Rostislavna
senior lecturer,
Email: [email protected]
Potapov Valentin Vadimovich
master student
vpotapovO [email protected]
Southern Federal University, Taganrog, Russia
Terletsky Vladimir Vyacheslavovych
lecturer
Education management, Taganrog, Russia
This article considers the organization of neural-network interactions based on models of cellular automata. These models are focused on improving the efficiency of the iterative processes of functioning of neural networks and their learning. The models considered in this article are presented in the form of two-level hierarchical structures. Models of the lower level are defined as "cellular neural element". They are based on formal descriptions of the dynamic neurons with the additional insertion of the state functions and the special procedures of formation of the specified function. Also, we have added special methods for forming patterns of activation functions. The conception of developed models is based on the use of the theory of graphs, theory of neural networks and the mechanism of cellular automata. These models will be used as the basis for software modeling
Keywords: MODEL, CELLULAR AUTOMATION, NEURAL NETWORKS
1 Исследование выполнено при финансовой поддержке гранта Российского фонда фундаментальных исследований (проект № 16-07-00335) в Южном федеральном университете.
Введение
Широкое распространение нейронных сетей (НС) для решения различных задач, относящихся к области интеллектуальных систем, обуславливает развитие исследований в данной области, направленное на формирование эффективных методов реализации НС-технологий [1-6]. В качестве одного из подобных перспективных методов, активно развиваемых в последнее время, является аппарат клеточных автоматов (КА) [7,8]. Так, в работе [8] отмечается следующее: «Последнее десятилетие ознаменовалось бумом публикаций в самых разных разделах науки, связанных с КА-моделями; одновременно с этим продолжает развиваться и математическая теория клеточных автоматов». В настоящей статье рассматриваются вопросы организации нейросетевых взаимодействий на основе механизмов клеточных автоматов.
Прежде всего, отметим общую черту нейронных сетей и клеточных автоматов: модели НС и КА можно представить в виде двухуровневых иерархических структур [9,10]. Нижний уровень составляют элементарные обработчики информации (для НС - это нейроны, для КА - ячейки). Верхний уровень образуют алгоритмы, формирующие последовательность обработки элементарных объектов и информационные связи элементарных объектов, которые, в свою очередь, формируются топологией сети. Отмечается, что искусственные нейронные сети представляют собой распределенные процессоры с массовым параллелизмом, реализованные на базе простых процессоров (нейронов) [11].
Определим вводимые в настоящей статье модели как «клеточный нейронный автомат» (КНА) - верхний уровень иерархии и «клеточный нейронный элемент» или «клеточный нейрон» (КНЭ) - нижний уровень иерархии.
Отметим, что как процессы реализация моделей (НС и КА), так и их обучение базируются на итерационных методах [11,12]. В соответствии с
этим, при разработке моделей, определенных в настоящей статье, ставится задача повышения эффективности итерационных процессов за счет ввода параметров, которые способствуют росту уровня управляемости данных процессов.
Модель клеточного нейронного элемента
Модель КНЭ приводится на рисунке 1, где К; - элемент.
Рисунок 1. Модель КНЭ
Определим К1(1)вх,_, Кг(1)вх в качестве элементов входной О окрестности К;-го элемента и обозначим данную окрестность, как Овх(К;). При этом запись «Кг(1)вх» означает: г-ый элемент из набора входных элементов 1-ой вершины. Сумму воздействий элементов из Овх(К;) на элемент К;, масштабируемых через связи у (запись уг(1),1 обозначает синаптическую связь между г-ой вершиной из набора входной О -
окрестности К1, как начальной в связи с самой вершиной К1, в качестве конечной. Можно определить сумму входов К1, масштабируемых через синаптические связи, как «раздражение» К1 [7].
Аналогичным образом опишем выходную О-окрестность К1: Овых(К1)=(К1(1)вых,_, Кч(1)вых}. Воздействие на элементы из Овых масштабируемых синаптической связью будем рассматривать, как «реакцию» элемента К; [7].
Каждый элемент К1 в каждый момент 1 будем сопоставлять со специально вводимой функцией состояния элементов (ее формальное описание приводится ниже). Функцию состояния можно представить, как «память» элемента, которая влияет на формирование активационной функции элемента. Совокупность подобных функций составляет обобщенную память автомата.
Следует отметить, что определенным образом функции памяти присутствуют и в классических НС-моделях. В динамических нейронах элементы запоминания предыдущего функционирования реализуются через мембранный потенциал клетки [10], хотя подобное запоминание действует на период между переходами через порог клетки.
Входной потенциал клетки можно вычислить по формуле (1).
РМ,^) = Хтх(1)вх),1 • Умов^ (1)
где У|((;)вх)д - коэффициент синаптической связи, ориентированной из > ой вершины, входящей в состав входной О-окрестности 1-ой вершины в данную вершину 1. Следует отметить, что матрица синаптических связей Г=[уд] определяет топологию сети и, по существу является матрицей смежности взвешенного неориентированного графа. При этом у_кфвх) -активационная функция КНЭ ]-го элемента из входной О-окрестности 1-го КНЭ.
Внутренний потенциал клетки РУ;(1;) можно вычислить по формуле
(2).
РУ1(1) = - РМ1(1) - ВД(!-1)), (2)
где - пороговое значение внутреннего потенциала элемента; ^8^11-1)) - функция, учитывающая предыдущее (установленное на предыдущем шаге) значение состояния. Можно предложить различные варианты функции, например, А(81(1)) = к • 8^-1), где к - произвольно определяемый коэффициент, определяющий степень влияния предыдущих значений.
На основании значения РУ^) определяется активационный потенциал клетки РС^), непосредственно влияющий на определение значений нового состояния клетки и активационной функции в новом состоянии. В зависимости от значения переходного потенциала, значение активационного потенциала определяется в трех интервалах:
(a): РС^) = -1, если РУ^) < ^
(b): РС^) = 0, если -д < РУ^) < +д;
(c): РС^) = +1, если РУ^) > д,
где д - априори вводимое значение границы перехода. Из приведенных выражений видно, что попадание внутреннего потенциала в интервал (Ь) не приводит к изменению РО(1;) и, как будет показано ниже, изменению текущего состояния клетки.
Текущее состояние клетки 8^(11) можно вычислить по формуле (3).
8*1) = 81(1-1) + РС1(1). (3)
Значения состояния можно определить на интервале [1,...,10]. Для этого введем следующий набор правил, ограничивающий область значений состояний назначенным интервалом:
(a): 81(1) = 10, если 8^) > 10;
(b): 81(1) = й*(1), если 0 <й*(1)<10;
(c): 81(1) = 0, если 8^) < 0.
Отметим, что результатом обработки НКЭ на каждом шаге итерации является определение нового значения состояния клетки и формирование активационных функций.
Механизм формирования активационных функций, в принципе, можно принять аналогичными используемыми в классической теории НС [10], однако предлагается определить собственные модели, вытекающие из общей логики построения НКЭ и НКА, связанной с повышением уровня их управляемости. В соответствии с этим, активационную функцию нейроклеточного элемента предлагается определить в четырех интервалах, в зависимости от текущего значения состояния клетки:
(a): -1, если 8;(1) С {0,1,2} - «отрицательное» состояние нейрона;
(b): 0, если 8;(1) С {3,4,5,6} - «нейтральное» состояние нейрона;
(c): +1, если 8;(1) С {7,8,9} - «положительное» состояние нейрона;
(ё): +2, если 8;(1) С {10} - «напряженное» состояние нейрона.
Очевидно, что напряженные нейроны оказывают наибольшее
воздействие на соседние клетки.
Здесь можно отметить, что основой модели КНЭ, по сути, является классическая модель динамического нейронного элемента с добавлением функции состояния и особым механизмом формирования активационных функций.
Модель сетевых взаимодействий
Как говорилось выше вводимая нами клеточная нейросетевая модель имеет двухуровневую структуру. На нижнем уровне рассматриваются базовые элементарные модели, которые мы определили и описали, как КНЭ. Верхний (общесетевой) уровень управляет последовательностью процессов обработки информации на нижнем (элементном) уровне.
Рассмотрим модель КНА с точки зрения традиционных графовых представлений:
О = {V, Г},
где V - множество вершин, соответствующих базовым элементарным обработчиком информации V; (КНЭ), при этом V = {V;}, 1 = 1, I (I - число КНЭ в КНА);
Г - множество дуг графа, соответствующих синаптическим связям, при этом Г = (у11,12), 11 е (1, I); 12 е (1, I); 11 Ф 12, где 11 - номер выходного элемента (выход синаптической связи), 12 - номер входного элемента (вход синаптической связи).
Отметим, что дуги являются взвешенными (вес синаптических связей).
Из стратегии построения моделей КНЭ/КНА можно указать основные свойства графовой модели: граф О является связным, ориентированным, взвешенным. Наличие циклов обуславливают обратные связи (т.е. итерационные зависимости вершин). Применительно к решению реальных задач можно указать, что граф имеет определенную потоковую структуру от входов к выходам (МСПР - многослойные сети прямого распространения [8,12]).
КНЭ, являясь элементарными обработчиками информации в КНА на каждом такте определяют новое текущее состояние автомата в целом.
В свою очередь, на уровне КНА определяется последовательность (очередность) обработки КНЭ и информационные связи между КНЭ. Процесс обработки информации в КНА заключается в приеме входных сигналов нейронами входного слоя (раздражение), последовательной обработкой промежуточных КНЭ и формированием активационных функций нейронов выходного слоя (реакция), которые, по существу и являются выходами сети. Выполнение алгоритма КНА, в данном случае заключается в упорядочивании множества У в виде маршрутов от входных вершин к выходным. Данное упорядочивание определяет порядок обработки КНЭ. Отметим, что обработка информации в КНЭ в соответствии с приведенной выше формальной моделью на каждом такте заключается в определении нового значения состояния нейрона (для случая а) и в формировании активационной функции (для случая б).
Можно рассмотреть различные варианты реализации алгоритмов КНА, обеспечивающих упорядочивание множества вершин графа. Как уже указывалось, эти задачи известны из теории графов, в том числе и разработаны алгоритмы, обрабатывающие обратные связи [13]. Применительно к рассматриваемым моделям определим следующие стратегии, связанные с обработкой обратных связей.
A). Тривиальная стратегия. Если в упорядоченном массиве вершин {V} вершина у11 встречается ранее у12, т.е. с точки зрения упорядочивания у12 > у1ь но зависит от нее через обратную связь, то в 1-ом шаге, при обработке у11 используется значение у12(М). Т.е. для вершин, которые в упорядоченном массиве {V} зависят от предшествующих по маршруту, используются активационные функции текущего шага, для вершин обратных связей - функции предыдущего шага.
B). Стратегия двух проходов. Заключается в выполнении нескольких шагов. На первом шаге выполняется стратегия «А». На втором шаге в качестве активационных функций обратных связей используются функции, вычисленные на предыдущем шаге.
C). Итерационная стратегия. Выполняется стратегия В. Производится для вершин, имеющих обратные связи, сравнение результатов на шагах 1 и 2: |Р^(1) - PVi(t-1)| < е, где е - априорно задаваемый параметр итерации. В случае если разница результатов превышает значение параметра итерации, повторно выполняется стратегия «В».
Особенности введенных моделей Отметим, что модели НКА/НКЭ строятся на базе НС-моделей с вводом элементов моделей КА (функции состояний) и особого механизма формирования активационных функций. Это, естественно, усложняет обрабатываемые модели и требует дополнительных вычислительных ресурсов. Вместе с тем, рассматриваемые модели позволяют повысить управляемость процессов обучения и настройки сети. За счет введения
функций состояния и их стратификации повышается открытость сети для ручного анализа состояния и управления процессами настройки. Разделение нейронов на классы (напряженные, нейтральные и т.п.) наглядно отображает процесс эволюции сети при обучении и позволяет вмешиваться в этот процесс. Однако анализ эффективности различных моделей может быть выполнен на основе моделирующего комплекса, разрабатываемого в рамках проекта № 16-07-00335 Российского фонда фундаментальных исследований.
Литература
1. Родзина О.Н. Нейроэволюция: проблемы, алгоритмы, эксперимент. О.Н. Родзина, С.И. Родзин // В сборнике: Информационные технологии в науке, образовании и управлении материалы XLIV международной конференции и XIV международной конференции молодых учёных IT + S&E' 16. 2016. С. 228-233.
2. Курейчик В.М. Компьютерный синтез программных агентов и артефактов.
B.М. Курейчик, С.И. Родзин // Программные продукты и системы. 2004. №1. С. 23-27.
3. Rodzin S. Theory of bioinspired search for optimal solutions and its application for the processing of problem-oriented knowledge. S. Rodzin, L. Rodzina // ^nference Proceeding 8th IEEE International Conference Application of Information Communication Technologes, AICT 2014. 2014. C. 142-146.
4. Чижов А.В. От моделей единичных нейронов к моделям популяций нейронов. А.В. Чижов, А. А. Турбин // Нейроинформатика. - 2006. - №1. - С. 76-88.
5. Осовский С. Нейронные сети для обработки информации. С. Осовский. - М.: Финансы и статистика. 2002. - 171 с.
6. Майоров В.В. Сообщение о сетях W-нейронов - В.В. Майоров, Г.В. Шебаршина // Моделирование и анализ информационных систем. - 1998. №4. - С. 3750.
7. Астафьев Г.Б. Клеточные автоматы: Учебно-методическое пособие. Г.Б. Астафьев, А.А. Короновский, А.Е. Храмов. - Саратов: Издательство ГосУНЦ «Колледж». - 2003. - 24 с.
8. Лобанов А.И. Модели клеточных автоматов А.И. Лобанов // Компьютерные исследования и моделирование. - 2010. - Т.2. №3. - С. 273-293.
9. Тимофеев А.В. Принципы построения иерархических нейросетей для анализа мультиизображений. А.В. Тимофеев, О.А. Дерин // Труды СПИИРАН. - 2009. Вып. 10. -
C. 160-163.
10. Чернухин Ю.В. Нейропроцессоры. Ю.В. Чернухин Таганрог: ТРТУ. - 1995. -
175 с.
11. Червяков Н.И. и др. Применение искусственных нейронных сетей и системы остаточных классов в криптографии. Н.И. Червяков - М.: Физматлит. - 2012. - 280 с.
12. Горбань А.Н. Нейронные сети на персональном компьютере. А.Н. Горбань, Д. А. Россиев. - Новосибирск: Наука. - 1996. - 276 с.
13. Конушин А. Эволюционные нейросетевые модели с незаданным заранее числом связей. А. Конушин // Компьютерная графика и мультимедиа. - Вып. №1(2). -2003. - С. 89.
14. Окулов С.М. Программирование в алгоритмах. С.М. Окулов М.: БИНОМ. Лаборатория знаний. - 2004. - С. 45.
References
1. Rodzina O.N. Neyroevolyutsiya: problemy, algoritmy, eksperiment. O.N. Rodzina, S.I. Rodzin // V sbornike: Informatsionnye tekhnologii v nauke, obrazovanii i upravlenii materialy XLIV mezhdunarodnoy konferentsii i XIV mezhdunarodnoy konferentsii molodykh uchenykh IT + S&F 16. 2016. S. 228-233.
2. Kureychik V.M. Kompyuternyy sintez programmnykh agentov i artefaktov. V.M. Kureychik, S.I. Rodzin // Programmnye produkty i sistemy. 2004. №1. S. 23-27.
3. Rodzin S. Theory of bioinspired search for optimal solutions and its application for the processing of problem-oriented knowledge. S. Rodzin, L. Rodzina // Conference Proceeding 8th IEEE International Conference Application of Information Communication Technologes, AICT 2014. 2014. C. 142-146.
4. Chijov A.V. Ot modele edinichnyh neronov k modeliam populiaci neronov A.V. Chijov, A.A. Turbin // Neroinformatika. - 2006. - №1. - S. 76-88.
5. Osovski S. Neronnye seti dlia obrabotki informacii. S. Osovski. - M.: Finansy i statistika. 2002. - 171 s.
6. Maorov V.V. Soobscenie o setiah W-neronov - V.V. Maorov, G.V. Shebarshina // Modelirovanie i analiz informacionnyh sistem. - 1998. №4. - S. 37-50.
7. Astafev G.B. Kletochnye avtomaty: Uchebno-metodicheskoe posobie. G.B. Astafev, A.A. Koronovski, A.E. Hramov. - Saratov: Izdatelstvo GosUNC «Kolledj». - 2003. -24 s.
8. Lobanov A.I. Modeli kletochnyh avtomatov A.I. Lobanov // Kompiuternye issledovaniia i modelirovanie. - 2010. - T.2. №3. - S. 273-293.
9. Timofeev A.V. Principy postroeniia ierarhicheskih nerosete dlia analiza multiizobrajeni. A.V. Timofeev, O.A. Derin // Trudy SPIIRAN. - 2009. Vyp. 10. -S. 160-163.
10. Chernuhin Iu.V. Neroprocessory. Iu.V. Chernuhin Taganrog: TRTU. - 1995. - 175
s.
11. Gorban A.N. Neronnye seti na personalnom kompiutere. A.N. Gorban, D.A. Rossiev. - Novosibirsk: Nauka. - 1996. - 276 s.
12. Konushin A. Evoliucionnye nerosetevye modeli s nezadannym zaranee chislom sviaze. A. Konushin // Kompiuternaia grafika i multimedia. - Vyp. №1(2). - 2003. -S. 89.
13. Okulov S.M. Programmirovanie v algoritmah. S.M. Okulov M.: BINOM. Laboratoriia znani. - 2004. - S. 45.
14. Cherviakov N.I. i dr. Primenenie iskusstvennyh neronnyh sete i sistemy ostatochnyh klassov v kriptografii. N.I. Cherviakov - M.: Fizmatlit. - 2012. - 280 s.
