CC BY
184
Интернет-журнал «Науковедение» ISSN 2223-5167 http ://naukovedenie. ru/
Том 9, №3 (2017) http://naukovedenie.ru/vol9-3.php
URL статьи: http://naukovedenie.ru/PDF/99TVN317.pdf
Статья опубликована 06.07.2017
Ссылка для цитирования этой статьи:
Пятакович В.А., Василенко А.М., Хотинский О.В. Аналитическая конструкция и исходные структуры искусственной нейронной сети, техническая реализация модели математического нейрона // Интернет-журнал «НАУКОВЕДЕНИЕ» Том 9, №3 (2017) http://naukovedenie.ru/PDF/99TVN317.pdf (доступ свободный). Загл. с экрана. Яз. рус., англ.
УДК 623.98:534.222:004.93'1
Пятакович Валерий Александрович
ФГКВОУ ВО «Тихоокеанское высшее военно-морское училище имени С.О. Макарова», Россия, Владивосток1
Начальник научно-исследовательской лаборатории Кандидат технических наук, доцент E-mail: [email protected]
Василенко Анна Михайловна
ФГКВОУ ВО «Тихоокеанское высшее военно-морское училище имени С.О. Макарова», Россия, Владивосток
Научный сотрудник научно-исследовательской лаборатории
Кандидат технических наук E-mail: [email protected]
Хотинский Олег Владимирович
ФБОУ ВПО «Морской государственный университет имени адмирала Г.И. Невельского», Россия, Владивосток
Начальник цикла - старший преподаватель военной кафедры
Кандидат технических наук, доцент E-mail: [email protected]
Аналитическая конструкция и исходные структуры искусственной нейронной сети, техническая реализация модели математического нейрона
Аннотация. Статья является продолжением научно-технических разработок авторов, к особенностям которых относится привлечение аппарата нечеткой логики и комбинированных нейросетей для решения задач распознавания и классификации морских объектов. В общем случае модель нейрона представляет собой квазиадекватное изображение, реализующее некоторые наиболее важные для поставленной задачи свойства нейрона. Для создания или использования корректной модели нейрона применительно к решаемой задаче авторы предлагают к рассмотрению физиологический нейрон с обзором его свойств.
Описывают аналитические конструкции и исходные структуры искусственной нейронной сети. Приводят сравнительную характеристику параметров машины фон Неймана с биологической нервной системой, вариант технической реализации модели математического нейрона, рассматривают разновидности физиологического нейрона и проводят анализ его функционирования.
1 690062, Россия, г. Владивосток, пер. Камский 6
Нейронные сети превосходят последовательные машины в решении тех же задач, в которых машину превосходит человек. Задачи, требующие большого объема вычислений или высокой точности, лучше выполняются обычной ЭВМ. Существенную часть в теории нейронных сетей занимают биофизические проблемы. Для построения адекватной математической модели необходимо детально изучить работу биологических нервных клеток и сетей с точки зрения химии, физики, теории информации и синергетики. Моделирование биологических нейронных сетей обоснованно и перспективно.
Для реализации нейронных сетей в задаче распознавания образов блоком обработки сигналов системы мониторинга полей источников атмосферы, океана и земной коры нейросетевым классификатором, рассмотрена и предложена к использованию модель нейрона.
Ключевые слова: классификация образов; структуры искусственной нейронной сети; биотехническая система распознавания; модели математического нейрона; моделирование биологических нейронных сетей; физиологический нейрон
Цель исследования
Целью научно-технических разработок авторов статьи является создание широкомасштабной радиогидроакустической системы освещения атмосферы, океана и земной коры, мониторинга их полей различной физической природы, построение нейросетевой экспертной системы распознавания в общей структуре просветной системы мониторинга включая комплекс ее автоматизированного управления на основе разработанных авторами архитектур искусственных нейронных сетей и методики их обучения для решения задач распознавания (классификации) технических источников информационных полей в морской среде [8-20].
Материал и методы исследования
Теория нейронных сетей включают широкий круг вопросов из разных областей науки: биофизики, математики, информатики, схемотехники и в общем случае представляет набор математических и алгоритмических методов для решения широкого круга задач. Поэтому понятие «нейронные сети» детально определить сложно. Искусственные нейронные сети (ИНС) это совокупность моделей биологических нейронных сетей представленных сетью элементов в виде искусственных нейронов, связанных между собой синаптическими соединениями. Сеть обрабатывает входную информацию и в процессе изменения своего состояния во времени формирует совокупность выходных сигналов [1-3, 8, 9].
Нейронные сети превосходят последовательные машины в решении тех же задач, в которых машину превосходит человек. Задачи, требующие большого объема вычислений или высокой точности, лучше выполняются обычной ЭВМ. Существенную часть в теории нейронных сетей занимают биофизические проблемы. Для построения адекватной математической модели необходимо детально изучить работу биологических нервных клеток и сетей с точки зрения химии, физики, теории информации и синергетики. Моделирование биологических нейронных сетей обоснованно и перспективно. Но для исследования ИНС необходимо иметь математическую модель биологического нейрона и биологической нейронной сети. По принципу центральной нервной системы, имеющей клеточное строение. Единица - нервная клетка, нейрон [9, 17].
Ныне существующие компьютерные системы (КС) превосходят человека по ряду параметров. В частности, способность производить числовые и символьные вычисления у них
значительно выше. Но распознать тот или иной объект (почерк, знакомое лицо, известные шумы и др.) человек, в отличии от КС, может практически мгновенно. Приведем сравнительную таблицу параметров машины фон Неймана с биологической нервной системой (табл. 1).
Таблица 1
Сравнительная характеристика параметров машины фон Неймана с биологической нервной системой
Параметры Машина фон Неймана Биологическая нервная система
Процессор Сложный Высокоскоростной Один или несколько Простой Низкоскоростной Большое количество
Память Отделена от процессора Локализована Адресация по кодам Интегрирована в процессор Распределенная Адресация по содержанию
Вычисления Централизованные Последовательные Хранимые программы Распределенные Параллельные Самообучение
Надежность Высокая уязвимость Высокая надежность
Специализация Работа с числами и символьными операциями Весьма широкая
Среда функционирования Определенная и ограниченная Плохо определенная и без ограничений (точнее ограниченная в рамках существования организма)
Составлена авторами
Среди весьма большого круга задач, решение которых может осуществляться с помощью ИНС: классификация образов, кластеризация (категоризация) аппроксимация функции, предсказание (прогноз), оптимизация, память, адресуемая по содержанию, управление и др. Для настоящей работы наиболее важны первые две задачи.
Классификация в нейросетевом представлении совпадает с классической задачей распознавания, то есть задача состоит в указании принадлежности входного образа, представленного вектором признаков, одному или нескольким предварительно определенным классам.
Задача распознавания типа морского объекта (надводного корабля, подводной лодки) по шумовому портрету может быть рассмотрено как классическое приложение. Кластеризация (категоризация) является практически разновидностью классификационной задачи. Задача известна как классификация образов "без учителя". Алгоритм кластеризации основан на подобии образов и размещает близкие образы в один кластер. С помощью кластерного метода можно выявить и определить по шумовому портрету новый тип корабля противника. Попытка создать биотехническую систему распознавания (нервная система человека) прельщала исследователей с весьма давних времен. Оставляя вопросы истории развития биотехнических систем специалистам, необходимо отметить, что со времен Луи Ампера, который ввел в научный обиход термин "кибернетика", до появления группы Н. Винера, узаконившей этот термин, появление работ А.И. Берга, А.И. Колмогорова и их последователей делались попытки построения технических устройств (в том числе и распознающих) с использованием имеющихся в природе аналогий.
В общем случае модель нейрона представляет собой квазиадекватное изображение (аналитическое, физическое, полунатурное), реализующее некоторые наиболее важные для
поставленной задачи свойства нейрона. Для создания или использования корректной модели нейрона применительно к решаемой задаче необходимо рассмотреть физиологический нейрон, его функционирование и свойства.
Существует достаточно большое множество разновидностей физиологического нейрона, общим у которых является развитая система входов (дендритов) с контактными телами (синапсами), подсистемой обработки информации - телом (ядром) нейрона и системой входных каналов (дендритов), которые через синаптические узлы передают информацию на другие нейроны. На рис. 1а, приведена обобщенная схема нейронной клетки, а на рис. 1б -корзинчатый нейрон слоя III моторной коры человека (рис. 1а, рис. 1б - разработаны авторами). Рис. 1б, представляющий собой реконструкцию клетки по Гольджи с помощью camera Lucida, приведен для демонстрации эффекта H. Held, открывшего контакт аксона нервной клетки с собственным дендритом (положительная или отрицательная обратная связь). Мембрана мотонейронов имеет электрическую емкость, изменяющуюся в пределах 1 -
8 9
10"° до 5 - 10"9 Ф с постоянной времени (собственным латентным периодом) от 0,1 до 5 мс и с внутренним потенциалом от 60 до 100 мВ. Метаболические процессы, происходящие в структуре клетки, формируют "электрический ответ" нейрона.
Ядро Синапсы Концевые рачветвления
Рисунок 1. а - схема нейронной клетки; б - корзинчатый нейрон слоя III моторной коры человека: Ак - аксоны; Д- дендриты; А1, А2 - аутапсы; двойные кружки -аксонные терминалы, контактирующие со своими дендритами (обратная связь) (рисунокразработан авторами с использованием «картинки нейрона», заимствованной с сайта http://eotks.avhelp.ru)
Ответ может быть возбуждающим или тормозящим в зависимости от характера метаболических процессов, формируемых сигналами, поступающими на синапсы. Нейроны обладают униполярной проводимостью сигналов. Проводимость синаптических узлов меняется в зависимости от выделения специфического фермента (механизм не выяснен).
На мембрану подаются сигналы от большого числа синапсов, которые в сочетании с электрическими параметрами мембраны производят пространственно-временное суммирование возбуждений. Фактически на мембране выделяется результирующий потенциал, формируемый из элементарных синаптических потенциалов, получаемых клеткой. Под действием сигналов, передаваемых синапсами, потенциал мембраны падает и при достижении порогового уровня (-40 мВ), синаптические потенциалы клетки переходят в "потенциал действия" (термин Хармана). При совершении названного события вырабатывается первый импульс, представляющий собой волну активности, распространяющуюся вдоль нервного волокна и сопровождающуюся изменением потенциала в аксоне. Передача информации по нервному волокну, по мнению многих авторов, представляет собой электрохимический процесс (природа которого до конца не ясна), протекающий за счет внутренней (накопленной) энергии нервного волокна.
Весьма любопытно, что скорость прохождения информации (импульса) по нервному волокну определяется диаметром нервного волокна. Передача сигнала по концевым разветвлениям происходит с меньшей скоростью. Одна из составляющих общей задержки прохождения сигнала по нервному волокну, так называемая синаптическая задержка (син) тсин, состоит из времени прохождения импульса по волокну синапса (тВ) и времени развития синаптического потенциала в нейроне (тРСП), то есть тсин = тВ + тРСП.
Необходимо отметить, что после прохождения импульса, нервное волокно вступает в фазу абсолютной рефрактерности (фар), то есть в течение тфар не проводит возбуждение независимо от его величины. Следующей фазой является фаза восстановления, во время которой (тфор) по экспоненциальному закону производится восстановление возбудимости. Восстановление возбудимости называют фазой относительной рефрактерности (фор). Если возбуждающий сигнал подействовал в течение времени тфор и восстановление возбудимости полностью не произошло, то ответ нейрона будет значительно меньшим и скорость прохождения возбуждения по волокну будет меньшим. Для некоторых мотонейронов после фазы относительной рефрактерности следует фаза повышенной возбудимости, превышающей нормальный уровень возбудимости вдвое.
Результаты исследования и их обсуждение
Все последующие рассуждения по формализации нейрона и нервной сети построены на анализе функционирования физиологического нейрона. Физиологический нейрон -сложная система, математическая модель которого до сих пор полностью не построена [9, 17]. Введено множество моделей, различающихся вычислительной сложностью и сходством с реальным нейроном. Одна из важнейших - формальный нейрон (ФН, разработанный авторами рис. 2). Несмотря на простоту ФН, сети, построенные из таких нейронов, могут сформировать произвольную многомерную функцию на выходе.
Рисунок 2. Модель Мак Каллока-Питса (составлена авторами)
На этапах практической деятельности использовались самые разнообразные аналитические конструкции и исходные структуры моделей, параметры которых уточнялись данными исходного эксперимента.
В работе [4] предложено использовать бинарный пороговый элемент (математический нейрон) в качестве модели искусственного нейрона. Этот математический нейрон вычисляет взвешенную сумму п входных сигналов х^ j = 1, ... , п и формирует на выходе сигнал 1, если эта сумма превышает определенный порог Епор. и ноль - в противном случае.
Иногда (некоторые авторы) считают, что х^ х2, ... , хп всегда нулю или единице (а иногда и только единице), а вся "значимость" входов определяется величиной и знаком весовых коэффициентов к^ к2, ... , кп. Положительные веса соответствуют возбуждающим связям, а отрицательные - к тормозным.
В работе [4] доказано, что при оптимальной подборке весов связей, совокупность параллельно включенных нейронов рассматриваемого типа может выполнять широкий круг вычислений. Модель Мак Каллока и Питса довольно близка к своему физиологическому аналогу: хь х2, ... , хп - моделируют дендриты, кь к2, ... , кп - состояние и разную физиологическую конструкцию дендритов; сумматор и пороговый элемент соответствуют ядру и телу нейрона, а ветвления выходной координаты у - соответствуют ветвлениям физиологического аксона.
Кроме рассмотренной базовой модели известна целая серия аналитических конструкций: модель Хилтона, Хармона, Дескесаи и др. [5, 6, 8]. Следует отметить, что до появления общедоступных пакетов прикладных сетевых программ, каждый исследователь сам составлял свою модель (исходя из особенностей решаемой задачи), сам готовил и сам ее обучал по своей методике.
Для реализации нейронных сетей в линиях распознавания и классификации нейросетевой экспертной системы рекомендуется использовать модель, представленную на разработанном авторами рис. 3.
Рисунок 3. Обобщенная модель нейрона (составлена авторами)
Фактически в рассматриваемой обобщенной модели идея структуры формального нейрона сохранена, но имеются отличия, существенно влияющие на возможности модели:
1. вместо порогового элемента на выходе 0 или 1 в структуру включен "сигмоидный элемент", позволяющий формировать значение выходной величины в диапазоне от - 1 до + 1, то есть формировать "не канторовские" выходы;
2. в модели присутствует запаздывание, моделирующее время обработки информации в физиологическом нейроне;
3. модель имеет обратную связь (модель Плетье).
В случае работы с динамическими объектами, требующими наличия динамические составляющие, в нейрон включается (за звеном запаздывания или до него) некоторая динамическая составляющая вида
£
± (Т1Р+1)К(Т2Р2+2ТМ0 0)
pv (Тпр+1)а(Т2р2+2Те4р+1)
Величины к, ], 1, п, а, е, V, ъ, Т;, Т], Тп, Те - определяются из условий решаемой задачи.
При соединении отдельных нейронов в сети используются физиологические принципы организации сетей, приведенные ниже. Принципы сформулированы профессором Г.И. Шульгиной в диссертации, выполненной под руководством Д.С. Кесарева (институт Мозга им. Обухова). К далеко не полному перечню можно отнести следующие принципы перечисленные ниже.
Иерархия структур мозга рассматривается с позиций, что наличие внутрикорковых и межкорковых связей предполагает весьма развитую структуру сети, где иерархия связей определяется исходной структурой (глобальная организация) и решаемой задачей (локальные организации). Возможны промежуточные структурные организации.
Положительные и отрицательные связи в нервной сети имеют одинаковый вес применения в отличие от технических систем, где превалируют отрицательные обратные связи.
Функционально неодинаковые (возбуждающие и тормозящие нейроны) элементы обеспечивают решение задачи.
Гомеостазис нервных сетей состоит в организации подсистем выживания, развития самовоспроизведения всего организма. В техническом плане задача гомеостазиса находится в постановочной стадии.
Фоновая активность представляет собой процесс нупорядочного, хаотичного возбуждения, без явных внешних причин. Под воздействием управляющего воздействия (восприятие новых или биологически значимых стимулов) фоновая активность упорядочивается.
Автоматическая регуляция жизнедеятельности сочетается с организацией целенаправленного поведения посредством целенаправленного поведения посредством динамической смены функциональных систем.
Распределение импульсных потоков производится посредством динамического изменения возмутимости и реактивности различных сетевых структур в зависимости от главного управляющего фактора (доминанты), то есть в системе производится формирование доминантного управления.
Анализ и синтез - два состояния каждого элемента нервной сети. Названные состояния не передаются и не являются полярными, а могут в ряде случаев одновременно присутствовать, определяя состояние нейрона как некоторое синтетическое (более сложное).
Совершенно очевидно, что перечень далек от завершения, в частности, не обращено внимание на то, что нервные системы имеют распределенный характер и многое другое. Освещены лишь те принципы, использование которых наиболее важно в задаче синтеза нейроподобных структур рассматриваемого класса. В ряде задач полная функциональная структура не использовалась, то есть предусматривалась возможность отключения отдельных внутренних модулей модели, что производилось при программировании последних двух слоев распознающей структуры.
Кора головного мозга является протяженным образованием, состоящим из нейронов, толщина поверхности "начиненной" нейронами составляет от 2-х до 3-х миллиметров, площадь - 2200 см . Кора мозга содержит около 1011 нейронов, что приблизительно равно числу звезд в Млечном пути. Каждый нейрон связан с 100-200 другими нейронами. В целом мозг человека содержит от 1000 до 1000000 взаимосвязей [7].
Нейроны взаимодействуют посредством короткой серии импульсов длительностью в несколько миллисекунд. Сообщение передается посредством частотно-импульсной модуляции [7-9]. Частота может меняться от единиц до сотен герц, что в миллион раз меньше, чем в существующих переключательных схемах. Тем не менее, сложные решения по восприятию и распознаванию решаются за несколько миллисекунд. Человек может узнавать знакомое лицо, внешний вид корабля, самолета, подводной лодки именно за это время. Эти решения контролируются сетью нейронов, которые имеют скорость выполнения операций всего несколько миллисекунд. Это означает, что вычисления должны иметь не более 100 последовательных стадий. Иными словами, для решения таких задач "мозг запускает" параллельные программы, содержащие около 100 шагов. Это правило, описанное многими авторами (например, авторами работ [1, 6-8]) называют правилом ста шагов. Легко показать, что количество информации, посылаемой от одного нейрона к другому мало (несколько бит). Из рассмотренного выше, можно сделать выводы, что основная информация не передается непосредственно, а распределяется и захватывается в связях между нейронами. В силу сказанного используется термин коннекционистская модель искусственных нейронных сетей.
Рассмотрим аналитическую конструкцию искусственной нейронной сети. Существует множество терминов, определяющих одно и то же понятие. Приведем некоторые из них: нейронные сети, нервные сети, нейроподобные сети, нейристорные сети и т.д. (nerve networks, rescan de nerfs, nerven netze). Не вдаваясь в терминологические тонкости, будем считать, что под нейроноподобной сетью понимается совокупность искусственных нейронов, связанных между собой с целью передачи и преобразования информации. В своих работах, кроме уже названных авторов, использовались труды С.О. Мкртчяна, Д.Д. Хопфилда (Hopfild J.J.), Т. Кохонена (Kohonen T.), Г.А. Карпентура (Carpenter G.A.), Л.Б. Емельянова-Ярославского и других.
Кроме приведенного выше определения, нейроноподобную сетевую конструкцию можно рассматривать как способ параллельной обработки данных при классификации образов. Способ, широкое применение которого предсказывали классики кибернетики (У. Рос Эшби, Н. Винер, С. Каморан и др.), наконец занял свое место, получил интенсивное аналитическое и техническое развитие на принципах заимствованных из нейрофизиологии. Нейроноподобные сети будем рассматривать как вариант вычислительной структуры, построенной на тех же принципах. С точки зрения архитектуры искусственные нейроноподобные сети представляют собой вариант параллельной мелкозернистой однородной вычислительной структуры, реализующей потоковую обработку данных. Эта обработка может быть синхронной и асинхронной.
Искусственная нейроноподобная сеть состоит из конечного числа нелинейных динамических звеньев (динамических пороговых элементов), называемых искусственными
нейронами, соединенных друг с другом ориентированными связями. Способы соединения (топология сети) задаются из соображений, диктуемых структурой решаемой задачи, надежностью, энергопотребителем и т.д.
Как правило, на топологию сети не накладывается никаких ограничений в смысле регулярности, однако, из нейрофизиологических аналогий желательной является лишь локальная связанность (по крайней мере, локальная связанность должна превалировать). В целом же нейронная сеть представлена как полносвязный ориентированный граф, то есть объединение множества соединяющих дуг-связей. Каждая связь имеет определенный вес, задаваемый некоторым числом (иногда функцией или даже функционалом). Любая пара нейронов, имеющих связь, взаимодействует динамически в направлении этой связи одним из двух способов - возбуждением или торможением. Причем, возбуждающим связям приписывается положительный вес, а тормозящим - отрицательный. Фрагмент нейронной сети представлен на разработанном авторами рис. 4.
Рисунок 4. Фрагмент нейронной сети (рисунок разработан авторами)
Каждый отдельно взятый нейрон, скажем с номером j, приведенный на рис. 5 является активным нелинейным усилителем с п входами т выходами, обладающий сигмоидной характеристикой (биполярный усилитель с насыщением), модулем формирования запретов, динамической линейной составляющей, параметрически регулируемой задержкой.
Полнота свойств, реализуемых моделью нейрона, определяется характером решаемой задачи.
Рассмотрим фрагмент сети, представленной на рис. 5. Если изучать связь i ^ j (от ьго нейрона к j-му) и через V обозначить активность ьго нейрона в данный момент, а через Ту -вес этой связи, то вклад ьго нейрона в суммарный вход на j-м нейроне будет равен Ту У; = Иу.
Рисунок 5. Вариант технической реализации модели нейрона (разработан авторами)
Суммарная величина входа ] -го нейрона является некоторой функцией от всех выходов нейронов, имеющих с ним связь.
В простейшем случае это алгебраическая сумма всех вкладов, что соответствует модели нейрона первого порядка (термин, используемый Хопфилдом).
Для нейрона с номером ] суммарная активность входа можно представить в виде
и}=^И'! = 1.....П- (2)
1
Из нейрофизиологических соображений считаем, что нейрон может действовать сам по себе, то есть Ту ^ 0. На всех входах нейрона устанавливается одна и та же величина, равная его активности в данный момент.
В каждый момент времени состояние нейронов в сети определяется набором активностей всех п нейронов, составляющих сеть
V (0 = [У1 (О, V2 (0, ... , Vn (0]. (3)
Множество возможных V образуют пространство состояний сети. В зависимости от значений принимаемых активностями V; (1), это пространство может быть дискретным или непрерывным, а состояния задаются как точки в нем. Эволюция во времени представляется как последовательная смена состояний, которая происходит в соответствии с некоторым уравнением - дифференциальным или разностным в зависимости от характера изменения времени.
Динамика системы, состоящей из N нейронов, в случае произвольных Ту является крайне сложной. Однако, как было показано Хопфилдом, в случае симметричных связей Ту = Тд для такой системы может быть построен невозрастающий ограниченный снизу функционал Е, который является функцией Ляпунова М.В. При этом начальное состояние системы без колебаний релаксирует к соответствующей неподвижной точке. Хопфилдом было показано, что других аттракторов система не имеет.
Функционал Е получил название вычислительной энергии. Вычислительная энергия определяет некоторую поверхность в пространстве состояний, которая, образно говоря, имеет лишь впадины. Эволюция системы наглядно представляется как движение тяжелого тела вниз по склону в направлении ближайшей впадины.
Нетрудно видеть, что нейроноподобная сеть с подобным поведением может служить в качестве модели ассоциативной памяти, адресуемой хранящейся в ней информацией возможно частичной или даже приближенной. Действительно, если отождествить неподвижные точки с множеством подлежащих запоминанию и распознаванию данных и, задаваясь некоторой начальной информацией, предоставить системе возможность свободно эволюционировать, то она через некоторое время релаксирует к соответствующей неподвижной точке и остановится, что равноценно процессу выборки из памяти и определению того или иного образа. Эффективность такой памяти характеризуется ее информационной емкостью и геометрией притягивающих множеств.
Эта же система может служить моделью классификатора, [8, 9, 11, 12] если отождествить множество неподвижных точек с множеством эталонных образов С;. Тогда распознавание произвольного входного образа Х и отнесение его к соответствующей категории будет происходить описанным выше способом.
Весьма важным является правильный выбор функционала Е, что, в конечном счете, определяется структурой матрицы связей Т = [Ту], которая строится исходя из оценки структуры решаемой задачи классификации.
Рассмотрим реализацию классификатора при помощи электронной нейронной сети, в которой нейроны моделируются усилителями, а (частный случай нейрона, приведенного на рис. 5) резисторы, соединяющие входы и выходы усилителей, определяют веса связей.
На рис. 5 изображена электронная схема, моделирующая нейрон с входными соединениями. Совокупность таких нейронов, соединенных посредством резисторов, образует электронную нейроноподобную сеть. Пусть Ri будет входным сопротивлением ьго усилителя, И; - входным напряжением и V; = (И;) - выходным напряжением, где gi - передаточная характеристика усилителя по напряжению с описанными выше свойствами. Все соединения между ьм и Д-м усилителями определяются как проводимости Ту, принимающие положительные и отрицательные значения. Можно получить уравнение эволюции такой схемы в форме
^ и1
(4)
йи1 V и
]
где: — = — Е/^к ^ - внешний ток, втекающий в ьй усилитель.
Для этой системы вычислительная энергия имеет вид
е=т ^ (5)
1 ] 1 1
Как уже упоминалось, если проводимости симметричны, то есть Ту = Тд и gi-1(V) -монотонно возрастающая функция, то эволюция системы заканчивается в состоянии, отвечающем некоторому локальному минимуму вычислительной энергии.
Для того чтобы сеть выполняла функции классификатора, необходимо подобрать проводимости так, чтобы эталонные образы соответствовали минимумам вычислительной энергии.
Для наглядности рассмотрим сеть, состоящую из нейронов, имеющих два внутренних состояния - 0 и 1. Тогда пространством состояний будет единичный ^мерный куб, а вершины этого куба - возможными состояниями, то есть наборам двоичных N разрядных слов. Набору из S эталонных образов соответствует конечное множество двоичных слов
VS = (VIS, V2S, ... , VnS). (6)
Примем, что все токи I; = 0, i = 1, ... , N. Члены, содержащие интегралы в формуле вычислительной энергии Е, становятся равными порогам нейронов, которым придадим нулевое значение.
Тогда, если выбрать проводимости в виде Tjj = V2Vj2, то вычислительная энергия Е будет достигать локального минимума, если образ входного вектора g (Х) будет совпадать с одним их эталонных образов Q = У; в силу псевдоортогональности и независимости VS и Х.
Заключение
В общем случае методика выбора весов Ту и токов I; состоит в формулировке задачи в вариационной форме и построении соответствующей вычислительной энергии. Сравнивая выражение, полученное в результате описанной процедуры, с общим выражением для Е, можно получить рабочие формулы для Ту и I;, по которым синтезируется нейроноподобная сеть. Хопфилдом было доказано и проверено экспериментально, что свойства сети с использованием аналоговых моделей и дискретных (цифровых) практически совпадают (в определенном диапазоне изменения времени квантования).
При анализе описанного сетевого подхода к задачам классификации и им подобным становится очевидным необходимость рассмотрения процесса "настройки" (обучения) сети для распознавания образа или их группы (разработанный авторами рис. 6).
Входной образ Х = (Хр Х2,..Х!,...Х.„„ХП.)
Рисунок 6. Модель рекуррентного обучения по Хопфилду (составлена авторами)
Иными словами, необходима процедура настройки весов связей Ту в ответ на предъявляемые входные образы.
Интеллектуальные системы, построенные на базе искусственных нейронных сетей позволяют успешно решать задачи распознавания образов (в первую очередь), выполнение прогнозов, оптимизации, ассоциативной памяти, управления.
Известны и другие, более традиционные подходы к решению этих проблем (например, описанные в работах [5, 6, 8]), но они не обладают необходимой гибкостью за пределами
ограниченных условий. ИНС - многообещающие альтернативные решения, и многие приложения выигрывают от их использования. Длительный период эволюции придал мозгу человека много качеств, которые отсутствуют как в технических системах, так и в компьютерах с архитектурой фон Неймана. К этим свойствам относят: массовый параллелизм, использование простейших процессоров, распределенное представление информации, способность к обобщениям и обучению, адаптивность, толерантность к ошибкам, низкое энергопотребление, разнообразие архитектуры. Как было показано выше, распознающее устройство, построенное на ИНС, обладает в той или иной степени перечисленными признаками.
ЛИТЕРАТУРА
1. Muller B., Reinhart J. Neural Networks: an introduction, Springer-Verlag, Berlin Heidelberg, 1990.
2. Widrow B., Lehr M.A. 30 years of adaptive neural networks: perceptron, madaline, and backpropagation // Proceedings of the IEEE, vol. 78, No. 9, September, 1990, p. 1415 - 1442.
3. Freeman J.A., Skapura D.M. Neural Networks: algorithms, applications, and programming techniques. - Addision-Wesley Publ. Co., - 1991.
4. McCulloch W.C., Pits W.A. Cogical Calkulus of Ideas Immeanet in Nervous Activity // Bull Mathematical Biophisycs. - 1943. - Vol. 5. - P. 115 - 133.
5. Kolmogorov A.N. On the Representation of Continuous Functions of Many Variables by Superposition of Continuous Functions of One Variable and Addition, American Math. Soc. Transl., 28 (1963), pp. 55 - 63.
6. Hecht-Nielsen R. Kolmogorov's Mapping Neural Network Existence Theorem // IEEE First Annual Int. Conf. on Neural Networks, San Diego, 1987, Vol. 3, pp. 11 - 13.
7. Кузин А.Т. Основы кибернетики. Т. 1. Математические основы кибернетики. -М.: Энергия, 1973.
8. Пятакович В.А. Технологии нелинейной просветной гидроакустики и нейро-нечетких операций в задачах распознавания морских объектов [Текст]: монография / В.А. Пятакович, Василенко А.М., Мироненко М.В. - Владивосток: ДВФУ, 2016. - 190 с.
9. Пятакович В.А. Предварительная обработка информации нейроноподобным категоризатором при распознавании образов морских объектов [Текст] / В.А. Пятакович, А.М. Василенко // Подводное морское оружие. - 2017. - № 1 (32). С. 31-34.
10. Пятакович В.А., Василенко А.М., Пятакович Н.В. Математическая модель распознавания и классификации морского объекта, реализующая аппарат нечетких множеств // Науковедение, 2017 Том 9, №1 [Электронный ресурс] -М.: Науковедение, 2017 - Режим доступа: http://naukovedenie.ru/PDF/ 49TVN117.pdf, свободный. - Загл. с экрана. - Яз. рус., англ.
11. Мироненко М.В., Василенко А.М., Пятакович В.А. Обнаружение и распознавание источников гидрофизических и геофизических полей, измеряемых в морской среде // Мониторинг. Наука и технологии. - 2017. - № 1(30) - С. 16 - 19.
12. Пятакович В.А., Василенко А.М., Мироненко М.В. Структура нейросетевой экспертной системы распознавания и классификации объектов по их информационным полям в системе комплексного мониторинга морских акваторий // Науковедение, 2017 Том 9, №2 [Электронный ресурс] - М.: Науковедение, 2017 - Режим доступа: Ь1;1р://паикоуеёеше.ги/РВЕ/55Т'^217.рё£, доступ свободный. - Загл. с экрана. - Яз. рус., англ.
13. Исследование проблемных вопросов создания радиогидроакустической системы мониторинга полей источников атмосферы, океана и земной коры на основе технологий нелинейной просветной гидроакустики и радиогидроакустических средств морского приборостроения в интересах ВМФ РФ: отчет о НИР «Система-2017» / Василенко А.М., Мироненко М.В., Пятакович В.А., Алексеев О.А., Пятакович Н.В., 2017 - 80 с.
14. Исследование эффективности методов распознавания малоразмерных и акустически слабозаметных объектов с использованием теории нейро-нечетких операций искусственных нейронных сетей, технологий нелинейной просветной гидроакустики и радиогидроакустических средств морского приборостроения в интересах ВМФ РФ: отчет о НИР «Распознавание-2017» / Пятакович В.А., Василенко А.М., Мироненко М.В., Алексеев О.А., Пятакович Н.В., 2017 - 180 с.
15. Способ передачи информационных волн из морской среды в атмосферу и обратно: пат. 2593625 РФ / Мироненко М.В., Василенко А.М., Пятакович В.А.; ТОВВМУ им. С.О. Макарова, 14.07.2016.
16. Малашенко А.Е., Мироненко М.В., Чудаков А.И., Пятакович В.А. Просветная радиогидроакустическая система мониторинга полей атмосферы, океана и земной коры в морской среде // Датчики и системы. - 2016. № 8 - 9. С. 9 - 13.
17. Заенцев И.В. Нейронные сети. Основные модели // Уч. Пос. к курсу «Нейронные сети». - Воронеж: ВГУ, 1999. - 76 с.
18. Мироненко М.В., Карачун Л.Э., Василенко А.М., Шостак С.В. Формирование просветных гидроакустических систем мониторинга с учетом корреляционных характеристик канала распространения волн // Датчики и системы. - 2016. № 10. С. 21 - 26.
19. Радиогидроакустическая система передачи информационных волн из морской среды в атмосферу и обратно: пат. 2593624 РФ / Мироненко М.В., Василенко А.М., Пятакович В.А.; ТОВВМУ им. С.О. Макарова. - Опубл. 10.08.16. Бюл. № 22.
20. Радиогидроакустическая система параметрического приема волн источников атмосферы, океана и земной коры в морской среде: пат. 2593673 РФ / Мироненко М.В., Василенко А.М., Пятакович В.А.; ТОВВМУ им. С.О. Макарова. - Опубл. 10.08.16. Бюл. № 22.
Pyatakovich Valeriy Aleksandrovich
The Pacific Higher Naval College named after Admiral Makarov, Russia, Vladivostok
E-mail: [email protected]
Vasilenko Anna Mikhaylovna
The Pacific Higher Naval College named after Admiral Makarov, Russia, Vladivostok
E-mail: [email protected]
Hotinskiy Oleg Vladimirovich
Maritime state university named after G.I. Nevelskoi, Russia, Vladivostok
E-mail: [email protected]
Analytical design and initial structure of an artificial neural network, the technical realization of the mathematical model of a neuron
Abstract. This article is a continuation of the scientific and technical developments of the authors, featuring the use of the fuzzy logic apparatus and combined neural networks to solve problems of recognition and classification of sea objects. Generally, the neuron model is a quasi-adequate image, realizing some of the neuron properties that are most important for solving a specified task. To create or use the correct neuron model in relation to the problem being solved, the authors propose to consider a physiological neuron with an overview of its properties.
Analytical designs and initial structures of an artificial neural network are described. The comparative characteristics of the von Neumann machine parameters with the biological nervous system is presented, the Neumann machine being a technical implementation of the mathematical neuron model, the varieties of the physiological neuron are discussed, analyzing its functioning principles.
Neural networks are superior to successive machines in solving the same problems in which machines are inferior to humans. The tasks that require a large amount of computation or high accuracy are better performed by a conventional computer. An essential part of the neural networks theory is devoted to biophysical problems. To make an adequate mathematical model, it is necessary to study in detail the operation of biological nerve cells and networks in terms of chemistry, physics, information theory, and synergetics. The simulation of biological neural networks is reasonable and promising.
For the realization of neural networks in the problem of pattern recognition by the signal processing unit of the monitoring system for the atmospheric, oceanic and crustal sources by the neuronet classifier, the neuron model was considered and proposed for use.
Keywords: classification of images; structures of an artificial neural network; biotechnical recognition system; models of a mathematical neuron; modeling of biological neural networks; physiological neuron
