CC BY
47
ность. Ряд четких рекомендаций, касающихся в основном подтверждения или отклонения того или иного действия, предложенного системой, может однозначно определить действия технолога на этапе принятия решения. В таком случае трактовку большинства параметров, полученных в ходе процесса или исследования, целесообразно осуществлять пороговыми алгоритмами. Например, для сведения операции определения «равномерности» рефлектограммы к применению порогового алгоритма в систему введена возможность взятия производной по длине.
Описываемая система призвана также решить некоторые задачи, поставленные в [6]. Единая программа, позволяющая получать данные и по изготавливаемым в данный момент комплек-
тующим заготовки («сырые» данные процесса, видеомониторинг, короткие сообщения), и обработанные встраиваемыми модулями, а также результаты измерений (см. рис. 3).
Таким образом, применение описанной системы позволяет уменьшить время производственного цикла продукции, свести количество и время рутинных операций к минимуму. На момент написания статьи все встраиваемые модули работали как автономные приложения и как расширения для разрабатываемой системы. Практическую значимость предложенной системы можно будет оценить после полной отладки, запуска и продолжительной эксплуатации на производстве волоконных световодов.
список литературы
1. Константинов, Ю.А. Телевизионная система измерения размеров заготовки волоконных световодов в ходе процесса химического парофазного осаждения [Текст] / Ю.А. Константинов, И.И. Крюков, М.М. Поскребышев, Н.А. Харламова // Научно-технические ведомости СПбГПУ Сер. Информатика. Телекоммуникации. Управление. -2010. -№ 6 (113). -155 с.
2. Alam, M. Small form-factor PANDA type HiBifiber for sensing applications [Text] / M.Alam, D.Guertin, J.Farroni [et al.] // In Proc.SPIE. -2003. -Vol.5272.
3. Hartog, A.H. Polarization measurements on monomode fibers using optical domain reflectometry [Text] / A.H. Hartog, D.N. Payne, A.J. Conduit // IEEE Proc. -1981. -Vol. 128. -Pt.H. -№ 3. -P.168-170.
4. Константинов, Ю.А. Поляризационная реф-лектометрия анизотропных волоконных световодов [Текст] / Ю.А. Константинов, И.И. Крюков, В.П. Пер-вадчук, А.Ю. Торошин // Квант. Электроника. -2009. -№ 39 (11). -С. 1068-1070.
5. Константинов, Ю.А. Разработка модифицированного корреляционного метода локализации дефектов в волоконных световодах [Текст] / Ю.А. Константинов, Т.В. Мазунина // Тр. ВКВО 2011.
6. Крюков, И.И. Автоматизация и управление процессами проектирования и производства специальных кварцевых оптических волокон: Дисс. ... канд. техн. наук [Текст] / И.И. Крюков. -Пермь, 2006. - 123 с.
УДК 004.8.032.26, 681.513.8
Е.Н. Бендерская, К.В. Никитин
моделирование нейронной активности мозга
И БИоИНСПИРИРоВАННыЕ ВЬ1ЧИСЛЕНИЯ
Развитие перспективных систем распознавания на нейронных сетях (НС), как и развитие теории НС, ведутся в двух основных направлениях:
совершенствование уже хорошо зарекомендовавших себя на практике подходов к решению определенного класса задач;
разработка новых концепций, базирующихся на последних открытиях и достижениях из области нейрофизиологии, когнитивной психологии, а
также других наук, связанных с изучением механизмов мышления и работы естественного интеллекта при решении задач распознавания образов.
Второе направление включает в себя рекуррентные НС (РНС) с неустойчивой динамикой, входящие в состав основных моделей из новой парадигмы «резервуарных» вычислений [1, 2], которые в свою очередь являются биоинспириро-ванными вычислениями, заимствующими прин-
ципы работы всего головного мозга как системы, а не только ее составных частей.
Актуальная задача моделирования нейронной динамики мозга, относящаяся в большей степени к биологическому направлению, и другая актуальная задача, относящаяся к техническому направлению, - распознавание сложных динамических образов в изменяющейся окружающей среде с минимальным набором априорной информации (т. е. сопоставимая с возможностями интеллектуального распознавания человеком), приводят к необходимости развития одноного и того же аппарата - РНС.
Проведенные исследования возможностей РНС [3, 4] показали не только их большой потенциал, но и вскрыли ряд проблем, связанных с их настройкой и использованием, что приводит к необходимости проведения дополнительного сопоставления этого класса НС с другими подходами, а также к пересмотру требований к системе моделирования. В частности, включение дополнительных функциональных возможностей в оценке динамических свойств РНС.
Статья знакомит с некоторыми результатами работы, цель которой - разработка системы моделирования, поддерживающей создание РНС с биологически правдоподобными нейронами, и позволяющей проводить оценку динамических режимов работы РНС.
Система распознавания на основе машины неустойчивых состояний и разработанная программная среда для ее моделирования подробно рассмотрены в [3, 4]. Как показало проведенное ранее предварительное исследование, наиболее существенными в системе распознавания на основе РНС являются параметры, связанные с формированием структуры собственно НС, хотя и параметры наблюдателя также влияют на качество решения задачи распознавания. Поэтому для синтеза методики направленного выбора параметров РНС предлагается отключить «наблюдатель», который является статической системой и требует специального преобразования выходных сигналов с РНС в форму, подходящую для его работы, и исследовать отдельно динамику РНС.
Возможность распознавания сложных (в т. ч. случайных) образов на основе РНС с импульсными нейронами основывается на том, что при функционировании такой системы она находится в состоянии между порядком и хаосом. Динами-
ка, связанная с крайними состояниями системы, такими, как упорядоченное функционирование, нежелательна, т. к. при этом ограничиваются запоминающие и, следовательно, распознающие возможности РНС (система становится близка к НС Хопфилда со всеми присущими ей недостатками), впрочем, и работа в турбулентном, полностью неупорядоченном режиме также нежелательна, т. к. в этом случае правильное «узнавание» требует бесконечного времени, необходимого для преодоления порога «узнавания» и набора усредненной статистики повторения образа. Основной параметр, влияющий на образование структур в динамике системы - связность элементов системы. При этом в каждое отдельное состояние вносят вклад как возбуждающие, так и тормозящие связи нейронов, что соответствует диссипатив-ным и инерционным связям. Поэтому для исследования возможных режимов в РНС предлагается перейти к анализу только собственных выходных значений ее нейронов и показателей, которые позволят однозначно охарактеризовать процессы собственной динамики и динамического отклика, накладываемого на эту динамику посредством воздействия на входные нейроны РНС входного образа.
При этом помимо собственной связности, характеризующей некоторый внутренний образ, хранящийся в системе, особое внимание предполагается уделить коэффициентам, отражающим диссипативные и инерционные процессы в динамике работы сети. Кроме того, необходимо определить роль динамических характеристик отдельных биоподобных нейронов в формировании общей коллективной динамики.
Динамические импульсные модели нейронов
Статические (основаны на частотном принципе) и простые динамические модели нейронов только приближенно описывают свойства реальных нейронов, а нередко и просто являются абстрактными, не привязанными к реальному нейрону. Поэтому параллельно разрабатывались другие, реалистичные модели биологического нейрона. В них основной упор сделан на следующие моменты:
моделирование импульсной динамики, наблюдающейся в биологических нейронах (как на феноменологическом уровне, так и на уровне гипотез с привлечением исследований нейробио-логов);
моделирование сложных пространственных конфигураций биологического нейрона (дендритные деревья).
Основная реалистичная модель биологического нейрона, являющаяся базой для большинства других моделей, - модель Ходжкина-Хаксли (Hodgkin, Huxley, 1952):
dv
C — = - g dt
am'h(v - VNa) -
-Якn\v - vK) -- g L(v - VL) + 1ext
dm _ (v) - m
dt %m(v)
dh _ ha (v) - h
dt Th(v) dn _ na (v) - n
dt %n (v)
где v - потенциал мембраны в мВ; С - емкость на единицу площади, см2; Iext - внешний ток на единицу площади, мкА; gNa, gK, gL - проводимости каналов на единицу площади в мСм/см2; m, n, h - так называемые «вентильные» переменные, отвечающие за открытие ионных каналов; t - время, мс; mjv), njv), hjv) - зависимость установившегося значения соответствующей вентильной переменной m, n, h от потенциала v; Tm(v), Tn(v), Th(v) - зависимость постоянной времени соответствующей вентильной переменной m, n, h от потенциала v; vNa, vK, vL - реверсные потенциалы (потенциалы Нернста) ионов Na, K и утечки.
Эта наиболее подробная и известная модель биологического нейрона описывает динамику нейрона в терминах работы ионных каналов Na, K, Ca и позволяет продемонстрировать широкий спектр различных вариантов поведения, наблюдаемых в реальных нейронах. Модель Ходжкина-Хаксли может быть рассмотрена как с обычными дендритами, так и со сложными распределенными в пространстве дендритными деревьями, что делает ее универсальной в смысле моделирования разных типов биологических нейронов.
В связи с тем, что первая и достаточно детализированная модель нейрона получена давно, все потребности в моделировании нейронной активности мозга она не покрывает, что отражается в дальнейшей разработке новых моделей. Основные модели биологического нейрона:
модель Коннора, Вальтера, МакКоуна (Connor,
Walter, McKown, 1977) - модель Ходжкина-Хаксли с добавлением двух новые переменных (итого порядок равен 6);
модель Морриса-Лекара (Morris, Lecar, 1981) - упрощение модели Ходжкина-Хаксли с 4 до 2 порядка;
модели Чея (Chay, 1985, 1990), похожие на модель Ходжкина-Хаксли, но имеющие порядок 3;
модель Головаща (Golovasch, 1990) - модель нейрона 13 порядка;
модель Голомба, Гукенгеймера, Гуэрона (Golomb, Guckenheimer, Gueron, 1993) - упрощенная модель Головоща 7 порядка.
Помимо перечисленных реалистичных моделей было предложено несколько упрощенных феноменологических моделей импульсных нейронов. Их цель - упростить понимание сути работы импульсного нейрона, а также ускорить процесс моделирования НС из импульсных нейронов. Некоторые параметры в этих моделях уже могут не иметь конкретного физического смысла. Основные феноменологические модели:
модель «Интегрирование и высвечивание (возбуждение)», (Integrate-and-fire, 1907) - наиболее известная и популярная феноменологическая, вытекающая из аддитивной модели; является предельно упрощенным аналогом биологического нейрона;
модель Фитцху-Нагумо (Fitz Hugh, Nagumo, 1962) - модель 2 порядка, являющаяся упрощением модели Ходжкина-Хаксли; широко используется в реакционно-диффузионных системах для моделирования распространения волн в возбудимой среде; эта модель прояснила некоторые свойства, присущие модели (1) с помощью метода фазового пространства;
модель Хиндмарш-Роуз (Hindmarsh, Rose, 1984) - модель 3 порядка, позволяющая моделировать хаотическую импульсную активность;
модель Ижикевича (Izhikevich, 2003) - современная модель 2 порядка, позволяющая моделировать практически все наиболее характерные, из известных на сегодняшний день, особенности импульсной активности, присущие реальным нейронам; для этого необходимо соответствующим образом настроить ее параметры; при построении модели автор активно использовал метод фазового пространства.
Такое разнообразие моделей объясняется поиском подходящего варианта модели элемента для воспроизведения, с одной стороны, большого
числа особенностей функционирования биологического нейрона, а, с другой, - потребностью обеспечения приемлемой для моделирования сложности, учитывая необходимость моделирования взаимодействия огромного числа таких элементов. В вопросе выбора уровня упрощения - детализации пока единого подхода нет. Рассмотрим, какие особенности характеризуют рекуррентные нейронные сети, в которых предполагается в качестве основного элемента использовать биологически реалистические нейроны.
РНС как динамическая система
Можно описать следующие отличительные особенности РНС как динамической системы:
РНС интегрирует входную информацию, т. е. учитывает предысторию входных сигналов и тем самым реализует кратковременную память;
РНС обладает сложным поведением: возможны различные режимы функционирования -пространственно-временной хаос, формирование образов, блуждающие и спиральные волны, турбулентность, при этом могут быть переключения между режимами.
Первое свойство активно используется для решения РНС задач распознавания динамических, изменяющихся во времени образов. РНС в ответ на изменяющуюся входную последовательность может перейти в уникальное состояние, которое будет зависеть от всей последовательности.
Второе свойство является предметом для изучения. Различные режимы работы РНС исследуются и делаются попытки приложить их для решения различных задач.
Динамика РНС зависит как от ее структуры, так и от свойств составляющих ее элементов. При этом возможны случаи, когда РНС из устойчивых нейронов при определенной структуре неустойчива и наоборот - когда РНС из неустойчивых, хаотических элементов является устойчивой. Однако при исследовании устойчивых режимов нейронная сеть, как правило, формируется из устойчивых элементов, при исследовании колебательных режимов - из так называемых осцилляторов - колебательных элементов, и, наконец, при исследовании хаотических режимов - из хаотических осцилляторов.
Далее рассмотрим основные режимы работы РНС с точки зрения ее динамики:
устойчивый режим - динамика РНС строго
подчиняется некоторому закону и за конечное время РНС сходится к устойчивому состоянию -аттрактору. В данном режиме при изменении входного сигнала возможны переходы системы из одного состояния в другое;
колебательный режим - РНС переходит из одного состояние в другое за определенное число шагов (предельный цикл). В данном режиме, с одной стороны, можно считать что предельный цикл кодирует некоторую информацию, а, с другой, - что происходят колебания, в фазовых соотношениях которых передается информация;
неустойчивый, хаотический режим - изменения состояния РНС носят непредсказуемый характер, и со стороны случайного наблюдателя процесс может показаться стохастическим. С точки зрения физики процесса, система в хаотическом режиме «уходит в себя» и может слабо реагировать на входные сигналы (аналогия - задумавшийся человек практически не реагирует на то, что творится вокруг). Количество информации, содержащееся в состоянии РНС большое, но извлечь эту информацию сложно. Во многих научных лабораториях исследуется поведение динамических систем в хаотических режимах и предлагаются различные варианты интерпретации этой динамики.
Подходы к исследованию РНС и ее использованию
На данный момент не существует общей стратегии для изучения динамики РНС [5]. Также пока не разработано и подходов для аналитического решения системы, описывающей импульсную РНС, и формальных признаков, определяющих режим функционирования. Связано это с тем, что этот класс сетей предполагает наличие большого числа динамических элементов и их неоднородную связанность. Поэтому общепринятым является применение методов моделирования.
Моделирование метастабильных состояний, фазовых переходов и пространственно-временных соотношений нейронной активности позволит расширить возможности кодирования и обработки информации [6-9].
Проведенный анализ современных исследований и тенденций в области РНС с учетом результатов проведенных ранее исследований на разработанной модели системы распознавания [3, 4], позволили сформулировать дополнитель-
Рис. 1. Упрощенная схема иерархии объектов в программной среде моделирования импульсных рекуррентных нейронных сетей
ные требования и реализовать необходимые компоненты в развитии системы моделирования РНС. Основные изменения затронули:
базис доступных моделей биологических нейронов;
возможные варианты задания синаптических связей и включение возможности задания задержек при передачи сигналов от нейрона к нейрону;
способы визуализации динамики выходов нейронов и сбор статистики с возможностью дальнейшей обработки внешними средствами;
возможность включения в модель шумовых составляющих для каждого нейрона как случайных процессов за счет изменения подхода к решению системы дифференциальных уравнений (вместо событийного подхода, и аналитического решения, ограничивающего случайные составляющие фиксированными значениями, численное решение через интегрирование с заданным шагом).
Разработанная среда моделирования импульсных РНС включает в себя возможность:
моделирования составляющих импульсных РНС (синапсов, нейронов), алгоритмов обучения
и импульсного кодирования;
исследования влияния синапсов (статических и динамических с возможностью обучения) на обработку входной информации нейроном;
исследования нейронных сетей из импульсных нейронов;
моделирования резервуарных вычислений с выделением основных свойств: разделения, аппроксимации, затухающей памяти;
исследования режимов синхронизации и получения характеристик решения задачи сегментации.
Упрощенная схема иерархии объектов в программной среде моделирования импульсных рекуррентных нейронных сетей представлена на рис. 1. На верхнем уровне иерархии находится эксперимент. После его запуска извлекаются входные данные, происходит моделирование импульсной РНС и формируются результаты. При моделировании импульсной РНС используется информации о ее структуре, параметрах обучения, а также о подключенных наблюдателях (считывающих модулей). В свою очередь структура РНС содержит данные о модели каждого нейрона и си-
120-
100
- ■ ■
—1—1— —1 -1 м -ь н н ь- н Г-Ь ч- — г-Г-1 —'—1
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 1.1 1.2 1.3 1.4 1.5 1.6 1.7 1.8 1.9 2 2.1 2.2 2.3 2.4 2.5 2.6
Время, с
Рис. 2. Выходная динамика нейронов РНС - один кластер
напса. Также для элементов иерархии указаны их возможные типы (разновидности) и функции.
Биоинспирированные вычисления и вычисления в РНС могут быть разделены на следующие классы: с точечными аттракторами, с терминальными аттракторами, аттракторами типа «предельный цикл» и хаотическими аттракторами. Случай с хаотическим аттрактором также может быть назван «неаттракторным», т. к. система не приходит к некоторому устойчивому в классическом смысле состоянию [2]. РНС «не-аттракторного» типа реализуют идею резервуар-ных вычислений [1].
Разработанная среда моделирования импульсных РНС позволяет проводить моделирование РНС всех классов. В ней было проведено экспериментальное исследование роли связности структур рекуррентной сети в образовании кластеров активности при различных динамических режимах. На рис. 2 и 3 представлена динамика выходов нейронов РНС (выходы возбуждающих нейронов представлены серыми точками, а подавляющих -черными точками) при различных импульсных входных воздействиях, изображенных в отрицательной области по оси ординат, и образование
разных динамических режимов. На рис. 2 показан режим упорядоченный [6] с образованием одного кластера активности (общее число нейронов 125 и параметр связности РНС равен единице), при этом динамика сети затухает сразу же после завершения поступления входных образов.
На рис. 3 представлен пример режима с образованием нескольких кластеров, характеризующихся сложной динамикой (общее число нейронов 125, параметр связности РНС равен трем), незатухающей и после прекращения действия на входе РНС входных образов. Также на этих рисунках легко прослеживается наличие ритмов активности, сопоставимых с ритмами, присущими биологическим нейронным сетям [6, 7].
Анализ результатов экспериментального исследования также показал, что при определенном сочетании параметров связности и параметров синаптической пластичности нейронов возможно образование особых режимов, нежелательных для решения задачи распознавания. Это согласуется с известными результатами об особых типах синхронизации, возникающих в РНС с хаотической динамикой [8, 9].
Кроме того, можно утверждать, что исполь-
Рис. 3. Выходная динамика нейронов РНС - несколько кластеров
зование характеристик, традиционно применяемых для оценки динамических свойств систем и для выявления образования кластеров активности (таких, как матрицы информации и энтропии Шеннона, Гуменюка) не позволяют произвести правильное распознавание на всем диапазоне возможных значений коэффициентов модели (выявлены предпочтительные диапазоны значений), что говорит о необходимости неслучайного назначения параметров РНС.
Разработанная программная среда моделирования импульсных рекуррентных нейронных сетей позволяет проводить исследования по определению особенностей различных моделей биологических нейронов в составе сложных динамических сетей, выявлению значимости синап-тических связей различной природы при запоминании и распознавании образов в осцилляторной динамике, а также наблюдать процессы измене-
ния паттернов активности при воздействии на НС входных сигналов. Программная среда может использоваться как для разработки современных систем распознавания образов, так и для исследования принципов обработки информации в нейронных структурах при моделировании нейронной активности мозга.
Полученные результаты моделирования РНС подтверждают гипотезы о хаотическом поиске [6] как одном из режимов, при котором может осуществляться обработка информации.
Дальнейшие исследования должны быть направлены на выявление условий возникновения и поддержания динамических режимов РНС, позволяющих решать сложные задачи распознавания динамических образов, а также на поиск адекватных способов автоматизированной обработки и интерпретации динамики выходов РНС. Разработанная программная система позволяет проводить подобные исследования.
список литературы
1. Verstraeten, D. An experimental unification of reservoir computing methods [Text] / D. Verstraeten, B. Schrauwen, M. Haene // Neural Networks. -2007. -Vol. 20. -P. 391-403.
2. Maass, W. Real-time computing without stable states: a new framework for neural computation based on perturbations [Text] / W. Maass, T. Natschlaeger //Neural Computations. -2002. -Vol. 14(11). -P. 2531-2560.
3. Бендерская, Е.Н. Исследование возможностей рекуррентных нейронных сетей с неустойчивой динамикой для решения задач классификации [Текст] / Е.Н. Бендерская, К.В. Никитин // Науч. сессия МИФИ-2007. IX Всерос. науч.-техн. конф. Нейроинформатика-2007: Сб. науч. тр. IX; В 3-х ч.; Ч. 3. -М.: Изд-во МИФИ, 2007. -С. 191-198.
4. Никитин, К.В. Новый подход к применению рекуррентных нейронных сетей для решения задач распознавания образов [Текст] / К.В.Никитин, Е.Н. Бендерская // Научно-технические ведомости СПбГПУ -2007. -№ 4. -Т. 2. - С. 85-92.
5. Cessac, B. From neuron to neural networks
dynamics [Text] / B. Cessac, M. Samuelides // Eur. Phys. J. Special Topics. -2007.- № 142. -P.7-88.
6. Kaneko, K. Clustering, Coding, Switching, Hierarchical Ordering and Control in a Network of Chaotic Elements [Text] / K. Kaneko // Physica D: Nonlinear Phenomena. -1990. - Vol. 41. -Iss. 2. -P.137-172.
7. Борисюк, Г.Н. Модели динамики нейронной активности при обработке информации мозгом - итоги «десятилетия» [Текст] / Г.Н. Борисюк, Р.М. Борисюк, Я.Б. Казанович [и др.] // УФН. -2002. -№ 172. -С.1189-1214.
8. Benderskaya, E.N. Fragmentary Synchronization in Chaotic Neural Network and Data Mining [Text] / E.N.Benderskaya, S.V. Zhukova // Lecture Notes in Computer Science. LNAI. -Springer, 2009. -Vol. 5572. -P. 319-326.
9. Benderskaya, E.N. Self-organized Clustering and Classification: A Unified Approach via Distributed Chaotic Computing [Text] / E.N. Benderskaya, S.V. Zhukova // Advances in Intelligent and Soft Computing. -Springer, 2011. -Vol. 91. -P.423-431.
