CC BY
84
Оценивание ресурсов предоставляемых вычислительными узлами системы проводится по тем же 4 параметрам, по которым проводится оценка ресурсов необходимых для решения задачи. Оценивание проводится с помощью искусственный нейронных сетей, в результате чего каждый вычислительный узел получает коэффициент соответствия данному атомарному заданию. Диапазон коэффициентов от 0 до 1.
После оценивания каждого атомарного задания и получения коэффициентов соответствия вычислительных узлов производится выбор минимального количества вычислительных узлов суммарный коэффициент соответствия, которых наиболее близок к 1. После чего задание разбивается на определенное количество частей, которые рассылаются на выполнение на вычислительные узлы.
ЗАКЛЮЧЕНИЕ
С целью повышения эффективности использования вычислительных ресурсов в распределенных компьютерных системах в работе решена актуальная задача управления загруженностью вычислительных узлов при помощи нейронных сетей.
Применение нейронных сетей позволяет избежать сложной процедуры оценивания необходимого количество ресурсов алгоритмическими способами и макси-
мально уменьшить время, необходимое для оценивания задач.
Используя такой способ оценивания, представляется возможным получить оценку количества ресурсов, необходимых для выполнения заданий каждого класса, основываясь только на их описании и анализе их данных.
Научная новизна работы заключается в том, что впервые предложен метод оценивания заданий по критерию необходимых ресурсов, что позволяет избежать сложной процедуры оценивания ресурсоемкости.
Надшшла 2.03.07
Розробка диспетчера розпод1леноЧ комп'ютерног системы на основ1 нейронных мереж персептронного типу дозволила спростити процес управлтня ресурсами роз-под1леноЧ комп'ютерног системи завдяки запропонованш систем1 оцтювання задач по критер1ю необх1дних ресурс1в. Використання нейронних мереж дозволяе ско-ротити час оцтювання i тдвищити точтсть ощнки, що дозволить бiльш точно вибрати обчислювальт ресурси, на яких буде виконуватися задача.
Development of the manager of the distributed computer system on a basis of perceptron-like neural networks allowed to simplify managerial process of resources of the distributed computer system due to the offered system of estimating tasks by criterion of necessary resources. Using neural networks allows to reduce time and to increase accuracy of a rating which will allow to choose more precisely computing resources on which tasks will be solved.
УДК [007:572. 788]. 001.57
А. В. Савельев
ОБЗОР ИЗОБРЕТЕНИЙ В ОБЛАСТИ НЕЙРОКИБЕРНЕТИКИ И НЕЙРОМОДЕЛИРОВАНИЯ1
В статье кратко представлены результаты некоторых работ по направлениям нейрокибернетики и нейрокомпьютеров, проводимых автором с 1977 г., с позиций воплощения их в ряд изобретений, защищенных авторскими свидетельствами и патентами. К этим направлениям относятся: исследование волнового проведения по дендритам, дендропроцессоры; динамическое моделирование нервной системы; изучение циклов в нервной системе и реверберационных моделей; исследование посттетани-ческой потенциации и механизмов памяти; исследование хаотических режимов в нейронах и нейросетях; изучение нейронной логики; исследование механизмов кодирования информации в нервной системе; моделирование явлений пессимума и трансформации ритма; разработка и применение нейросетевой концепции нейрона.
ВВЕДЕНИЕ
Весьма отрадным событием последнего времени можно считать появление аналитических обзоров изобретений в области нейрокибернетики таких, например, как обзор г. С. А. Субботина, опубликованный в сборнике докладов на IV Всероссийской НТК «Ней-роинформатика-2002», т. 1, стр. 48-54. Патентные исследования в области отечественной нейрокибернети-ки очень нужны и чрезвычайно полезны, поскольку открывают доступ научному сообществу к ценнейшей кладовой достижений нейрокибернетики, не только
1. Работа выполнена при финансовой поддержке РФФИ (грант № 04-06-80460) и РГНФ (грант № 04-03-00066а).
© Савельев А. В., 2007
стоящей особняком в мире научной информации и имеющей определенную специфику изложения, но и, по большей части, не востребованную современниками. Скепсис по поводу ценности идей, заключенных в изобретениях, по причине этой невостребованности вряд ли уместен, поскольку достаточно вспомнить всем известную историю, ставшую легендой, о японском миллионере, сделавшим свое состояние на разделах полезных советов из российских научно-популярных журналов или попытку японцев заключить договор о покупке всех отказных заявок на изобретения, из числа поступающих в Федеральный Институт Промышленной Собственности (ФИПС).
Проведение подобных исследований и составление аналитических обзоров является очень трудоемким делом, ввиду разнородности и разнонаправленности идей, методов и подходов различных авторов, не полного раскрытия «ноу-хау» с целью защиты интеллектуальной собственности, специфической формы изложения в материалах заявок по стандартам патентования, трудности поиска в патентной литературе и отсутствия этой литературы в последнее время практически во всех городах, за исключением Москвы.
В связи с этим настоящий обзор имеет цель, в том числе, помочь в проведении патентных исследований, поскольку автору в отношении своей работы это сделать проще с максимальной точностью. Изобретения можно классифицировать по группам научных направлений исследований, проводимых нами в Уфимском государственном авиационном техническом университете (УГАТУ) в течение 30 лет с 1977 г. по настоящее время. Ввиду ограниченного объема публикации, просьба сравнение с мировым уровнем читать в соответствующих опубликованных описаниях изобретений, официально обладающих мировым уровнем новизны, и публикациях автора из перечня ссылок.
Существующие нейроинформационные технологии, нейросети и нейрокомпьютеры (hard, soft) во всех случаях, когда с большей эффективностью, когда с меньшей, решают те же задачи, которые решают непрерывные автоматные модели и также не решают задач, недоступных последним. В конечном счете, ней-росетевое моделирование с использованием в качестве элементов сетей формальных нейронов Мак-Каллока -Питса сводится в вычислительном отношении во всем своем кажущемся разнообразии к решению все той же задачи наименьших квадратов. В области обработки изображений, хотя и был получен определенный прогресс, тем не менее, результаты его несравнимы с биологическими объектами ни по скорости обработки, ни по удельным затратам вычислительных ресурсов, ни по качеству работы с изображениями. Стоит ли говорить о множестве неформализуемых и трудно формализуемых задач, которые вообще остаются за предела-
ми досягаемости конечно-автоматных и нейросетевых моделей.
Достаточно взглянуть на электронные микрофотографии, чтобы убедиться, насколько наши представления о нейроне как об элементе нейросетей или о самих нейросетях не имеют практически ничего общего с реальным биологическим объектом. Часто разработчики нейрокомпьютеров и технические специалисты, пытающиеся применять нейросетевые концепции для решения специальных задач, априорно принимают как постулат давно устаревшую схему нейрона как элемента Мак-Каллока - Питса почти 60-летней давности. Такая скудная функциональность элементов нейросетей заведомо закладывает жесткие ограничения в решении специальных задач, в результате чего, как правило, дальше довольно примитивных эвристик дело не идет. Справедливости ради необходимо отметить, что в последнее время появились тенденции поворота к обращению внимания технических специалистов на природу самих биологических объектов, правда, это относится пока, в основном, к западным школам. Однако, эти попытки находятся только в начальной стадии своего развития, поскольку захватывают пока еще недостаточно глубокие парадигмальные слои.
1 ВОЛНОВОЕ ПРОВЕДЕНИЕ
ПО ДЕНДРИТУ. ДЕНДРОПРОЦЕССОРЫ
Нами проводилось исследование волновых явлений распространения пассивных локальных постсинапти-ческих потенциалов (ЛПСП) в объемной структуре дендрита с реальной конфигурацией [1], которая реконструировалась по электронным микрофотографиям продольных срезов дендритных волокон. Был разработан ряд оригинальных, нашедших отражение в изобретениях [2-8], моделирующих алгоритмов, основанных на групповом анализе уравнений проведения по объемному проводнику сложной конфигурации:
Vхх = »х, г(х), С(х), Ь(х)];
»''хх = »'х, г(х), С(х), Ь(х)].
Поскольку такая задача в математическом, так и в вычислительно-математическом отношении представляется чрезвычайно трудной, нами был разработан ряд методов, нашедших отражение в изобретениях [2-8]. Используя группы преобразований Ли - Беклунда и теоремы Э. Нетер, Н. X. Ибрагимова [9], а также ряд теорем о продолжении преобразований [10], были построены соответствующие законы сохранения, что использовалось для синтеза моделирующих схем по а. с. № № 1501101, 1585811, 1815658. Были определены условия возникновения дифракции и интерференции волн ЛПСП в дендритных структурах и было
Рисунок 1:
а - электронно-микроскопическая фотография продольного среза дендрита. Ретикулярная формация агамы 1:33000. С1, С4 - синапсы (1,5-3 мкм). С1 - синапс I типа по Грэю, С4 - синапс II типа по Грэю (E. G. Gray). Фото Н. С. Косицина; б - реконструкция интерференционной картины потенциально-токовых артефактов на том же образце
выполнено их моделирование (рис. 1). Воспроизведение волновых процессов, протекающих в дендритах реальных нейронов показано на рис. 1, 6.
Проводился также бифуркационный анализ уравнений проведения по пространственным параметрам конфигурации, в том числе, с использованием методов проекций [11] и теоремы о центральном многообразии [12] для сведения исходной бифуркационной задачи к соответствующим задачам для обыкновенных эволюционных дифференциальных уравнений. На основании такого анализа была показана возможность возникновения во внутридендритном интерференционном поле потенциально-токовых артефактов, в том числе, рождение циклов. Исходя из принципа стремления системы к минимальным энергетическим состояниям, устранение этих артефактов может осуществляться только при вариации пространственного параметра, описывающего конфигурацию дендритного ствола. Таким образом, нами еще в 1983-1984 г. г. была предсказана возможность механических микроперемещений дендритных ветвей нейрона в связи с его функциональной активностью, что может отражаться в моделирующих схемах по а. с. 1501101 и 1585811 при соответствующей настройке параметров, а также в моделирующей системе по а. с. 1815658, отражающей компенсацию потенциально-токовых артефактов при механическом перемещении синаптических контактов по поверхности дендрита. Таким образом, была доказана принципиальная электро-механическая природа ней-
рона как элемента нейросетей, что впоследствии в 1987 г. было подтверждено экспериментально японскими учеными, которые в остром эксперименте вводили световод в трепанированное отверстие в черепе и, подсвечивая неокортекс, производили микровидеосъемку, подтвердившую наше теоретически сделанное открытие. Далее, нами рассматривались более сложные модели взаимодействия волнового поля с внутридендрит-ными спайками (а. с. 1394975), предлагающие, в том числе, разрешение проблемы эффективности дисталь-ных синапсов (а. с. 1439631). Кроме того, воспроизводились некоторые нелинейные явления (а. с. 1561076), в том числе, потенциалозависимость гиперполяризации дендритной мембраны от активности тормозящих синапсов и влияние этого на интерференционную картину (пат. 2028669). Каждая моделирующая схема представляла собой, фактически, специализированный дендропроцессор с набором частично-эвристических процедур, решающих определенную модифицированную систему уравнений в частных производных и бифуркационные явления, возникающие в ней при перенастройке параметров.
2 ДИНАМИЧЕСКИЕ МОДЕЛИ НЕРВНОЙ
СИСТЕМЫ
Методология точных наук открыла (по словам И. М. Сеченова) и продолжает открывать новый
взгляд на природу и функционирование биообъектов, дополняющий и расширяющий классические биологические подходы. Нами была поставлена и решена в классической постановке задача идентификации динамических свойств моносинаптического возбуждения и торможения различных типов живых нейронов млекопитающих, в том числе человека. Необходимо отметить, что не только такая задача ранее не решалась, но также отсутствовали какие-либо сравнительные идентификационные исследования моносинаптических вызванных потенциалов одного нейрона и, тем более, различных нейронов. В классических трудах Дж. Экклза [13], В. Катца [14], К. Учизоно [15], как правило, фиксировали воздействия на нейрон только полиси-наптического характера. В результате исследований, проведенных автором частично в Ростовском институте нейрокибернетики им. А. Б. Когана в 1985-1987 гг., были определены динамические характеристики синап-тической передачи а-мотонейронов поясничного отдела спинного мозга кошки, нейронов Пуркинье мозжечка крысы и пирамидных нейронов неокортекса крысы и человека. Были определены области вариаций структурно-коррелированных динамических параметров си-наптической передачи, что позволило проводить сравнительные исследования. На основе этого нами было предложено существенно модифицировать модель формального нейрона Мак-Каллока - Питса, используемую повсеместно для организации нейросетей и в ней-ровычислениях. Предложенная модель [16] (а. с. 1329449) не только воспроизводила реальные динамические свойства синаптической передачи, но и вносила обнаруженную нами существенную асимметрию в динамических свойствах возбуждения и торможения, присутствующую в любом реальном нейроне. Это могло бы дать возможность при небольшом увеличении аппаратных затрат значительно повысить интеллекту-
альные свойства искусственных нейронных сетей (ИНС).
Нами была осуществлена динамическая композиция популяции а-мотонейронов на основании однородности динамических свойств эффекторных приводов по трем группам различного уровня быстродействия и депрессирования. Таким образом, в устройстве-ней-росети [17] по а. с. 1515938 реализован новый принцип построения нейросетей, заключающийся в моделировании ансамбля нейронов со сходными динамическими свойствами одним звеном, охватывающим область динамических реакций ансамбля, идентификация структуры и параметров которого проводится на основании ответов реальной нервной ткани. Соответственно этому нейросеть клеток Реншоу в устройстве [17] (здесь и далее термин «устройство» условен, т. к. может быть реализовано в виде алгоритма, концептуальной схемы и т. д.) также редуцируется к сети 3-го порядка с тремя обобщенными группами. Такой подход может быть одним из перспективных направлений снижения сложности искусственных нейронных сетей путем предложенного понижения их размерности. Использование его в устройстве управления эффекторами может значительно повысить гибкость, плавность и точность движений робота-манипулятора путем приближения логики его работы к биологическому прототипу при приемлемой затрате вычислительных ресурсов. Моделирование клеток Реншоу само по себе представляет значительный интерес в силу их уникально акцентированных свойств, характерных для биоткани вообще. В а. с. 1292494 [18] реализовано устройство управления активностью мотонейрона, осуществляемое клетками Реншоу, образующими т. н. гибкие обратные связи (ОС), изменяющие свой знак в зависимости от уровня возбуждения и торможения с отрицательной на положительную и наоборот, дискретно или градуаль-
Рисунок 2 — Элементарная процессорная схема нейросетевого процессора комплексов «мотонейрон - клетка Реншоу» по а. с. 1292494 [18]:
к - весовые коэффициенты; е-тр - звенья запаздывания; пунктиром обозначен собственный элементарный комплекс «мотонейрон - клетка Реншоу»
Рисунок 3:
а — аксо-соматический реверберационный локальный нейропроцессор по а. с. № 1425731 [20] на линейном режиме амплитудной характеристики нейрона; б - его эквивалентное цифровое представление разностной схемой, где:
T1bi - оператор обобщенного сдвига Дельсарта, соответствующий блоку 12.
Механизмы антидромного распространения аксонных спайков позволяют реализовать универсальную вычислительную структуру на фундаментальных арифметических операциях без умножения и трансцендентных операций: 7, 11 - сумматоры; 8 - элемент сравнения (вычитатель); 9 - блок задания порога; 12 - элементы задержки. Блоки 11, 12 образует пирамидальную структуру с обратной связью
но. Нейросетевой процессор комплексов «мотонейрон - клетка Реншоу» представляет собой суперпозицию элементарных процессорных схем, показанных на рис. 2. При активации возбуждающих входов на нейронах сети по отдельности (т. е. по одному нейрону) прохождение сигнала соответствует изображенной схеме. При этом индекс сумматоров (мотонейронов) пробегает значения от 0 до n, а индексы элементов задержки - от 0 до n для каждого из n сумматоров. Элемент задержки, индекс которого совпадает с индексом мотонейрона образует с ним комплекс «мотонейрон -клетка Реншоу». Более детализированная схема комплекса «мотонейрон - клетка Реншоу», а также предложенный способ их соединения в сеть показаны в [18].
В устройстве также предусмотрены режимы функционирования ОС без физической ОС, что может разрешить проблему уставок в биологических системах управления (как известно, физические корреляты уставок и того, что определяет их величины в биосистемах, до сих пор не установлены). Все это может дать совершенно новые принципы управления для использования в технических системах. В [18] также был предложен новый принцип организации нейросетей, элементами которых служит комплекс мотонейрон -клетка Реншоу.
3 РЕВЕРБЕРАЦИОННЫЕ (РЕКУРСИВНЫЕ)
МОДЕЛИ
В а. с. 1642485 [19] предложена моделирующая схема распределенного аксо-соматического нейропроцес-сора, вычисления в котором в реальном времени производятся путем циркуляции возбуждения между двумя возможными триггерными зонами - аксонной и соматической, достаточно распространенных в нервной системе как беспозвоночных, так и позвоночных. Ан-
тидромное распространение возбуждения и его циркуляция может обеспечивать независимую память нейрона на аксосоматическом, аксонном уровнях или на уровнях отдельных дендритов и даже отдельных их веточек, и не связанную с синаптическими перестройками. Это может служить основой значительно менее инерционной волновой памяти нейрона, которая в данном случае играет роль, например, оперативной памяти. Эти механизмы могут также реализовывать локальные аксонные или дендритные процессоры, не содержащие каких-либо блоков трансцендентных операций, в том числе, умножения, но, тем не менее, позволяющих воспроизводить в вычислительных отношениях полный набор также и неэлементарных функций и операций (интер- и экстраполирование, аппроксимация функций, разложение в ряды в различных базисах и т. д.).
На основе этого нами была предложена схема ревер-берационного нейропроцессора (а. с. 1425731 [20], рис. 3), которая, как в дальнейшем было подтверждено Л. М. Бакусовым в 2000-2006 гг. [21, 22], обладает совершенно уникальными вычислительными свойствами в реальном масштабе времени! Исследование иерархического построения реверберационных механизмов как возможного субстрата акцептора результата действия на корковом уровне проводилось нами с 1982 г. совместно с НИИ РАМН нормальной физиологии им. П. К. Анохина.
4 ИССЛЕДОВАНИЕ ПОСТТЕТАНИЧЕСКОЙ
ПОТЕНЦИАЦИИ И МЕХАНИЗМОВ ПАМЯТИ
Посттетаническая потенциация - повсеместно распространенное явление в высших нейронах млекопитающих и человека и играет существенную роль в формировании механизмов памяти как на клеточном, так
и на системном уровнях. Нами был предложен ряд решений улучшающих простым образом, удобным для реализации, формальный нейрон Мак-Каллока - Пит-са. Используемые в ИНС, они допускают лишь настройку весовых коэффициентов синаптических контактов, что ограничивает функциональные возможности таких ИНС. В а. с. 1238583 и 1406613 [23-24] нами реализована возможность управления порогом нейрона и алгоритмы такого управления, включая самоорганизующуюся настройку. Алгоритмы управления и самоуправления порогом были получены на основании изучения посттетанической потенциации при длительных воздействиях, приводящих к высокочастотным разрядам нейронов. Использование таких моделей как элементов ИНС значительно увеличивает их функциональные возможности, расширяя число решаемых вычислительных задач с одновременным снижением требуемых ресурсов (уменьшение количества нейронов и упрощение связей между ними), а также позволяет улучшить и ускорить сходимость вычислительных алгоритмов за счет использования усиленных адаптивных свойств предложенных схем. Предложенные алгоритмы управления индивидуальными порогами синапсов в а. с. 1340421 и 1477140 [25-26] позволяют организовать процессы обработки информации в нейроне как в существенно нелинейном элементе, обладающем нелинейными весовыми синаптическими коэффициентами, а также реализовать кодирование рисунка активированных синапсов в индивидуальные состояния самого нейрона с сохранением его во времени и в состояния самих синапсов при учете их внутри-дендритных взаимодействий (а. с. 1477140).
Механизмы функциональной памяти, основанной на ассоциативных явлениях изучались также при моделировании условного рефлекса. В устройстве по а. с. 1424575 [27] реализован поведенческий нейровычисли-тель ассоциаций клеточного уровня, позволяющий воспроизводить ассоциирование поступающих стимулов при определенном их качестве и условиях поступления. Обучение устройства осуществляется подачей пар стимулов и выражается в эффекте повышения порога возбуждения. Предложенная схема позволяет повысить интеллектуальные свойства элементов нейросети, расширить их функциональность и организовать ассоциативную память в интегральном виде для всего нейрона в целом. В устройстве по пат. 2093889 [28] информационная обработка ассоциаций происходит на более тонком уровне с элементами их семантического анализа с учетом значения не только межимпульсного кода, но также и межстимульного поведенческого кода. В этом случае предложенный процессор ассоциаций может также выступать в роли семантического процессора.
5 ХАОТИЧЕСКИЕ РЕЖИМЫ В НЕЙРОНАХ
ИНЕЙРОСЕТЯХ
Согласно теории нейронного ансамбля А. Б. Когана [29] и вероятностного характера связей между нейронами в ансамбле до обучения, робастный характер этих связей понимается относительно целенаправленной активности ансамбля. Учитывая нашу концепцию автофрактальности нейрона, т. е. возможности построения самого нейрона в виде нейросети [30], мы распространили эти положения, весьма справедливые для нейронного ансамбля, и на нервную клетку. Устройство по а. с. 1564654, [31] позволяет реализовать хаотическую логику работы нейрона на макроуровне. Хаотические режимы может иметь результат функционирования нервной клетки (как нейросети) - частота спайковых разрядов, проявляющиеся при определенных качественных состояниях нейрона, распознаваемых предложенной схемой. Устройство может служить нейроном-детектором в задачах распознавания образов, принятия решений, управления, кодирования информации, а также в биомедицинской кибернетике в качестве электростимулятора или в гибридных техно-биологических системах. С теоретической точки зрения предложенное решение может выражать новый взгляд в понимании механизмов кодирования информации в нервной системе.
В устройстве по а. с. 1585810, [32] реализован механизм продуцирования эндогенных спонтанных разрядов, присутствие которого характерно для многих нейронов нервной системы, в особенности, мотонейронов, обеспечивающих поддержание некоторого тонуса иннервируемой мышечной системы. Участие таких нейронов в нейросетях позволяет организовать фоновое возбуждение молчащей нейросети в отсутствие внешних стимулов, что дает возможность повысить ее линеаризуемость, осуществить поддержание активированного состояния оперативной памяти, а также снизить пороги и гистерезис эффекторов.
6 НЕЙРОННАЯ ЛОГИКА
Свойства нейрона как логического элемента чрезвычайно многообразны. Логические свойства нейрона могут проявляться в избирательном реагировании его, как, например, в конвергентных нейронах спинальных ганглиев, на активизацию синапсов, связанных с низ-копорговыми или высокопороговыми рецепторами, спайковыми ответами обычной или увеличенной длительности (а. с. 1645975, [33]). Или же в мотонейронах, реагирующих быстрыми №+-спайками, соответствующих быстрым движениям эффекторов, или медленными Са2+-спайками, обеспечивающими медленные движения эффекторов (а. с. 1324044, [34]). И в том, и в другом случаях нейрон обнаруживает более бога-
Рисунок 4:
а — взаимосвязь между лиаиовидиым волокном (темные участки) и дендритом (Д) клетки Пуркинье. Б - дендрит клетки Пуркинье мозжечка кошки. Параллельно ему следует лиановидное волокно (темное) на большом протяжении дендрита, осуществляя с ним «протяженные» синаптические контакты. Буквой Б отмечены единичные синапсы Б-типа. ПВ - параллельные волокна гранулярных клеток. Фото К. Uchizono;
б — строение мозжечка млекопитающего (кошка, метод управляемой импрегнации В. В. Коротченко, микрофото). На снимке показана цито- и миэлоархитектоника извилин коры мозжечка: хорошо видны слои трех основных типов нейронов мозжечка - молекулярный слой, слой клеток Пуркинье (темный, тонкий),
слой гранулярных клеток
тую логику, кроме традиционно учитывающейся тривиально пороговой, а следовательно, обладает более богатой и гибкой функциональностью, что позволяет значительно сокращать размерность нейросети, требуемой для решения поставленных задач.
Свойства нейрона как нетривиального логического элемента могут проявляться также при переключении его на различные виды экзоцитоза - использующего холинергический тип и нехолинергические типы медиатора. При этом такая логика работает «по выходу», т. е. качественное состояние нейрона определяется характером потока его же выходной информации - определенным видом спайковой последовательности, как в вычислителе экзоцитоза по а. с. 1645973, [35], являющимся анализатором степени «пачечности» своих разрядов. Устройство может использоваться также в качестве анализатора импульсных кодовых последовательностей.
В то же время, количественные показатели пачеч-ности могут служить логическими состояниями нейрона, причем, с градацией, превышающей обычную двузначную логику и могут реализовывать многозначную, бесконечнозначную, непрерывную логику, логику «не-исключенного четвертого» и т. д. Такое управление характером логических свойств нейрона может осуществляться, например, модуляцией со стороны лиано-видного волокна, конвергирующего с нейроном Пур-кинье мозжечка (а. с. 1497626, [36]) и определяется топологией их контактирования (рис. 4).
Логические свойства нейрона проявляются также в эмоциональных реакциях на клеточном уровне, например, в нейронах неокортекса при действии на их рецепторы диффузионных процессов распространения моноаминов, выделяемых нейронами эмоциональных центров. В устройстве - процессоре эмоций по а. с. 1464181, [37], как и комплексе мотонейрон - клетка Реншоу по а. с. 1292494, [18], может происходить дискретная или непрерывная трансформация обратной связи с положительной на отрицательную, и наоборот. При этом процессор эмоций по а. с. 1464181 реализует реальные алгоритмы динамики изменения состояний популяции нейронов (нейросети) при действии на нее моноаминов, выделяемых при отрицательных, так и положительных эмоциях. Кроме того, здесь можно выделить особый тип логики - логику с учетом предыстории.
В [31] реализуется совершенно новый тип логики для технических устройств, предложенный авторами. Бинарные отношения могут кодироваться аналогично явлениям, наблюдаемым во многих нейронах отделов нервной системы, если учитывать реальные процессы, происходящие в их функционирующих аксонах, степенью детерминированности или хаотичности сигнала.
Логические функции в нервной системе может выполнять также внеклеточное электромагнитное поле. В устройстве по а. с. 1439632, [38] реализована ней-ристорная сеть, моделирующая нервный пучок. Дополнительная логика задается взаимной топологией отдельных аксонов в нервном пучке, которая определяет
Рисунок 5:
Нейросетевой процессор нервного пучка по а. с. 1439632, [38] содержит М нейристоров 1, состоящих из N последовательно соединенных нейристорных ячеек 2, выходы последних ячеек в нейристорах 1 являются выходами нервного пучка; масштабирующие блоки 3, сумматоры 4, блоки 5 дифференцирования, блоки 6 запаздывания; входы первых нейристорных ячеек являются входами устройства
характер и степень влияния их друг на друга в момент прохождения спайков (рис. 5).
Это влияние может выражаться в динамическом синхронном понижении или повышении порогов соответствующих (соответственно расположению волокон и рисунку их активации) отдельных нейристорных ячеек нейронной сети пучка. При этом поле, связывая отдельные волокна, и образует эту аксонную нейронную сеть, причем, связи носят логический характер,
реализуя собой динамическую синхронную непрерыв-нозначную логику.
7 ИЗУЧЕНИЕ МЕХАНИЗМОВ КОДИРОВАНИЯ ИНФОРМАЦИИ
В НЕРВНОЙ СИСТЕМЕ
Одно из направлений - исследование механизмов кодирования информации формой спайка (а. с. 1324044, 1436720 [39]) или его длительностью (а. с. 1645975). Устройства используются в цифровом варианте в качестве детекторов и модуляторов (см. также п. 6). В устройстве по а. с. 1306368, [40] реализован нейросетевой соматический процессор, генерирующий сложный спайк, вклад в который осуществляется множеством компонент - локальных спайков от триггер-ных зон соматической активной мембраны. Устройство предназначено для воспроизведения бионической передачи множества данных по одному каналу без какого-либо частотного, временного или другого разделения.
Устройство по а. с. 1463030, [41] является нейро-процессором средовых воздействий, кодирующим информацию о воздействиях на нейрон (или нейросеть) в виде гуморальных влияний, механических воздействий на аксон (сгиб, нажатие), что имеет место, например, при иннервации движущихся конечностей и т. д. Эта информация кодируется в виде фазы задержанной постспайковой деполяризации, возникающей на фоне рефрактерного периода. При этом информация передается не только величиной времени задержки, но также выраженностью и формой волны деполяризации, что значительно повышает информацион-
Рисунок 6:
На выходе управляемого динамического звена наблюдаются осцилляции мембранного потенциала, вызванные интенсивной деполяризацией мембраны (участки С-Б, Б-Е), аналогично реальному комиссуральному мотонейрону. Во всех случаях при любых уровнях возбуждения сигнал на выходе устройства остается градуальным аналогично реальному комиссуральному мотонейрону и не представляет собой обычную спайковую последовательность, однако, тем не менее, способен передавать информацию о различных своих состояниях и уровнях возбуждения с большей информативностью, чем при спайковой передаче, т. к. может передавать информацию не только в точке возбуждения, но и во всем диапазоне функционирования
ную емкость канала связи с применением данного устройства.
Другое направление - кодирование информации в нейросетях на подпороговых уровнях без спайковой активности нейронов до сих пор вообще не рассматривается в нейрокомпьютинге.
Тем не менее, такой способ кодирования и обработки информации может дать параллельную и независимо существующую нейросеть, т. е. снизить затрачиваемые ресурсы и сложность вдвое (а.с. 1672482, [42]). В устройстве по а. с. 1807503, [43] - модели комис-сурального мотонейрона высших видов воспроизводится динамика экзоцитоза медиатора под действием градуальных активных ответов нейрона без генерации ими потенциалов действия (рис. 6). Устройство используется в качестве передатчика информации в ней-ропроцессорных сетях с повышенной информационной плотностью за счет возможности передачи информации не только в точке возбуждения, но и во всем динамическом диапазоне функционирования устройства.
Одно из перспективных направлений - кодирование информации хаотическими сигналами (а. с. 1564654, см. п. 5) позволяет в значительной степени повысить как информационную емкость канала передачи, так и помехозащищенность, поскольку использует шум в качестве источника полезного сигнала. Все эти устройства могут выполнять также роль нейроэлектрости-муляторов, оптимально согласующих параметры воздействия с внутренней средой и текущей функциональной активностью биообъектов.
8 ЯВЛЕНИЕ ПЕССИМУМА
И ТРАНСФОРМАЦИИ РИТМА
На основе исследования сверхмедленных механизмов волновой памяти, проводимых нами в УГАТУ с 1984 г. и в Ростовском НИИ нейрокибернетики им. А. Б. Когана в 1985-1987 г.г. была разработана теория памяти, основанная не на возбуждении (что являлось основой практически всех известных теорий) или контрастировании процессов возбуждения и торможения, а на явлении пессимума, т. е. на абсолютном торможении безотносительно к возбуждению. Предложенная теория позволяла, в том числе, объяснить природу двух видов торможения по А. А. Ухтомскому: высший тип торможения (пост-возбуждение) является переходом в долговременную память процессов, протекающих в оперативной памяти (возбуждение). Развитие этих принципов используется в серии моделирующих схем по а. с. 1387023, 1691858, пат. 2024059 [44-46]. Кроме того, реакция торможения нейрона и нейросети, сама по себе, имеет гораздо более сложную структуру и заключается не только в соответствующих вариациях порога возбуждения, но выражается также в изменениях формы, длительности спайков, величине зоны ги-
перполяризации, флуктуациях потенциала покоя и т. д. При этом зона следовой гиперполяризации также может участвовать в хранении следов памяти, что наиболее выражено в т. н. «молчащих» нейронах ц. н. с. (а. с. 1436720, [39]). Явления памяти и кодирования информации обнаруживаются и в пессимальных реакциях трансформации ритма разрядов. Благодаря этим процессам спайковая последовательность помимо аналоговых параметров, отражающих состояние нейрона, может представлять собой последовательный код, что реализовано в устройстве по а. с. 1458879 [47]. В связи с этим появляется дополнительный канал передачи данных.
9 НЕЙРОСЕТЕВАЯ КОНЦЕПЦИЯ НЕЙРОНА
Кроме отмеченных изобретений по а. с. 1513938 -представляющему собой модель нейросети и а. с. 1292494 - включающему принцип построения нейросе-тей из комплексов мотонейрон - клетка Реншоу, некоторые отмеченные устройства для моделирования нейронов являются фактически нейросетями, согласно разработанному нами ряду положений [48]. Так устройство по а. с. 1306368, [40] представляет собой аксо-соматический нейросетевой процессор; устройство для моделирования нейронного пучка по а. с. 1439632 -многослойная нейросеть в явном виде (разве что, только это не отображено в названии). Реверберационные модели (а. с. 1425731, 1642485) являются минимальными нейросетями из двух (как минимум) нейронов, а устройство для морфодинамического моделирования нейрона (1815658) содержит N однослойных нейросе-тей из блоков моделирования морфодинамики (где N -число дендритов), как и устройство по а. с. 1561076. В виде нейросети можно рассматривать структуру ден-дриона, где отдельный дендрит представляет собой подобие нейрона (или является субклеточной единицей [49]), как в а. с. 1394975, 1439631, 14771140, 1501101,1585811, пат. 2028669. Нейросеть из 3-х нейронов содержит устройство для моделирования нейрона неокортекса [50] по а. с. 1464181 и а. с. 1645975 -логический нейроподобный элемент, а. с. 1691858, пат. 2024059; двухнейронные соединения используются также в устройствах по а. с. 1324044, 1463030, 1585810, 1672482.
ЗАКЛЮЧЕНИЕ
Считаем, что рассмотрение разработанных нами концепций моделирования нейронов и нейросетей может составить фундаментальные основания нейро-компьютинга наряду с существующими на сегодняшний день подходами [49, 51].
Учитывая, что основные усилия в нейрокомпьютин-ге сосредоточены на нейросетях, т. е. на принципах и алгоритмах соединений, по сути дела, простейших элементов, нам хотелось бы показать какое большое значение может иметь характер представления самого нейрона, более детальное рассмотрение которого может повлечь за собой воспроизведение совершенно иных принципов организации и работы нейросетей в целом [52].
На основе этого, в частности, можно сделать выводы, что в центральной нервной системе не всегда соблюдается принцип сложности - элемент (нейрон) может быть и часто бывает сложнее сети (точно также, как вопрос, что сложнее - человек или группа людей?).
Работа также имеет цель стимулировать дальнейшие исследования возможности концептуально-парадиг-мального пересмотра устоявшихся взглядов на нейрон как на элемент нейросетей и самих нейросетей в нейро-компьютинге, что могло бы дать существенное дальнейшее продвижение вперед.
ПЕРЕЧЕНЬ ССЫЛОК
1. Косицин Н. С., Федоренко Г. М, Свинов М. М. Пространственная организация внутриклеточныхорганелл меха-но-рецепторных нейронов как показатель их различного функционального состояния // ДАН. - 2002. -№ 1(385). - С. 123-125.
2. А. с. № 1501101. Устройство для моделирования нейрона / Савельев А. В., Савельева Н. А., Колесников А. А., Жуков А. Г. - 1989, Бюл. № 30.
3. А. с. № 1585811. Устройство для моделирования нейрона / Жуков А. Г., Колесников А. А., Савельева Н. А., Савельев А. В. - 1990, Бюл. № 30.
4. А. с. № 1815658. Устройство для морфодинамичес-кого моделирования нейрона / Жуков А. Г., Лаврова Т. С., Савельев А. В. - 1993, Бюл. № 18.
5. А. с. № 1394975. Устройство для моделирования нейрона / Савельева Н. А., Савельев А. В. - 1988.
6. А с. № 1439631. Устройство для моделирования нейрона / Савельев А. В. - 1988. Бюл. № 43.
7. А с. № 1561076. Устройство для моделирования нейрона высших отделов / Газутдинов И. Ф., Лаком-кин И. М., Савельев А. В., Сергеев Н. А. - 1990, Бюл. № 16.
8. Пат. № 2028669 РФ. Устройство для моделирования нейрона / Жуков А. Г., Лаврова Т. С., Савельев А. В -1995, Бюл. № 4.
9. Ибрагимов Н. X. Группы преобразований в математической физике. - М.: Наука, 1983. - 278 с.
10. Поммаре Ж. Системы уравнений с частными производными и псевдогруппы Ли. - М.: Мир, 1983. - 398 с.
11. Йосс Ж., Джозеф Д. Элементарная теория устойчивости и бифуркаций. - М.: Мир, 1983. - 300 с.
12. Carr J. Applications of Centre Manifold Theory // Appl. Math. Science, NY: Springer-Verlag. Vol. 35. - 1981.
13. Экклз Дж. Физиология синапсов. - М.: Мир, 1966. -395 с.
14. Katz B. The release of neural transmitter substance. -Liverpool, 1969. - 463 p.
15. Учизоно К. Возбуждение и торможение. Морфология синапсов. - Киев: Наукова думка, 1980. - 213 c.
16. А. с. № 1329449. Устройство для моделирования нейрона / Межецкая Т. А., Савельева Н. А., Савельев А. В., Колесников А. А. - 1987.
17. А. с. № 1515938. Устройство для моделирования системы возвратного торможения мотонейронов клетками Реншоу / Ильясов Б. Г., Кабальнов Ю. С., Савельев А. В., Валиева Н. Э. - 1989.
18. А. с. № 1292494. Устройство для моделирования нейрона / Савельев А. В. - 1987.
19. А. с. N 1642485. Устройство для моделирования нейрона / Жуков А. Г., Колесников А. А., Савельева Н. А., Савельев А. В. - 1991, Бюл. № 14.
20. А с. N 1425731. Устройство для моделирования нейрона / Колесников А. А., Жуков А. Г., Савельева Н. А., Савельев А. В. - 1988, Бюл. N 35.
21. Бакусов Л. М. Компартментные модели микромеханизмов усвоения закономерностей нейронными сетями // Материалы международной науч. конф. «Теория ин-формации-2000. От теории к практике». - Уфа, 2000. -С. 191-197;
22. Бакусов Л. М. Моделирование механизмов каудальной самоорганизации в сложных динамических системах. Автореферат докт. дисс. по специальности 05.13.18. -Уфа, 2006. - 42 с.
23. А. с. № 1238583. Устройство для моделирования нейрона / Савельев А. В. - 1986.
24. А. с. № 1406613. Устройство для моделирования нейрона / Савельев А. В. - 1988, Бюл. N 24.
25. А. с. № 1340421. Устройство для моделирования нейрона / Савельев А. В. - 1987.
26. А. с. № 1477140. Устройство для моделирования нейрона / Жуков А. Г., Колесников А. А., Савельева Н. А., Савельев А. В. - 1989.
27. А. с. № 1424575. Устройство для моделирования нейрона / Савельев А. В. - 1988.
28. Пат. № 2093889 РФ. Устройство для моделирования нейрона / Ильясов Б. Г., Лаврова Т. С., Савельев А. В -1997, Бюл. N 29.
29. Коган А. Б. Функциональная организация нейронных механизмов мозга. М.: Медицина, 1979. - 224 с.
30. Базарова Д. Р., Демочкина Л. В., Савельев А. В. Новая нейробионическая модель онтогенеза // В сб. тр. МИФИ: «НейроинформатикА-2002». - 2002. - Т. I. - С. 97-106.
31. А. с. № 1564654. Устройство для моделирования нейрона / Газутдинов И. Ф., Лакомкин И. М., Савельев А. В., Сергеев Н. А. - 1990, Бюл. № 18.
32. А. с. № 1585810. Устройство для моделирования мотонейронов / Ильясов Б. Г., Савельев А. В., Колесников А. А. - 1990, Бюл. № 30.
33. А. с. N 1645975. Логический нейроподобный элемент / Ильясов Б. Г., Савельев А. В., Колесников А. А. -1991, Бюл. № 16.
34. А. с. № 1324044. Устройство для моделирования мотонейрона / Савельева Н. А., Савельев А. В. - 1987, Бюл. № 26.
35. А. с. № 1645973. Устройство для моделирования нейрона / Савельев А. В., Савельева Н. А., Колесников А. А., Жуков А. Г. - 1991, Бюл. № 16.
36. А.с. № 1497626. Устройство для моделирования нейрона Пуркинье / Межецкая Т. А., Савельева Н. А., Савельев А. В., Колесников А. А. - 1989, Бюл. № 18.
37. А. с. № 1464181. Устройство для моделирования нейрона неокортекса / Жуков А. Г., Колесников А. А., Савельева Н. А., Савельев А. В. - 1989, Бюл. № 9.
38. А. с. № 1439632. Устройство для моделирования нервного пучка / Межецкая Т. А., Савельев А. В., Колесников А. А. - 1988, Бюл. № 43.
39. А. с. № 1436720. Устройство для моделирования нейрона / Савельева Н. А., Савельев А. В. - 1988.
40. А. с. № 1306368. Устройство для моделирования нейрона / Межецкая Т. А., Савельев А. В., Колесников А. А. -1986.
41. А. с. № 1463030. Устройство для моделирования нейрона / Савельев А. В. - 1988.
42. А. с. № 1672482. Устройство для моделирования нейрона / Жуков А. Г., Савельева Н. А., Савельев А. В. -1991, Бюл. № 31.
43. А. с. № 1807503. Устройство для моделирования ко-миссурального мотонейрона / Ильясов Б. Г., Савельев А. В., Лаврова Т. С. - 1993, Бюл. № 13.
44. А. с. № 1387023. Устройство для моделирования нейрона / Савельев А. В. - 1988, Бюл. № 13.
45. А. с. № 1691858. Устройство для моделирования нейрона / Лаврова Т. С., Савельев А. В., Жуков А. Г. -1991, Бюл. N 42.
46. Пат. № 2024059 РФ. Устройство для моделирования нейрона / Жуков А. Г., Савельева Н. А., Савельев А. В., Лаврова Т. С. - 1994, Бюл. № 22.
47. А. с. № 1458879. Устройство для моделирования нейрона / Савельев А. В., Савельева Н. А., Жуков А. Г., Колесников А. А. - 1989, Бюл. № 6.
48. Савельев А. В. Источники вариаций динамических свойств нервной системы на синаптическом уровне в нейрокомпьютинге // Искусственный интеллект. Донецк, НАН Украины. - 2006. - № 4. - С. 323-338.
49. Савельев А. В. На пути к общей теории нейросетей. К вопросу о сложности // Нейрокомпьютеры: разработка и применение. М.: Радиотехника. - 2006. -№ 4-5. - С. 4-14.
50. Савельев А. В. К вопросу о принципе сложности нейрокомпьютеров // В сб. докладов V Всерос. НТК: «Ней-роинформатикА-2003». - М.: МИФИ, 2003. - Ч. I. -С. 40-53.
51. Савельев А. В. Информационная гиперсложность нейронов и нейросетей в новой методологии нейромоде-лирования // В сб. докладов VIII Всерос. НТК: «Ней-роинформатика-2007». - М.: МИФИ, 2007. - Ч. I. -С. 49-61.
52. Савельев А. В. Реализм теории модульной самоорганизации мозжечка // Журнал проблем эволюции открытых систем. Казахстан: Алматы, 2007. - № 1 (9). -С. 118-130.
Надшшла 2.03.07
У статт1 коротко представлен результати деяких роб1т з напрямтв нейрокибернетики й нейрокомпьютеров, проведених автором з 1977 р. з позицш вт1лення ¿х у ряд винаход1в, захищених авторськими посв1дченнями
u namenmaMu. Ho u,ux nanpMMKie cmaennmbcM: docnidxennx xeunboeozo npoeedennM no dendpumax, dendponpo^ccopu; dunaMinne ModenmeannM nepeoeo'i cucmeMu; euenennx ^Knie y nepeoeiu cucmeMi u peeep6epa^unux Modenxx; docnid-xennM nocmmemanunecKou nomen^a^u u Mexani3Mie na-M'nmi; docnidxennM xaomunnux pexuMie y neuponax i neu-pocemxx; euenennn neuponnoi noziKu; docnidxennx Mexa-ni3Mie KodyeannM intyopMa^i e nepeoeiu cucmeMi; mo-denmeannM aeum, neccuMyMa u mpanctyopMa^i pumMy; po3-po6Ka u 3acmocyeann.H neupocemeeou Kon^n^i neupona.
In the article the results of same works on neurocybernetics and neural computers directions was implemented by author since 1977 from items of them embodiment in the inventions series protected by the patents are briefly submitted. They are: the research of wave conduction on dendrites, dendral processors; dynamic simulation of neural system; research of cycles in neural system and reverberationary models; research of post-tetany potentiation and memory mechanisms; research of chaotic modes in neurons and neural networks; learning of neuronic logic; research of coding mechanisms in neural system, simulation of pessimum phenomenon and rhythm transformation; development and using of neural network concept of neuron.
