О необходимости создания моделей бионических нейронных сетей Текст научной статьи по специальности «Компьютерные и информационные науки»

О необходимости создания моделей бионических нейронных сетей1

Ёлкин С.В., Ёлкин С.С., Клышинский Э.С., Кузин А. А.

ИПМ им. М.В. Келдыша РАН

В течение своего существования человечество всячески пыталось переложить свой труд на другие плечи. Развитие науки и техники всячески помогало людям в этом направлении. Перед лицом человека был хороший пример, данный ему матерью-природой: он сам. В связи с этим многие исследования были посвящены изучению этого примера, а зачастую и его копированию. В данной статье мы попытаемся рассмотреть различные попытки моделирования функций мозга за счет искусственных нейронных сетей, после чего сравним их эффективность с бионическим подходом.

Научно-техническая революцию сильно изменила парадигму исследований. Появление кибернетики как самостоятельного научного направления относят к 1948 г., когда американский ученый, профессор математики Массачусетского технологического института Норберт Винер (1894-1964гг.) опубликовал книгу «Кибернетика, или управление и связь в животном и машине». В этой книге Винер обобщил закономерности, относящиеся к системам управления различной природы -биологическим, техническим и социальным. Большая российская энциклопедия определяет кибернетику (от греч. куЪегпейке - искусство управления, от куЪегпао -правлю рулем, управляю) как науку об управлении, связи и переработке информации. Основным объектом исследования в кибернетике являются так называемые кибернетические системы: разного рода автоматические регуляторы в технике (например, автопилот или регулятор, обеспечивающий поддержание постоянной температуры в помещении), электронные вычислительные машины, человеческий мозг, биологические популяции, человеческое общество и так далее.

Теоретические основы нейроматематики были заложены в начале 40-х годов. В 1943 году психиатор и нейроанатом У. Маккалок и математик У. Питтс сформулировали основные положения теории деятельности головного мозга. Ими были получены следующие результаты:

1

Работа поддержана грантом РФФИ № 08-01-00626-а

• разработана модель нейрона как простейшего процессорного элемента, выполняющего вычисление переходной функции от скалярного произведения вектора входных сигналов и вектора весовых коэффициентов; • предложена конструкция сети таких элементов для выполнения логических и арифметических операций, топология сети задавалась экспериментатором; • сделано основополагающее предположение о том, что такая сеть способна обучаться, распознавать образы, обобщать полученную информацию.

Несмотря на то, что за прошедшие годы нейроматематика ушла далеко вперед, многие утверждения Макклоха остаются актуальными и поныне. В частности, при большом разнообразии моделей нейронов принцип их действия, заложенный Макклохом и Питтсом, остается неизменным: в каждом нейроне находится вектор коэфициентов, связанных с входом, сумматор и выходная функция, в той или иной форме напоминающая ступеньку.

Недостатком модели Маккалока и Питтса является подход «все или ничего», при котором по связям передается значение 0 или 1, а выход осуществляет переход из одного состояния в другое скачком. Пороговый вид функции не предоставляет нейронной сети достаточную гибкость при обучении и настройке на заданную задачу. Если значение вычисленного скалярного произведения, даже незначительно, не достигает до заданного порога, то выходной сигнал не формируется вовсе и нейрон "не срабатывает". Это значит, что теряется интенсивность выходного сигнала (аксона) данного нейрона и, следовательно, формируется невысокое значение уровня на взвешенных входах в следующем слое нейронов. При этом следует заметить, что в начале своей основополагающей статьи [1] авторы приводят описание работы

и и т-\ ___

нейрона, значительно отличающееся от предлагаемой модели. В их защиту следует сказать, что целью работы было показать саму возможность вычислений на осное искусственных нейронов.

Серьезное развитие нейрокибернетика получила в работах американского нейрофизиолога Френсиса Розенблата (Корнелльский университет), который в 1958 году предложил собственную модель нейронной сети. Розенблат ввел в модель Маккаллока и Питтса способность связей к модификации, что сделало ее обучаемой. Также был предложен метод обучения нейросети с учителем. Одним из достижений его работы была теорема сходимости персептрона, первое доказательство которой было получено Розенблаттом в 1960 году. Эта модель была названа персептроном. Первоначально персептрон представлял собой однослойную структуру с жесткой пороговой функцией процессорного элемента и бинарными или многозначными входами. Первые персептроны были способны распознавать некоторые буквы латинского алфавита. Впоследствии модель персептрона была значительно усовершенствована. Персептрон применялся для задачи автоматической классификации, которая в общем случае состоит в разделении пространства признаков между заданным количеством классов. В двухмерном случае требуется провести линию на плоскости, отделяющую одну область от другой. Персептрон способен делить пространство только прямыми линиями (плоскостями). Серьезным недостатком персептрона является то, что не всегда существует такая комбинация весовых коэффициентов, при которой имеющееся множество образов будет распознаваться данным персептроном. Обычно это достаточно сложная кривая, замкнутая или разомкнутая. Если учесть, что однослойный персептрон реализует только линейную разделяющую поверхность, применение его там, где требуется нелинейная, приводит к неверному распознаванию (эта проблема называется линейной неразделимостью пространства признаков). Выходом из этого положения является использование многослойного персептрона, способного строить границу между распознаваемыми образами в форме выпуклого многоугольника. Описанная проблема не является единственной трудностью, возникающей при работе с персептронами - также слабо формализован и метод обучения персептрона.

Персептрон поставил ряд вопросов, работа над решением которых привела к созданию новых моделей нейронных сетей и разработке методов, нашедших применение не только в нейрокибернетике (например, метод группового учета аргументов, применяемый для идентификации математических моделей). В 70-е годы интерес к нейронным сетям значительно упал, однако работы по их исследованию

продолжались. Был предложен ряд интересных разработок, (таких, например, как когнитрон, неокогнитрон и т. п.), позволяющих распознавать образы независимо от поворота и изменения масштаба изображения. Автором когнитрона является японский ученый И. Фукушима. Новый виток быстрого развития моделей нейронных сетей, который начался около 25 лет тому назад, связан с работами Амари, Андерсона, Карпентера, Кохонена и других, и в особенности, Хопфилда. Главным достижением были рекуррентные нейросети, которые в качестве входа получали собственные результаты, что позволило моделировать системы с обратно связью.

Начало современному математическому моделированию нейронных вычислений было положено работами Хопфилда в 1982 году, в которых была сформулирована математическая модель ассоциативной памяти на нейронной сети. Хопфилд использовал функцию энергии для описания нового уровня понимания вычислений, выполняемых рекуррентными сетями с симметричными синаптическими связями. Кроме того, он установил изоморфизм между рекуррентной сетью и изинговской моделью, используемой в статистической физике. Эта аналогия открыла шлюз для притока результатов физической теории (и самих физиков) в нейронное моделирование, трансформировав, таким образом, область нейронных сетей. Было

U U U || ||

показано, что для однослойной нейронной сети со связями типа все со всеми характерна сходимость к одной из конечного множества равновесных точек, которые являются локальными минимумами функции энергии, содержащей в себе всю структуру взаимосвязей в сети. Понимание такой динамики в нейронной сети было и у других исследователей. Однако, Хопфилд и Тэнк показали как конструировать функцию энергии для конкретной оптимизационной задачи и как использовать ее для отображения задачи в нейронную сеть. Этот подход получил развитие и для решения других комбинаторных оптимизационных задач. Привлекательность подхода Хопфилда состоит в том, что нейронная сеть для конкретной задачи может быть запрограммирована без обучающих итераций. Веса связей вычисляются на основании вида функции энергии, сконструированной для этой задачи. Хотя сети Хопфилда нельзя считать реалистичными моделями нейробиологических систем, в них заложен принцип хранения информации в динамически устойчивых системах.

Еще одной интересной работой 1982 года стала публикация Кохонена, посвященная самоорганизующимся картам, использующим одно- или двухмерную структуру пространственной решетки. Модель Кохонена получила более активную поддержку и стала своеобразной точкой отсчета для других инноваций в этой области. В 1986 году был разработан алгоритм обратного распространения ошибки (back-propagation algorithm). Этот алгоритм стал самым популярным для обучения многослойных персептронов.

Основные преимущества нейронных сетей вытекают, во-первых, из распараллеливания обработки информации и, во-вторых, из способности самообучаться, т.е. создавать обобщения. Под термином обобщение понимается способность получать обоснованный результат на основании данных, которые не встречались в процессе обучения. Эти свойства позволяют нейронным сетям решать сложные задачи, которые на сегодняшний день считаются трудноразрешимыми.

Несмотря на большое количество работ, разница между нейронами головного мозга и искусственными нейронными сетями сохранятеся до сих пор. Дело в том, что основной элемент нейронных сетей — искусственный нейрон — до сих пор не претерпел кардинальных изменений. Формальный нейрон построен на основе биологического нейрона спинного мозга, а такой нейрон только отчасти можно считать мозгоподобным. Поэтому для построения систем управления построенных на нейроподобных базовых элементах, необходимо было исследовать реальный биологический нейрон больших полушарий коры головного мозга.

На практике при автономной работе нейронные сети не могут обеспечить готовые решения. Их необходимо интегрировать в сложные системы. В частности, комплексную задачу можно разбить на последовательность относительно простых, часть из которых может решаться нейронными сетями.

Очень важно уяснить, что для создания компьютерной архитектуры, которая будет способна имитировать человеческий мозг (если такое окажется возможным вообще), придется пройти долгий и трудный путь.

На текущий момент по тематике нейроинтеллекта и поведенческих моделей ведутся обширные исследования. Наиболее интересные на наш взгляд представляют в России работы Редько и Анохина под названием «проект Мозг анимата» (см., например, [2] и работы нобелевского лауреата Эдельмана по созданию так называемых NOMAD (Neurally Organized Mobile Adaptive Device) [3] которые представляют из себя робота с адаптивным поведением. Уже создано несколько поколений таких роботов носящих общее имя Дарвин. Также ведутся работы по глубокому моделированию работы нейронов коры головного мозга вплоть до уровня биохимии (проект Blue Brain Project) (см., например, описание http://ru.wikipedia. org/wiki/BBP).

В проекте мозг анимата речь идёт о создании модели адаптивного поведения на основе теории функциональных систем (ФС) и автономного адаптивного управления (ААУ) [4]. Согласно теории функциональных систем, в основе поведения как активного отношения организма со средой лежат качественно специфические системные процессы или процессы организации элементов в систему; поведение целенаправленно, ибо направляется опережающим отражением действительности. Соотношения организма со средой носят циклический характер: в интервале между "стимулом" и началом "реакции" выделяются процессы сличения параметров стимула с акцептором результатов предыдущего действия и синтез афферентный, на базе коего принимается решение - выбор цели и программы действия. Начало двигательной активности означает реализацию действия под определяющим влиянием цели - акцептора результатов действия. Достигнутые результаты тоже сличаются с акцептором результатов действия, и начинается следующий цикл активного соотношения организма со средой.

Разрабатываются компьютерные модели поведения анимата в различных ситуациях. Как пример можно рассмотреть задачу поиска места с оптимальной температурой окружающей среды. Анимат запускается в комнату с градиентом температур. Ему задаётся оптимальная для него температура. В процессе поисков он находит место с такой температурой. При повторном запуске уже обученные нейросети, являющиеся основой ФС, быстрее находят нужное место. В конечном итоге анимат начинает чётко двигаться к позиции с удобной ему температурой.

Подобные же задачи решаются научной группой Эдельмана, но уже не с компьютерной моделью, а на практике с роботами серии Дарвин.

Группой была предложена собственная развитая модель нейрона, учитывающая, например, временые характеристики работы нейрона. Однако на практике данный

и с» и 1 гр

улучшенный нейрон является сборкой из формальных. То есть при в целом новом подходе к моделированию поведения и обучения системы используется все та же элементная база.

Проект Blue Brain Project ближе остальных подошел к моделированию поведения нейронов головного мозга. Собственно, это и было основной задачей проекта. В отличие от предыдущего проекта здесь моделируется биофизика и биохимия процессов, тогда как вопросы интеллекта отодвинуты на второй план (считается, что на достаточно сложной модели интеллект должен получиться сам собой). Однако модель нерона здесь является настолько полной, что сам процесс моделирования занимает существенное время. На компьютере Blue Gene, содержащем 8192 процессора, моделируется поведение 10000 нейронов. При этом сейчас разработчики ведут борьбу за моделирование в режиме реального времени. Следует заметить, что для прикладных задач искусственного интеллекта подобной точности модели не требуется. Вполне достаточно поведенческой модели нейрона, описывающей математические зависимости выхода нейрона от его входов.

Итак, на сегодняшний день сложилась ситуация, когда, несмотря на способность нейронных сетей решать огромное количество разнообразных задач, они не могут распознавать новые задачи и самостоятельно находить способы их решения. Работы по автоматической модификации структуры нейронной сети находятся в начальном состоянии и носят скорее методический характер.

Интересно заметить, что в мозгу человека данными действиями занимаются сети из больших пирамидальных нейронов, которые и управляют, а так же принимают

1 1—1 U U U

решение о создании новых функциональных блоков. Большой пирамидальный нейрон мозга человека несравнимо более сложнее чем спинномозговой нейрон на основе которого Маккалок и Питс создавали свою формальную модель.

Биологи за последние пятьдесят лет значительно продвинулись в изучении различных видов нейронов разнообразных живых существ. На сегодняшний день известно, по мнению некоторых биологов, более двадцати тысяч видов нейронов. При этом нет единого мнения по классификации этих нейронов. Зачастую разными считаются нейроны проводящего типа в различных конечностях. Многообразие мнений биологов не позволяет специалистам по нейрокибернетике создавать адекватные реальным модели нейронов. Это и приводит к тому, что все работают с уже известным формальным нейроном.

В науке и технике, однако, существует бионический подход, когда решение берётся по аналогии с уже имеющимися в животном или растительном мире. Как правило применяют этот подход в тех задачах для решения которых нужны сверхзатраты по времени или ресурсам, и при этом подобные задачи уже были решены эволюцией у которой были миллионы лет и огромные ресурсы.

Переход к бионическому нейрону для нейрокибернетики подобен переходу от электроники к микроэлектронике после создания микрочипов. Поскольку бионический нейрон настолько же сложнее формального нейрона Маккалока и Питса насколько микрочип сложнее транзистора. Из опыта и теории смены технологий известно, что сложность конечного объекта часто переносится на базовый элемент, то есть вместо усложнения самой системы мы можем усложнить входящие в ее состав элементы. В данном случае при проектировании бионического нейрона функциональная сложность нейронной сети должна переноситься на сам нейрон. Однако появление новой модели бионического нейрона совершенно не означает отказ от нейрона Маккалока и Питса, а лишь является дополнением необходимым для дальнейшего развития нейрокибернетики. Так же как микрочипы не отрицают существования традиционных элементов: сопротивлений, конденсаторов, трансформаторов и других элементов, новые модели нейронов должны дополнять существующие, принимая на себя роль агрегирующих элементов, управляющих выбором отдельных простых функций, реализованных на основе классического подхода.

Одной из моделей такого класса является модель интеллектуального нейрона, предложенная Вальцевым [5]. Взамен существующих разветвленных классификаций, авторами было выделено 7 основных типов нейронов, классифицируемых в зависимости от типов входов. Предложено разбить все входы на 5 групп: память, регулирование, возбуждение, торможение и запрет. Модель является нелинейной и позволяет реализовывать сложные схемы, используя довольно простые решения. Однако предложенная модель не учитывает многих временных характеристик как самого нейрона, так и его связей.

т-ч и и

В связи с вышеизложенным на данный момент ставится задача создания новой модели нейронных сетей, основанной на существующих моделях биологических нейронов, позволяющей качественно улучшить и упростить работу искусственных нейронных сетей за счет увеличения набора и усложнения базовых элементов. Создание подобной модели должно сопровождаться оценкой эффективности применения новых нейронных сетей по сравнению с существующими моделями. Также требуется разработать методы автоматического проектирования структур бионических нейронных сетей или их обучения.

Список литературы

• Мак-Каллок У.С., Питтс В. Логическое исчисление идей, относящихся к нервной активности. "Нейрокомпьютер", 1992, №3,4

• Анохин П.К. Принципиальные вопросы общей теории функциональных систем. // Принципы системной организации функций. М.: Наука, 1973, с. 5-61. [ http://www.keldysh.ru/pages/BioCyber/RT/Functional.pdf ]

• J.L. Krichmar, A.K. Seth, D.A. Nitz, J.G. Fleischer, G.M. Edelman. Spatial navigation and causal analysis in a brain-based device modeling cortical-hippocampal interactions. Neuroinformatics, 2005, vol.3, no. 3, pp. 197_221.

• http://www.keldysh.ru/pages/BioCyber/RT/Zhdanov/Zhdanov.htm

• Вальцев В.Б., Григорьев В.Р., Черкашин Е.А. Значение мотивационной регуляции в интеллектуализации функций нейрона (V Всероссийская конференция « Нейрокомпьютеры и их применение» Москва февраль 1999 г.