CC BY
20
УДК 519.3
ПРЕДСТАВЛЕНИЕ КЛЕТОЧНО-НЕЙРОННОЙ СЕТИ В ВИДЕ ДИНАМИЧЕСКОЙ СИСТЕМЫ
© 2005 г. И.М. Савельев, И.А. Енгибарян
The formal model of a cellular-neural network (CNN) of the first order is entered, communicating for homogeneous and non-uniform networks. The general requirements to synthesis CNN are formulated. The approach to synthesis CNN, basing on ideas of a method of training персептрона is proved.
The method of training of a network of the first order is adapted for CNN and expanded for maintenance of stability of the synthesized network to distortions. Structural conditions of stability non-uniform CNN, proved as lines of statements are received.
В настоящее время вычислительная техника занимает все большее место в научных исследованиях, в частности, в исследовании пространственной динамики физических сред [1]. Широкое распространение параллельных ЭВМ, как спецпроцессоров для массовой обработки, так и муль-тикомпьютеров, а также упрощение доступа к ним через Интернет привело к необходимости разработки технологичного параллельного программного обеспечения, пригодного для выполнения на компьютерах различных архитектур. При этом традиционные математические модели пространственной динамики, описываемые в виде систем (интегро-) дифференциальных уравнений в частных производных, зачастую плохо поддаются распараллеливанию, поскольку существующие методы вычислительной математики не ориентированы на создание параллельных алгоритмов. Более того, некоторые явления, имеющие место в биологии, а также в активных средах в физике и химии, вообще не имеют математических моделей. Поэтому ведется поиск новых, альтернативных моделей пространственной динамики, которые должны, исходя из современных требований технологичности к параллельным вычислениям, обладать свойствами мелкозернистого параллелизма. Это означает, что пространство разбито на клетки (ячейки, частицы), поведение которых зависит только от состояния их ближайшего окружения.
Среди имеющихся на сегодняшний день моделей мелкозернистого параллелизма выделяются клеточно-нейронные сети (КНС), которые впервые были предложены Ь.О. СИиа и L. Уа^ в 1988 г. [2] и соединяют в себе, с одной стороны, коннекционизм и обучаемость искусственных нейронных сетей, а с другой - локальность связей клеточного автомата (КА), благодаря чему они могут быть легко реализованы как на аппаратном, так и на программном уровне. В настоящее время исследуются различные аспекты изучения и применения КНС: с одной стороны, в обработке визуальной информации (ассоциативная память, выделение траекторий, распознавание движения), для изучения высших функций мозга. С другой
стороны, подобно некоторым клеточно-автоматным моделям, они исследуются как динамические системы, имитирующие пространственную динамику активных сред. Таким образом, КНС является примером самоорганизующихся систем из одинаковых элементов, поведение которых подчинено внутренним законам их взаимодействия, что является объектом изучения синергетики [3].
КНС представляет собой множество клеток, обычно расположенных в узлах ортогональной или гексагональной решетки, либо в вершинах регулярного графа. Каждая клетка имеет взвешенные связи со своим ближайшим окружением и характеризуется внутренним состоянием, выходом и, возможно, смещением. На первом этапе все клетки устанавливаются в начальное состояние, после чего начинается процесс вычислений в сети, который может быть как непрерывным по времени, так и дискретным в зависимости от модели. Исследуем дискретные модели, в процессе функционирования которых все клетки синхронно вычисляют взвешенную сумму от состояния выходов своих соседей, в соответствии с которой меняется их внутреннее состояние. Выход клетки получается как нелинейная функция от ее внутреннего состояния.
В зависимости от структуры связей различают потоковые сети, в которых сигнал распространяется от входного слоя к выходному (выделение траекторий движения), и рекуррентные, функционирующие итеративно и составляющие подавляющее большинство всех моделей. Порядок рекуррентных сетей определяется числом уравнений, описывающих функционирование клетки. КНС первого порядка при определенных условиях приходят в устойчивое состояние и моделируют реакционно-диффузионные процессы возникновения диссипативных структур, второго порядка - возникновение динамических структур типа автоволн и спиралей. Если набор весов связей клетки с соседями одинаков для всех клеток, то такие сети называются однородными и получаются клонированием некоторого шаблона весов по всей поверхности КНС. В противном случае они называются неоднородными.
Рассмотрим однородные и неоднородные КНС первого порядка, формирующие устойчивые состояния. Данная проблема находится на стыке наук и еще не имеет своих сложившихся приемов исследования и критериев оценок. В настоящее время исследования КНС первого порядка происходят в двух направлениях:
1) анализа - когда исследуются общие свойства модели и ищутся зависимости между параметрами сети (веса связей) и свойствами устойчивых состояний (аттракторов);
2) синтеза - по заданным аттракторам или их свойствам необходимо найти веса связей или в процессе их итерационного приближения (обучения), или путем их прямого расчета (синтеза).
В области анализа КНС первого порядка известны следующие результаты: изучена устойчивость положений равновесия таких систем и найдены условия, накладывающие определенные ограничения на веса связей;
исследованы свойства устойчивых состояний для некоторого класса сетей; рассмотрены процессы возникновения устойчивых состояний. В области синтеза основные результаты касаются только неоднородных КНС, поскольку они соответствуют сетям Хопфилда с разреженной матрицей связей специальной структуры. Дальнейшее изучение КНС и разработка методов их синтеза актуальны как с точки зрения разработки новых моделей мелкозернистого параллелизма, так и их возможного применения. При этом направления исследований неоднородных и однородных КНС имеют некоторые различия, определяющиеся их назначением.
Неоднородные КНС первого порядка, как правило, используются в качестве ассоциативной памяти. По сравнению с полносвязными сетями Хопфилда клеточно-нейронная ассоциативная память (КНАП) за счет малого количества связей обладает более бедными характеристиками, но в то же время и большими преимуществами с точки зрения реализации. Поэтому исследование предельных возможностей КНС и разработка метода обучения для их достижения являются насущными проблемами, поскольку это позволит решать задачи восстановления утерянной информации и фильтрации изображения от помех, не прибегая к использованию полносвязных сетей Хопфилда.
Исследование однородных КНС на текущий момент направлено на изучение механизмов возникновения диссипативных структур и находится в стадии изучения возможностей модели и описания получаемых устойчивых состояний, причем только для простейших случаев. Подбирая шаблон весов, можно добиться получения устойчивого состояния, напоминающего раскраску какого-нибудь животного, или неравномерное распределение реагирующих веществ в химической реакции, т. е. на сегодняшний день подбор КНС-модели, формирующей образы с заданными характеристиками, аналогичные встречающимся в реальных явлениях, происходит только путем перебора параметров сети. В то же время возникающие причудливые структуры в активных средах требуют своего объяснения. Поэтому исследование однородных КНС первого порядка и их синтез по примеру устойчивого состояния актуальны с точки зрения возможностей моделирования тех явлений экологии, биологии, химии, которые не имеют математических моделей.
Таким образом, относительная простота реализации КНС и открывающиеся перспективы привели к разработке спецустройств, предназначенных для ускорения КНС-вычислений. К настоящему времени уже реализована аналоговая КНС-машин с производительностью 1 Тера аналоговых операций в секунду, что позволяет решать многие задачи в реальном времени. Поэтому изучение возможностей КНС и разработка методов их синтеза по заранее заданным свойствам особенно необходимы с точки зрения программного обеспечения таких машин.
Формально КНС представляется в виде четверки: КНС = (X, Т, Ф}, где X - множество клеток; Т и ' определяют структуру соединений
и веса связей соответственно; Ф - процедура функционирования КНС. Полагаем, что КНС состоит из N клеток - X = {пь ..., пд}, которые пронумерованы от 1 до N. Такая нумерация нам кажется наиболее подходящей, поскольку она применима к двух- и трехмерным КНС, причем не только с ортогональной, но и гексагональной решеткой соединений.
Кроме имени , каждая клетка ni = [х,, у,, Ь,] (клетка ,) характеризуется своим внутренним состоянием , е ЭТ, состоянием выхода у, е [1, -1] и, возможно, смещением Ь, е ЭТ. Те КНС, в которых все клетки имеют нулевое смещение, называют автономными, и в дальнейшем в основном будут исследоваться именно автономные КНС. Для представления глобального состояния сети вводятся Д-мерные векторы: Х = (х1, ..., хд) и У = (у1, ..., уд) -соответственно внутренние и выходные состояния всех клеток. Выход клетки представляет собой нелинейную функцию от ее внутреннего состояния р: ЭТ ^ [-1, 1], т.е. у, = р (х,). Используем следующие сигмоидные функции: пороговая £(х) = {1, если х > 0; -1 иначе} и кусочно-линейная функция£3(х) = / (|х + 1| - |х - 1|).
Если выходное состояние клетки , приходится на наклонный участок функции £3, т.е. когда |х,| < 1, то такая клетка называется линейной и рисуется клеткой или точкой серого цвета, оттенок которого зависит от состояния клетки. Иначе она называется насыщенной клеткой и рисуется как черный квадрат, если у, =: 1, или как белый, если у, = -1.
Каждая клетка в КНС имеет взвешенные связи со своим ближайшим окружением, структура которого определяется шаблоном связей Т/, представляющим собой для каждой клетки , множество имен ее соседей, т. е. Т/ = {/'1, ...,/д}, где q - размерность соседства, причем среди/к, к = 1, ..., д, нет повторяющихся имен и нет имени Таким образом, шаблон Т,' определяет структуру связей клетки , с д различными и отличными от нее соседями, и в дальнейшем клетка с именем , будет называться центральной для этого шаблона. Также вводится понятие расширенного соседства клетки ,, определяемого шаблоном связей Т, = {,} и Т,', в которое входит и сама центральная клетка. Каждой связи поставлено в соответствие некоторое действительное число, называемое весом связи, которое может быть как положительным, так и отрицательным. Обозначим через ШК е ЭТ вес связи между клеткой , и ее к-м соседом с именем /к. Поскольку вес связи всегда будет упоминаться в контексте с именем клетки, отсутствие дополнительного индекса , не вносит путаницы.
Таким образом, каждой клетке поставлен в соответствие набор из д + 1 весов связей, который называется вектором весов связей и обозначается ^г = (^о, wI, ..., где - вес автосвязи клетки, т.е. вес связи вида «сам с собой». Введём дополнительное обозначение для вектора весов связей клетки, из которого исключена автосвязь: = ..., Положим У', = = (уь ..., уд) - вектор состояния выходов соседей клетки ,, отличных от нее, и У, = (у0, у!, ..., уд) - вектор состояния выходов в расширенном сосед-
стве, где у0 - состояние центральной клетки. В описанной системе обозначений структура соединений и веса связей в КНС определяются, соответственно, следующими наборами: шаблонов связей Т = (Т,, , = 1, ..., Ы} и векторов весов № = , = 1, ..., Ы}. Последний также может рассматриваться и как глобальная матрица весов связей (как в теории нейронных сетей): № = (мц, } = 1, ..., Ы}, где равно весу связи между клетками , и ], если] е Т,, и равно нулю в противном случае. В дальнейшем, говоря о весах связей в КНС, будем уточнять, какое представление имеется в виду.
Полагаем, что все изучаемые модели КНС имеют регулярную структуру связей, т.е. относительные позиции соседей при изображении КНС в пространстве одинаковы для всех клеток. Более того, при моделировании в основном будут используемы КНС с декартовой решеткой соединений, хотя многие полученные теоретические результаты справедливы и для других типов решеток.
Определим правило функционирования клетки. Пусть $(•) - одна из нелинейных функций, которые были представлены выше, а <•, •> обозначает скалярное произведение векторов. Переход от шага t к шагу t + 1 для клетки , описывается следующей системой уравнений:
Б? = <ШЬ У (()> + Ь, х/м) = (1 - г) х«> + г Б? =
У,(М) = Ф(хГ)), +
где г - параметр дискретизации по времени; индекс ® или (м) вверху означает номер шага; ^ - некоторая функция. В зависимости от выбранной модели КНС внутренние состояния клеток х, по-разному зависят от Б, и используются различные типы нелинейных функций ф(^), что рассматривается ниже.
Опишем функционирование Ф всей сети в общем виде: оно начинается с некоторого начального состояния и определяется как параллельное, синхронное и итеративное функционирование всех клеток. Вычисления либо прекращаются при достижении устойчивого состояния, когда выходные состояния клеток перестают изменяться при дальнейшем функционировании КНС, либо вычисления продолжаются до бесконечности.
Динамические свойства КНС интерпретируются с помощью функции Ляпунова, аналогичной используемой в сетях Хопфилда с поправкой на структуру связей, которая имеет смысл «обобщенной энергии». В процессе своего функционирования КНС стремится к локальному или глобальному минимуму этой функции, который соответствует устойчивому состоянию сети. График этой квадратичной функции состоит как бы из «холмов» и «впадин» в многомерном пространстве, и если начальное состояние КНС попало на склон «холма», то оно начинает скатываться к ближайшей впадине. Каждое устойчивое состояние, таким образом, характеризуется бассейном аттракции или областью притяжения, т.е. той впадиной на энергетической поверхности, начиная с любой точки которой КНС придет в это устойчивое состояние. Этим и объясняется ассоциативность КНС первого порядка: если начальное состояние находится
близко к одному из устойчивых образов и попадает в его бассейн аттракции, то на выходе сети получается именно то устойчивое состояние, которое больше всего «напоминает» начальное.
Приведём описания исследуемых моделей КНС: однородной и неоднородной, которые отличаются только в степенях свободы при выборе весов связей между клетками. В неоднородной структуре можно обеспечивать разные условия устойчивости для разных клеток, в однородных КНС условия формирования устойчивого состояния одинаковы для всех клеток. Определим условия завершения процесса вычислений в КНС, при этом условия устойчивости КНС записываются в следующем виде: у{ = ф(<Ж, У,>), , = 1, ..., N.
В задачах анализа и синтеза предполагается, что обучение или синтез рассматривается как обратная к анализу задача, когда необходимо найти значения весов связей КНС, чтобы она имела заданный набор устойчивых состояний (образов, называемых в дальнейшем прототипами). Исследуется влияние типа матрицы связей КНС - с автосвязью или без нее - на разрешимость проблемы синтеза. С автосвязью проблема синтеза всегда разрешима, но при этом возможно появление прозрачных клеток, у которых вес автосвязи равен некоторому положительному числу, а все остальные веса связей - нулевые. В КНС без автосвязи проблема синтеза не всегда разрешима, но зато отсутствуют прозрачные клетки.
Определим требования к синтезу КНС. Пусть имеется набор прототипов Р0, ..., Рь~1. В результате синтеза необходимо получить такой набор весовых векторов и смещений Ж,, Ь,, , = 1, ..., Д, чтобы полученная КНС удовлетворяла следующим свойствам:
1) индивидуальной устойчивости - каждый прототип должен соответствовать устойчивому состоянию, т.е. Ф(РК) = РК;
2) аттрактивности - обеспечить максимальный размер бассейнов аттракции для каждого прототипа, а также не допускать частичной прозрачности сети;
3) завершаемости процесса функционирования КНС - гарантировать полное отсутствие циклов или обеспечить их минимальное количество;
4) локальности выбранного метода обучения: для расчета векторов весов необходимо использовать только локальную информацию, т.е. данные только о состоянии соседей клетки, а не рассчитывать глобальную матрицу весов W последующим ее разреживанием.
Последний пункт исходит из требований технологичности, при этом локальность метода необходима для его реализуемости как на параллельных ЭВМ общего назначения, так и на КНС-машинах.
Выбор идеи метода обучения персептрона не затрагивает веса автосвязи клеток и обоснован в качестве основы для разработки новых методов, поскольку он удовлетворяет требованиям 1 и 4. Этот метод в приведенных выше обозначениях описывается следующим образом: пусть для клетки , дано множество входных состояний Р\ 0, ..., Р\ которое разби-
то на два непересекающихся подмножества: G+ и G-. Необходимо найти такой вектор весов связей W'i, что для всех Р'к из G+ выполняется < W'i, P'i к> > 0, а для всех Рiк из G- выполняется < W'i, P\к> < 0, т.е. научить персептрон разбивать множество входных состояний на два класса. Этот метод завершается за конечное число итераций в том и только в том случае, когда состояния Р\0, ..., Р\i-1 удовлетворяют условию линейной различимости, т.е. если существует такой весовой вектор W'i, что <Pi(t), Wi (t)> > 0, если Pi (t) e G+; <Pi(t), Wi (t)> < 0, если Pi(t) e G Для однородных КНС (в одномерном и в двумерном случае) эксперименты подтвердили, что предложенный метод обучения находит шаблон весов (один из класса эквивалентности), если на вход подать образ, сформированный другой КНС. При этом получен следующий результат: когда сформированный образ имеет границы с несколькими оттенками серого, то шаблон весов, с помощью которого был получен этот образ, и шаблон весов, полученный для этого образа с помощью метода обучения, принадлежат одному и тому же классу эквивалентности.
Работа выполнена в рамках проекта РФФИ № 03-01-00332.
Литература
1. Галушкин А.И. Теория нейронных сетей. М., 2000.
2. Круглое В.В., Борисов В.В. Искусственные нейронные сети: Теория и практика М., 2002.
3. Современная прикладная теория управления: Синергетический подход в теории управления / Под ред. А.А. Колесникова. Ч. 2. Таганрог, 2000.
Южно-Российский государственный технологический университет экономики и сервиса (г. Ростов-на-Дону)
15 июня 2005 г.
УДК 519.6
МАТЕМАТИЧЕСКИЕ МОДЕЛИ СИСТЕМ РЕГИОНАЛЬНОГО ИНВЕСТИРОВАНИЯ
© 2005 г. С. С. Саямов
This paper considers the regional investment process. The system of mathematic models (static investment distribution, discrete dynamic models) has been built. Some multicriteria optimization tasks have been solved on the basis of this system. A software for analyzing the regional investment process effectiveness and calculating the optimal values of the process's parameters has been made.
В настоящее время успешное экономическое развитие страны неразрывно связано с развитием каждого ее региона, что может быть достигнуто с помощью рационального использования имеющихся ресурсов и соз-
