Синтез архитектуры нейронной сети для прикладной задачи Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 007:57+681.324

МЛ. Маркин, P.JI. Смелянский

СИНТЕЗ АРХИТЕКТУРЫ НЕЙРОННОЙ СЕТИ ДЛЯ ПРИКЛАДНОЙ

ЗАДАЧИ

Работа посвящена методам синтеза нейронной сети (НС), способной к аппроксимации произвольной табличной функции с заданной точностью. В работе предлагается альтернативный подход к решению проблемы синтеза архитектуры нейронной сети для прикладной задачи, не требующий многократного обучения сети в процессе поиска подходящей архитектуры.

Рассмотрим формальную постановку задачи. Пусть заданы:

♦ SET = {(x,y)},xe^n,ye^ - набор измерений некоторой таблично заданной

( );

♦ NW = {nwi}- некоторый класс нейронных сетей, способных к аппроксимации

SET . -

кретная прикладная задача может накладывать некоторые ограничения на архитектуру НС, входщих в класс NW. В частности, могут быть заданы:

♦ max_flops - максимально допустимое количество операций с плавающей точ-

, ;

♦ max_params - максимально допустимое количество настраиваемых параметров (весов) НС;

♦ act_fun = { f1, f2, ..., fN } - множество функций активации нейронов, разрешенных к использованию;

♦ eps > 0 - максимально допустимая среднеквадратическая ошибка аппроксима-

;

♦ COST(nw) - NW^R+ - функция "вычислительной эффективности" архитектуры нейронной сети. Конкретный вид функции COST определяется требовани-ми прикладной задачи (дая одних задач могут быть предпочтительны архитектуры с малым количеством настраивемых параметров, для других - с малым

).

Обозначим минимальную достижимую среднеквадратическую ошибку аппроксимации сети nw на выборке set как MSE(nw,set).

NW

nw,

задачи и при этом минизировала функцию вычислительной эффективности COST, то есть решить следующую задачу:

fminCOST (nw), nw e NW;

1 (P)

[ MSE (nw, set) < eps.

Известны следующие методы решения задачи синтеза архитектуры нейрон-(P):

♦ ( NW)

♦ NW c .

использования генетических алгоритмов для конструировния нейронных сетей можно найти в работах [1-3].

♦ Последовательное наращивание сети. В работах [4,5] предлагаются итеративные методы конструирования нейронных сетей, где на каждом шаге происходит добавление одного или нескольких нейронов в уже построенную сеть.

Во всех этих методах на каждом шаге предлагается проводить обучение сети для получения оценки значения MSE (максимальной достижимой точности аппроксима-). - ( ) , приводит к большой вычислительной сложности этих методов и ограничивает возможность их применения для случаев, когда множество архитектур NW достаточно велико.

В данной работе предлагаются подходы к построению альтернативных (более быстрых) методов оценивания значения MSE, не требующих обучения сети. Используя ,

архитектур заменяя обучение сети на каждом шаге рассмотрением оценки максимальной достижимой ею точности аппроксимации.

Рассмотрим задачу оценивания значения среднеквадратичной ошибки аппроксимации (MSE) нейронной сети, достигаемой ею при обучении на заданной выборке из скалярной функции произвольного количества аргументов. Основным инструментом для оценки точности аппроксимации заданной функции нейронной сетью являются статистические характеристики выборки - некоторые обобщенные характеристики выборки, описывающие "сложность" аппроксимации выборки с помощью нейронной сети. Необходимым требованием к статистическим характеристикам является возможность их непосредственного вычисления по представленной выборке за достаточно ( , ). данной работы был разработан ряд моделей, способных по различным статистическим характеристикам выборки оценить (без проведения обучения НС) минимальную достижимую ошибку аппроксимации MSE.

Процесс построения моделей зависимости значения MSE от статистических характеристик можно разбить на следующие этапы:

♦ Определение набора статистических характеристик, непосредственно вычисляемых на произвольной выборке. В данной работе использовались минимальные, максимальные и средние значения сеточных производных 1-го и 2-го порядков, непосредственно вычисляемых на выборке, а также их дисперсия.

♦

вычисление их статистических характеристик.

♦ Обучение некоторого множеств а НС на представленных выборках.

♦ Построение регрессионной модели зависимости значения MSE от статистических характеристик на основании экспериментальных данных, полученных на преды-

.

Используя построенные модели, возможно оценивать максимально достижимую точность аппроксимации произвольной выборки (представленной набором ее статисти) . , -строения таких моделей может быть достаточно трудоемким в вычислительном плане ( ), ,

, -проксимации произвольной таблично заданной функции с помощью произвольной НС за достаточно малое время (по сравнение со временем, затрачиваемым на обучение ).

В рамках данной работы была построена реализация представленного подхода на ЭВМ. В качестве модели НС был взят персептрон с одним внутренним слоем и нелинейной сигмоидальной функцией активации. В качестве прикладных задач фигурировали задачи аппроксимации таблично заданных выборок из нескольких аналитических функций двух аргументов. Набор аналитических функций был разбит на два множества - .

Используя данные об обучении НС на выборках из функций обучающего множества, были построены параметрические модели М1 и М2 зависимости значения М8Б от статистических характеристик. Качество оценки значения М8Б с помощью моделей М1 М2 , -

вавшихся при построении этих моделей. Полученные результаты демонстрируют достаточно высокую точность прогноза ошибки аппроксимации. В качестве иллюстрации приведем данные о прогнозе точности аппроксимации, достижимой при использовании НС с 25 нейронами во внутреннем слое:

♦ по оси X размещаются данные об оценке точности аппоксимации для выборок из 18 функций тестового множества;

♦ по оси У отложены оценки точности аппроксимации с помощью модели М1 и, для

, -

.

М2 1 :

Оценка ТєбіМБЕ (1 нейрон) с помощью модели М2

N приложения

—ТевІМБЕ

■ Прогноз

При оценивании точности аппроксимации на других выборках и для других НС были получены аналогичные результаты.

ЛИТЕРАТУРА

1. Balakrishnan K., Honavar V. Evolutionary Design of Neural Architectures - A Preliminary Taxonomy and Guide to Literature // Technical Report CS TR95-01. Department of Computer Science, Iowa State University, Ames.

2. Whitley D., Hanson T. Optimizing neural networks using faster, more accurate genetic search // 3rd International Conference on genetic algorithms, San Mateo. CA. -1989. - C. 391-396.

3. Whitley D., Starkweather T., Bogart C. Genetic Algorithms and Neural Networks: Optimizing Connections and Connectivity // Parallel Computing. -1990. - C. 347-361.

4. Andersen T., Martinez T. A Provably Convergent Dynamic Training Method for Multilayer Percep-tron Networks // Proceedings of the 2nd International Symposium on Neuroninformatics and Neurocomputers, 1995.

5. Fahlman, S.E. and Lebiere, C. The Cascade Correlation Learning Architecture // Research Report CMU-CS-90-10. - 1991.

УДК 681.323:65.012.4

О.Н. Пьявченко

ФУНКЦИОНАЛЬНАЯ СТРУКТУРА КОМПЛЕКСОВ КОМПЬЮТЕРНОЙ ПОДДЕРЖКИ РУКОВОДИТЕЛЕЙ ПРИ РЕШЕНИИ ЗАДАЧ ОПЕРАТИВНОГО

УПРАВЛЕНИЯ

Одной из базовых форм функционирования специалистов является оперативная управленческая деятельность [1,2], представляющая собой процесс менеджмента, направленного на достижение краткосрочных целей. Информационно-сове^тощие комплексы руководителей [3] способны эффективно поддержать слабоформализуемую оперативную управленческую деятельность.

Функциональная структура комплекса поддержки оперативной деятельности руководителя (КОУД) определяется как составом и содержанием основных функций, так и особенностями деятельности пользователя в процессе оперативного управления. Причем эффективной структурной организацией является представление комплекса в виде разнородной полисистемы, базовыми компонентами которой являются системы, специализированные на реализацию основных функций оперативного управления. Поэтому для формирования представления о структуре КОУД, прежде всего, уделим внимание специфике процесса оперативной деятельности.

Оперативное управление заключается в разработке и организации выполнения в ходе повседневной деятельности краткосрочных (как правило, не более чем на квартал) планов достижения целей.

Процесс оперативного управления представляет собой повседневную управленческую деятельность объединенных в организационную систему субъек-,

определенных функций с использованием методов управления.

Содержание оперативного управления иллюстрируется схемой, представленной на рис.1.