Алгоритм построения нейросетевой многофакторной нелинейной модели прогноза наполнения бюджета Текст научной статьи по специальности «Компьютерные и информационные науки»

___________ВЕСТНИК ПЕРМСКОГО УНИВЕРСИТЕТА___________________

2011 ЭКОНОМИКА Вып. 2(9)

УДК 330.45:519.853:336.148

АЛГОРИТМ ПОСТРОЕНИЯ НЕЙРОСЕТЕВОЙ МНОГОФАКТОРНОЙ НЕЛИНЕЙНОЙ МОДЕЛИ ПРОГНОЗА НАПОЛНЕНИЯ БЮДЖЕТА

А.Н. Бирюков, к. экон. наук, доц. кафедры экономики и менеджмента О.И. Глущенко, к. экон. наук, доц. кафедры экономики и менеджмента

Стерлитамакский институт физической культуры, филиал, ФГОУ ВПО «Уральский государственный университет физической культуры», 453124, г. Стерлитамак, ул. Садовая, 20 Электронный адрес: guzsa@ufamts.ru

Разработана вероятностная модель оценки коэффициента риска выхода ошибки прогноза за назначенный уровень. Модель позволяет проводить интервальные совместные оценки доходной и расходной частей бюджета.

Ключевые слова: алгоритм; лицо принимающее решение (ЛПР); муниципальное бюджетирование; нейросетевая модель (НСМ); модуль; нейросетевая субмодель (НСММ); обобщенное перекрестное подтверждение (ОПП).

1. Функциональное назначение алгоритма

Алгоритм предназначен для использования в качестве инструментария поддержки принятия решений лицом, принимающим решения (ЛПР), в составе новой методики бюджетирования муниципальных бюджетных структур, которая предусматривает дифференциацию при планировании фонда развития МО в зависимости от качества обслуживания ими населения за отчётный период [5]. В соответствии с новой методикой на момент прогноза при планировании объёма бюджетного финансирования производится сравнение ожидаемых удельных (на

А

одного человека) расходов У пр для данной бюджетной структуры, вычисленных по нейросетевой модели в зависимости от ожидаемого значения входных факторов, и прогнозного значения доходной части муниципального бюджета Фо.пр.. Следовательно, для оценки значения Фо,пр нужна специальная математическая модель. Предлагаемый алгоритм реализует эту прогнозную модель в нейросетевом базисе. Нейросетевая модель (НСМ) построена методом погружения в пространство лаговых переменных [8]. Нейросетевой базис моделирования выбран потому, что рассматриваемая система муниципального бюджетирования относится к классу систем с сильным зашумлением и даже сознательным искажением базы данных, поэтому применение традиционных регрессионных методов [1] малоперспективно.

Предлагаемый алгоритм [2] предусматривает эффективную работу в условиях сильного зашумления и даже частичного искажения

базы данных благодаря управлению качеством модели с использованием разработанной концепции «русел» в пространстве входных (лаго-вых) и выходных переменных нейросетевой модели [3].

2. Область применения

Область применения алгоритма - подразделения муниципалитета, занимающиеся бюджетированием различных муниципальных образований (МО).

Методология разработки алгоритма, основанная на использовании комбинированного системного-синергетического информационного подхода, может быть использована более широко, в частности в процедурах межбюджетных отношений регионального бюджета.

3. Ограничения по применению алгоритма

• Алгоритм предусматривает переобучение нейросети при всяком обновлении, расширении или замене базы данных.

• При использовании программной среды Mat lab объём базы данных не должен превышать 10 Мб; требуются персональные компьютеры не хуже Pentium - 4, с частотой 2400 МГц.

• Число обучающих примеров (записей) в базе данных должно превышать число объясняющих переменных примерно в 5.. .10 раз.

• Исходная база данных представляется в виде Excel - файлов с дальнейшим переформатированием во внутренний формат программной среды.

©.Бирюков А.Н., Глущенко О.И., 2011

24

• Число объясняющих переменных (количественных и номинальных) в «русле» не должно превышать примерно 5.15.

• При введении в модель лаговых переменных база данных должна быть упорядочена по времени и не должна содержать пропусков по временным отсчётам. Допускается восстановление пропуска наблюдений по времени существующими методами интерполяции, например усреднением по значениям «ближайших соседей» [1].

• Рекомендуемые программные среды Neuro Solutions - 4 (демоверсия) и Mat lab с надстройками «Статистика», «Анализ сигналов».

4. Общее описание логической схемы рабочего алгоритма

Алгоритм построен по модульному принципу и включает в себя четыре модуля (см. рис.2).

Прямоугольниками обозначены процессорные блоки, ромбами - логические блоки, параллелограммами - блоки выбора (загрузки),

I “ I - знак параллельного выполнения L____Jопераций G раз.

Опишем кратко назначение модулей и блоков и их взаимодействие в алгоритме. Более

подробные комментарии к описанию с соответствующими формулами приведены в параграфе 5.

Модуль I в алгоритме является определяющим. В нём вносится в алгоритм априорная информация, аккумулирующая профессиональный опыт экспертов в данной предметной области. Ошибки при «завязке» постановки задачи очень сложно исправить в нижеследующих модулях II. IV.

В блоке 1.1 реализуется концепция формирования «русел» при спецификации переменных модели. Процедура спецификации завершается определением оптимального числа лаговых переменных и проверкой условия достижения заданного уровня функционала ошибки аппроксимации в НСМ в блоке 1.2.

В блоке 1.4 формируется база данных для построения нейросетевой модели. Здесь должна производиться выборка данных из файлов регионального Госкомстата и переформатироваться интерфейсом во внутренний формат программной среды, например Mat lab.

Таким образом, модуль I реализует первый иерархический уровень формирования «русел» по рис. 1.

Рис. 1. Иерархические уровни при формировании русел

От блока 3.3 и 4.2

К блоку 1.1

Рис. 2. Логическая схема рабочего алгоритма построения НСМ

Модуль II служит для предпроцессор-ной обработки данных. Это уровень II иерархического алгоритма формирования «русел». Он включает в себя как стандартные операции, реализуемые программой Neuro Solutions - 4.0, так и оригинальные алгоритмы, направленные на ослабление негативных условий моделирования, оговоренных выше.

В блоке 2.1 реализуется оригинальная процедура оптимального итерационного процесса повышения однородности данных внутри образованного кластера путём отбраковки аномальных точек. Эта процедура очень важная, поскольку в основном предопределяет качество обучения будущей сети в образованном кластере. При этом качество понимается обобщённо -по взаимно противоречивым частным критериям точности НСМ и её устойчивости к возмущению входных данных.

Итогом операций в блоке 2.2 является получение предельно достижимой однородности по критерию точности и устойчивости элементов - строк (наблюдений) в образованном кластере. Используются программы Neuro Solu-tions-4.0 (демоверсия) и Excel-2000.

В блоке 2.3 проверяется выполнение условий для достижения требуемого уровня функции цели, характеризующей однородность обучающих примеров в кластерах.

Операции в модуле II завершаются процедурой восстановления пропусков и нормализации данных, последняя существенно влияет на рассредоточение наблюдений по области эксперимента [7]: нормированные данные располагаются более равномерно в области наблюдений, а значит, они более информативны.

В предлагаемом алгоритме использован стандартный способ нормировки - вычитания из текущего значения величины ее среднего значения по соответствующему вектор-столбцу и деление на среднее квадратическое отклонение.

Модуль III реализует задание структуры модели, её идентификацию и тестирование. С позиции теории «русел» в модуле III производятся операции, реализующие заключительный третий уровень формирования «русел» по рис.1. Здесь экспертным путём на эвристическом уровне в диалоге с программой задаётся парадигма сети, архитектура (число скрытых слоёв), а также вид активационных функций в нейронах. При обучение сети по методу обратного распространения ошибки (Back Propagation -ВР) в многослойном персептроне образуется оптимальная архитектура сети и, соответственно, непосредственно получаются «русла» за счёт операций проецирования и нелинейной аппроксимации, задействованных в алгоритме обучения ВР. Действительно, проецирование - это суммирование сигналов x , поступающих на

вход нейрона с синоптическими весами { ж } и

затем нелинейная аппроксимация полученной проекции S с помощью активационной функции

/ (*).

На этом формирование «русел» заканчивается и начинается этап получения рабочих НСМ.

В блоке 3.1 путём вычислительных экспериментов подбирается шаг обучения, коэффициенты «тяжёлого веса» л, начальное приближение матрицы синоптических весов Шо, число эпох обучения и другие параметры обучения.

Модуль IV анализирует адекватность НСМ по ОПП и выдаёт осреднённые по незави-

Л

симым НСМ расчётные значения У .

Операции в некоторых блоках требуют дополнительных комментариев.

5. Детализация процедур в блоках ал-

горитма

Процедура оптимизации спецификации

Проблема выбора лаговых переменных нетривиальна и требует предварительного спектрального анализа. Для этой цели в программной среде Mat lab можно использовать надстройку “Анализ сигналов».

Прежде всего целесообразно ввести ла-говую переменную с лагом, равным упрежде-

нию при прогнозе

A t :

X2 Yt-T2; Т2 Atпр .

(1)

Затем в программной среде Mat lab или Excel вычисляется выборочный коэффициент автокорреляции R(t) и получается коррелограм-грам-

ма:

: R(t) =

Z(y, -Yty,-т-Y)/(N-т-1)

t=1

T T2,T3,■■■,Tj -'■■■,Т p ;

T, = jAtn

(2)

где У - текущее значение моделируемого показателя в момент времени /; У - среднее значение случайной величины У по всем наблюдениям N

Y =

N

(3)

В коррелограмме выделяются значимые лаговые сдвиги т3,т4,...,тр, которые и определяют размер-

t=1

ность п пространства лаговых входных переменных. При этом первая входная переменная

X = і не содержит лагового сдвига (т=0).

После спектрального анализа и выявле-

ния совокупности лаговых сдвигов

необходимо решить вопрос: какие из совокупности лаговых переменных x2,x3,...,x„ оставить в работе, а какие исключить? Для этого решается задача условной оптимизации (10) (см. ниже).

Остановимся на выборе функционала качества обучения Q :

1. Результатом расчёта по нейросетевой субмодели (НСММ) на тестовом множестве являются показатели качества НСМ:

• NMSEj - нормированная среднеквадратическая ошибка тестирования;

• MAE - средняя абсолютная ошибка;

• Max AE - максимальная абсолютная ошибка;

• r - - коэффициент корреляции рас-

y .у

чётных и экспериментальных значений моделируемого показателя;

• NMSE2 - нормированная среднеквадратическая ошибка процедуры перекрёстного подтверждения (Cross Validations (CV));

• Z - число эпох обучения при достижении указанных параметров.

Перечисленные выше величины определяются по формулам:

NMSE =

ш-у,

Ntest -1

/(Уmax -Уmin Iі Є ^ ; (4)

Net I Л Л

MAE = Z I У, - У і / Ntest; і &Q!est; (5)

г=1 V У

MaxAE = max

i

N

у, - У і

; і GQ!est; (6)

I Л

ZW- у) у, - у

i=1 V У .

У,У

NSVS

У

; і gQ“ ; (7)

Sy =

Ariesi

Z (y - У)

i=1

S =

N^fл лУ

У г - У

V У

Z

i=1

Ntest -1

(8), (9)

где у, у. - фактические и расчётные значения моделируемой величины У; (у^ - утп) -

размах наблюдения величины У.

NMSE2 определяется аналогично, с той

лишь разницей, что I е Ь 2 .

2. Формируется обобщённый (векторный) функционал цели:

р*:2 4с • ЛМЖ, + С2 • ЛМЖ2шт0(р);

п

р = 1,2,..., п{; С{ + С 2 = 1; С1>2 }0;

(10)

N >£• п; (11)

где С], С2 - экспертно-задаваемые веса, например С, = С2 =0,5; р - число лаговых переменных; £ - коэффициент, подбираемый путём вычислительных экспериментов, например £ =5.10.

3. Строится однопараметрическая кривая Q(n) в среде Ехсе1-2000 и графически находится глобальный минимум (точка А на рис.3).

Л

r =

Л

Л

1 2 3 р* р

Рис.З. Зависимость векторного критерия точности Q от числа лаговых переменных р

Оптимизационный итерационный процесс сглаживания поверхности отклика по векторному критерию точности и устойчивости

Описанный выше инструментарий оптимальной спецификации переменных - это довольно сильное средство структурирования НСМ. И всё же требуются дополнительные меры повышения однородности данных в кластере

и, соответственно, дополнительное структурирование данных. Это делается в блоке 2.1 рис.2. На данном этапе формирования «русел» на иерархическом уровне III (рис.1) вводится в рассмотрение, помимо критерия точности Q по функционалу (10), критерий устойчивости сети к небольшим изменениям входных данных. Как показали вычислительные эксперименты, эти два критерия взаимно противоречивы, что обогащает решение задачи оптимального повышения однородности данных в кластерах. Взаимная противоречивость указанных двух частных критериев является характерным атрибутом задач оптимальной аппроксимации при сильном зашумлении данных. Так мы приходим к задаче многокритериальной оптимизации при сглаживании поверхности отклика путём итерационного удаления «аномальных точек» из кластера при построении рабочей НСМ.

Принципиально новым подходом к решению задачи удаления аномальных наблюдений являются три предложения:

• сделать процесс удаления аномальных точек оптимальным, что важно в условиях дефицита наблюдения в кластерах;

• применить обобщённый (векторный) критерий оптимизации J, учитывающий как точность получаемых НСМ, так и их устойчивость к возмущению входных данных, что очень важно для сильнозашумлённых данных;

• увязать процедуру «очистки» с обучением вспомогательных НС - субмоделей (НСММ), что позволяет оценивать влияние отбракованных точек на качество НСМ непосредственно с позиции процесса обучения сети.

Последовательность операций, выполняемых в диалоговом режиме с компьютером в каждом кластере, следующая.

1.Исходную базу данных

^ \ . ---------

X. Y ) .i = 1.N разобьём на три множества:

/~\learn ,~

обучающее £2 , на примерах которого будем

обучать НСМ; перекрёстного подтверждения

(Gross Validation) Q.CV, на данных которого осуществляется стандартная процедура перекрёстной проверки (подтверждения) [6,9]; тестовое (или экзаменационное), данные

которого служат для независимого тестирования и получения оценок точности и устойчивости готовой сети, которая уже не подвергается никаким модификациям в рамках получаемых оценок.

2. По результатам построения НС опре

Л

У - У

делим ошибку обобщения как Е = п—Т|—

ІІУІІ

І єП<№<; (12)

где у = (у1з...,У^ У- вектор-столбец экспериментальных значений выходной величины У;

У = 1 Уі,..., У

мш:

- вектор-столбец расчёт-

ных значений выходной величины У; ||-|| - евклидова норма вектора столбца,

Е у' . (13)

І=1

Формула (12) служит критерием точности модели: чем меньше ошибка обобщения Е, тем точнее НСМ. В качестве критерия устойчивости НСМ введём показатель:

Уа-Ур

Ха-X р

(14)

где векторы независимых переменных Ха, Хр близки по норме в п-мерном пространстве входных переменных ^п, т.е.

<ех, *1 }0;

(15)

■ евклидова норма ^п :

Ха X р

X Яп

Е

і=і

X,

(16)

- рас-

где Уа= Е^Ха,Ж ^, Ур = Е^Хр,Ж

чётные значения выходной величины для вектор-строк наблюдений а, в в базе данных; ех -малое число.

Формула (14) формализует показатель сжатия-растяжения нейросетевого отображения. Чем меньше Б, тем больше нейросетевое отображение будет сжимающим и, соответственно, тем более оно устойчиво.

3. Обобщённый векторный критерий 3, учитывающий критерии точности и устойчивости, введём как взвешенную сумму частных критериев:

J = сгБ + с2£; £ *: J м Х шт J (к);

к (17)

С + с2 = 1; к = 0,1,2,...

Будем считать оба критерия - точности и устойчивости - равноправными, т.е. с;=с2=0,5.

4. Рассчитаем Е(0), Б(0), 3(0) для НСМ, построенной на данных первоначального кластера. Здесь индекс в скобках - номер итерации. Для всего кластера найдём расчётное значение выходной величины у., г = 1, N. Определим аномальные наблюдения. Будем считать наблюдение аномальным, если относительное значение отклонения между расчётной и выходной величиной

Л

У, - У г

Уі

• 100%)^

(18)

где єз - экспертно-задаваемый верхний предел приемлемого уровня погрешности. Например, є3 = 100%.

5. Устранив в кластере аномальные наблюдения, построим новую НСМ - на следующей итерации, для которой найдём &1\ ^ .Я по формулам (12), (14), (17) и т.д.

Итерационный процесс, который, по сути, является численным методом оптимального сглаживания данных в кластере, останавливается по правилу:

а) либо нарушается условие репрезентативности выборки в данном кластере по формуле (11);

б) либо достигается минимум в рассматриваемой многокритериальной задаче оптимизации.

Конкретизируем правила а и б.

Правило а. Репрезентативность можно определить экспертным способом. Многочисленные вычислительные эксперименты, проведённые в работе Н.Д. Бублика и др. [4], показали, что для построения НСМ с хорошими прогностическими свойствами необходимо иметь число точек в кластере

N > 10п,

вытекающее из известного эмпирического соотношения [7]:

N = п/8, (19)

где д - относительная допустимая погрешность НСММ, обычно принимаемая за 10%.

Правило б. В силу приведенных выше соображений будем считать состоятельной задачу оптимизации, т.е. существует такой номер

итерации £*, для которого 3(к ) = ШІП 3(к),

к

где к - текущий номер итерации.

Смысл задачи оптимизации состоит в том, что с увеличением номера итерации к в

т

Л

Л

Л

Л

Л

п

Я

каждом кластере остаётся всё меньше точек (обучающих примеров) и растёт однородность

этой статистической выборки N^к), т.е. уменьшается обобщённый критерий (17). Однако уменьшение объёма выборки снижает качество обучения НСМ согласно (11) и начиная с некоторого номера итераций к критерий (17) начинает расти вследствие дефицита обучающих примеров, т.е. активизации ограничения (11).

6. Минимизация критерия (17) выполняется графически. Строится график функции

J(к). Шаг итерации округляется до ближайшего целого. Полученный на шаге К сглаженный

кластер считается окончательно сформированный базой данных, НСМ, построенную на данной итерации, следует использовать в дальнейшем в качестве рабочей модели.

Результаты модельных вычислительных экспериментов

Построена и апробирована на реальных данных компьютерная прикладная методика прогноза наполнения муниципального бюджета с учетом риска выхода ошибки прогноза за назначенный уровень.

Фрагмент исходных данных для модельного примера предоставлен в табл. 1.

Таблица 1

Исходные данные (фрагмент)

i X1 X2 X3 X4 X5 Y

1 898028 62343 11429 1223 276025 -1129

2 811063 188422 8917 4750 133251 29253

3 503025 183408 6210 9693 192339 24107

4 477074 86578 2018 3223 44958 11592

5 359274 3867 92923 26985 23644 23550

6 340073 3818 26115 3603 22813 5504

7 317095 31026 3168 6863 145497 921

8 286134 3631 13661 5027 78024 2502

9 257879 15875 5358 -1041 8401 3116

10 251030 77949 3855 4099 73852 -5909

С учётом имеющегося у автора опыта построения НС в данном классе задач вычислительный эксперимент проводился с помощью НС типа многослойный персептрон (Multi Layer Perseptron - MLP) с двумя скрытыми слоями. Оптимальное число нейронов в первом скрытом слое Hi, во втором п2 подбиралось в процессе обучения НС. Активационная функция во всех слоях, кроме выходного, выбиралась в виде гиперболического тангенса:

/ (э) = гк (Ьэ), Ь}0, (20)

в выходном слое - линейная. Число примеров в обучающем множестве составило 80% от общего числа примеров в кластере, в множестве перекрёстного подтверждения и тестовом - по 10%.

Обобщённые результаты экспериментов представлены в табл. 2 и на рис.4.

Е,Э,Р

№ итерации S

Рис. 4. Зависимость критерия точности Е, устойчивости Б и обобщенного критерия 3 от номера

итерации

Л

Таблица 2

Расчётное значение точности Е, устойчивости Б и обобщённого векторного критерия I на _____________________________ каждой к-й итерации__________________________________________

к 0 1 2 3 4 5 6 7 8

Е 1,253293 0,356303 0,335139 0,378181 0,265873 0,240834 0,353642 0,359707 0,400283

3 0,012951 0,043315 0,089477 0,025977 0,012369 0,00328 0,05636 0,003836 0,007359

Ф 0,633122 0,199809 0,212308 0,202079 0,139121 0,122057 0,205001 0,181772 0,203821

В табл. 2 и на рис. 4 отражены значения критерия точности Е - кривая 1, устойчивости Б

- кривая 2 и обобщенного критерия 3 - кривая 3 на каждой Б-й итерации.

Охарактеризуем каждую итерацию. В табл. 3 приведены значения числа примеров в кластере Ы, оптимального числа нейронов в

слоях п} и п2, числа аномальных наблюдений А, определяемого согласно выполнению (18), и

с О

среднего значения отклонения о = — на дан-

N

ной итерации.

Таблица 3

Сводная характеристика каждой итерации

к 0 1 2 3 4 5 6 7 8

N 87 70 62 61 52 51 48 46 44

п, 10 9 6 5 6 6 10 6 10

П2 6 10 8 9 3 10 10 10 4

А 17 7 1 9 1 0(3) 0(2) 2 0(4)

д 249% 69% 32% 50% 29% 21% 22% 32% 29%

Отметим, что на итерациях 5, 6 и 8 отсутствуют наблюдения, у которых д, >100%. Аномальными наблюдениями будем в этих случаях считать те, у которых отклонения д, >70%. Число таких наблюдений проставлено в скобках.

Анализ показывает, что ошибка обобщения уменьшилась более чем в 3,5 раза на первой итерации и достигла своего минимального значения на пятой итерации. Её последующий рост может быть объяснён малым объёмом выборки. Уменьшение критерия устойчивости Б более чем в 3,5 раза на первой и в 2 раза на второй итерациях, т.е. уменьшение свойств сжатия НС - отображения может быть объяснено тем, что при сильных искажениях данных НС-отображение хорошо аппроксимирует зашумле-ния, а не истинную зависимость, и эта аппроксимация зашумлений устойчива. При очистке кластера, по мере удаления аномальных точек, НС начинает аппроксимировать истинную зависимость и свойства сжатия и устойчивость увеличиваются. На пятой итерации Б® также достигает своего минимума. Таким образом, получен оптимальный кластер для рабочей НСМ. Последующее выбрасывание аномальных точек приводит только к ухудшению точности и устойчивости НСМ. Это можно объяснить тем, что число примеров N становится меньше, тем самым нарушается соотношение (19).

Таким образом, сформулированное утверждение о сглаживании поверхности отклика Е^Х,Ж^ в кластерах доказано численно,

найден номер оптимальной итерации и получен кластер для создания рабочей модели, очищенной от аномальных наблюдений.

Научная новизна разработанной нейросетевой динамической многофакторной нелинейной прогнозной модели состоит в том, что в вычислительных и логических процедурах этой модели, образующих единый алгоритм, впервые реализованы концепции I, II и III, указанные на рис. 2, что обеспечило приемлемое качество модели: среднеквадратическая ошибка прогноза 1,3 ... 8%; максимальная ошибка на тестовом множестве 4.8%; доверительная вероятность прогноза 0,8; средний коэффициент риска выхода за границу 30% для ошибки прогноза 0,4.0,64 в сложных условиях моделирования.

Новизна модели риска превышения заданного уровня ошибки прогноза состоит в алгоритме определения коэффициента риска с использованием результатов расчёта по нейросетевой модели. Модель оценки риска

позволяет определить вероятностные характеристики ошибок прогноза и проводить интервальные совместные оценки доходной и расходной частей бюджета.

Была проведена широкая серия вычислительных экспериментов как по апробации теоретических предположений, содержащихся в концептуальном базисе планирования бюджета муниципального образования г. Стерлитамака, так и по анализу адекватности моделей, их точности, устойчивости алгоритмов обучения, факторному анализу зависимости дохода МО от ряда входных факторов: управляющих, внешней среды, ответственных за предысторию процесса.

С помощью НСМ выявлены нелинейные функциональные закономерности для обобщённого мультипликативного показателя эффективности работы муниципальных образовательных учреждений города.

Список литературы

1. Айвазян С.А., Мхиторян В.С. Прикладная статистика и основы эконометрики: учебник для вузов. М.: Юнити, 1998. 1022 с.

2. Гатауллин Р.Ф., Горбатков С.А., Бирюков А.Н., Глущенко О.И. Моделирование бюджетных процессов на муниципальном уровне на основе нейросетей. Уфа: Изд-во Вост. ун-та, 2008. 216с.

3. Бирюков А.Н., Глущенко О.И., Горбатков С.А. Концептуальный базис по-

строения нейросетевой модели муниципального бюджетирования // Информационные технологии. 2006. №6. С.52-56

4. Бублик Н.Д., Голичев И.И., Горбатков С.А., Смирнов А.В. Теоретические основы разработки технологии налогового контроля и управления. Уфа: Изд-во БашГУ, 2004. 336 с.

5. Букаев Г.И., Бублик Н.Д., Горбатков С.А., Саттаров Р.Р. Модернизация системы налогового контроля на основе нейросетевых информационных технологий. М.: Наука, 2001. 344с.

6. Галушкин А.И. Теория нейронных сетей: учеб. пособие для вузов / общ. ред. А.И. Галушкина. М.: ИПРЖР, 2000. Кн.1. 416 с.

7. Ежов А.А., Шумский С.А. Нейрокомпьютинг и его применение в экономике и бизнесе: учебник / под ред. В.В. Харитонова; Учеб.-аналит. ин-т МИФИ. М., 1998. 224с.

8. Управление риском: Риск, Устойчивое развитие. Синергетика. М.: Наука, 2000.

9. Хайкин А.А.. Нейронные сети: полный курс / пер. с англ. 2-е изд. М.: Изд. дом «Вильямс», 2006. 1104с.