CC BY
113
УДК 004.891.2 DOI 10.18522/2311-3103-2016-10-110122
С.С. Алхасов, А.Н. Целых, А.А. Целых
КЛАССИФИКАЦИЯ НА ОСНОВЕ МОДИФИЦИРОВАННОЙ СТРУКТУРЫ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ ПОСРЕДСТВОМ ГЕНЕТИЧЕСКИХ АЛГОРИТМОВ
В настоящей работе представлен новый интегрированный подход к выполнению классификации посредством искусственных нейронных сетей с использованием генетических алгоритмов. Приведен обзор ранее разработанных методов модифицирования искусственных нейронных сетей, основанных на применении генетических алгоритмов (с использованием оператора инверсии; разделенных на подпопуляции; с переменным размером популяции). Описан способ модификации традиционного нейросетевого алгоритма классификации. Модифицирование выполнено на двух уровнях. На первом уровне происходит определение субоптимальной (оптимальной в рамках заданных условий) архитектуры искусственных нейронных сетей (число нейронов в скрытом слое, алгоритм обучения, скорость обучения, тип функции активации и др.). На втором уровне выполняется подгонка значений весовых коэффициентов и смещений в направлении минимума функции приспособленности генетического алгоритма. Также учитывается влияние состава входных переменных на величину ошибки классификации. В завершающей части работы приведены сравнительные результаты традиционного и нового подходов. Получен следующий набор параметров искусственной нейронной сети: набор входных признаков (12 из 13), число нейронов в скрытом слое (46), скорость обучения (0,1416), тип функции активации (логистическая), алгоритм обучения (алгоритм Левенберга - Марквардта). Сформированная нейросетевая модель по значению усредненной оценки среднеквадратичной ошибки превосходит обычную нейронную сеть, основанную на градиентных методах оптимизации, примерно в два раза (0,08 против 0,15). При этом примерное время выполнения классификации примерно в десять раз превосходит длительность работы традиционной искусственной нейронной сети. Таким образом, целесообразность использования искусственной нейронной сети в сочетании с оптимизацией ее архитектуры посредством генетического алгоритма определяется текущем требованием точности, задаваемым конечным пользователем. Вместе с тем, разработанный подход позволяет более гибко работать с входными данными, в условиях, когда с течением времени их внутренняя структура изменяется. Поэтому рекомендуется использовать разработанную комбинированную модель при наличии доступа к распределенным вычислительным ресурсам.
Классификация; искусственные нейронные сети; генетические алгоритмы.
S.S. Alkhasov, A.N. Tselykh, A.A. Tselykh
CLASSIFICATION ON THE BASIS OF THE MODIFIED STRUCTURE OF ARTIFICIAL NEURAL NETWORK VIA GENETIC ALGORITHMS
This paper presents a new integrated approach to the implementation of the classification by means of artificial neural networks using genetic algorithms. An overview ofpreviously developed methods of modifying the artificial neural networks based on genetic algorithms (using the inversion operator; divided into some subpopulations; with varying population size) is outlined. We describe the method of modification of the traditional neural network classification algorithm. The modification consists of two stages. The first stage is the detection of suboptimal (optimal for specified conditions) architecture of artificial neural networks (number of neurons in the hidden layer, training algorithm, learning rate, type of activation function, etc.). The second stage is the adjustment of the weight coefficients and biases towards the minimum fitness function of the genetic algorithm. We also study the influence of the input variables to the value of the classification error. In the final part of the paper we show the comparative results of traditional and new advanced approaches. The following parameters of the artificial neural network were obtained: a set of input features (12 of 13), the number of neurons in the hidden layer (46), the learning rate
(0.1416), type of activation function (logistic function), training algorithm (algorithm of Levenberg - Marquardt). The advanced neural network model has the average estimation of mean-square error (MSE) which is better than the estimation of the conventional neural network based on gradient methods of the optimization approximately in two times (0.08 vs 0.15). However time of the classification execution is about ten times greater than the duration of the work of traditional artificial neural network. Thus, the feasibility of using artificial neural network in the combination with the optimization of its architecture by using the genetic algorithm is determined by the current accuracy requirement specified by the end user. However, this approach allows more flexibility to work with input datasets in the conditions when their internal structure changes periodically. Therefore, it is recommended to use the developed integrated model if you have access to distributed computing resources.
Classification; artificial neural networks; genetic algorithms.
Введение. Искусственные нейронные сети (ИНС) - один из способов решения задач классификации. Нейронные сети являются важным инструментом интеллектуального анализа данных. Они применяются во множестве прикладных исследований в области прогнозирования оттока клиентов, кредитного скоринга, классификации документов и др.
Традиционно применяемые для обучения ИНС градиентные методы могут приводить к попаданию функционала качества обучения в локальные минимумы.
В последнее время для повышения качества обучения ИНС начинают использовать генетические алгоритмы (ГА). Они выполняют задачу искусственной эволюции основных признаков нейросетевой структуры в направлении повышения точности классификации.
В работе [1] описано два возможных варианта оптимизации архитектуры ИНС. В первом случае хромосомы имеют одинаковую длину, равную числу слоев ИНС, и каждый ген характеризует число нейронов в соответствующем слое. Если слой отсутствует, то в соответствующем локусе прописывается нулевой ген. Второй подход предполагает, что хромосомы имеют неодинаковую длину, и в первом локусе располагается ген, отвечающий за число слоев сети, а последующие гены содержат данные о числе нейронов. При этом нулевые значения в хромосому не вносятся, в связи с чем хромосомы оказываются разной длины. Для выполнения операции кроссинговера во втором случае хромосома с меньшей длиной модифицируется нулевыми генами, занимающими произвольные локусы в диапазоне между третьим и предпоследним локусами.
В работе [2] предложена расширенная модификация вышеописанного подхода, предполагающая изучение влияния не только числа слоев и нейронов, но и других разнородных характеристик ИНС (тип функции активации, скорость обучения и др.) на достижение субоптимума функционала качества.
Возможна ситуация, когда в популяции хромосом, состоящих из весов и смещений ИНС, идентичные значения ряда генов, характеризующих отдельные нейроны, оказываются в разных локусах. Кроссинговер таких хромосом приводит к проблеме пермутаций [3], или проблеме конкурирующих решений [4]. В [5] для решения этой проблемы рекомендуется использование оператора инверсии. Однако хромосомы при таком подходе должны либо область инверсии должна быть ограничена, либо хромосомы должны быть однородны и состоять только из элементов одного массива, например массива wi.
В работе [6] представлен алгоритм ESP. Архитектура сети задается априорно. Нейроны рассматриваются в качестве хромосом. Популяция нейронов разбивается на подпопуляции. В каждой подпопуляции эволюция идет независимо. Это позволяет распараллелить поиск решения.
В [7] предложена разновидность «+/-» стратегии изменения размера популяции. Размер популяции увеличивается, если приспособленность лучшей особи в популяции уменьшается либо не изменяется (отсутствует прогресс). В случае эволюционного улучшения размер популяции следует уменьшить. Это позволяет, кроме всего прочего, уменьшить величину необходимых вычислительных ресурсов в течение выполнения ГА.
Решение разных задач классификации не всегда очевидно. В связи с этим актуально применение генетических алгоритмов для машинного подбора субоптимальных параметров классификации. Особенностью данной работы является комбинированное взаимосвязанное применение двух разнородных генетических алгоритмов, которые позволяют построить нейронную сеть определенного типа и далее настроить ее весовые коэффициенты.
ГА-оптимизация структуры ИНС. ГА-обучение ИНС может включать два этапа. На первом этапе ГА находит субоптимальную архитектуру ИНС. На втором этапе определяются субоптимальные значения весовых коэффициентов и смещений ИНС. Первый этап можно считать подготовительной стадией обучения, благодаря которой упрощается последующая задача определения весов и смещений.
В настоящем исследовании был использован следующий подход: хромосома строилась числа нейронов в скрытом слое, импульса, скорости обучения, типа функции активации и алгоритма обучения ИНС и несколько других параметров. В связи с разнородностью данных параметров использовать оператор инверсии в них невозможно в общем случае.
В число дополнительных генов был включен вектор, характеризующий вхождение той или иной переменной в обучающий массив. Нули и единицы распределялись по локусам случайным образом с тем лишь замечанием, что число нулей не должно превосходить половину исходного числа переменных. Введение такого типа генов в хромосому проводилось с целью выявления субоптимального набора переменных.
После определения архитектуры ИНС производится запуск обучения сети. По окончанию этого шага формируется ряд векторов весов и смещений, приведенных к размеру п х 1, и вектор среднеквадратической ошибки обучения. Из ряда векторов (хромосом) создается первоначальная популяция, которая впоследствии будет эволюционировать посредством выполнения генетического алгоритма.
На этом этапе в ГА допустимо применение оператора инверсии в пределах однородных локусов, относящихся к одной из четырех возможных групп: веса и смещения Ь скрытого слоя, веса и смещения Ь2 выходного слоя.
Размер популяции зависит от числа первоначальных запусков обучения. Количество эпох обучения в каждом цикле определяется случайным образом в диапазоне 40.. .125.
Описание модифицированного метода классификации. В настоящем исследовании решалась задача классификации объектов недвижимости по ряду признаков (площадь, этажность, географические координаты и т.д.) на два класса, соответствующие первичному и вторичному рынку недвижимости.
В связи с большим числом признаков (переменных) сходимость при ГА-оптимизации достигается за длительный период времени. При этом расходуются существенные вычислительные ресурсы.
Поэтому был рассмотрен комбинированный подход, предполагающий предварительное определение весов и смещений с помощью одного из методов обратного распространения ошибки. Полученные веса и смещения группировались в хромосомы, составлявшие первоначальную популяцию.
Функцией приспособленности ГА являлся функционал качества обучения
ИНС.
1 т
ф=1 Z!h2 ,
1 о=1
где Z - размерность выходного массива, H - ошибка классификации на каждом выходе ИНС для каждого примера.
Исследование эффективности рассматриваемой модели проводится по представленной ниже программе.
for i = 1,1
Г = rand,
где rand - генератор псевдослучайных чисел;
[Х,, X.] = separate(X rt) , где separate - функция разделения исходного массива на два новых в соответствии с последовательностью Tt, X - массив входных данных, Х; - массив входных данных для настройки весов ИНС, X. - дополнительный проверочный массив
входных данных. Такие обозначения этих функций используются здесь и далее в данной работе для упрощения записи описываемых алгоритмов.
[тД] = separate (Т./;):
for j = 1, J
где h - хромосома, f - значение функции приспособленности для хромосомы htj, ga' - генетический алгоритм для первой части ГА-модели, /•'(//) -функция приспособленности.
net'j = configure ( MLP, hUj ),
где net' - нейронная сеть, configure - функция конфигурирования ИНС типа
i,j
многослойный персептрон (MLP) с нейросетевой архитектурой, задаваемой хромосомой h .
i ,j
for к=17K
net = train (nct'^X.t). где train - функция обучения ИНС.
1 /Г 2
1 * rl=1
где e' j k - среднеквадратичная ошибка классификации при симуляции sim нейронной сети с использованием дополнительного проверочного массива в качестве входных данных, N' = IN' - число примеров в массиве, размер которого является произведением числа выходных слоев ИНС на число примеров в выборке. end
ё'.=±Уе'...
hj v hj,k A t=1
где é' . - среднее арифметическое среднеквадратических ошибок е\ . к .
1 к ,
— Tie'- k-ë' )
\K-]
где s' . - стандартное отклонение среднеквадратических ошибок е\ . ¡.. end
К = arg min /г ; (ё'и),
j=]
1 *
где nt -j-ый вектор h, соответствующий минимальному значению одного из элементов массива е'. end
I
i=1
1 ** . „ .*
где п - I-и вектор п , соответствующий минимальному значению одного из элементов массива е' и являющийся оптимальной хромосомой, содержащей информацию о субоптимальной архитектуре нейронной сети.
После выбора оптимальной хромосомы начинается вторая стадия алгоритма,
в которой определяются субоптимальные значения весовых коэффициентов и
**
смещений нейронной сети конфигурации h .
for 1 = ЪЛ
г = rand,
= separate (X. г. ),
[%%~] = separate (Т,гА);
for j = 1, M
net " ^ = configure ( MLP, h" ),
if Я^ 1,
где неравенство Я ^ 1 обозначает, что при первом запуске Я = 1 веса и смещения определяются стандартным способом в соответствии с алгоритмом Видроу-Нгуена [8].
then net1,j = setwb(^Я,^G*ij-i) >
где setwb - функция ввода в ИНС модифицированных значений G* , весов и
смещений.
end
nst"Ä ft = train (net; ^X^t,),
1 / .. .. \ 2 = Z (sim (netL Лл)-% )я„
где s"^ - среднеквадратичная ошибка классификации при симуляции sim нейронной сети с использованием дополнительного проверочного массива в качестве входных данных, N" = 2N" - число примеров в массиве, размер которого является произведением числа выходных слоев ИНС на число примеров в выборке.
Ул, = formwb (net",) , где formwb - функция вывода из ИНС текущих значений весовых коэффициентов и смещений.
Рл,м=[ Ул. Ga]
где P - первоначальная популяция с числом «градиентных» и «генетических» хромосом, равным 2ц . Хромосома, не выигравшая конкуренцию, сохраняется в генофонде первоначальной популяции, прежде всего, как материал для кроссинговера.
for у =
, Фл,^ ] = ga" (ф (л )' рл.) , где ga" - генетический алгоритм, при выполнении которого используется первоначальная популяция P.
net'4^ = setwb ( gл,м,v)
N" , ____ . 2
e,
t Z (sim (net"1 ' X-л ) "'Тд )
* n= 1
где - среднеквадратическая ошибка классификации, выполненной
ГА-модифицированной нейронной сетью.
end
ё"л,м=дХ^Пе1мЛ(Р^м,Ч)
W
°л,м = arg min g^^ {фл^щ)
V=1
if £1,M > e'[,M '
где вышеприведенное неравенство выражает конкурентную борьбу между «градиентной» и «генетической» хромосомами.
then G * = G,
else G* — e Se Л,ц УЛ
end
end
Далее представлены формулы, определяющие среднее арифметическое и стандартное отклонение для вычисленных выше среднеквадратических ошибок.
1 M
s" — s"
M ^ ,
I 1 M 2
a"=)l M—-1 §
= —Ye"
ми
I ] м
Г = У(е' -Г л ]]М- л
е^
1 а
^-А '
А Л-1
1 а
£'-А £ ^
А л-1
г-Мт, I и-
|А-1
Для оценки эффективности использования ГА полученные результаты сравниваются с контрольной моделью, в которой этапы формирования субоптимальной архитектуры и корректировки весов и смещений отсутствуют [9-12].
В контрольной модели архитектура сети подбирается, исходя из соотношения, являющегося следствием теоремы Арнольда - Колмогорова - Хехт-Нильсена [13]
шЫ (N V 1Ч
-< Ь, < ш--+1 (п + ш +1) + ш
1 + 1оёг N " {т )У '
Ь
п + ш
Также известно следующее соотношение [14].
N Т N
--п - ш < Ь <--п - ш,
10 2
где п - число входов ИНС, m - число выходов ИНС, N - число примеров в обучающей выборке.
Из обоих соотношений следует, что выбор оптимального числа нейронов в скрытом слое очень сильно зависит от числа обучающих примеров. Данные соотношения имеют широкий диапазон возможных значений для больших значений числа обучающих параметров. Для контрольной модели было выбрано число, близкое нижнему порогу диапазона в связи с ограниченностью вычислительных мощностей. В исследуемой ГА-модели аллели хромосом популяции, содержащие информацию о числе нейронов в скрытом слое, для оптимизации архитектуры ИНС принимали значения в пределах данного диапазона [15-16].
Проведение эксперимента. Эксперимент проводился в соответствии с методикой, представленной в п. 3. Первоначально определялась эффективность традиционной нейросетевой модели 13 - 40 - 2, основанной на использовании алгоритма градиентного спуска. Обучающая пара т] и дополнительная проверочная
пара Гх Т~| формировались в соотношении — • — некоторое количество раз с
1 -1 3 3
целью получения усредненной оценки величины ошибки обучения [17]. Первая пара использовалась для обучения и в свою очередь разделялась на обучающую, проверочную и тестовую в соотношении 0,7:0,15:0,15 [18-19]. Вторая пара использовалась для окончательной проверки эффективности модели после окончания обучения. Дополнительная пара использовалась для оценки поведения модели
2
при вводе новых данных. Дополнительной характеристикой результатов повторяемого обучения являлась дисперсия, позволяющая оценить рассеяние полученных результатов. Такой способ обучения модели близок процедуре перекрестной проверки (кросс-валидации) [20].
Для количественной оценки модели также был введен коэффициент 4, показывающий, во сколько раз степень распознавания одного из классов (в данной задаче более редкого класса «1», соответствующего первичному рынку недвижимости) выше случайного угадывания [21-23].
д V / N v2 ,
где " - число верных распознаваний класса «1»; v1 - число элементов в целевом
множестве, принадлежащих классу «1»; N - число примеров.
После формирования ориентировочных результатов дальнейшие исследования проводились с использованием ГА. Сначала требовалось найти субоптимальную архитектуру ИНС. Разбиение входных данных проводилось тем же способом, что и в предыдущем модели. В первой части ГА-модели выходом являлась популяция хромосом h , гены которой конфигурировали ИНС во второй части ГА-модели [24].
По результатам выполнения первой части ГА-модели был получен следующий субоптимальный набор параметров ИНС:
♦ набор входных признаков: 12 из 13;
♦ число нейронов в скрытом слое 46;
♦ скорость обучения 0.1416;
♦ тип функции активации: логистическая;
♦ алгоритм обучения: алгоритм Левенберга - Марквардта.
После формирования ГА-оптимизированной архитектуры ИНС запускалась вторая часть модели, в которой проводилось выявление субоптимального набора весовых коэффициентов и смещений [25].
Полученные результаты выполнения классификации посредством традиционного нейросетевого и ГА-модифицированного подходов сведены в табл. 1.
Таблица 1
Результаты классификации посредством традиционного и модифицированного подходов
Способ Традиционный ГА-модифицированный
Усредненная оценка среднеквадратичной ошибки 0,15 0,08
Дисперсия 10-3 2,4 • 10-4
Матрица несоответствий (11,95 6,65 ^ [ 9,32 72,08) (17,57 8, 1И [ 1,35 72,97)
Коэффициент £ 2,65 4,91
Примерное время выполнения 3 • 103 7 • 104
Заключение. В проведенном исследовании было выявлено повышение точности классификации при использовании ГА-модифицированного подхода. ГА позволяет опытным путем подобрать наилучшее сочетание основных признаков ИНС, которое может варьироваться не только в разных задачах, но и при изменении статистических параметров данных. Таким образом, данный подход позволяет
автоматизировать процесс классификации. Из недостатков данного подхода можно выделить гораздо больший объем затрат вычислительных ресурсов. Поэтому рекомендуется использовать представленный ГА-метод при наличии доступа к распределенным вычислительным ресурсам.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Alkhasov, S.S., Tselykh, A.N., Tselykh, A.A. Application of cluster analysis for the assessment of the share of fraud victims among bank card holders // In: 8th International Conference on Security of Information and Networks. ACM, New York, 2015. - P. 103-106.
2. Waszczyszyn Z. (Ed.) et al. Neural Networks in the Analysis and Design of Structures.
- Springer, Wien, 1999.
3. Божич, В.И., Лебедев, О.Б., Шницер, Ю.Л. Разработка генетического алгоритма обучения нейронных сетей // Известия ТРТУ. - 2001. - № 4 (22). - С. 170-174.
4. Шумков Е.А. Использование генетических алгоритмов для обучения нейронных сетей // Научный журнал КубГАУ. - 2013. - № 91. - С. 1-9. http://ej.kubagro.ru/2013/07/pdf78.pdf.
5. Панченко Т.В. Генетические алгоритмы. - Астрахань: АГУ, 2007. - 87 c.
6. Radcliffe N.J. Genetic Neural Networks on MIMD Computers. Ph.D. thesis, 1990.
7. Stanley K.O., Miikkulainen R Evolving Neural Networks through Augmenting Topologies // Evolutionary Computation. - 2002. - No. 10. - P. 99-127.
8. Аюпов И.Р. Параметрический метод обучения нейронной сети при решении задач прогнозирования: дисс. ... канд. техн. наук. - 2015.
9. Gomez F., Miikkulainen R. Incremental Evolution of Complex General Behavior // Adaptive Behavior. - 1997. - No. 5. - P. 317-342.
10. Цой Ю.Р. Нейроэволюционный алгоритм и программные средства для обработки изображений: дисс. ... канд. техн. наук. - 2007.
11. Цой Ю.Р., Спицын В.Г. Исследование генетического алгоритма с динамически изменяемым размером популяции // V Международная конференция «Интеллектуальные системы и интеллектуальные САПР» (IEEE AIS'05/CAD-2005). Т. 1. - М.: Физматлит, 2005.
- С. 241-246.
12. Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы. - М.: Горячая линия - Телеком, 2006. - 383 c.
13. Гладков Л.А., Курейчик В.В., Курейчик В.М. Генетические алгоритмы. - М.: Физматлит, 2006. - 320 c.
14. Ляхов А.Л., Алешин С.П. Искусственная нейронная сеть как измерительный инструмент адекватности модели с адаптивным классом точности // Математичш машини и систе-ми. - 2010. - № 2. - C. 61-66.
15. Барсегян А.А., Куприянов М.С., Степаненко В.В., Холод И.И. Технологии анализа данных. Data Mining, Visual Mining, Text Mining, OLAP. - СПб.: БХВ-Петербург, 2008.
- 384 c.
16. Медведев В.С., Потемкин В.Г. Нейронные сети. МАТЛАБ 6. - М.: Диалог-МИФИ, 2002.
- 496 c.
17. Banks D. (Ed.) et al. Classification, Clustering and Data Mining Applications. - Springer, Heidelberg, 2004.
18. Бурнаев Е.В., Ерофеев П.Д. Влияние инициализации параметров на время обучения и точность нелинейной регрессионной модели // Информационные процессы. - 2015.
- № 15. - C. 279-297.
19. Сичинава З.И. Нейросетевые алгоритмы анализа поведения респондентов: дисс. ... канд. техн. наук. - 2014.
20. КругловВ.В., Дли М.И., ГолуновР.Ю. Нечеткая логика и искусственные нейронные сети.
- М.: Физматлит, 2001. - 201 c.
21. Stathakis D. How many hidden layers and nodes? // International Journal of Remote Sensing.
- 2009. - No. 30. - P. 2133-2147. http://www.academia.edu/711697/How_ many_hidden_layers_and_nodes.
22. Thomas A.J., Petridis M., Walters S.D., Gheytassi S.M., Morgan R.E. On Prediction the Optimal Number of Hidden Nodes // In: 2015 International Conference on Computational Science and Computational Intelligence. - 2015. - P. 565-570.
23. Яхъяева Г.Е. Основы теории нейронных сетей. http://www.intuit.ru/studies/courses/ 88/88/info.
24. Huang G.-B. Learning capability and storage capacity of two-hidden-layer feedforward networks // IEEE Transactions on Neural Networks. - 2003. - No. 14. - P. 274-281.
25. Генетические алгоритмы в MATLAB. - 2011. http://habrahabr.ru/post/111417/.
REFERENCES
1. Alkhasov, S.S., Tselykh, A.N., Tselykh, A.A. Application of cluster analysis for the assessment of the share of fraud victims among bank card holders, In: 8th International Conference on Security of Information and Networks. ACM, New York, 2015, pp. 103-106.
2. Waszczyszyn Z. (Ed.) et al. Neural Networks in the Analysis and Design of Structures. Springer, Wien, 1999.
3. Bozhich, V.I., Lebedev, O.B., Shnitser, Yu.L. Razrabotka geneticheskogo algoritma obucheniya neyronnykh setey [The development of genetic algorithm for training neural networks], Izvestiya TRTU [Izvestiya TSURE], 2001, No. 4 (22), pp. 170-174.
4. Shumkov E.A. Ispol'zovanie geneticheskikh algoritmov dlya obucheniya neyronnykh setey [The use of genetic algorithms for training neural networks], Nauchnyy zhurnal KubGAU [Scientific journal of Kubsau], 2013, No. 91, pp. 1-9. Available at: http://ej.kubagro.ru/2013/07/pdf/78.pdf.
5. Panchenko T. V. Geneticheskie algoritmy [Genetic algorithms]. Astrakhan': AGU, 2007, 87 p.
6. Radcliffe N.J. Genetic Neural Networks on MIMD Computers. Ph.D. thesis, 1990.
7. Stanley K.O., Miikkulainen R. Evolving Neural Networks through Augmenting Topologies, Evolutionary Computation, 2002, No. 10, pp. 99-127.
8. Ayupov I.R. Parametricheskiy metod obucheniya neyronnoy seti pri reshenii zadach prognozirovaniya: diss. ... kand. tekhn. nauk [A parametric method for training the neural network in the forecasting problem. Cand. of eng. sc. diss.], 2015.
9. Gomez F., Miikkulainen R. Incremental Evolution of Complex General Behavior, Adaptive Behavior, 1997, No. 5, pp. 317-342.
10. Tsoy Yu.R. Neyroevolyutsionnyy algoritm i programmnye sredstva dlya obrabotki izobrazheniy: diss. ... kand. tekhn. nauk [Neuroevolutionary algorithm and software for image processing. Cand. of eng. sc. diss.], 2007.
11. Tsoy Yu.R., Spitsyn V.G. Issledovanie geneticheskogo algoritma s dinamicheski izmenyaemym razmerom populyatsii [A study of genetic algorithm with dynamically adjustable population size], V Mezhdunarodnaya konferentsiya «Intellektual'nye sistemy i intellektual'nye SAPR» (IEEE AIS'05/CAD-2005) [V international conference "Intelligent systems and intelligent CAD systems" (IEEE AIS'05/CAD-2005)]. Vol. 1. Moscow: Fizmatlit, 2005, pp. 241-246.
12. Rutkovskaya D., Pilin'skiy M., Rutkovskiy L. Neyronnye seti, geneticheskie algoritmy i nechetkie sistemy [Neural networks, genetic algorithms and fuzzy systems]. Moscow: Goryachaya liniya - Telekom, 2006, 383 p.
13. Gladkov L.A., Kureychik V.V., Kureychik V.M. Geneticheskie algoritmy [Genetic algorithms]. M.: Fizmatlit, 2006, 320 p.
14. Lyakhov A.L., Aleshin S.P. Iskusstvennaya neyronnaya set' kak izmeritel'nyy instrument adekvatnosti modeli s adaptivnym klassom tochnosti [Artificial neural network as a measuring tool of the adequacy of the model with adaptive precision class], Matematichni mashini i sistemi [Mathematical machines and machines and systems], 2010, No. 2, pp. 61-66.
15. Barsegyan A.A., Kupriyanov M.S., Stepanenko V.V., Kholod I.I. Tekhnologii analiza dannykh. Data Mining, Visual Mining, Text Mining, OLAP [Data analysis technologies. Data Mining, Visual Mining, Text Mining, OLAP]. St. Petersburg: BKhV-Peterburg, 2008, 384 p.
16. Medvedev V.S., Potemkin V.G. Neyronnye seti. MATLAB 6 [Neural network. MATLAB 6]. Moscow: Dialog-MIFI, 2002, 496 p.
17. Banks D. (Ed.) et al. Classification, Clustering and Data Mining Applications. Springer, Heidelberg, 2004.
18. Burnaev E.V., Erofeev P.D. Vliyanie initsializatsii parametrov na vremya obucheniya i tochnost' nelineynoy regressionnoy modeli [The effect of initialization parameters on the training time and the accuracy of the nonlinear regression model], Informatsionnye protsessy [Information processes], 2015, No. 15, pp. 279-297.
19. Sichinava Z.I. Neyrosetevye algoritmy analiza povedeniya respondentov: diss. . kand. tekhn. nauk [Neural network algorithms to analyze the behavior of respondents. Cand. of eng. sc. diss.], 2014.
20. Kruglov V.V., Dli M.I., Golunov R.Yu. Nechetkaya logika i iskusstvennye neyronnye seti [Fuzzy logic and artificial neural networks]. Moscow: Fizmatlit, 2001, 201 p.
21. Stathakis D. How many hidden layers and nodes?, International Journal of Remote Sensing, 2009, No. 30, pp. 2133-2147. Available at: http://www.academia.edu/711697/How_ many_hidden_layers_and_nodes.
22. Thomas A.J., Petridis M., Walters S.D., Gheytassi S.M., Morgan R.E. On Prediction the Optimal Number of Hidden Nodes, In: 2015 International Conference on Computational Science and Computational Intelligence, 2015, pp. 565-570.
23. Yakh"yaeva G.E. Osnovy teorii neyronnykh setey [Fundamentals of the theory of neural networks]. Available at: http://www.intuit.ru/studies/courses/ 88/88/info.
24. Huang G.-B. Learning capability and storage capacity of two-hidden-layer feedforward networks, IEEE Transactions on Neural Networks, 2003, No. 14, pp. 274-281.
25. Geneticheskie algoritmy v MATLAB [Genetic algorithms in MATLAB], 2011. Available at: http://habrahabr.ru/post/111417/.
Статью рекомендовал к опубликованию д.т.н., профессор В.П. Карелин.
Алхасов Станислав Сергеевич - Южный федеральный университет; e-mail: stanislav.alkhasov@fib.sfedu.ru; 347928, г. Таганрог, пер. Некрасовский, 44; тел.: +78634371743; кафедра ИАСБ; аспирант.
Целых Александр Николаевич - e-mail: ant@sfedu.ru; кафедра ИАСБ; д.т.н.; профессор.
Целых Алексей Александрович - e-mail: tselykh@sfedu.ru; кафедра ИАСБ; к.т.н.; доцент.
Alkhasov Stanislav Sergeevich - Southern Federal University; e-mail: stanislav.alkhasov@fib.sfedu.ru; 44, Nekrasovskiy, Taganrog, 347928, Russia; phone: +78634371743; the department IASB; postgraduate student.
Tselykh Alexander Nikolaevich - e-mail: ant@sfedu.ru; the department IASB; dr. of eng. sc.; professor.
Tselykh Alexey Aleksandrovich - e-mail: tselykh@sfedu.ru; the department IASB; cand. of eng. sc.; associate professor.
