CC BY
22Математические методы моделирования, управления и анализа данных
Во-вторых, в этой модели пороги всех признаков смешаны. В полученном решении для некоторого признака может оставаться большое число порогов, в то время как для многих других признаков пороги могут отсутствовать.
Поэтому, как показывают результаты практического решения задач, приближенное решение этой задачи может быть предпочтительней, чем оптимальное, так как это позволяет добиться лучшего компромисса в балансе «вычислительная сложность - разделяющая способность».
В связи с этим возникла необходимость решать новую задачу: выбрать такое расположение приемлемого числа порогов, при котором объекты различных классов разделены как можно сильнее.
Построенная и реализованная новая модель оптимизации позволяет находить такое расположение порогов, которое способствует лучшему качеству классификатора.
Библиографические ссылки
1. Краева Е. М., Масич И. С. Методы отбора закономерностей в логических алгоритмах распознавания // Решетневские чтения : материалы XVII Между -нар. науч. конф. / Сиб. гос. аэрокосмич. ун-т. Красноярск, 2013.
2. Boros E., Hammer P. L., Ibaraki T., Kogan A. Logical analysis of numerical data // Mathematical Programming. 1997. № 79. Р. 163-190.
References
1. Kraeva E. M., Masich I. S. Methods for pattern selection in logical algorithms of recognition // Materialy XVII Mezhdunarodnoy nauchnoy konferentsii "Reshetnevskie chteniya", Krasnoyarsk, 2013.
2. Boros E., Hammer P. L., Ibaraki T., Kogan A. Logical analysis of numerical data. Mathematical Programming 79, 1997, 163-190.
© Краева Е. М., Масич И. С., 2014
УДК 004.414.23
ИССЛЕДОВАНИЕ ВЛИЯНИЯ СТРУКТУРЫ НЕЙРОННОЙ СЕТИ НА ЭФФЕКТИВНОСТЬ ЕЕ РАБОТЫ
У. Н. Круглова, Л. В. Липинский
Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева Российская Федерация, 660014, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31 E-mail: [email protected], [email protected]
Исследуется влияние структуры ИНС на эффективность ее работы.
Ключевые слова: нейронные сети, структура ИНС.
ANALYSIS OF STRUCTURE INFLUENCE ON THE EFFICIENCY OF NEURAL NET WORK
U. N. Kruglova, L. V. Lipinskiy
Siberian State Aerospace University named after academician M. F. Reshetnev 31, Krasnoyarsky Rabochy Av., Krasnoyarsk, 660014, Russian Federation E-mail: [email protected], [email protected]
The author presents analysis of structure influence on the efficiency of ANN work.
Keywords: neural nets, structure of ANN.
Нейронные сети - это математические модели обработки информации, основанные на имитации работы нервных клеток живого организма. Первые искусственные нейронные сети были разработаны в пятидесятых годах, в то время они могли решать такие задачи, как предсказание погоды, и проводили анализ электрокардиограмм. К настоящему времени область применения нейронных сетей значительно расширилась. Сегодня сети успешно используются в задачах распознавание образов, классификации, принятия решений и управления, прогнозирования, аппроксимации [1].
Различают несколько видов нейронных сетей. На практике наибольшее распространение получили сети вида «многослойный персептрон». Входной сигнал в
таких сетях распространяется в прямом направлении, от слоя к слою. Каждый нейрон сети имеет нелинейную функцию активации [2].
Для настройки нейронной сети на конкретную задачу необходимо выбрать эффективную структуру и весовые коэффициенты. Исследователю необходимо решить вопрос о распределении вычислительных ресурсов [3]. Что лучше: исследовать больше различных структур или потратить вычислительные ресурсы на оптимизацию весовых коэффициентов для конкретной сети? Эффективное распределение ресурсов может не только помочь исследователю в формировании нейросетевых моделей, но и повысить эффективность автоматизированных процедур нейросетевого
Решетневскуе чтения. 2014
моделирования [4]. Для исследования данного вопроса были проведены следующие эксперименты.
В качестве тестового примера выберем задачу определения уровня звукового давления в безэховой аэродинамической трубе. В задаче имеется 5 входов и 6 выходов. В качестве исходной структуры выберем структуру, найденную с помощью автоматизированной процедуры [5; 6]. Для каждого запуска обучения ИНС рассчитывалась ошибка. Сравнение структур проводилось на основе усреднения ошибок, полученных многократным обучением и тестированием. Далее были проведены случайно выбранные изменения структуры: добавление и удаление нейронов сначала проходило в окрестности эффективной структуры, чтобы оценить поведение ИНС при незначительном изменении ресурсов, затем задавалась структура, сильно отличающаяся от эффективной, для оценки поведения при значительном изменении ресурсов.
Рассмотрим подробно результаты исследования.
Значение ошибки для разных структур
На рисунке пятая структура является эффективной с точки зрения алгоритмов автоматического формирования структуры ИНС. Однако при дальнейшем подборе структуры было выявлено, что может быть найдено решение лучшее. Так, добавляя и снижая ресурсы ИНС, можно влиять на ошибку расчетов ИНС. Комбинация нейронов в скрытых слоях для рассмотренных структур представлена в таблице.
Состав структур на скрытых слоях ИНС
Структура Кол-во Кол-во нейронов на слое
слоев 1 2 3 4
1 4 9 9 9 9
2 3 10 10 10 -
3 4 15 9 2 30
4 4 20 20 20 20
5 3 9 9 9 -
6 3 10 10 5 -
7 3 10 2 5 -
8 3 3 2 2 -
9 3 3 3 2 -
10 3 2 2 2 -
11 3 2 2 1 -
Как видно из таблицы и рисунка, предложенная автоматизированной процедурой структура не является лучшей. Даже при просмотре ближайшей окрестности данной структуры были обнаружены сети, ре-
шающие задачу лучше, чем исходная. При значимых изменениях структуры ошибка значительно изменялась. В данном случае увеличивалась. Отсюда можно сделать следующие выводы. Во-первых, структура нейронной сети является значимым параметром, влияющим на свойство обобщения сети и на ее работу в целом. Во-вторых, при использовании автоматизированных средств формирования структуры нейронной сети может быть полезным применение локальных процедур просмотра окрестностей эффективных структур.
Библиографические ссылки
1. Круглов В. В., Дли М. И., Голунов Р. Ю. Нечёткая логика и искусственные нейронные сети. М. : Физматлит, 2001. 221 с.
2. Оссовский С. Нейронные сети для обработки информации / пер. с пол. И. Д. Рудинского. М. : Финансы и статистика, 2002. 344 с.
3. Уоссермен Ф. Нейрокомпьютерная техника // Теория и практика. М. : Мир, 1984.
4. Липинский Л. В., Семенкин Е. С. Применение алгоритма генетического программирования в задачах автоматизации проектирования интеллектуальных информационных технологий // Вестник СибГАУ. 2006. Вып. 3 (10).
5. Липинский Л. В., Семенкни Е. С. Структурная адаптация нейронной сети методом генетического программирования // Исследование, разработка и применение высоких технологий в промышленности : сб. тр. II Междунар. науч.-практ. конф. СПб. : Изд-во Политехн. ун-та, 2006.
6. Попов Е. А., Семенкина М. Е., Липинский Л. В. Evolutionary algorithm for automatic generation of neural network based noise suppression systems // Вестник СибГАУ. 2012. Вып. 4(44).
References
1. Kruglov V. V., Dli M. I., Golunov R. Yu. Nechotkaya logika i iskusstvennyye neyronnyye seti. M. : Izd-vo Fizmatlit, 2001. 221 s.
2. Ossowski S. Neural networks for information processing / Per. Polish, I. D. Rudinsky. M. : Finance and statistics, 2002, 344 p.
3. Wasserman F. Neurocomputing / Theory and Practice. M. : World, 1984.
4. Lipinskiy L. V., Semenkin E. S. Primenenie algoritma geneticheskogo programmirovaniya v zadachakh avtomatizatsii proektirovaniya intellektual'nykh in-formatsionnykh tekhnologiy // Vestnik SibGAU. 2006. Vol. 3 (10).
5. Lipinskiy L. V., Semenkni E. S. Strukturnaya adaptatsiya neyronnoy seti metodom geneticheskogo programmirovaniya // Issledovanie, razrabotka i primenenie vysokikh tekhnologiy v promyshlennosti : sb. tr. II Mezhdunar. nauch.-prakt. konf. SPb. : Izd-vo Politekhn. unta, 2006.
6. Popov E. A., Semenkina M. E., Lipinskiy L. V. Evolutionary algorithm for automatic generation of neural network based noise suppression systems // Vestnik SibGAU. 2012. Vol. 4(44).
© Круглова У. Н., Липинский Л. В., 2014
