CC BY
1
УДК 519.7
НАСТРОЙКА СТРУКТУРЫ ИСКУССТВЕННОЙ НЕЙРОННОЙ СЕТИ С ПОМОЩЬЮ САМОКОНФИГУРИРУЕМОГО МЕТОДА ГЕНЕТИЧЕСКОГО
ПРОГРАММИРОВАНИЯ
П. А. Шерстнев Научный руководитель - Л. В. Липинский
Сибирский государственный университет науки и технологий имени академика М. Ф. Решетнева Российская Федерация, 660037, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31
E-mail: sherstpasha99@gmail.com
Рассматривается применение метода генетического программирования для автоматической структуры искусственной нейронной сети. Подход модифицирован путем применения метода самоконфигурации эволюционных алгоритмов на уровне популяции. Подход позволяет в автоматизированном режиме строить сложные математически модели в различных областях, в том числе и в области космонавтики.
Ключевые слова: классификация, эволюционные методы, генетическое программирование, нейросеть, генетический алгоритм.
DESIGN OF THE STRUCTURE OF AN ARTIFICIAL NEURAL NETWORK USING A SELF-CONFIGURING METHOD OF GENETIC PROGRAMMING
P. A. Sherstnev Scientific supervisor - L. V. Lipinsky
Reshetnev Siberian State University of Science and Technology 31, Krasnoyarskii rabochii prospekt, Krasnoyarsk, 660037, Russian Federation E-mail: sherstpasha99@gmail.com
The application of the genetic programming method for the automatic structure of an artificial neural network is considered. The approach is modified by applying the method of self-configuration of evolutionary algorithms at the population level. The approach allows automated construction of complex mathematical models in various fields, including in the field of cosmonautics.
Keywords: classification, evolutionary methods, genetic programming, neural network, genetic algorithm.
Введение. Существующие стратегии нахождения оптимальной структуры предполагают либо задание заведомо большей, чем может быть необходимо для решения задачи, с последующим упрощением, либо наоборот [1]. Эти подходы имеют ряд недостатков, таких как прямое участие исследователя в формировании структуры и сложности задания начальной сети. Усложняют процесс настройки структуры и быстрые темпы повышения сложности сетей: появляются различные рекуррентные и сверточные сети и т. д. В связи с этим вопрос об алгоритмах автоматической настройки оптимальной структуры сети остается актуальным и сегодня.
Эффективным, учитывая вышеописанные недостатки, является разработка подходов автоматической настройки структуры ИНС. В работе [2] структура ИНС кодируется с
Актуальные проблемы авиации и космонавтики - 2022. Том 2
помощью метода генетического программирования (ГП), главная особенность которого состоит в том, что программы представляются в виде синтаксических деревьев, которые эволюционируют, используя принципы эволюционных методов. Внутренними элементами дерева (узлами) являются объекты функционального множества, внешними элементами (листьями) дерева являются объекты терминального множества [3].
В подходе [2] функциональное множество состоит из операций объединения (+) и упорядочивания (>). Терминальное множество состоит из блоков входных и скрытых нейронов. Таким образом, методом ГП можно настраивать структуры с различными связями не только от слоя к слою, а также различными функциями активации в одной сети.
Наборы данных. Ниже перечисленные классические задачи классификации, используемые в данной работе: Iris Data Set. Классификация ирисов с помощью ширины и длины цветков [4]; Wine Data Set. Определение происхождения вина, используя его химические характеристики [5]; Breast Cancer Wisconsin. Диагностика раковых клеток c использованием характеристики ядер клеток [6]; Credit risk. Задача принятия решения о выдаче кредита клиенту на основе информации о возрасте, доходе и размере запрашиваемого займа [7]; User knowledge modeling data set. Задача оценки уровня знаний студента [8].
Подход. В качестве модификации имеющегося подхода, в ГП применяется способ самоконфигурации из [9]. Суть данного метода самоконфигурации заключается в увеличении вероятности выбора того оператора, который доставил наибольшую среднюю пригодность в данном поколении. В качестве функции пригодности ИНС - индивидов использовалась точность обученных сетей с данной структурой. Настройка весовых коэффициентов (обучение сети) выполнялась генетическим алгоритмом. Результаты построенных моделей усредняются по 30 - ти запускам, в которых разбиение на подвыборки происходит каждый раз случайно.
Результаты. В табл. 1 представлены усредненные результаты и характеристики сетей по 30 запускам. Точность оцениваться с помощью F1 - меры. Выборка разделена на три части. На первой (Обучающая) части происходит обучение весовых коэффициентов, на второй (Тестовая) вычисление пригодности индивида, а на третьей (Контрольная) вычисляется эффективность полученной в итоге модели.
Таблица 1
Усредненные характеристики_
Набор данных Контрольная Входных Скрытых Скрытых Связей Глубина
выборка (F1 - мера) нейронов нейронов слоев дерева
Iris Data Set 0.940777 4.3 10.23 2.8 52.1 4.83
Wine Data Set 0.950401 11.7 11.56 2.8 85.03 5.83
Breast Cancer 0.951785 14.73 3.6 1.6 43.5 3.86
Credit risk 0.977768 4.0 10.93 3.33 50.43 4.26
User knowledge 0.939957 4.23 19.3 3.5 96.53 6.46
Проанализировав результаты в таблице, можно сделать вывод, что подход позволяет в автоматизированном режиме конструировать эффективные и компактные нейросети. Средняя точность всех сетей выше 0.9. Из 30 переменных в задаче Breast Cancer сети в среднем используют только 15.
Рассмотрим в качестве примера лучшую нейросеть, построенную для набора данных Wine Data Set. Точность нейросети на тестовой выборке составила 1. На рис. 1 слева изображено дерево, а справа ИНС, построенная по этому дереву. Синим цветом отображены скрытые нейроны (блоки скрытых нейронов). Сокращения функций активации: sg - сигмоидальная; rl - линейный выпрямитель; th - гиперболический тангенс. Серым цветом отображен нейрон смещения.
По рисунку выше видно, что сеть не использует 4 и 5 входы, а также имеет большое количество связей, идущих сквозь следующий слои. Кроме того, у сети присутствуют различные функции активации даже на одном слое.
Выводы. Описанный подход позволяет с минимальным участием исследователя конструировать сложные структуры, эффективно решающие задачи. Применение самоконфигурируемого алгоритма для метода генетического программирования убирает необходимость исследователя задавать типы эволюционных операторов, что еще больше автоматизирует процесс построения модели.
Библиографические ссылки
1. Миркес Е.М. Нейрокомпьютер, проект стандарта. // "Наука". Новосибирск. 1999. 337 с;
2. Липинский Л.В. Применение алгоритма генетического программирования в задачах автоматизации проектирования интеллектуальных информационных технологий / Л.В. Липинский, Е.С. Семенкин // Вестник Сибирского государственного аэрокосмического университета им. ак. М.Ф. Решетнева. - Вып. 3 (10). - 2006. - С. 22-26;
3. Koza J.R., Bennet F.H., Andre D., Keane M., Genetic Programming III, Morgan Kaufnamm pub., ISBN 1-55860-543-6, 1999;
4. UCI Machine Learning Repository: Iris Data Set - Сайт: [Электронный ресурс]. URL: https://archive.ics.uci.edu/ml/datasets/Iris (дата обращения 17.03.2022);
5. UCI Machine Learning Repository: Wine Data Set - Сайт: [Электронный ресурс]. URL: https://archive.ics.uci.edu/ml/datasets/Wine (дата обращения 17.03.2022);
6. UCI Machine Learning Repository: Breast Cancer Wisconsin (Diagnostic) Data Set - Сайт: [Электронный ресурс]. URL: https://archive.ics.uci.edu/ml/datasets/Breast+Cancer+ Wisconsin+%28Diagnostic%29 (дата обращения 17.03.2022);
7. Credit risk | Kaggle - Сайт: [Электронный ресурс]. URL: https://www.kaggle. com/upadorprofzs/credit-risk (дата обращения 17.03.2022)
8. UCI Machine Learning Repository: User Knowledge Modeling Data Set - Сайт: [Электронный ресурс]. URL: https://archive.ics.uci.edu/ml/datasets/User+Knowledge+Modeling (дата обращения 17.03.2022);
9. Семенкина М.Е. Самоадаптивные эволюционные алгоритмы проектирования информационных технологий интеллектуального анализа данных // Искусственный интеллект и принятие решений. - 2013. - №1. - С. 13-23.
© Шерстнев П. А., 2022
