CC BY
30
ИНФОРМАТИКА, ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА, ОБРАБОТКА И ЗАЩИТА ИНФОРМАЦИИ
УДК 517.9
ОБ АЛГОРИТМАХ АВТОМАТИЗИРОВАННОЙ НАСТРОЙКИ МНОГОКРИТЕРИАЛЬНОГО ГЕНЕТИЧЕСКОГО ПРОГРАММИРОВАНИЯ В ЗАДАЧАХ КЛАССИФИКАЦИИ И ВОССТАНОВЛЕНИЯ РЕГРЕССИИ
Е.Д. Лосева, Л.В. Липинский
Рассматривается процесс формирования эффективных ансамблей искусственных нейронных сетей с применением многокритериального генетического программирования, который осуществляется в два этапа. На первом этапе формируются и отбираются наиболее эффективные нейронные сети по двум критериям. На втором этапе оцениваются сети в составе ансамбля - третий критерий. Предложена модифицированная процедура самоорганизации многокритериального генетического программирования "Self-adjusting" Genetic Programming, которая при сравнимой эффективности более проста в реализации и показывает высокую эффективность.
Ключевые слова: ансамбли нейросетевых моделей; самоорганизующееся генетическое программирование; решение ансамбля; сравнение процедур.
В настоящее время существует достаточно большое количество программных пакетов, позволяющих моделировать и применять технологии нейросетевого моделирования (НС). Но применение этих программных пакетов сопровождается некоторыми трудностями и временными затратами, так как необходимо выбрать подходящие параметры: функции активации, архитектуру, а также осуществить обучение сети [1], при том, что усложнение структуры НС приводит к переобучению, а не улучшению свойств обобщения. Поэтому альтернативным способом повысить обобщающие способности сетей является создание ансамблей сетей. Ансамбль НС (АНС) - объединение нескольких сетей для получения общего решения [2]. В статье предложен двухэтапный автоматизированный метод формирования нейросетей, их обучения, а также формирования ансамблей се-
42
тей с использованием трех критериев. Важное значение имеет схема получения общего решения ансамбля. Для этого авторами разработаны две схемы для различных типов задач - Schema ED2 (англ. Schema Ensemble Decision 2) и Schema ED3 (англ. Schema Ensemble Decision 3), которые являются модификацией метода boosting [3].
В основе реализации разработанного автоматизированного подхода лежит алгоритм генетического программирования (ГП). С целью повышения эффективности работы алгоритма разработана и описана модифицированная самоорганизующаяся процедура (англ. "Self-adjusted" Genetic Programming - SelfAGP), позволяющая выбирать эффективные сочетания эволюционных операторов (ЭО) в ГП [4,5].
Для применения реализации описанного подхода необходимо применение технологии ГП - представление объекта (НС) в форме дерева. Дерево представляет собой направленный граф, состоящий из узлов и конечных вершин (листьев). В узлах - операторы, объединяющие нейроны в слой и слои - в целую сеть. Эти объекты выбираются из функционального множества F {+; <}. В конечных вершинах представлены элементы нейро-сетевой модели - нейроны. Это объекты, выбранные из терминального множества T {входные блоки: In12,...,Innm; нейроны (функции активации: Fb F2, ..., Fn)}. Более подробно схема формирования деревьев Нс описана в работе [6].
Ниже представлен двухэтапный алгоритм автоматизированного формирования ансамблей НС с применением самоорганизующегося ГП.
Описание алгоритма.
Шаг 1. Всем сочетаниям ЭО в ГП назначается равная вероятность выбора. Генерирование популяции индивидов. Каждый индивид - это дерево - НС.
Шаг 2. Обучение НС. Для оптимизации весов применены два алгоритма - однокритериальный генетический алгоритм (ГА) [7] и алгоритм обратного распространения ошибки (англ. Backpropagation) [8].
Шаг 3. Случайным образом выбрать сочетание эволюционных операторов. Для рекомбинации был разработан и применен метод ASR (англ. Averaged Structure Recombination), основанный на идее эволюционных стратегий [9]. Ниже описана разработанная процедура рекомбинации ASR, основанная на усреднении структур двух отобранных родителей - индивидов. Разработанный метод является более простым в реализации и не менее эффективным, как показывают представленные ниже результаты исследований. Отбор индивидов по двум критериям производился методом VEGA (англ. Vector Evaluated Genetic Algorithm) [10, 11].
Шаг 4. Оценка индивидов. Первый критерий оценивает точность решения, а для задач, выход которых измеряется в непрерывных шкалах, вычисляется функция пригодности:
1 Г * 2 D = — л Z (Уi ~Уд -»mm,
О)
1+ D
(2)
где N - объем используемой выборки (тестовой или обучающей); yt * -эталонные значения; yi - выход сети или ансамбль нейронных сетей.
Для решения задачи классификации первым критерием является оценка точности классификации. Функция пригодности вычисляется по формуле
Fit1 = — —> max, (3)
N
где А - количество правильно классифицированных объектов; N - общее количество объектов.
Вторым критерием качества является сложность НС:
где п - количество входных нейронов сети; Л^ - количество нейронов на /*-м скрытом слое сети; Ь - общее количество скрытых слоев в нейросети; / - количество выходных нейронов сети.
Шаг 5. Селекция индивидов.
Шаг 6. Рекомбинация выбранных индивидов - создание потомков.
Описание метода АБЯ:
а) определение количества скрытых слоев НС для первого индивида - Ьауег!п, а для второго индивида - ЬауеГп;
б) определение количества нейронов на каждом скрытом слое для индивида 1 и 2, как показано в табл. 1, 2;
в) вычисление среднего количества скрытых слоев (имеющих нейроны), учитывая данные из табл. 1 и 2:
НС\ + НС2 _ СЬауег11 + Ьауег21) + (Ьауег12 + Ьауег2 2) _ 2 + 4
2 2 2 " ; ( }
г) вычисление среднего количества нейронов на каждом скрытом слое, учитывая результаты вычислений и данные из табл. 1 и 2. Если усредненное значение не целое, то проводится округление. Вычисление проводится по формулам:
Fitz =п-Щ+ X NfNi+1 +Nl-J mm.
(4)
7=1
слой 1
1 2
Neuron 1 + Neuron 1 5 + 4
1
= 4,5 «4,
(6)
2
2
слой 2
слой 3
НС 1
Layer1n Neuron1n
1 5
2 3
3 0
4 0
1 2 Neuron 2 + Neuron 2 3 + 3
2 2
12 Neuron 3 + Neuron 3 0 + 4
2, (7)
= 2; (8) 22
Скрытые слои у 1го индивида
Таблица 1
Таблица 2
Скрытые слои у 2го индивида
НС 2
Layer2n 2 Neuron n
1 4
2 3
3 4
4 5
д) формирование структуры потомка согласно данным из табл. 3. Шаг. Мутация потомков.
Шаг 8. Оценка потомков по двум функциям пригодности Fit1, Fit 2 .
Шаг 9. Выбор новых эволюционных операторов. Определение новых вариантов сочетаний ЭО проводится после расчета значения
Fit _ Oper :
1 Np kr ,
Fit _ Oper =--XX Fit* ® max, (9)
p Np d=1 i=1
где kr - количество критериев; Fittd - пригодность i-го потомка по d-му критерию; N p - количество потомков, созданныхp-м сочетанием ЭО.
Таблица 3
Информация об архитектуре потомка
НС (12)
Layer!n Neurons n
1 4
2 3
3 2
Количество суммированных функций пригодности может быть различным в зависимости от алгоритма. Сочетание ЭО, которое получило большее значение Fit _ Oper , становится "приоритетным" вариантом, и его вероятность быть выбранным повышается. После пересчета вероятностей всех сочетаний проводится замещение. Сочетание ЭО с наименьшей вероятностью замещается на "приоритетное". Перерасчет вероятностей проводится на каждой итерации алгоритма.
Шаг 10. Проверка условия останова: если алгоритм достиг заданной точности или исчерпаны вычислительные ресурсы, то переход к шагу 11, иначе к шагу 2.
Шаг 11. Выбор "лучшей" НС.
На втором этапе осуществляется отбор НС в финальный ансамбль. Для формирования эффективного финального ансамбля НС используются те же шаги, как на первом этапе алгоритма, но с некоторыми поправками.
Шаг 1, Шаг 2, Шаг 3 идентичны шагам, описанным на первом этапе алгоритма.
Шаг 4. К каждому созданному индивиду добавляется "лучшая" сеть, найденная на первом этапе алгоритма. Создаются ансамбли НС. Количество "лучших" сетей в ансамбле не фиксировано.
Шаг 5. Случайным образом выбрать сочетание эволюционных операторов. Используются те же виды ЭО, как на первом этапе алгоритма.
Шаг 6. Оценка индивидов по третьему критерию эффективности. Третьим критерием является точность решения ансамбля НС. Для получения решения ансамбля применяются схемы - Scheme ED2 или Scheme ED3 в зависимости от типа задачи.
Описание схемы Scheme ED2 для задачи восстановления регрессии
1. Вычисление выходных значений сетей, входящих в ансамбль для каждого объекта обучающей выборки.
2. Вычисление разницы между эталонными и полученными значениями выходов сетей по каждому объекту обучающей выборки.
3. Выбор сети из ансамбля, показавшей минимальную разницу для каждого объекта из тестовой выборки.
4. Определение ближайшего объекта из обучающей выборки для каждого объекта из тестовой выборки.
5. Вычисление выходов по тестовой выборке. Вычисление выхода для объекта тестовой выборки производится той НС, которая показала лучший результат на объекте обучающей выборки, ближайшем к текущему объекту тестовой выборки.
Описание схемы Scheme ED3 для задачи классификации.
1. Классификация объектов из обучающей выборки сетями из ансамбля. Подсчет правильно классифицированных объектов по каждой НС. Та НС, которая правильно показала определила большее количество объектов считается более эффективной.
2. Определение для каждого объекта тестовой выборки ближайшего объекта из обучающей выборки. Вычисление выхода по тестовой выборке. Вычисление выхода проводится той НС, которая показала лучший результат на ближайшем объекте обучающей выборки. Если несколько НС показали хороший результат, то предпочтение отдается более эффективной НС.
3. Тестирование сетей. Вычисление эффективности общего решения ансамбля (точность классификации). Точностью классификации является отношение суммы правильно классифицированных объектов из ТВ найденными сетями к общему количеству объектов в базе данных.
Шаг 7. Селекция индивидов. Селекция осуществляется с применение метода VEGA.
Шаг 8. Рекомбинация выбранных индивидов.
Шаг 9. Мутация потомков.
Шаг 10. Оценка потомков. Функция пригодности вычисляется по формуле (2) или (3) в зависимости от типа задачи. Процедура выбора подробно описана на шаге 10 первого этапа алгоритма.
Шаг 11. Алгоритм останавливается, если достигнута заданная точность или исчерпаны вычислительные ресурсы, иначе переход к шагу 3. По завершению работы алгоритма формируется финальный ансамбль из наиболее эффективных сетей, находившихся в популяции.
Ошибка решения ансамбля в процентах для данных, измеряющихся в непрерывных шкалах вычисляется по формуле
Error =-D-:--100%, (10)
(y max _ y min)
D - погрешность аппроксимации, вычисленная по формуле (1); (ymax _ ymin) - разница между максимальным и минимальным значением выхода нейросети или ансамбля НС.
Точность решения ансамбля в процентах для задачи классификации вычисляется по формуле
Accuracy = OC _ measure■ -100%, (11)
max 47
где OC _ measure - точность классификации, вычисленная по формуле (3).
Для проведения исследований была реализована и запатентована программная система на языке объектно-ориентированного программирования Visual Studio C# (свидетельство о гос. регистрации под № 2016614987): "Программная система автоматизированного формирования коллективов интеллектуальных информационных технологий для решения задач прогнозирования, классификации и моделирования многокритериальным генетическим программированием".
Далее приведены результаты сравнительного анализа разработанной процедуры самоорганизации формирования ансамблей НС многокритериальным ГП - SelfAGP и известной процедуры самоконфигурации -SelfCGP (англ. Self-configurable Genetic Programming), основанной на определении типов операторов селекции, рекомбинации, мутации с учетом вычисленных значений вероятностей Pj применения j-го вида i-го типа оператора по нескольким формулам [12]. Создание потомков в алгоритме проводится по стандартной схеме ГП [13]. Каждый созданный потомок помещается в промежуточную популяцию. После того, как промежуточная популяция заполнена, производится оценка значений пригодности потомка по одной из функций пригодности. Проводится обновление значений вероятностей согласно его эффективности на каждой итерации. Алгоритм останавливается, если кончились выделенные ресурсы или достигнута заданная точность. Более подробно эта процедура описана в [14].
Для оценки эффективности двух процедур самоорганизации многокритериального ГП - SelfAGP и SelfCGP, был сформирован ряд тестовых и практических задач, представленный в табл. 4. В табл. 4 в первой колонке сокращенно указан тип решаемой задачи: "А" - аппроксимация, "П" - прогнозирование, "К" - классификация. В шестой колонке "Т" указан тип данных следующими обозначениями: Н - непрерывные, Д - дискретные. В последней колонке "№" указан номер решаемой задачи. В табл. 5 в первой колонке указан тип применяемого оператора рекомбинации: разработанный тип ASR и стандартная рекомбинация (СР). Задачи прогнозирования и классификации подобраны из репозитория UCI Machine Learning Repository [15]. Результаты исследования эффективности двух процедур SelfAGP и SelfCGP представлены в табл. 5, 6, 7. В табл. 5 приведены результаты тестирования единичной НС, созданной с применением только первого этапа описанного алгоритма и ансамбля НС, созданного с применением двух этапов с различными типами рекомбинации. В табл. 6 приведены усредненные показатели эффективности по точности и быстродействию описанных процедур самоорганизации с различным количеством НС в финальном ансамбле (для задачи 2). Для исследования значимости различий в эффективности используемых процедур выбран метод /-критерий Стьюдента при уровне значимости p = 0,05.
48
Для тестирования определены следующие параметры: максимальное число скрытых слоев нейронной сети - 5; максимальное число нейронов на каждом слое в НС - 10; количество вариантов активационных функций - 8; количество входов НС - 3 и 14; количество выходов НС 1 - 18; количество запусков алгоритма для каждого типа задач - 100.
Таблица 4
Типы тестовых и практических задач
Классы /
Задача Прикладная область задачи / Вид функции Объем БД Диапазон / Описание входы и выходы НС Т №
А у = 10 • х3 / х1 х2 1000 х,2 6 [1; 1000] х3 6 [0,1; 100] 3 входа и 1 выход Н 1
у = 10^т^х2)+0.05(х3-10)2 1500 хие [0,52;150] х2 6 [1,5;1650] 3 входа и 1 выход Н 2
П Медицина 294 Прогнозирование сердечно - сосудистых заболеваний у человека 14 входов и 8 выходов Н 3
Свойства свободных
Ионосфера 352 электронов в ионосфере 2 класса Н 4
К Робототехника 450 Координация движения мобильного робота 3 класса Н 5
Солнечная активность 323 Типы вспышек на солнце 3 класса Д 6
Таблица 5
Результаты тестирования двух процедур 8в1/ЛСР и 8в1/ССР
для всех типов задач
Восстановление регрессии Алгоритм
Бе^ЛОР Бе^СОР
Тип Модель Номер задачи
1 2 1 2
Ошибка ансамбля, %
ЛБЯ НС 3,98 5,35 4,98 7,03
Ансамбль НС Количество "лучших" сетей в ансамбле на шаге (4) 1 2,18 5,01 2,14 5,05
2 1,58 4,45 1,32 5,15
3 1,28 3,01 1,62 4,19
4 1,4 3,46 1,21 4,94
5 1,29 4,83 1,28 5,22
Среднее значение (ЛБЯ), % 1,95 4,35 2,09 5,26
Окончание табл. 5
Восстановление регрессии Алгоритм
Бе1£ЛаР Бе1ГСаР
Модель Номер задачи
1 2 1 2
Ошибка ансамбля, %
Среднее значение, % 3,1 5 3,67
СР НС 4,82 5,02 5,14 5,57
Ансамбль НС Количество 'лучших" сетей в ансамбле на шаге (4) 1 3,55 4,96 4,23 4,74
2 2,02 5,51 3,72 5,65
3 1,72 4,91 1,61 5,09
4 1,16 3,19 1,71 3,26
5 2,02 4,01 2,36 4,73
Среднее значение (СР), % 2,54 4,6 3,12 4,84
Среднее значение, % 3,57 3,98
Классификация Алгоритм
Бе1£ЛаР Бе1ГСаР
Тип Модель Номер задачи
4 5 6 4 5 6
Точность ансамбля, %
ЛБЯ НС 48,78 47,12 38,43 59,59 53,81 44,57
Ансамбль НС Количество "лучших" сетей в ансамбле на шаге (4) 1 53,05 65,02 72,22 61,61 51,92 65,2
2 73,22 68,61 71,65 63,41 68,2 66,83
3 72,67 69,25 73,01 72,11 69,33 65,76
4 77,69 71,29 88,02 79,92 74,1 62,2
5 75,68 89,39 73,11 60,13 76,22 71,6
Среднее значение (ЛБЯ), % 65,84 59,45 70,07 66,13 65,59 62,69
Среднее значение, % 65,12 64,8
СР НС 47,62 50,56 41,55 41,54 46,38 54,06
Ансамбль НС Количество "лучших" сетей в ансамбле на шаге (4) 1 55,07 55,43 59,2 61,43 57,84 55,4
2 57,74 68,84 60,08 64,7 70,96 65,97
3 66,13 65,23 61,59 65,55 62,73 70,5
4 65,57 65,99 66,2 67,2 72,14 66,33
5 60,09 69,98 67,63 64,35 60,64 70,74
Среднее значение (СР), % 60,6 64,48 62,6 64,2 61,78 63,83
Среднее значение, % 62,56 63,27
Таблица 6
Результаты тестирования процедур 8в1/ЛСР и 8в1/ССР для задачи 3
Количество "лучших" сетей Алгоритм
Бе1£ЛаР Бе1ГСаР
Выходы ансамбля НС Выходы ансамбля НС
1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8
Ошибка ансамбля, % Ошибка ансамбля, %
1 2,5 5,5 7,8 6,4 9,1 1,1 1 2,4 2,5 4 6 6 9,4 1,2 1,5 2
2 2,5 5,2 7,3 7,4 9,9 1,3 1 2,6 1,9 5 8 6 10 1 1,3 2
3 2,1 5,6 7,8 7,9 9 1,2 1 2,6 1,8 5 8 7 7,3 1,2 1,1 3
Таблица 7
Усредненные показатели эффективности и быстродействия двух процедур 8в1/ЛСР и 8в1/ССР с различным количеством НС в финальном
ансамбле для задачи 2
Размер финального ансамбля Алгоритм
Бе^ЛОР Бе^СОР
Ошибка ансамбля, % Время, сек. Ошибка ансамбля, % Время, сек.
2 5,38 50,8 6,15 72,1
3 4,73 74,9 4,54 90,5
4 4,03 90,4 4,05 103,0
5 4,27 100,2 5,29 211,6
6 4,32 110,6 5,27 225,1
7 3,42 122,3 3,45 239,0
8 3,17 141,9 3,16 256,2
12 5,25 151,2 5,56 260,5
15 5,19 156,8 5,22 364,3
18 4,91 160,0 4,16 374,0
Среднее 4,47 115,91 4,68 394,24
Предложены двухэтапная процедура (алгоритм) автоматизированного проектирования НС, их обучения и создания ансамблей. Проведено тестирование описанного алгоритма с применением двух процедур автоматизации выбора наиболее эффективных ЭО: Бе^ЛОР и Бе^СОР. Усредненные показатели эффективности создаваемых ансамблей с применением процедур Бе^ЛОР и Бе^СОР для задач 1, 2 составляет: 3,36 и 3,82 % соответственно, а для задач 4, 5, 6 - 63,84 и 64,03 % соответственно (см. табл. 5). Применение описанного варианта рекомбинации ЛБЯ, основанного на применении идеи эволюционных стратегий показывает свою эффективность. Это подтверждается данными, приведенными в табл. 5, где средняя эффективность метода ЛБЯ выше, чем СР для задач 1, 2 и составляет 0,52 % с применением Бе^ЛОР и 0,41 % с применением БеНСОР. Аналогично повышение показателей эффективности наблюдается и для задач 4, 5, 6. По результатам тестирования предложенного алгоритма наблюдается повышение эффективности получаемых решений ансамбля за счет применения трех описанных критериев, что можно увидеть из табл. 5, где показана существенная разница между показателями эффективности решения единичной НС и решения ансамбля. По результатам, приведенным в табл. 7, усредненное значение ошибки и затраченного времени для Бе^ЛОР -4,47 % / 115,91 с, а для Бе^СОР - 4,68 % / 394,24 с. В целом, как видно из табл. 5, 6, 7, эффективность решений с применением процедуры Бе^ЛОР выше, чем 8е1ГСОР. Применение /-критерия Стьюдента показало значимость различий этих процедур. Необходимо отметить, что процедура Бе1-£ЛОР проще в реализации по сравнению с Бе^СОР, при этом по эффектив-
51
ности SelfAGP не уступает SelfCGP. Можно сделать вывод целесообразности применения описанного алгоритма SelfAGP с точки зрения сокращения временных затрат на работу алгоритма, а также повышения эффективности получаемых решений.
Список литературы
1. Anderson D., McNeill G. Artificial neural networks technology: DACS report, 1992. P. 1-34.
2. Бухтояров В.В., Семенкин Е.С. Комплексный эволюционный подход для проектирования коллективов нейросетевых технологий // Вестник Сибирского государственного аэрокосмического университета имени академика М.Ф. Решетнева. №3. 2010. С. 9 - 15.
3. Loseva Elena, Lipinsky Leonid, Kuklina Anna. Eensembles of neural networks with application of multi-objective self-configurable genetic programming in forecasting problems // Natural Computation (ICNC): 11th International Conference. 2015. No. 15700731. P. 686 - 690.
4. Koza J.R. Genetic Programming // Programming of Computers by Means of Natural Selection: MIT Press. 1992. P. 109 - 120.
5. Huang J.-J., Tzeng G.-H., Ong Ch.-Sh. Two-stage genetic programming (2SGP) for the credit scoring model // Applied Mathematics and Computation. 2006. No. 174 (2). P. 1039 - 1053.
6. Loseva E.D., Lipinsky L.V. Ensembles of neural networks with application of multi-criteria self-configurable genetic programming // Vestnik Sib-GAU. 2016. Vol. 17. No. 1. P. 67 - 72.
7. Holland J.H. Adaptation in Natural and Artificial System University of Michigan Press. 1975. P. 18 - 25.
8. Integer Magoulas G.D., Vrahatis M.N., Androulaki G.S. Improving the Convergence of the Backpropagation Algorithm Using Learning Rate Adaptation Methods // Neural Computation. 1999. GR-261.10. P. 1769 - 1796.
9. 10 Top Ten Reviews [Электронный ресурс] // URL: http:// http://www.insycom.ru/html/metodmat/ism2012/Lec 5 2.pdf (дата обращения (02.03.2016).
10. Ashish G. and Satchidanada D. Evolutionary Algorithm for Multi-Criterion Optimization: A Survey // International Journal of Computing & Information Science. 2004. Vol. 2. No. 1. P. 43 - 45.
11. Mixed Evolution Strategies for Parameter Optimization / Li Rui, T.M. Michael Emmerich, Jeroen Eggermont, Thomas Back, M. Schutz, J. Dijkstra, J.H.C. Reiber // Evolutionary Computation. 1993. P. 29 - 64.
12. Семенкина М.Е. Самоадаптивные эволюционные алгоритмы проектирования информационных технологий интеллектуального анализа данных // Искусственный интеллект и принятие решений. 2013. С. 1 - 23.
13. Eckart Zitzler, Kalyanmoy Deb, Lothar Thiele. Comparison of Mul-tiobjective Evolutionary Algorithms: Empirical Results. c 2000 by the Massachusetts Institute of Technology Evolutionary Computation 8(2). P. 173-195.
14. Asuncion A., Newman D. UCI machine learning repository. University of California, Irvine, School of Information and Computer Sciences, 2007. Available at: http://www.ics.uci.edu7~mlearn7MLRepository.html (accessed: 10.1.2016).
Лосева Елена Давидовна, магистрантка, rabota lena 19@,mail.ru, Россия, Красноярск, Сибирский государственный аэрокосмический университет им. академика М. Ф. Решетнева,
Липинский Леонид Витальевич, канд. техн. наук, доц., lipinskiyl@mail.ru, Россия, Красноярск, Сибирский государственный аэрокосмический университет им. академика М. Ф. Решетнева
ABOUT ALGORITHMS FOR AUTOMOTIVE SETTINGS OF MULTI-CRITERIA GENETIC PROGRAMMING IN THE TASKS OF CLASSIFICATION AND REGRESSION RECOVERY
E.D. Loseva, L.V. Lipinsky
In this paper the development of effective ensembles of artificial neural networks using multi-criteria genetic programming is represented. The formation ensembles of neural network in two stages is described. In the first stage the single neural networks using two criteria of effectiveness are generated and selected. In the second stage the effectiveness of neural networks in ensemble are estimated. In this paper the authors a bootstrapping modification procedure "Self-adjusting" for Genetic Programming is proposed, which is more easy in implementation and shows high efficiency.
Key word: ensembles of neural network models, "Self-adjusting" genetic programming, ensemble decision, comparison of procedures.
Loseva Elena Davidovna, master, rabota_lena_19@,mail.ru, Russia, Krasnoyarsk, Siberian Reshetnev State Aerospace University,
Lipinski Leonid Vitalievich, candidate of technical sciensces, docent, lipins-kiyl@,mail.ru, Russia, Krasnoyarsk, Siberian Reshetnev State Aerospace University
