CC BY
29ОЦЕНКА ЭФФЕКТИВНОСТИ ОБУЧЕНИЯ НЕЙРОННЫХ СЕТЕЙ, РЕАЛИЗУЮЩИХ ВЫПОЛНЕНИЕ ФУНКЦИЙ АВТОМАТИЗИРОВАННЫХ СИСТЕМ УПРАВЛЕНИЯ
Аверьянова Юлия Александровна,
инженер 3 категории Ростовского-на-Дону научно-исследовательского института радиосвязи Федерального научно-производственного центра, г. Ростов-на-Дону, Россия, [email protected]
Емельянов Роман Валентинович,
к.т.н., начальник научно-технического комплекса
Ростовского-на-Дону научно-исследовательского института радиосвязи Федерального научно-производственного центра, г. Ростов-на-Дону, Россия, [email protected]
Сташенко Вячеслав Владимирович,
к.ф.-м.н., старший научный сотрудник
Ростовского-на-Дону научно-исследовательского института радиосвязи Федерального научно-производственного центра,
г. Ростов-на-Дону, Россия, [email protected]
Строцев Андрей Анатольевич,
д.т.н., зам. начальника научно-технического комплекса по науке Ростовского-на-Дону научно-исследовательского института радиосвязи Федерального научно-производственного центра,
г. Ростов-на-Дону, Россия, [email protected]
АННОТАЦИЯ
Предложена методика оценки эффективности обучения нейронных сетей, реализующих выполнение функций автоматизированных систем управления. Методика позволяет при решении задачи выбора типа, топологии и процедуры обучения нейронной сети перейти от многокритериального пространства к двумерному пространству критериев обобщённых «затрат» на создание прикладной нейронной сети и качества её функционирования. Для этого пространства применяется оптимизация по Парето. Приведен пример применения методики для оценки эффективности обучения многослойного персептрона распознаванию образов при различных условиях.
Ключевые слова: искусственная нейронная сеть; оценка эффективности; разнообразных типов ИНС; создание прикладной нейронной сети.
Для цитирования: Аверьянова Ю.А., Емельянов Р.В., Сташенко В.В., Строцев А.А. Оценка эффективности обучения нейронных сетей, реализующих выполнение функций автоматизированных систем управления // I-methods. 2017. Т. 9. №. 4. С. 32-41.
Развитие теории искусственных нейронных сетей (ИНС) и её применения для решения широкого круга практических задач, в том числе, в автоматизированных системах управления, привело к росту количества вариантов ИНС: разнообразных типов ИНС, их топологий и процедур обучения. Для систематизации процесса разработки и при-
менения ИНС, начиная с 1998 года, были предприняты попытки разработки и внедрения стандартов в этой области [1], а также оценки влияния условий задачи на качество функционирования ИНС [2]. Однако, в последние годы, в том числе, за счёт применения ИНС для решения новых задач [3], количество их вариантов возросло до количеств [4-7], которые не
позволяют без специального аппарата принятия решения выбрать из них рациональные для заданных условий разработки и применения ИНС.
Цель: определение рациональных вариантов искусственных нейронных сетей, реализующих выполнение функций автоматизированных систем управления, для заданных условий их разработки и применения.
Решаемая задача: разработка методики оценки эффективности обучения нейронных сетей.
Определим вариант ИНС как совокупность её типа, топологии и процедуры обучения. Тип ИНС определяется набором характеристик, состав которых определяется классификационными признаками. Топология ИНС определяется числом структурных элементов (например, число слоёв, число нейронов в слоях) и их связями. Процедура обучения как процесс подразумевает определение алгоритма обучения, формирование обучающей выборки, выбор и применение требуемого программного и аппаратного обеспечения.
Приведём в качестве примера наиболее известные типы ИНС, алгоритмы их обучения и их некоторые особенности. В частности, выделяют ИНС прямого распространения сигнала [8] и рекуррентные [9]. Наиболее распространенная ИНС прямого распространения сигнала - многослойный персептрон [10]. Он широко применяется в распознавании образов [11], имеет фиксированную сложность алгоритма, зависящую от размера ИНС и обучающей выборки и позволяет получить достаточно высокие показатели на распознавании рукописных символов [12]. Сети радиально-базисных функций [13] отличаются от многослойного персептрона большим возможным количеством нейронов, при ограничении на количество слоёв, равное двум. Поэтому они обучаются быстрее многослойного персептрона и, как и многослойный персептрон, могут быть обучены с учителем и без него. Сети радиально-базисных функций демонстрируют высокую эффективность в задачах аппроксимации [14]. Cети каскадной корреляции [15] представляют собой модификацию многослойного персептрона, к которому в процессе обучения добавляются новые нейроны. ИНС каскадной корреляции биологически обоснованы и демонстрируют устойчивость к зашумлению входного сигнала при распознавании образов [16]. Сети каскадной корреляции для задач одного масштаба имеют большую сложность алгоритма обучения и применения, чем многослойный персептрон, поэтому для их обучения используют графические ускорители (GPU) [17, 18]. Сеть Кохонена [19] - ИНС, отличающаяся от многослойного персептрона особой структурой слоев, осуществляющих векторное квантование входного сигнала, предназначенная для обучения без учителя в задачах классификации. Алгоритм ее обучения отличается от алгоритмов обучения других ИНС прямого распространения сигнала. Среди последних наиболее распространенный - обратное распространение ошибки с градиентным поиском минимума ошибки [20]. Кроме того,
существует ряд методов повышения эффективности алгоритмов обучения ИНС прямого распространения сигнала [21, 22]. Наименее формализован подход к построению рекуррентных ИНС, общее название большинства из которых носит ИНС встречного распространения [23]. Из этого класса ИНС выделяются сети Хопфилда [24] - полносвязные ИНС, в которых выход каждого нейрона связан со всеми нейронами сети с собственным входом, позволяющие решать комбинаторные задачи оптимизации и восстановления поврежденного изображения. Для обучения этой ИНС применяются специально предназначенные [25] и гибридные [26] алгоритмы. ИНС Элмана применяются для задач прогнозирования в обработке сигналов [27]. Структура ИНС на основе теории адаптивного резонанса так же разработана для прогнозирования [28] и может быть обучена без учителя. Машина Больцмана [29] представляет собой стохастический генеративный вариант сети Хопфилда [30]. Для ее обучения применяется алгоритм имитации отжига [31]. Машина Больцмана способна обучаться внутренним представлениям и решать сложные комбинаторные задачи. Кроме того существует ряд других ИНС [32, 33, 34]. Пусть посредством разработки и применения ИНС (далее будем называть её «прикладной») требуется решить некоторую задачу О. Тогда каждому варианту ИНС, определяемому типом ИНС, её топологией и процедурой обучения, можно поставить в соответствие набор частных показателей качества. Путём объединения этих показателей в две группы, первая из которых W\i, i=1..M\ характеризует «затраты» на создание прикладной ИНС, а вторая W2¿, i=1.M2 - качество её функционирования, формируются два обобщённых показателя W\ и W2. На их основе предлагается методика оценки эффективности обучения нейронных сетей, которую можно представить в виде следующей последовательности операций:
1 Анализ задачи О, решаемой с помощью прикладной ИНС, и формирование на этой основе:
- множества и = {и\, и2, ..., ип, ..., им} предполагаемых к реализации вариантов ИНС, определяемых совокупностью её типа, топологии и процедуры обучения;
- множества различных условий разработки и применения ИНС 2 = {в\,в2,..,в^, ...,#/,}.
2 Формирование для О единого набора показателей, характеризующих «затраты» на создание прикладной ИНС W\1, i=1..M\.
3 Оценка предпочтений лица, принимающего решение (ЛПР), характеризующих затраты на создание прикладной ИНС для каждых условий их разработки и применения: определение весовых а\,(^) и нормирующих коэффициентов, формирование вида обобщённого показателя затрат на создание прикладной ИНС W\.
4 Формирование для О единого набора показателей, характеризующих качество функционирования прикладной ИНС W2i, i=1.M2.
5 Оценка предпочтений ЛПР, характеризующих качество функционирования прикладной ИНС для каждых
условий их разработки и применения: определение весовых а2/Щ) и нормирующих коэффициентов S\i, формирование вида обобщённого показателя качества функционирования прикладной ИНС W2.
6). Оценка элементов множества и по W\I■, /=\._М\ и W2l■, /=\._М2 для всех элементов множества 2. Определение значений обобщённых показателей W\(un,6j■) и W2(un,6j■) для всех вариантов ИНС и всех условий разработки и применения ИНС.
7). Формирование множества Парето в пространстве W\(un,вj) и W2(un,вj) и выбор рациональных вариантов ИНС, реализующих выполнение функций автоматизированных систем управления, для заданных условий разработки и применения.
Более подробно рассмотрим содержание этих операций.
Анализ задачи О (п. 1), решаемой с помощью прикладной ИНС, подразумевает формирование двух множеств и и 2. В соответствии с рекомендациями по составлению множества альтернатив (вариантов, стратегий) в задачах принятия технических решений [35], множество и должно быть как можно более полным. Для этого используется «дерево решений», отражающее все возможные «узлы ветвления» при формировании множества конечных стратегий. В рассматриваемом случае такими узлами являются, например: выбор типа ИНС, выбор параметров, определяющих топологию ИНС (число слоёв, число нейронов в слоях), выбор реализации процедуры обучения по элементам - алгоритм обучения, обучающая выборка, требуемое программное обеспечение, требуемое аппаратное обеспечение. Конечные элементы дерева решений являются элементами множества и, которые после сквозной нумерации обозначаются
{и\, и2, ..., ип, ..., им}.
Аналогичным образом формируется множество условий разработки и применения ИНС 2. В этом случае в качестве узлов ветвления могут выступать требования, как по стоимости систем, в состав которых входит прикладная ИНС, и возможности функционирования в условиях помех [36], так и специализированные требования, например, на: время, отводимое на обучение; длительность периода переобучения ИНС; быстродействие; порог ошибочного срабатывания обученной ИНС; устойчивость к искажениям входного сигнала; полноту обучающего материала и др.
Набор показателей W\i, /=\.М\, характеризующих «затраты» на создание прикладной ИНС, (п. 2) формируется ЛПР исходя из требований к группе показателей качества, таких как «соответствие», «полнота», «минимальность», «операциональность», «измеримость». Выполнение требований по соответствию и полноте обеспечивает охват «затрат» по всем возможным ресурсам в рамках построения и реализации: типа ИНС, её топологии и процедуры обучения. Минимальность позволяет не включать в набор пока-
затели, характеризующие похожие свойства, а опера: нальность и измеримость ограничивают состав показ лей только такими, которые имеют однозначный см для определённого свойства с возможностью получе численной оценки показателя. В настоящее время при няются следующие основные частные показатели, хара ризующие «затраты» на создание прикладной ИНС:
вероятность верного срабатывания [8-\2];
- показатели устойчивости сети к зашумлению в ного сигнала и распространенным операциям симмет поворот, отражение и инверсия [ПД2Д6Д9];
- скорость реагирования нейронной сети на измене класса входного сигнала [44];
- ошибка обучения и обобщения [39];
- емкость ассоциативной памяти [27];
- переобучение [\9].
Оценка предпочтений ЛПР, характеризующих к ство функционирования прикладной ИНС для каж условий их разработки и применения, (п. 5) осущест ется аналогично (п.3). При этом обобщённый показа качества функционирования прикладной ИНС при его следующей максимизации можно представить в виде:
м 2
W2(u„, Qj) = Ха2, (0.)
W2; (u„)
i=1
S
П
2 i ■
2i
где а2/ - весовые коэффициенты, удовлетворяющие ус
M2
вию
X а2i (0j ) = 1, 0.2т > 0;
i=1
П21 - признак, характеризующий предпочтение ЛПР ] му показателю (Пи = \ если большие значения /-го по! теля предпочтительнее меньших, и П2/ = если мень значения /-го показателя предпочтительнее больших); S2i - нормирующие коэффициенты для приведения сос ных показателей к безразмерному виду и к сравнимым величине значениям.
Определение значений обобщённых показате W\(un,вj) и W2(un,вj) для всех вариантов ИНС и всех услс разработки и применения ИНС (п. 6) выполняется по ражениям (\) и (2) после оценки элементов множе и по W\i, /■=LM\ и W2I■, /■=1.M2 для всех элементов мн< ства 2.
Формирование множества Парето (п.7) проводитс основе полного попарного сравнивания стратегий из м
жества и: если для произвольных u,Un2 совместно полоняются условия
W\ (пПх) > W\ (пП2), W2 (un1) < W2 (пП2),
то стратегия u доминирует стратегию u (страт Un далее не рассматривается). Оставшиеся стратегии
образуют множество заведомо не худших стратегий -множество Парето. Любая стратегия из этого множества является оптимальной по Парето.
Рассмотрим пример. Пусть по условиям задачи Q требуется разработать ИНС типа многослойного персептрона с обучением по выборкам изображений для распознавания рукописных цифр, а также определены два условия разработки и применения ИНС: в\ и в2. Условие в\ характеризуется требованием высокой достоверности при возможных искажениях входного изображения. Условия в2 дополняются (относительно в\) временными ограничениями на обучение ИНС. Для наглядности рассмотрим следующие стратегии решения задачи:
- стратегии u\,.. ,,u\0 включают в себя разработку ИНС типа многослойного персептрона с топологией \0 слоев и с процедурой обучения по алгоритму обратного распространения ошибки, разработанному в среде Python, выполняемому на персональном компьютере с процессором класса Intel Core i7 с объемом обучающей выборки \03... \04 экземпляров с шагом \03;
- стратегии u\\,...,u20 полностью соответствуют стратегиям u\,...,u\0, за исключением топологии, которая насчитывает 200 слоёв;
- стратегии u2\,...,u30 полностью соответствуют стратегиям u\,...,u\0, за исключением топологии, которая насчитывает 500 слоёв;
- стратегии u3\,.,u40 включают в себя разработку ИНС типа многослойного персептрона с топологией \0 слоев и
с процедурой обучения по алгоритму обратного распространения ошибки, разработанному с использованием языка программирования С++, выполняемому на персональном компьютере с процессором класса Intel Core Duo с использованием массива CUDA GPU GTX560 с объемом обучающей выборки 103.. ,104 экземпляров с шагом 103;
- стратегии ип,...,и20 полностью соответствуют стратегиям ui,...,ui0, за исключением топологии, которая насчитывает 200 слоёв;
- стратегии u21,...,u30 полностью соответствуют стратегиям u1,.,u10, за исключением топологии, которая насчитывает 500 слоёв.
В качестве частных показателей «затрат» выбраны: W11 - время обучения ИНС в секундах, W12 - удельная стоимость аппаратного обеспечения в относительных единицах измерения, W13 - удельная стоимость разработки программного обеспечения в относительных единицах измерения. Частными показателями качества функционирования обученной ИНС являются: W21 -вероятность верной классификации в относительных единицах измерения, W22 - максимальный поворот тестового изображения в градусах, при котором показатель W21 уменьшается не более чем в 0,01 раз. Оценки стратегий по этому набору показателей (табл. 1) сделаны на основе данных, представленных в работах [12,19].
Оценки значений частных показателей
Таблица 1
Стратегия Показатель
Wii W12 W13 W21 W22
U5 120 0,40 0,04 0,67 3
U15 2400 0,40 0,04 0,97 10
U25 6000 0,40 0,04 0,98 12
U35 13 0,60 0,40 0,67 3
U45 260 0,60 0,40 0,97 10
U55 650 0,60 0,40 0,98 12
Весовые коэффициенты для условий разработки и применения ИНС в и в
Таблица 2
J an(9j) an(0j) ацЩ a2i(0j) a22(0j)
1 0,10 0,70 0,20 0,60 0,40
2 0,70 0,05 0,25 0,60 0,40
н
а) ов
Й
о
И28
игг 0 о * • •
с и\г * • • •
о
"и о
ш о л
*
0 93 0 85 0 97
IV], отн. ед,
Рис. 1. Результаты оценки элементов множества стратегий по обобщённым показателям для условий разработки и применения ИНС в
ч
ш о 8
Й о
«50
«Я О • О ♦ • • •
* * • •
• 1442
О
т 9
И324 Ил С }
0 2 0 3 0 4 0.5
Ой 0 7 Ов
¡V], отп, ед,
Рис. 2. Результаты оценки элементов множества стратегий по обобщённым показателям для условий разработки и применения ИНС в
Таблица 3
Значения частных показателей для оптимальных по Парето стратегий д ля условий разработки и применения ИНС в1 и в2
Условия в1 Условия 02
Стратегия Показатель Стратегия Показатель
Wi W2 W1 W2
U28 0,9800 1,000000 U50 0,5800 1,000000
U19 0,9360 0,969231 U49 0,5520 0,966667
u22 0,9200 0,938462 U51 0,3700 0,933333
U21 0,9100 0,870801 U42 0,3560 0,736054
U12 0,9080 0,778650 U41 0,3280 0,693197
Uli 0,9040 0,655730 U38 0,3112 0,549660
U4 0,9008 0,527159 U35 0,3070 0,537415
Ul 0,9002 0,490267 U33 0,3042 0,497959
U32 0,3028 0,458503
U31 0,3014 0,446259
Таблица 4
Значения частных показателей для выбранных стратегий и28 и и51
Стратегия Показатель
W11 W12 W13 W21 W22
U28 9600 0,40 0,04 0,98 13
U51 130 0,60 0,40 0,98 10
Весовые коэффициенты (табл. 2) для всех условий разработки и применения ИНС выбраны исходя из анализа набора частных показателей «затрат» на обучение и показателей качества функционирования обученной ИНС. На рис. 1 и 2 представлены результаты выполнения п.6 методики для условий разработки и применения ИНС в\ и в2, соответственно. Элементы множества Парето на этих рисунках выделены маркерами в виде окружностей. Значения частных показателей для оптимальных по Парето стратегий представлены в таблице 3.
Использование предложенной методики позволило из исходных 60 стратегий решения задачи выделить 8 и 10 оптимальных по Парето (табл. 3) для условий 6>\ и в2 соответственно. Выбор одной из них для условий 6>\ и в2 можно сделать на основе их дополнительного анализа. В частности, стратегия и28 имеет наилучшее значение обобщённого показателя качества функционирования прикладной ИНС среди элементов множества Парето для условия 6>\.
При поиске компромиссной стратегии для условий в2 можно взять за исходную стратегию и42. Однако можно заметить (рис. 2), что переход к стратегии и51 потребует малого увеличения значения Ж\ и позволит получить большой прирост по обобщённому показателю Ж2. Следовательно, компромиссной с точки зрения ЛПР в условиях в2 будет применение стратегии и5\. Значения частных показателей для выбранных стратегий и28 и и5\ (табл. 4) подтверждают их соответствие условиям в\ и в2.
Дополнительно отметим, что если ЛПР может сформировать весовые коэффициенты для всего множества стратегий U, то пп. 2, 4 и пп. 3, 5 могут быть попарно объединены и оценка характеристик ИНС, предполагаемых к обучению может быть проведена сразу для всего множества U.
Вывод: разработанная методика оценки эффективности обучения нейронных сетей позволила определить рациональные варианты искусственных нейронных сетей, реализующих выполнение функций автоматизированных систем управления, для заданных условий их разработки и применения.
Литература.
1. Миркес Е.М.Нейрокомпьютер. Проект Стандарта. Новосибирск: Наука, Сибирская издательская фирма РАН, 1999. 337 с.
2. Строцев А.А., Ломанцова Ю.А. Оценка влияния топологии антенной решётки пеленгатора на качество функционирования нейронной сети, формирующей оценку пеленга // 19-я Международная конференция «Цифровая обработка и ее применение» (Москва, 29-31 марта 2017). М.: ИПУ РАН, 2017. С. 814-817.
3. Шевгунов Т.Я., Ефимов Е.Н., Филимонова Д.В., Воскресенский Д.И. Оценка направления прихода сигнала с использованием искусственных нейронных сетей максимального правдоподобия // Цифровая обработка
сигналов.2017. № 2. С. 59-64.
4. Воронов И.В., Политое Е.А., Ефременко В.М. Обзор типов искусственных нейронных сетей и методов их обучения // Вестник Кузбасского государственного технического университета. 2007. № 3. С. 38-42.
5. Трофимов А.Г. Нейроинформатика-2014 // Сборник научных трудов: в 3 частях. XVI Всероссийская научно-техническая конференция. Москва. 27-31 января 2014 г.
6. Трофимов А.Г. Нейроинформатика-2015 // Сборник научных трудов: в 3 частях. XVII Всероссийская научно-техническая конференция. Москва, 19-23 января 2015 г.
7. Трофимов А.Г. Нейроинформатика-2016 // Сборник научных трудов: в 3 частях. XVIII Всероссийская научно-техническая конференция.Москва.25-29 апреля 2016 г.
8. Сорокоумова Д.А., Корелин О.Н., Сорокоумов А.В. Построение и обучение нейронной сети для решения задачи распознавания речи // Труды Нижегородского государственного технического университета им. Р.Е. Алексеева. 2015. № 3(110). C. 77-84.
9. Goodfellow I., Bengio Y., Courville A. Deep learning.MIT press, 2016.
10. Gardner M. W., Dorling S. R. Artificial neural networks (the multilayer perceptron) — a review of applications in the atmospheric sciences // Atmospheric environment. 1998. Vol. 32. No. 14. Pp. 2627-2636.
11. Шустов В.А. Алгоритмы обучения нейронных сетей распознаванию изображений по равномерному критерию // Компьютерная оптика. 2003. № 25. С. 183-189.
12. Rashid T. Make your own neural network.CreateSpace Independent Publishing Platform, 2016.
13. Chen S., Cowan C. F. N., Grant P. M. Orthogonal least squares learning algorithm for radial basis function networks // IEEE Transactions on neural networks. 1991. Vol. 2. No. 2. Pp. 302-309.
14. VT S. E., Shin Y. C. Radial basis function neural network for approximation and estimation of nonlinear stochastic dynamic systems // IEEE Transactions on Neural Networks. 1994. Vol. 5. No. 4. Pp. 594-603.
15. Fahlman S. E., Lebiere C. The cascade-correlation learning architecture // Advances in neural information processing systems. 1990. С. 524-532.
16. Bishop C. M. Neural networks for pattern recognition. Oxford university press, 1995. 482 p.
17. Ciresan D. C. et al. Flexible, high performance convolutional neural networks for image classification // IJCAI Proceedings-International Joint Conference on Artificial Intelligence. 2011. Vol. 22. No. 1. Pp. 1237.
18. CoatesA., HuvalB. Wang T., Wu D., Catanzaro B., Andrew N. Deep learning with COTS HPC systems // International Conference on Machine Learning. 2013. Pp. 1337-1345.
19. Krizhevsky A., Sutskever I., Hinton G. E. Imagenet
classification with deep convolutional neural networks //Advances in neural information processing systems. 2012. Pp. 1097-1105.
20. Van Der Smagt P. P. Minimisation methods for training feedforward neural networks // Neural networks. 1994. Vol. 7. No. 1. Pp. 1-11.
21. M0ller M. F. A scaled conjugate gradient algorithm for fast supervised learning // Neural networks. 1993. Vol. 6. No. 4. Pp. 525-533.
22. Аксенов С. В., Новосельцев В. Б. Организация и использование нейронных сетей // Томский политехнический университет. 2006.
23. Pineda F. ./.Generalization of back-propagation to recurrent neural networks // Physical review letters. 1987. Vol. 59. No. 19. Pp. 2229.
24. van den Driessche P., ZouX. Global attractivity in delayed Hopfield neural network models // SIAM Journal on Applied Mathematics. 1998. Vol. 58. No. 6. Pp. 1878-1890.
25. Hopfield /./.Learning algorithms and probability distributions in feed-forward and feed-back networks // Proceedings of the National Academy of Sciences. 1987. Vol. 84. No. 23. Pp. 8429-8433.
26. Atia T.S., Yousif A.Y. A hybrid algorithm for solving frequency assignment problem in cellular network // Journal of Engineering Science and Technology. 2017. Vol. 12. No. 9. Pp. 2453-2460.
27. Rodriguez P., Wiles /., Elman /. L. A recurrent neural network that learns to count // Connection Science. 1999. Vol. 11. No. 1. Pp. 5-40.
28. Carpenter G. A., GrossbergS. The ART of adaptive pattern recognition by a self-organizing neural network // Computer. 1988. Vol. 21. No. 3. Pp. 77-88.
29. Hinton G. E., Salakhutdinov R. R. Reducing the dimensionality of data with neural networks // Science. 2006. Vol. 313. No. 5786. Pp. 504-507.
30. Salakhutdinov R., Hinton G. Deep boltzmann machines // Artificial Intelligence and Statistics.2009.Q 448-455.
31. Chen L., Aihara K. Chaotic simulated annealing by a neural network model with transient chaos // Neural networks. 1995. Vol. 8. No. 6. Pp. 915-930.
32. Ghosh-Dastidar S., Adeli H., Dadmehr N. Mixed-band wavelet-chaos-neural network methodology for epilepsy and epileptic seizure detection // IEEE transactions on biomedical engineering. 2007. Vol. 54. No. 9. Pp. 1545-1551.
33. Hansen L. K., Salamon P. Neural network ensembles // IEEE transactions on pattern analysis and machine intelligence. 1990. Vol. 12. No. 10. Pp. 993-1001.
34. Carpenter G. A. et al. Fuzzy ARTMAP: A neural network architecture for incremental supervised learning of analog multidimensional maps // IEEE Transactions on neural networks. 1992. Vol. 3. No. 5. Pp. 698-713.
35. Мушик Э., Мюллер П. Методы принятия технических
решений. М.: Мир, 1990. 126 с.
36. Аверьянов А.В., Емельянов Р.В., Колесников С.С., Строцев А.А. Математическая модель задачи принятия решений по реализации помехозащищённой навигационной аппаратуры потребителя глобальных навигационных спутниковых систем для различных условий её разработки и применения // Сборник трудов XXIII Международной научно-технической конференции «Радиолокация, навигация, связь». Том 1. Воронеж: Научно-исследовательские публикации. 2017. С. 153-159.
37. Gagnon L. G. Development and performance of track reconstruction algorithms at the energy frontier with the ATLAS detector.ATL-C0M-S0FT-2016-115, 2017. №. ATL-SOFT-PROC-2017-015.
38. Хайкин С. Нейронные сети: полный курс. 2-е издание. М.: Вильямс, 2008. 396 с.
39. van Grinsven M. /. /. P. et al. Fast convolutional neural network training using selective data sampling: Application to
hemorrhage detection in color fundus images // IEEE transactions on medical imaging. 2016. Vol. 35. No. 5. Pp. 1273-1284.
40. WeningerF., Bergmann/., Schuller B. Introducing currennt: The munich open-source cuda recurrent neural network toolkit // The Journal of Machine Learning Research. 2015. Vol. 16. No. 1. Pp. 547-551.
41. Грибачев В. Элементная база аппаратных реализаций нейронных сетей // Компоненты и технологии. 2006. №. 61.
42. Злобин В. К., Ручкин В. Н. Нейррсети и неирономпьютеры. СПб.: «БХВ-Петербург», 2011. 131 с.
43. Гуткин Л.С. Оптимизация радиоэлектронных устройств по совокупности показателей качества. Москва: Сов. Радио, 1975. 129 с.
44. Козов А. В., Чернышев А. С. Исследование метода обучения с подкреплением спайковой нейронной сети // Science & Education of Bauman MSTU/Nauka i Obrazovanie of Bauman MSTU.2016. №. 6.
ESTIMATE OF NEURAL NETWORK TRAINING EFFICIENCY, WHICH REALIZE PERFORMING FUNCTION AUTOMATED CONTROL SYSTEM
Yulia A. Averyanova,
Rostov-on-Don, Russia, [email protected].
Roman V. Emelyanov,
Rostov-on-Don, Russia, [email protected].
Vyacheslav V. Stashenko,
Rostov-on-Don, Russia, [email protected],
Andrey A. Strotsev,
Rostov-on-Don, Russia, [email protected]
ABSTRACT
Estimation technique of learning efficiency of neural network complying functions of automatic control systems is proposed. The technique enables one to convert many-dimensional criteria to two-dimensional criteria of generalized expenses to develop applied neural network and its generalized performance at the selection of type, topology and training procedure of neural network. For this generalized criteria Pareto optimization is applied. Example of the technique application for estimation of training efficiency of many-layer perceptron for image classification at various conditions is presented.
Keywords: artificial neural network; performance evaluation; various types of ins; creation of applied neural network..
References
1. Mirkes E.M. Nejrokompjuter. Proektstandarta [Neurocomputer. Project standard]. Novosibirsk: Nauka, Siberian publishing firm RAS, 1999. 337p. (In Russian)
2. Strotsev A.A., Lomantsova Yu.A. Otsenka vliyania topologii antennoi reshetkipelengatora na kachestvo funktsionirovania neuronnoi
setiformiruyuschei otsenkupelenga //19th Mexhdunarodnaya konferentsia «Tsifrovaya obrabotka i eje primenenie», M.: IPU RAS, 29-31 of March 2017, Pp. 814-817 (In Russian).
3. Shevguniv T.Ya., Efimov E.N., Filimonova D.V., Voskresenskii D.I. Otsenkaprokhoda signala s ispolzovaniem iskusstvennikh neuronnikh setei maksimalnogopravdopodobia //Tsifrovaia obrabotka signalov.2017.Vol.2.Pp. 59-64. (In Russian)
4. Voronov I.V., Politov E.A., Efremenko V.M. Obzor tipov iskusstvennikh setei i metodov ikh obuchenia. //Vestnik Kuzbasskogo gosudarstvennogo tekhnicheskogo universiteta.2007.Vol.3.Pp.38-42. (In Russian)
5. Trofimov A.G. Neuroinformatika-2014 // Conference proceedings in 3 volumes. XVI Vserossiiskaya nauchno-tekhnicheskaya konferentsia. Moscow.27-31 of January 2014 r. (In Russian)
6. Trofimov A.G. Neuroinformatika-2014 // Conference proceedings in 3 volumes. XVII Vserossiiskaya nauchno-tekhnicheskaya konferentsia. Moscow.19-23 of January 2015 r. (In Russian)
7. Trofimov A.G. Neuroinformatika-2014 // Conference proceedings in 3 volumes. XVIII Vserossiiskaya nauchno-tekhnicheskaya konferentsia. Moscow.25-29 of April 2016 r. (In Russian)
8. Sorokoumova D.A., Korelin O.N., Sorokoumov A.V. Postroenie i obuchenie nuronnoi seti dlja reshenija zadachi raspoznavanija rechi. // Trudi Nizhegorodskogo gosuddarstvennogo tekhnicheskogo universiteta imeni R.E. Alekseeva Vol. 3(110). 2015. Pp. 77-84. (In Russian)
9. Goodfellow I., Bengio Y., Courville A. Deep learning.MIT press, 2016.
10. Gardner M. W., Dorling S. R. Artificial neural networks (the multilayer perceptron)—a review of applications in the atmospheric sciences //Atmospheric environment. 1998. T. 32. №. 14. Pp. 2627-2636.
11.Shustov V.A. Algoritmi obuchenia neurionnikh setei raspoznavaniu izobrazhenii po ravnomernomu kriteriu // Kompjuternaja optika.2003. Vol. 25.Pp. 183-189.
12. Rashid T. Make your own neural network.CreateSpace Independent Publishing Platform, 2016.
13. Chen S., Cowan C. F. N., Grant P. M. Orthogonal least squares learning algorithm for radial basis function networks // IEEE Transactions on neural networks. 1991. T. 2. No. 2. Pp. 302-309.
14. VT S. E., Shin Y. C. Radial basis function neural network for approximation and estimation of nonlinear stochastic dynamic systems // IEEE Transactions on Neural Networks.1994. T. 5. No. 4.Pp. 594-603.
15. Fahlman S. E., Lebiere P The cascade-correlation learning architecture // Advances in neural information processing systems.1990. Pp. 524-532.
16. Bishop P M. Neural networks for pattern recognition.Oxford university press, 1995. 482p.
17. Ciresan D. P et al. Flexible, high performance convolutional neural networks for image classification // IJCAI Proceedings-International Joint Conference on Artificial Intelligence.2011. T. 22. No. 1. 1237p.
18. Coates A., Huval B. Wang T., Wu D., Catanzaro B., Andrew N. Deep learning with COTS HPC systems // International Conference on Machine Learning. 2013. Pp. 1337-1345.
19. Krizhevsky A., Sutskever I., Hinton G. E. Imagenet classification with deep convolutional neural networks // Advances in neural information processing systems. 2012. Pp. 1097-1105.
20. Van Der Smagt P. P. Minimisation methods for training feedforward neural networks // Neural networks.1994. Vol 7. No. 1. Pp. 1-11.
21. M0ller M. F. A scaled conjugate gradient algorithm for fast supervised learning // Neural networks. 1993. Vol. 6. No. 4. Pp. 525-533.
22. Aksenov S.V., Novoseltsev V.B. Organizatsia I ispolzovanie neuronnikh setei..// Tomskii politekhnicheskii universitet2006. (In Russian)
23. Pineda F. J. Generalization of back-propagation to recurrent neural networks // Physical review letters.1987. Vol. 59. No. 19. 2229p.
24. van den Driessche P., Zou X. Global attractivity in delayed Hopfield neural network models //SIAM Journal on Applied Mathematics.1998. Vol. 58. No. 6. Pp. 1878-1890.
25. Hopfield J. J. Learning algorithms and probability distributions in feed-forward and feed-back networks // Proceedings of the National Academy of Sciences.1987. Vol. 84. No. 23. Pp. 8429-8433.
26. Atia T.S., Yousif A.Y. A hybrid algorithm for solving frequency assignment problem in cellular network // Journal of Engineering Science and Technology.2017. Vol. 12. No. 9. Pp. 2453-2460.
27. Rodriguez P., Wiles J., Elman J. L. A recurrent neural network that learns to count //Connection Science. 1999. Vol. 11. No. 1. Pp. 5-40.
28. Carpenter G. A., Grossberg S. The ART of adaptive pattern recognition by a self-organizing neural network // Computer. 1988. Vol. 21. No. 3. Pp. 77-88.
29. Hinton G. E., Salakhutdinov R. R. Reducing the dimensionality of data with neural networks // science.2006. Vol. 313. No 5786. Pp. 504-507.
30. Salakhutdinov R., Hinton G. Deep boltzmann machines // Artificial Intelligence and Statistics.2009. Pp. 448-455.
31. Chen L., Aihara K. Chaotic simulated annealing by a neural network model with transient chaos // Neural networks. 1995. Vol. 8. No. 6. Pp. 915-930.
32. Ghosh-Dastidar S., Adeli H., Dadmehr N. Mixed-band wavelet-chaos-neural network methodology for epilepsy and epileptic seizure detection // IEEE transactions on biomedical engineering.2007. Vol. 54. No. 9.Pp. 1545-1551.
33. Hansen L. K., Salamon P. Neural network ensembles // IEEE transactions on pattern analysis and machine intelligence.1990. Vol. 12. No. 10. Pp. 993-1001.
34. Carpenter G. A. et al. Fuzzy ARTMAP: A neural network architecture for incremental supervised learning of analog multidimensional maps // IEEE Transactions on neural networks.1992. Vol. 3. No. 5. Pp. 698-713.
35. Mushik E., Muller P. Metodi prinatija tekhnicheskih reshenii. M.: Mir, 1990.126 p.
36. Averjanov A.V., Emeljanov R.V., Kolesnikov S.S., Strotsev A.A. Matematicheskaya model zadachi prinatija reshenii po realizatsii pomekhozashishennoi navigatsionnoq apparaturi potrebitelja global'nikh navigatsionnikh sputnikovikh system dlja razlichnikh uslovii eje razrabotki iprimenenija. //Sbornik trudov XXIII Mezhdunarodnaja nauchno-tekhnicheskaja konferentsia "Radiolokatsia, navigatsia i svjaz'".
Vol 1. Voronezh: Izdatel'stvo «Nauchno-issledovatel'skie publikatsii». 2017. Pp.153-159. (In Russian)
37. Gagnon L. G. Development and performance of track reconstruction algorithms at the energy frontier with the ATLAS detector. ATL. COM-SOFT-2016-115, 2017. №. ATL-SOFT-PROC-2017-015.
38. Haykin S. Neuronnie seti: polnij kurs, 2nd i zdanie.Izdatel'skii dom Viljams. 2008. 396p. (In Russian)
39. van Grinsven M. J. J. P. et al. Fast convolutional neural network training using selective data sampling: Application to hemorrhage detection in color fundus images // IEEE transactions on medical imaging.2016. Vol . 35. No. 5. Pp. 1273-1284.
40. Weninger F., Bergmann J., Schuller B. Introducing currennt: The munich open-source cuda recurrent neural network toolkit // The Journal of Machine Learning Research. 2015. Vol. 16. No. 1.Pp. 547-551.
41. Gribachev B. Elementnaja baza apparatnikh realizatsij nejronnikh setei. // Komponenti i tekhnologii. 2006. Vol. 61. (In Russian)
42. Zlobin V.K., Ruchkin V.N. Neuroseti i neurokompjuteri. // Saint-Petersburg: «BHV-Peterburg». 2011. 131p.(In Russian)
43. Gutkin L.S. Optimizatsia radioelectronnikh ustroistvpo sovokupnostipokazatelej kachestva. M.: Sov. Radio 1975. 129p. (In Russian)
44. Kozov A.V., Chernishev A.S. Issledovanie metoda obuchenija c podkrepleniem spajkovoj neuronnoj seti // Science & Education of Bauman MSTU/Nauka i Obrazovanie of Bauman MSTU. No. 6. 2016. (In Russian)
Information about authors:
Averyanova Yu.A., postgraduate student, 3rd grade engineer of Federal State Unitary Enterprise "Rostov-on-Don Research Institute of Radio Communication";
Emelyanov R.V., PhD, chief of scientific and technical department of Federal State Unitary Enterprise "Rostov-on-Don Research Institute of Radio Communication";
Stashenko V.V., PhD, senior research officer, Federal State Unitary Enterprise "Rostov-on-Don Research Institute of Radio Communication"; Andrey A. Strotsev, PhD, docent, scientific and technical department deputy chief on science of Federal State Unitary Enterprise "Rostov-on-Don Research Institute of Radio Communication".
For citation: Averyanova Y.A., Emelyanov R.V., Stashenko V.V. Estimate of neural network training efficiency, which realize performing function automated control system. I-methods. 2017. Vol. 9. No. 4. Pp. 32-41. (In Russian)
