CC BY
75УДК 681.3
ОСОБЕННОСТИ НЕЙРОННЫХ СЕТЕЙ, ИСПОЛЬЗУЮЩИХ МЕТОДЫ ГЛУБОКОГО ОБУЧЕНИЯ
А.Ю. Лабинский, кандидат технических наук, доцент. Санкт-Петербургский университет ГПС МЧС России
Рассмотрены особенности нейронных сетей, использующих методы глубокого обучения. Приведены этапы решения задачи аппроксимации функции с аддитивным шумом. Искусственная глубинная нейронная сеть реализована в виде программы для ЭВМ.
Ключевые слова: искусственная нейронная сеть, метод глубокого обучения, компьютерная программа, математическая модель
THE SPECIAL FEATURE OF NEURAL NETWORK WITH DEEP LEARNING
A.Yu. Labinskiy. Saint-Petersburg university of State fire service of EMERCOM of Russia
This article presents the special feature of the synthetic neural network with deep learning. The synthetic neural network to realize in form the mathematical model and computing program.
Keywords: synthetic neural network, deep learning, computing program, mathematical
model
Введение
Особенностям нейронных сетей посвящены книги многих отечественных [1-3] и иностранных [4-7] авторов. Не обошел вниманием нейронные сети и автор данной статьи [8, 9]. «Нейронная сеть представляет собой математическую модель, представленную в виде системы взаимодействующих между собой искусственных нейронов» [1]. Основным отличием такой математической модели является возможность обучения, которая заключается в нахождении значений коэффициентов связи между искусственными нейронами сети. «Процесс обучения нейронной сети позволяет определять зависимости между входными и выходными данными, то есть производить моделирование числовых характеристик исследуемого объекта, в том числе выполнять аппроксимацию» [1].
Схема нейронной сети с блоками обучения и вычисления ошибки представлена на рис. 1 [2].
Рис. 1. Нейронная сеть с блоками обучения и вычисления ошибки
58
«Глубокое обучение (Deep learning) нейронных сетей - совокупность методов машинного обучения (с учителем, без учителя, с подкреплением), основанных на обучении представлениям (feature/representation learning), а не специализированным алгоритмам под конкретные задачи» [2].
«Глубинная нейронная сеть (ГНС или DNN - Deep neural network) - это искусственная нейронная сеть (ИНС) с несколькими слоями между входным и выходным слоями. ГНС находит корректный метод математических преобразований, чтобы превратить входящие данные в выходящие, независимо от линейной или нелинейной корреляции. Каждое математическое преобразование считается слоем, а сложные ГНС имеют много слоев, отсюда и название «глубинные» или «глубокие» сети. ГНС, как правило, представляют собой сети с прямой связью, в которых данные передаются от входного уровня к выходному уровню без обратной связи» [2].
«Нейронные сети, применяющие методы глубокого обучения, используются для поиска сложных закономерностей в исходных данных. Такие методы обучения, как обучение с подкреплением (reinforcement learning), заключается в том, что каждое математическое преобразование получает определенную оценку. Целью обучения является выбор математического преобразования с максимальной оценкой» [3].
Часто такое обучение подкрепляется вероятностным подходом, основанным на теореме Байеса: если события H1, H2 . Hn образуют полную группу, то условная вероятность события Hk при условии, что событие А произошло, равна:
P(Hk|A) = P(Hk)*P(A|Hk)/P(A),
где P(A)=P(H1)*P(A|H1)+ .. ,+P(Hn)*P(A|Hn) - формула полной вероятности Байеса.
Сформулируем постановку задачи. Нужно аппроксимировать функцию одного аргумента с аддитивным шумом. Тема статьи актуальна, так как использование нейронных сетей для аппроксимации функций позволяет решать задачи определения закономерностей возникновения чрезвычайных ситуаций путем создания математических моделей сложных технологических объектов и систем.
Объект исследования - ИНС, использующая метод глубокого обучения. Метод исследования - вычислительные эксперименты на разработанной компьютерной модели ИНС, реализованной в виде программы для ЭВМ.
Компьютерная модель нейронной сети
В целях аппроксимации функции Y=f(X) была создана трехслойная ИНС прямого распространения (однонаправленная сеть без обратных связей), содержащая 20 нейронов во входном слое (распределительный слой), 20 нейронов в скрытом слое и один нейрон в выходном слое. Аппроксимация функций нейронной сетью часто осуществляется с обучением сети по методу обратного распространения ошибки. На рис. 2 представлена схема расчетной модели нейронной сети [8].
Рис. 2. Схема расчетной модели нейронной сети
59
На каждом цикле обучения на вход сети последовательно подаются все компоненты входного вектора X. Получаемые выходные значения (вектор У) сравниваются со значениями выходного вектора обучающей выборки. Далее вычисляется значение средней квадратичной ошибки, которое используется для корректировки коэффициентов связи (синаптических весов).
В данной статье демонстрация возможностей нейронной сети, использующей метод глубокого обучения, производится на примере аппроксимации функции одного аргумента с аддитивным шумом. В качестве обучающих зависимостей были использованы следующие функциональные зависимости: У=Бт(Х), У=8т(Х)*СоБ(Х) и СоБ3(Х).
Графики обучающих зависимостей представлены на рис. 3.
У1=Бт(Х), У2=5т{Х)*Со5(Х), УЗ=Со5(Х)лЗ
1,5
0,5
-0,5
-1
-1.5
о Ц1 (Ч 1Л о Ц-1 1-1 1Л 14 1Л т—Г 1Л ит4 (Ч 1Л г-- 1Л 1Л и*1
■У1=Вт(Х)
■У2=5т(Х)*Соз(Х)
■УЗ=Со5(Х)лЗ
Рис. 3. Графики обучающих зависимостей
В процессе аппроксимации было выполнено 20 циклов обучения нейронной сети на зашумленных данных. Интенсивность шума менялась в зависимости от коэффициента зашумления Кш и вида функции. Интенсивность шума вычислялась по следующей формуле:
1ш=100Ч(Е8;2/ЕУ;2)[%],
где 81 - случайное возмущение (зашумление: У;=У;+8;). Значения интенсивности шума указаны в таблице.
Таблица
Коэффициент зашумления Вид функции
У=8ш(Х) У=8ш(Х)*С08(Х) У=Со83(Х)
Кш=0,03 3,5 % 8,5 % 5,5 %
Кш=0,05 5,25 % 13,5 % 8 %
Кш=0,08 12 % 25 % 13,5 %
Кш=0,10 13 % 26 % 17 %
В каждом цикле обучения производилась обработка массива размерностью 20*20 значений общим объемом 400 значений. Таким образом, за 20 циклов обучения было обработано 400*20=8 000 значений.
60
Термин «глубокое обучение» подразумевает в процессе обучения нейронной сети использование больших массивов исходных данных, причем, чем больше исходных данных, тем успешнее решается поставленная задача. Поэтому при решении таких сложных задач, для решения которых используются ГНС, как компьютерное зрение, машинный перевод, распознавание речи, для обучения сети используются массивы, содержащие тысячи и десятки тысяч исходных данных.
Задача аппроксимации функции с аддитивным шумом решалась в несколько этапов:
1. Аппроксимация зависимости Y=f(X) с заданной точностью, в результате которой была получена матрица 20*20 значений синаптических весов.
2. Зашумление данных зависимости Y=f(X) с различными коэффициентами зашумления: 0,03<Кш<0,10.
3. Аппроксимация зашумленной зависимости с использованием матрицы синаптических весов, полученных на этапе 1. При этом погрешность аппроксимации была велика и составляла 25^35 % и более.
4. Обучение нейронной сети в процессе 20 циклов зашумления данных и аппроксимации зашумленной зависимости Y=f(X) с заданной точностью с получением 20 матриц 20*20 значений синаптических весов.
5. Тестирование ГНС, в процессе которого производилось тестовое зашумление данных зависимости Y=f(X).
6. Оптимизация конфигурации нейронной сети, для чего производились 20 циклов аппроксимации зависимости Y=f(X) с использованием матриц синаптических весов, полученных на этапе 4, и нахождение оптимальной матрицы синаптических весов.
7. Задача аппроксимации функции с аддитивным шумом решалась путем использования нейронной сети с оптимальной для данной задачи конфигурацией. В результате погрешность аппроксимации существенно уменьшалась и составляла не более 1^2 %.
Результаты расчетов представлены на графиках (рис. 4-14).
Рис. 4. Исходная зависимость У=8т(Х)
4,?5 4,55
Рис. 5. Зашумленная зависимость У=8ш(Х), коэффициент шума Кш=0,05
61
ЛЕ 4,75 7,5 5,55 \
Рис. 6. Восстановленная зависимость У=8ш(Х), Кш=0,05, после 20 циклов обучения нейронной сети
С увеличением уровня шума ошибка аппроксимации несколько увеличивалась, что видно на рис. 8. Окно программы, реализующей ИНС, использующую метод глубокого обучения, представлено на рис. 15.
у- -\
> Г \
/ >
/ \_
/
5,45 5,5 4,7? 5,5? 7,5 5,55
1,14-
Рис. 7. Зашумленная зависимость У=8ш(Х), коэффициент шума Кш=0,08
4,45 1,4 5,5 4,75 5,55 7,5 5,55 \
Рис. 8. Восстановленная зависимость У=8т(Х), Кш=0,08, после 20 циклов обучения нейронной сети
62
у
/
/
/
/
М75 1Я5 и 5,! 4575 \
Рис. 9. Исходная зависимость У=8т(Х)*Со8(Х)
>
/
/ \ у
\ /
й,475 М5 *!ЧИ 1,3 5,575 5,555 5,! 4,575
■0,6 -
Рис. 10. Зашумленная зависимость У=8т(Х)*Со8(Х), коэффициент шума Кш=0,05
>
/
/
/
/
й,475 1Л5 1Л 5,575 '¿Ш 5,555 5,! 4,575 \
Рис. 11. Восстановленная зависимость У=8т(Х)*Со8(Х), Кш=0,05, после 20 циклов обучения нейронной сети
63
М75 5,!5 5,!
Рис. 12. Исходная зависимость У=Со83(Х)
- и,У!, ГЗ- 5375- тж- 5355- ът—
Рис. 13. Зашумленная зависимость У=Сов3 (X), коэффициент шума Кш=0,08
4,475 1,5! 5,575 5,£5 5,555 5,!
Рис. 14. Восстановленная зависимость У= Со83(Х), Кш=0,08, после 20 циклов обучения нейронной сети
64
fil«?:///E:/Pi ogi -im F i les/VCs ha г p_PRO J EC T/Co nA p pDL/Co nso leA p p licat io... H 0 I
ГЛУБИННАЯ ИСКУССТВЕННАЯ НЕЙРОННАЯ СЕТЬ.
Используется метол глубокого о Аппроксимация синусоидальной Ф
V =S in < X > или V =S in <Х )«Cos <Х > п зашупленныи данный. Зашупление по Формуле: V + V*Km*Pandon(0. где Кш можно менять от 0,03 до Аргумент меняется от О по 10 с Заданная точность аппроксимаци Введите l->V=Sin<x> или 2->¥=S Введите коэффициент шума от О, Кш - 0,03
Массив заданных входных значен
Вывод в файл NN_DLO _ dat
9,00;0,50;1,00;1,50;2,00;2,50;3 ] ,00;5,5Q;£,00;6,5Ш;7,00;50;8 Массив заданных выходных значе 9,00;0,48;0,84;1,00;0,91;0,60;0 -0,96;-0,71;-0,28;Ш,22;Ш,66;0,9 Итерационный процесс: Итерационный процесс закончен Общее количество итераций NS=1 Массив ор[i]—заданные значения 9,00;0,48;0,84;1,00;0,91;0,60;0 -0,9 6;—0,71;—0,28; 0, 2 2; 0, 6 6;0,9 Массив п о р [ i ] —п о л уч е н н ые значе I,00;0,48;0,84;1,00;0,91;0,60;0 -0,9 6;—0,70;—0,28;0,22;0,66; 0, 9 Средняя ошибка аппроксимации: Не з аш умл ё н н ый вход D,00;0,50;±,00;±,50;2,00;2,50;3 ] ,00;5,50;6,00;6,50;7,00;7,50;8
б учения. ун к ци и
дан н ых -1>, 0,05 .
шагом 0,5-И Е = 0 , 001. in(x>«Cos(x>: 1 03 ДО 0,1.
и й ip I i I
,00;3,50;4,00;4,50; ,00;8,5 0;9,ОО;9,5 О; ний op[i]
,14;—0,35;—О,76;—О,98; 4;0,99;0,8О;О,41;-О,О8;
82 ;
в ыхо да ,14;-0,35;-0,76;-0,9 8; 4;0,99;0,80:0,41;-О,08;
ния выхода
, 14;—0,35;—0,76;—0,98; 4;0,99;0,8О;О,41;-О,О7; E=100*<Su.i4 ! у—ун ! /yz)/N =
,ШШ;3,5Ш;4,ОШ;4,БО; ,00;8,50;9,00;9,50;
Рис. 15. Окно консольной программы, реализующей ИНС, использующую
метод глубокого обучения
Вывод
Средствами языка программирования C# в среде Microsoft Visual Studio создана консольная программа, реализующая ИНС, использующую метод глубокого обучения. Результаты компьютерных экспериментов показали, что созданная компьютерная модель ИНС, использующая метод глубокого обучения, способна при зашумлении входного вектора данных обеспечить аппроксимацию функций одного аргумента, а именно функций Y=Sin(X), Y=Sin(X)*Cos(X) и Y=Cos3(X) с приемлемой точностью. С увеличением уровня шума, как и следовало ожидать, ошибка аппроксимации возрастает.
Научная новизна исследования, отражающая личный вклад автора, заключается в создании автором компьютерной модели ИНС, использующей метод глубокого обучения и реализованной в виде программы для ЭВМ.
Литература
1. Хайкин С. Нейронные сети. Полный курс. М.: Изд-во Вильямс, 2006.
2. Николенко С., Кадурин А., Архангельская Е. Глубокое обучение. СПб.: Питер,
2018.
3. Гудфеллоу Я., Бенджио И., Курвилль А. Глубокое обучение. М.: ДМК Пресс, 2018.
4. Vapnik V.N. A fuzzy neural network model // IEEE Transactions on Neural Networks. 2017. Vol. 3. nr. 5.
5. Anderson C.H. The self-organizing map // Neural Computation. 2012. Vol. 5.
6. Cover T.M. Introduction to neural network system // IEEE Transactions on Neural Networks. 2015. Vol. 5. nr. 1.
7. Baldi P. A recurrent neural network // Neural Computation. 2018. Vol. 2.
8. Лабинский А.Ю., Уткин О.В. К вопросу аппроксимации функции нейронной сетью // Природные и техногенные риски (физико-математические и прикладные аспекты). 2016. № 1 (17). С. 5-11.
9. Лабинский А.Ю. Особенности моделирования функций принадлежности нейронной сетью // Науч.-аналит. журн. «Вестник С.-Петерб. ун-та ГПС МЧС России». 2017. № 3. С. 88-92.
65
10. Бурман Я., Бобковский Г. Англо-русский научно-технический словарь. М.: Русский язык, 2015.
References
1. Hajkin S. Nejronnye seti. Polnyj kurs. M.: Izd-vo Vil'yams, 2006.
2. Nikolenko S., Kadurin A., Arhangel'skaya E. Glubokoe obuchenie. SPb.: Piter, 2018.
3. Gudfellou Ya., Bendzhio I., Kurvill' A. Glubokoe obuchenie. M.: DMK Press, 2018.
4. Vapnik V.N. A fuzzy neural network model // IEEE Transactions on Neural Networks. 2017. Vol. 3. nr. 5.
5. Anderson C.H. The self-organizing map // Neural Computation. 2012. Vol. 5.
6. Cover T.M. Introduction to neural network system // IEEE Transactions on Neural Networks. 2015. Vol. 5. nr. 1.
7. Baldi P. A recurrent neural network // Neural Computation. 2018. Vol. 2.
8. Labinskij A.Yu., Utkin O.V. K voprosu approksimacii funkcii nejronnoj
set'yu // Prirodnye i tekhnogennye riski (fiziko-matematicheskie i prikladnye aspekty). 2016. № 1 (17). S. 5-11.
9. Labinskij A.Yu. Osobennosti modelirovaniya funkcij prinadlezhnosti nejronnoj set'yu // Nauch.-analit. zhurn. «Vestnik S.-Peterb. un-ta GPS MCHS Rossii». 2017. № 3. S. 88-92.
10. Burman Ya., Bobkovskij G. Anglo-russkij nauchno-tekhnicheskij slovar'. M.: Russkij yazyk, 2015.
66
