CC BY
69
Вестник Воронежского института МВД России №4 / 2014
С.В. Бухарин,
доктор технических наук, профессор, ФГБОУВПО «Воронежский государственный университет инженерных технологий»
А.В. Мельников,
кандидат технических наук
В.В. Навоев,
кандидат технических наук, Управление вневедомственной охраны Главного управления МВД России по Свердловской области
АРХИТЕКТУРА НЕЙРОННОЙ СЕТИ РЕШЕНИЯ ОБРАТНОЙ ЗАДАЧИ ЭКСПЕРТИЗЫ ОБЪЕМНЫХ ИЗВЕЩАТЕЛЕЙ
ARCHITECTURE OF THE NEURAL NETWORK OF THE RETURN PROBLEM DECISION OF EXAMINATION УОШМЕ ANNOUNCERS
Рассматривается многомерная калибровочная модель обобщенного показателя качества объемных извещателей. Для предсказания значений показателя нового прибора используются методы нейронного моделирования. Сравниваются нейронные сети с различным числом нейронов в скрытом слое и разными видами функций активации.
It is considered multivariable calibration model of the generalized quality parameter of volume announcers. For a prediction variable parameter of the new device the neural simulation methods are used. Neural networks are compared with various number neurals in the latent layer and different types of activation functions.
При сопоставлении характеристик нескольких объемных извещателей и введении комплексного показателя «качество-цена» математическая модель сводится к модели множественной линейной регрессии [1].
Для k объемных извещателей (образцов), обладающих m признаками, модель множественной линейной регрессии примет вид
■ J ■ J 2 x11 x12 ••• x21 x22 ••• ••• x1m " ••• x2m ' V' V2
_ Jk _ xk1 xk 2 ••• ••• xkm _ Vm _
(1)
204
Информатика, вычислительная техника и управление
где Ji — обобщенный показатель для /-го образца, Xj — значение j-го признака для i-
го образца, Vi — коэффициент регрессии.
Во многих случаях необходимо решить обратную задачу экспертизы: зная обобщенные показатели качества известных образцов (приборов) J и матрицу X для нескольких известных образцов, определить множество весовых коэффициентов V }, а затем исполь-
зовать это множество для оценки показателей новых приборов, т.е. осуществить их прогноз. Такая процедура в эконометрике называется многомерной калибровкой [2].
Терминология справедлива и для других задач многомерного статистического анализа: метода регрессии на главные компоненты (РГК) и нейронного моделирования. Однако под калибровкой в первом случае подразумевается не определение вектора V,
а нахождение векторов счетов T и нагрузок P, а во втором случае — весов W1,2 и смещений Ь нейронной сети.
В теории нейронных сетей [3,4] принята несколько иная терминология: первый этап собственно калибровки называется обучением (train) или адаптацией (adapt), а
второй этап прогнозирования — моделированием (simulation). В работе [5] была
предпринята попытка применения нейронного моделирования для прогнозирования значений нового объемного извещателя, однако оптимальная структура (архитектура) сети не была обоснована.
Под архитектурой нейронной сети понимается: количество входов и выходов, количество скрытых слоев, количество нейронов в каждом слое, тип соединения нейронов, вид функций активации в каждом слое.
Целью данной работы является обоснование наилучшей архитектуры нейронной сети для решения обратной задачи экспертизы на основе исследования влияния на точность прогнозирования количества нейронов в скрытом слое и введения различных (в том числе и сигмоидальных) функций активации в каждом слое.
Выдвинем вначале следующую гипотезу: поскольку при решении прямой задачи экспертизы используются два уровня весовых коэффициентов — парциальные V }
и групповые
¥гр } [6],
естественным подходом к решению обратной задачи является
также применение двухслойной линейной сети.
Сформируем двухслойную нейронную сеть прямой передачи сигнала с обратным распространением ошибки (feed-forward backprop), воспользовавшись средством GUI (Graphical User Interface) пакета nntool вычислительной среды MATLAB-7. Пер-
1 2
вый слой — скрытый (hidden), второй — выходной (output); W ’ — матрицы весов
п, 2
первого и второго слоев; b — постоянные сигналов смещений первого и второго слоев. В обоих слоях выбраны линейные функции активацииpurelin [5].
Для трех известных промышленных объемных извещателей («Астра-551», «Сокол-2», «Орлан») в статье [5] сформировано факторное пространство, т.е. матрица нормированных признаков
205
Вестник Воронежского института МВД России №4 / 2014
X =
0,929 0,460 0,646 1,000"
0,976 1,000 0,628 0,782 (2)
0,651 0,539 0,887 0,953
и вектор показателей «качество-цена»
J = (1,807 1,681 1,644)г
(3)
При калибровке нейронной модели могут применяться два подхода: обучение с учителем (train) и последовательная адаптация (adapt). В данной статье выберем первый метод.
Для обучения сети используем алгоритм Левенберга — Маркуардта (Levenberg — Marquardt). После 7 шагов обучения квадрат среднеквадратичной погрешности калибровки модели
1 п
Квадрат СКО = — ^ (б J t ) (4)
ni=1
снижается до пренебрежимо малого значения (рис.2).
При этом абсолютные погрешности оценки отдельных обобщенных показателей J1 — J з равны:
6 J1 =—1,948 • 10—10, 6 J2 = 8,605 • 10—10, 6 J3 =—6,628 • 10—10. (5)
Далее оценим обобщенный показатель Jpr «качество-цена» нового прибора
«Сокол-Р», используя полученную после калибровки оценку весов и смещений двухслойной нейронной сети с помощью процедуры моделирования sim. Характеристический вектор X pr этого прибора рассчитан по той же методике, которая применялась при определении матрицы (2), и имеет вид [5]
Xpr =(1,000 0,540 0,836 0,558)г. (6)
Рис. 1. Качество обучения двухслойной нейронной сети с линейными функциями активации
206
Информатика, вычислительная техника и управление
Сравнивая полученное значение J pr = 1,529 с точным значением J = 1,464,
убедимся, что относительная ошибка предсказания обобщенного показателя нового извещателя «Сокол-Р» Sj = 0,0443, или 4,43 %. Заметим, что точность прогноза
нейронного моделирования оказалась выше, чем при использовании метода гребневой регрессии (погрешность 6,9 %) [5].
Полученные результаты позволяют подтвердить выдвинутую нами ранее гипотезу о том, для решения обратной задачи экспертизы достаточно применения двухслойной нейронной сети. Однако нужно выбрать ее оптимальную архитектуру: количество нейронов во входном (скрытом) слое, вид функции активации f в различных слоях.
Количество нейронов во входном (скрытом) слое. Решим ту же задачу, постепенно увеличивая количество нейронов во входном слое (1, 2, 4 нейрона) в надежде уменьшить погрешность предсказания показателя J pr с полученной ранее величины 4,43 %.
Введем расширенный вектор весов и смещений для двухслойной сети, сформировав его по следующему правилу:
Q = (Wi, wln, W3, w14, b1; w1, b 2 )Т ,
(7)
где W1 — синаптические веса l-го нейрона (/ = 1,2), i — номер нейрона в слое, j —
номер ветви конкретного i-го нейрона; b1 — смещения l-го нейрона (/ = 1.2).
Результаты обучения для случая алгоритма Левенберга — Маркуардта (LM) при случайном выборе начальных условий приводят к различным сочетаниям весов и смещений (табл.1).
Таблица 1
Веса и смещения при различном количестве нейронов во входном слое
Количество итераций Входной (скрытый) слой Выходной слой Ошибка S J, %
w11 w12 w13 wi4 b1 w21 b 2
Один нейрон
7 1,426 -0,614 -1,723 2,307 0,224 0,297 -0,880 4,4
Два нейрона
4 0,521 -0,282 0,416 -0,931 1,253 -1,035 0,441 12,6
0,935 0,322 -0,975 0,627 0,514 0,515
Четыре нейрона
3 0,701 0,200 0,834 0,987 -0,244 0,427 0,083 11,6
0,606 -0,616 1,163 -0,241 1,088 -1,082
-0,592 -0,583 -0,859 0,759 0,391 0,789
1,001 -0,696 0,742 -0,532 0,692 0,408
207
Вестник Воронежского института МВД России №4 / 2014
Как видим, увеличение числа нейронов в первом слое с одного до четырех не приводит к повышению точности оценки показателя Jpr. Сравним с точным значением J pr =1,464 значения показателей при различном числе нейронов:
J ® = 1,529, J $ = 1,278, J £>= 1,294 (8)
и вычислим относительную ошибку прогнозирования 8 J (последний столбец таблицы).
Приведенные выше результаты получены после различного количества итераций (первый столбец таблицы). Однако с увеличением числа нейронов в первом слое погрешность калибровки (4) увеличивается:
4,059 • 10 _19 / 2,022 • 10 _17 / 3,361 • 10 _14,
соответственно, хотя и остается весьма малой.
Полученные результаты являются следствием известной проблемы переобучения нейронной сети [3,4]. Действительно, для калибровки регрессионной модели с разделением признаков требуется найти 4-мерный вектор весовых коэффициентов V }, а
решение задачи мы ищем вначале в 7-мерном пространстве весов и смещений (один нейрон во входном слое ), а затем — в 13- мерном (два нейрона) и даже 25-мерном пространстве (четыре нейрона).
Сведем результаты нейронного моделирования при различном числе нейронов входного слоя нейронной сети в единую таблицу (табл. 2).
Таблица 2
Погрешности прогнозирования при различном числе нейронов
Число нейронов во входном слое двухслойной сети Погрешность калибровки Прогноз показателя Погрешность прогноза, %
1 4,059 • 10-19 1,529 4,4
2 2,022 • 10-17 1,278 12,6
4 3,361 • 10-14 1,293 11,6
Выбор функции активации. Архитектура нейронной сети определяется количеством входов и выходов, количеством слоев, количеством нейронов в каждом слое, а также видом функций активации. Выберем наиболее распространенные [4] сигмоидальные функции активации
log sig (z) = —1—~; tan sig (z) =-- 1. (9)
1 + e z 1 + e 2 z
Графики этих функций весьма похожи, однако области их значений различны: первого — [0, 1], а второго — [-1, 1]. Поэтому и результаты нейронного моделирования окажутся совершенно различными. Воспользуемся, как и прежде, процедурой nntool из пакета графического интерфейса GUI и алгоритмом обучения Levenberg — Marquardt.
Рассмотрим вначале функцию активации logsig(z) и получим график снижения квадрата СКО (рис.2). Как видим, для достижения минимального значения ошибки потребовалось 9 итераций, причем ошибка калибровки весьма велика: 0,00287.
208
Информатика, вычислительная техника и управление
При этом погрешности оценки отдельных обобщенных показателей J1-J3 равны:
8 J = 0,2136 • 10_3, S J2 =-4,451 • 10“2, S J3 =-8,152• 10“2, (10)
что значительно превышает величину ошибок, полученных при линейной функции активации (см. формулу (5)).
Рис. 2. Зависимость квадрата СКО от шага итерации при нелинейной функции активации logsig (z)
С помощью процедуры моделирования найдем значение прогнозируемого показателя Jpr = sim{net,Xpr j, где Xpr — характеристический вектор нового прибора,
определяемый выражением (6). Из-за низкого качества калибровки, полученное значение J pr = 1,725 определено с большой относительной ошибкой 8 J = 0,178.
Рассмотрим теперь вторую сигмоидальую функцию активации tansig(z) и получим график снижения квадрата СКО (рис. 3).
Рис. 3. Зависимость квадрата СКО от шага итерации при нелинейной функции активации f(z)=tansig (z)
209
Вестник Воронежского института МВД России №4 / 2014
Как видим, для достижения минимального значения ошибки потребовалось 22 итерации, причем ошибка калибровки достаточно мала: 7,512 • 10 15 . При этом погрешности оценки отдельных обобщенных показателей Jі — J3 равны:
8 J1 = 2,849 • 10—8, S J2 = 1,462 • 10—7, S J3 =—1,878 • 10—8, (11)
что несколько превышает величину ошибок, полученных при линейной функции активации (см. формулу (5)).
С помощью процедуры моделирования найдем значение прогнозируемого показателя Jpr = sim{net, Xpr j, где Xpr — характеристический вектор, определяемый
выражением (6). Полученное значение Jpr = 1,644 определено с относительной
ошибкой 8 j = 0,123.
Сведем результаты нейронного моделирования при различных функциях активации слоев нейронной сети в единую таблицу (табл.3).
Таблица 3
Погрешности прогнозирования при различных функциях активации
Различные функции активации двухслойной сети Погрешность калибровки Прогноз показателя Погрешность прогноза, %
purelin 4,059 • 10—19 1,529 4,4
logsig 2,871 • 10 —3 1,725 17,8
tansig 7,512 • 10—15 1,644 12,3
Итак, в данной статье были рассмотрены нейронные сети прямой передачи сигнала с обратным распространением ошибки (feed-forward back propagation). На основании проведенного нейронного моделирования можно сделать следующий вывод: для решения обратной задачи экспертизы оптимальной является двухслойная нейронная сеть со следующей архитектурой: по одному нейрону в скрытом и выходном слоях и линейными функциями активации каждого слоя.
ЛИТЕРАТУРА
1. Дрейпер Н., Смит Г. Прикладной регрессионный анализ. Множественная регрессия: монография: пер. с англ. — 3-е изд. — М.: Диалектика, 2007. — 912 с.
2. Эсбенсен К. Анализ многомерных данных. Избранные главы: пер. с англ. / под ред. О.Е. Родионовой. — Черноголовка: Изд-во ИПХФ РАН, 2005. — 160 с.
3. Хайкин С. Нейронные сети: полный курс: пер. с англ. — 2-е изд. — М.- СПб-Киев: Вильямс, 2006. — 668 с.
4. Медведев В.С., Потемкин В.Г. Нейронные сети. MATLAB 6. — М.: ДИАЛОГ-МИФИ, 2002. — 496 с.
5. Волков Д.В., Мельников А.В., Навоев В.В. Прогнозирование значений обобщенного показателя качества объемных извещателей на основе нейронного моделирования // Вестник Воронежского института МВД России. — 2014. — № 2. — С. 153—162.
6. Бухарин С.В., Мельников А.В. Кластерно-иерархические методы экспертизы экономических объектов: монография. — Воронеж: Научная книга, 2012. — 276 с.
210
Информатика, вычислительная техника и управление
REFERENCES
1. Dreyper N., Smit G. Prikladnoy regressionnyiy analiz. Mnozhestvennaya regressi-ya: monografiya: per. s angl. — 3 izd. — M.: Dialektika, 2007. — 912 s.
2. Esbensen K. Analiz mnogomernyih dannyih. Izbrannyie glavyi: per. s angl. / pod red. O.E. Rodionovoy. — Chernogolovka: Izd-vo IPHF RAN, 2005. — 160 s.
3. Haykin S. Neyronnyie seti: polnyiy kurs: per. s angl. — 2-e izd. — M.- SPb.-Kiev: Vilyams, 2006. — 668 s.
4. Medvedev V.S., Potemkin V.G. Neyronnyie seti. MATLAB 6. — M.: DIALOG-MIFI, 2002. — 496 s.
5. Volkov D.V., Melnikov A.V., Navoev V.V. Prognozirovanie znacheniy obob-schennogo pokazatelya kachestva ob'emnyih izveschateley na osnove neyronnogo modeliro-vaniya // Vestnik Voronezhskogo instituta MVD Rossii. — 2014. — # 2. — S. 153—162.
6. Buharin S.V., Melnikov A.V. Klasterno-ierarhicheskie metodyi ekspertizyi ekonomicheskih ob'ektov: monografiya. — Voronezh: Nauchnaya kniga, 2012. — 276 s.
СВЕДЕНИЯ ОБ АВТОРАХ
Бухарин Сергей Васильевич. Профессор кафедры информационных и управляющих систем. Доктор технических наук, профессор.
ФГБОУ ВПО «Воронежский государственный университет инженерных технологий».
E-mail: svbuharin@mail.ru
Россия, 394000, г. Воронеж, проспект Революции, 19. Тел. (473) 255-37-51.
Мельников Александр Владимирович. Старший преподаватель кафедры огневой подготовки. Кандидат технических наук.
Воронежский институт МВД России.
E-mail: meln78@mail.ru
Россия, 394065, г. Воронеж, проспект Патриотов, 53. Тел. (473) 2623-397.
Навоев Виктор Владимирович. Начальник Управления вневедомственной охраны. Кандидат технических наук.
Управление вневедомственной охраны Г лавного управления МВД России по Свердловской области.
E-mail: v.navoev@ mail.ru
Россия, 620142, г. Екатеринбург, ул. Чапаева, 12а. Тел (343) 257-62-50.
Bukcharin Sergey Vasilievich. The professor of the chair of Information and Management systems. Doctor of technical sciences, professor.
The Voronezh State University of Engineering Technologies.
Work address: Russia, 394000, Voronezh, Revolution Avenue, 19. Tel. (473) 255-37-51.
Melnikov Alexander Vladimirovich. Senior lecturer of the chair of Range Practice. Candidate of technical sciences.
Voronezh Institute of the Ministry of Interior of Russia.
Work address: Russia, 394065, Voronezh, Prospect Patriotov, 53. Tel. (473) 2623-397.
Navoev Victor Vladimirovich. The head of department of private security. Candidate of technical sciences.
Central administrative board of the Ministry of the Interior of Russia on Sverdlovsk area.
Work address: Russia, 620142, Ekaterinburg, Chapaev Str., 12а. Tel. (343) 257-62-50.
Ключевые слова: экспертиза технических средств охраны; приборы приемно-контрольные охранно-пожарные; комплексный показатель «качество-цена».
Key word: examination of technical means of protection; devices reception and control security and firefighters; complex indicator "quality-price".
УДК 657
211
