CC BY
106
С.В.Бухарин,
доктор технических наук, профессор, ФГБОУ ВПО «Воронежский государственный университет инженерных технологий»
А.В. Мельников,
кандидат технических наук
В.В. Навоев,
кандидат технических наук, Управление вневедомственной охраны Главного управления МВД России по Свердловской области
ПРОГНОЗИРОВАНИЕ ЗНАЧЕНИЙ ОБОБЩЕННОГО ПОКАЗАТЕЛЯ КАЧЕСТВА ОБЪЕМНЫХ ИЗВЕЩАТЕЛЕЙ НА ОСНОВЕ НЕЙРОННОГО МОДЕЛИРОВАНИЯ
FORECASTING OF VALUES OF THE GENERALIZED INDICATOR OF QUALITY OF VOLUME ANNOUNCERS ON THE BASIS OF NEURAL MODELLING
Рассматривается многомерная калибровочная модель обобщенного показателя качества объемных извещателей. Обсуждается проблема мультиколлинеарности данных и способы ее преодоления. Для предсказания значений показателя нового прибора используются методы нейронного моделирования.
The multidimensional calibration model the generalized indicator of quality of volume announcers is considered. The problem of a multicollinearity data and methods of its overcoming is discussed. For a prediction of values an indicator new device methods of neural nets are used.
При сопоставлении характеристик нескольких объемных извещателей и введении комплексного показателя «качество-цена» математическая модель сводится к модели множественной линейной регрессии. Однако при недостатке известных (референтных) приборов зачастую решение задачи затрудняется проблемой мультиколлине-
■ Jl ■ x11 X12 ••• ••• X1m " V1"
J2 = X21 X22 ••• ••• X2m V2
Л. _Xn1 Xn2 ••• X nm _ Vm _
арности [1,2]. Один из способов преодоления этой проблемы рассмотрен в работе [3] и связан с переходом к гребневой (ridge) регрессии.
Нейронное моделирование преодолевает проблему мультиколлинеарности, однако сталкивается с другой проблемой — проблемой общности: нейронная сеть, обученная на одном множестве исходных данных, должна быть приемлема для множества новых данных. Покажем, что и в этом случае тестовое решение может быть получено методом регуляризации с помощью гребневой регрессии.
Постановка задачи. Для n образцов (объемных извещателей), обладающих m характеристиками (признаками), модель множественной линейной регрессии имеет вид
(1)
где ^ — обобщенный показатель для / - го образца; х^ — значение ] - го признака для I - го образца; V — коэффициент регрессии.
Во многих случаях необходимо решить следующую задачу: зная обобщенные показатели качества известных образцов (приборов) J и матрицу X для нескольких известных образцов, определить множество весовых коэффициентов {V}, а затем использовать это множество для оценки показателей новых приборов, т.е. осуществить их прогноз или многомерную калибровку [1].
В целом процедура многомерной калибровки распадается на два этапа: а) обучение многомерной регрессионной модели по референтным данным известных образцов; б) прогноз значений обобщенного показателя качества новых приборов [1,2].
Упомянутая терминология справедлива и для других задач многомерного статистического анализа: метода регрессии на главные компоненты (РГК) и нейронного моделирования. Однако под калибровкой в первом случае подразумевается не определение вектора V, а нахождение векторов счетов Т и нагрузок Р, а во втором случае —
весов Ж1,2 и смещений нейронной сети.
Нейронное моделирование обладает серьезным недостатком [4]: обученные на некотором множестве данных нейроны «не видят» данные из нового набора, благодаря чему возможны большие ошибки или неоднозначность прогнозирования. Поэтому применение нейронных сетей всегда должно сопровождаться построением проверочных моделей, основанных на методах РГК или гребневой регрессии.
Целью данной работы является нейронное моделирование множества значений обобщенного показателя качества объемных извещателей двумя способами (обучение и адаптация нейронной сети), построение проверочной модели методом гребневой регрессии и проверка гипотезы соответствия.
Формирование факторного пространства. Осуществим многомерную калибровку для данных трех известных промышленных объектовых извещателей вневедом-
ственной охраны (референтных данных), а также оценку вектора V и прогноз обобщенного показателя качества.
Выберем аддитивную форму обобщенного показателя «качество-цена» [3]:
1,кач.пр. 1,кач.пр.
/ ^,кол Хкол / У1;Нал X¡ нал / VI,к, ^ ^
^ = Ч0л ' V"1 ^ ^ ^^нал ' V"1 ^ ^ ^ач.пр. V"1,. ^ ^ены ' цены) , (2)
/ , ,),кол / ; ч, нал / ; М, кач.пр.
J 1 1
где X! кол — нормированные количественные признаки, £1)Нал — нормированные признаки наличия определенного свойства прибора, х1кач— нормированные качественные признаки, усредненные по множеству экспертов, Р(хцены) — нормированная функция цены; Укол,Ушл,Укач,Уцены — групповые весовые коэффициенты, учитывающие относительную важность различных групп признаков.
Подробные характеристики трех известных промышленных объемных извеща-телей («Астра-551», «Сокол-2», «Орлан») приведены в статье [3]. Там же дана таблица значений признаков Xи нормированных значений признаков х1 извещателей.
В статье [3] осуществлена нормировка признаков упомянутых объемных извещателей [5]. Выберем в качестве характеристических точек [1] взвешенные суммы групп количественных признаков, признаков наличия, качественных признаков, функции цены.
Добавив признак цены, сформируем факторное пространство, т.е. матрицу нормированных групповых признаков
X =
0,929 0,460 0,646 1,000 0,976 1,000 0,628 0,782 0,651 0,539 0,887 0,953
(3)
соответствующую трем известным объемным извещателям (образцам).
Для аддитивной формы обобщенного показателя (2) выберем Уцены = 1, что означает равнозначность учета качественных и ценовых характеристик. Тогда после сложения показателей качества и цены получим для калибровки окончательный вид вектора показателей «качество-цена»
} = (1,807 1,681 1,644^ . (4)
Тестовая модель на основе гребневой регрессии. Воспользовавшись референтными данными (3), (4), произведем обучение модели, т.е. попытаемся найти неизвестные весовые коэффициенты V\.
В нашей ситуации наблюдается явление мультиколлинеарности референтных данных, которое отражает сильную корреляционную (или даже функциональную) связь между векторами матрицы [XX^] (такая матрица называется плохо обусловленной). Гребневая регрессия предполагает оценку неизвестных весовых коэффициентов калибровочной модели V I по следующей формуле:
• X
V = (X TX + al)r1ic TJ .
(5)
Добавление регуляризирующего параметра а решает проблему плохой обусловленности матрицы
X1 X.
Для оценки погрешности калибровочной модели в процессе обучения сравним между собой «точный» вектор весовых коэффициентов V = (у,...,Ут)Т, рассчитанный в статье [3] методом анализа иерархий
V = (0,649 0,122 0,229 1,000)Т, (6)
последовательно уменьшая величину а. С уменьшением значений а относительная ошибка калибровки 8 у снижается до 20,8 %. Наилучшее приближение к вектору весовых коэффициентов после калибровки примет вид
ус = (0,771 0,049 0,360 0,83б)Т . (7)
Ошибка в 20,8 % объясняется слишком малым количеством референтных данных, т.к. проводили обучение калибровочной модели по данным всего лишь 3 известных образцов, а обычно процесс калибровки требует для выбранных четырех характеристических точек объекта экспертизы референтных данных 8-12 образцов (известных приборов) [1]. С учетом этого полученный результат можно считать вполне объяснимым.
Рассмотрим новый объемный извещатель «Сокол-Р» и выберем его признаки X
такими же, как и для трех известных образцов. Выбирая те же характеристические точки и следуя той же методике, получим для них значения
Хрг = (1,000 0,540 0,836 0,558)Т . (8)
Рассчитаем обобщенный показатель «качество-цена» нового прибора, используя полученную после калибровки оценку вектора групповых весовых коэффициентов (7) — показатель J рг = 1,565. Сравнивая полученное значение с точным значением, приведенным в работе [3]
] = 1,464 , (9)
убедимся, что относительная ошибка предсказания обобщенного показателя нового из-вещателя «Сокол-Р» 8 = 0,069.
Нейронная сеть: процедура обучения. Сформируем вначале двухслойную нейронную сеть прямой передачи сигнала, воспользовавшись командой пШоо1 вычислительной среды МаЙаЬ 7 (рис.1).
Рис.1. Обобщенная схема двухслойной нейронной сети Здесь первый слой — скрытый (hidden), второй слой — выходной (output);
tj/1,2 ~ L 1,2
W — матрицы весов первого и второго нейронов; b — постоянные сигналов
смещений первого и второго слоев. Как показано на рисунке, в обоих слоях выбраны линейные функции активации purelin.
Для калибровки нейронной модели могут применяться два подхода: обучение с учителем (train) и последовательная адаптация (adapt). В обоих случаях на вход сети подаются данные (3), а в качестве вектора цели выбран вектор показателей (4).
Для обучения сети используем алгоритм Левенберга — Маркуардта (Levenberg — Marquardt). После 7 шагов обучения квадрат среднеквадратичной погрешности калибровки модели
1 n
СКО = --Y (5 J )2 (10)
снижается до пренебрежимо малого значения 4,059 *10"19 .
При этом абсолютные погрешности оценки отдельных показателей Ji—J3 равны:
5 J =-1,948 -10-10, 5 J = 8,605 -10"
5J =-6,628 -10-
(11)
Рассчитаем обобщенный показатель «качество-цена» нового прибора Jрг, используя полученную после калибровки оценку весов и смещений двухслойной нейронной сети. Сравнивая полученное значение 1рг = 1,529 с точным значением } = 1,464, убедимся, что относительная ошибка предсказания обобщенного показателя нового изве-щателя «Сокол-Р» 8 J = 0,0443, или 4,43 %. Точность прогноза оказалась выше, чем при использовании метода гребневой регрессии (погрешность 6,9 %).
При численном моделировании методом обучения выявлены три особенности: неоднозначность решения, сильная зависимость от алгоритма обучения, значительный разброс весов и смещений нейронной сети. Продемонстрируем эти свойства последовательно.
Неоднозначность моделирования. Неоднозначность обусловлена случайным выбором начальных условий для нейронов сети [6]. Это приводит к различным решениям относительно весов и смещений и даже к различному количеству необходимых итераций.
Введем расширенный вектор весов и смещений для двухслойной сети, сформировав его по следующему правилу:
Q = (wll , ^2 , ^3, ^4 , Ь1; w12, Ь2 )Т , (12)
где wf — веса к -го нейрона (к = 1,2), Ь к — смещения к -го нейрона (к = 1,2).
Результаты обучения для случая алгоритма Левенберга — Маркуардта (ЬМ) при случайном выборе начальных условий приводят к различным сочетаниям весов и смещений (табл.1).
Веса и смещения двухслойной нейронной сети
Таблица 1
Число шагов обучения Первый нейрон Второй нейрон
w\ w2 w3 W14 b1 Wj2 b 2
4 0,764 -0,792 -0818 0,657 -0,763 0,603 -0,166
6 1,234 -0,144 -0,502 2,145 0,211 0,335 -0,667
7 1,426 -0,614 -1,723 2,307 0,224 0,297 -0,880
10
10
Обозначим различные строки табл.1 через QN и вычислим между ними коэффициенты корреляции
кг$ = «ИГ ).
Расширенные векторы весов и смещений даже при выборе случайных начальных условий достаточно сильно коррелированны:
к46 = 0,691; к47 = 0,769; к67 = 0,955. (13)
Для различного числа итераций N прогнозируемые значения обобщенного
показателя качества нового извещателя обозначим J ^), тогда 1(4) = 1,622 с погрешностью 10,7 %;
1(6) = 1,521 с погрешностью 3,9 %; (14)
1(7) = 1,529 с погрешностью 4,4 %.
Выбор алгоритма обучения. Сравним между собой результаты калибровки при трех различных алгоритмах: GDM, GDA и LM.
1. Алгоритм GDM, или алгоритм градиентного спуска с возмущением, позволяет преодолевать локальные неровности поверхности ошибки и не останавливаться в локальных минимумах [7].
Как известно, эффективность решения задач множественной линейной регрессии при недостаточном количестве референтных данных определяется особенностями матрицы (3). Для нашего примера алгоритм GDM оказывается совершенно не приемлемым: при максимально возможном числе итераций N = 1000 квадрат СКО модели равен 0,0127, а оценка показателя качества нового извещателя J рГ = 1,816, т.е. имеет огромную погрешность 24,1 %.
2. Алгоритм GDA, или градиентный алгоритм с выбором параметра скорости настройки, использует эвристическую стратегию изменения этого параметра в процессе обучения [7].
Алгоритм позволяет снизить абсолютные ошибки оценки показателей до уровня 8^ = 2,712-10-5, 8.Т2 =-5,472-10-5, -5,886-10-5. Процесс адаптации показан на рис. 2,а. Как видим, квадрат СКО (10) снижается до уровня 2,398 -10-9 после 167 шагов. При этом прогнозируемый показатель качества Jрг = 1,389 с приемлемой ошибкой 5,1 %.
а б
Рис. 2. Зависимость среднеквадратичной ошибки от шагов итерации: а — при алгоритме GDA; б — при алгоритме LM
3. Алгоритм LM — квазиньютонов алгоритм, основанный на приближенном вычислении матрицы вторых производных целевой функции (матрицы Гессе). Как было показано выше (именно алгоритм LM был выбран нами в качестве основного), всего через 7 шагов итерации квадрат СКО снижается до величины 4,059Л0-19.
Первые два алгоритма (GDM, GDA) относятся к методам первого порядка и используют только градиент функционала ошибки, а алгоритм LM относится к более сложным методам второго порядка и требует также вычисления матрицы вторых частных производных.
Нейронная сеть: процедура последовательной адаптации. При высокой точности калибровки двухслойная нейронная сеть имеет методический недостаток: обучение производится в 7-мерном пространстве (4 веса скрытого нейрона, 1 вес выходного нейрона, 2 смещения) и поэтому полученные результаты обучения совершенно не похожи на вектор весовых коэффициентов (6). Для устранения этого недостатка перейдем к 4-мерному пространству весов, т.е. к однослойной нейронной сети.
Сформируем однослойную нейронную сеть, что соответствует устранению второго слоя на рис.1, и положим начальное значение смещения Ъ1 равным нулю. Кроме того, запретим изменение Ъ1 в процессе адаптации командой net.biases{1,1}.leamParam.lr=0, означающей приравнивание нулю скорости адаптации смещения 1г.
Результаты последовательной адаптации однослойной нейронной сети приведены на рис. 3.
Рис. 3. Результаты последовательной адаптации нейронной сети
В качестве вектора целей был выбран вектор обобщенных показателей (4). На вход нейронной сети последовательно подаются векторы нормированных признаков различных предприятий.
После 30 шагов (циклов) адаптации абсолютные погрешности оценки отдельных показателей Jy — J3 равны:
8 J = 0,0961, 8 J2 = —0,0750, 8 J = —0,0154 , (15)
а усредненный квадрат СКО калибровки, рассчитываемый по формуле (10), равен 0,0051. Как видим, после процедуры адаптации сформированный вектор весов нейрона
W = (0,5995 0,2836 0,4883 0,709l)T (16)
содержит только неотрицательные значения весов из интервала [0, 1], что соответствует обычной практике экспертных систем [5], в отличие от данных табл.1. В этом состоит преимущество метода последовательной адаптации перед методом обучения (train). Кроме того, полученный вектор весов (16) оказался сильно коррелированным
с истинным вектором V, использованным при расчете исходных данных X :
kwV = coir(w,v)= 0,929 . (17)
Подав на вход сформированной однослойной сети вектор референтных данных (8) с помощью процедуры моделирования (sim) получим для нового объемного извещателя «Сокол-Р» значение показателя качества jpr = 1, 557 с относительной погрешностью 6,3 %.
Для трех рассмотренных выше методов сведем результаты калибровки и прогноза обобщенного показателя в единую таблицу (табл. 2).
Таблица 2
Результаты калибровки и прогноза показателя нового извещателя
Метод калибровки модели Погрешность калибровки Прогноз показателя Погрешность прогноза, %
Метод гребневой (ridge) регрессии 0,2082 1,565 6,9
Обучение двухслойной нейронной сети 6,371 -10~10 1,529 4,4
Адаптация однослойной нейронной сети 0,0051 1,557 6,3
Применение нейронных сетей позволяет преодолеть проблему мультиколли-неарности, дает высокую точность калибровки модели даже при недостатке для обучения количества известных образцов (объемных извещателей) и обеспечивает меньшую погрешность прогнозирования, чем альтернативный метод гребневой регрессии.
ЛИТЕРАТУРА
1. Эсбенсен К. Анализ многомерных данных. Избранные главы: пер. с англ. / под ред. О.Е. Родионовой. — Черноголовка: Изд-во ИПХФ РАН, 2005. — 160 с.
2. Дрейпер Н., Смит Г. Прикладной регрессионный анализ. Множественная регрессия: монография: пер. с англ.— 3-е изд. — М.: Диалектика, 2007. — 912 с.
3. Волков Д.В., Мельников А.В., Навоев В.В. Прогнозирование значений обобщенного показателя качества объемных извещателей вневедомственной охраны // Вестник Воронежского института МВД России. — 2013. — № 3. — С. 93—101.
4. Хайкин С. Нейронные сети: полный курс: пер. с англ. — 2-е изд. — М.— СПб.-Киев: Вильямс, 2006. — 668 с.
5. Бухарин С.В., Мельников А.В. Кластерно-иерархические методы экспертизы экономических объектов: монография. — Воронеж: Научная книга, 2012. — 276 с.
6. Ануфриев И.Е., Смирнов А.Б., Смирнова Е.Н. MATLAB 7: наиболее полное руководство. — СПб: БХВ - Петербург, 2005. — 1104 с.
7. Медведев ВС., Потемкин В.Г. Нейронные сети. MATLAB 6. — М.: ДИАЛОГ-МИФИ, 2002. — 496 с.
REFERENCES
1. Esbensen K. Analiz mnogomernyih dannyih. Izbrannyie glavyi: per. s angl. / pod red. O.E. Rodionovoy. — Chernogolovka: Izd-vo IPHF RAN, 2005. — 160 s.
2. Dreyper N., Smit G. Prikladnoy regressionnyiy analiz. Mnozhestvennaya regressi-ya: monografiya: per. s angl.— 3-izd. — M.: Dialektika, 2007. — 912 s.
3. Volkov D.V., Melnikov A.V., Navoev V.V. Prognozirovanie znacheniy obobschen-nogo pokazatelya kachestva ob'emnyih izveschateley vnevedomstvennoy ohranyi / Vestnik Voronezhskogo instituta MVD Rossii. — 2013. — # 3. — S. 93—101.
4. Haykin S. Neyronnyie seti: polnyiy kur: per. s angl. — 2-e izd. — M.— SPb.-Kiev: Vilyams, 2006. — 668 s.
5. Buharin S.V., Melnikov A.V. Klasterno-ierarhicheskie metodyi ekspertizyi ekonomicheskih ob'ektov: monografiya. — Voronezh: Nauchnaya kniga, 2012. — 276 s.
6. Anufriev I.E., Smirnov A.B., Smirnova E.N. MATLAB 7: naibolee polnoe rukovodstvo. — SPb: BHV - Peterburg, 2005. — 1104 s.
7. Medvedev V.S., Potemkin V.G. Neyronnyie seti. MATLAB 6. — M.: DIALOG-MIFI, 2002. — 496 s.
СВЕДЕНИЯ ОБ АВТОРАХ
Бухарин Сергей Васильевич. Профессор кафедры информационных и управляющих систем. Доктор технических наук, профессор.
ФГБОУ ВПО «Воронежский государственный университет инженерных технологий».
E-mail: svbuharin@mail.ru
Россия, 394000, г. Воронеж, проспект Революции, 19. Тел. (473)2 55-37-51.
Мельников Александр Владимирович. Старший преподаватель кафедры огневой подготовки. Кандидат технических наук.
Воронежский институт МВД России.
E-mail: meln78@mail.ru
Россия, 394065, г. Воронеж, проспект Патриотов, 53. Тел. (473) 200-53-82.
Навоев Виктор Владимирович. Начальник Управления вневедомственной охраны. Кандидат технических наук.
Управление вневедомственной охраны Главного управления МВД России по Свердловской области.
E-mail: v.navoev@ mail.ru
Россия, 620142, г. Екатеринбург, ул. Чапаева, 12а. Тел. (343) 257-62-50.
Bukharin Sergey Vasilievich. Professor of the chair of Information and Management systems. Doctor of technical sciences, professor.
The Voronezh State University of Engineering Technologies
Work address: Russia, 394000, Voronezh, Revolution Avenue, 19. Tel. (4732) 55-37-51.
Melnikov Alexander Vladimirovich. Senior lecturer of the chair of Range Practice. Candidate of technical sciences.
Voronezh Institute of the Ministry of the Interior of Russia.
Work address: Russia, 394065, Voronezh, Prospect Patriotov, 53. Tel. (473) 200-53-82.
Navoev Victor Vladimirovich. The head of department of private security. Candidate of technical sciences.
Central administrative board of the Ministry of the Interior of Russia on Sverdlovsk area.
Work address: Russia, 620142, Ekaterinburg, Chapaeva Str., 12а. Tel. (343) 257-62-50.
Ключевые слова: показатели качества приборов; множественная линейная регрессия; прогнозирование обобщенного показателя; нейронное моделирование.
Key words: indicators of quality of the devices; multiple linear regression; forecasting of the generalized indicator; neural modelling.
УДК 004.891
