CC BY
22
И. Р. Нарушев
Г
U —
А. В. Мельников,
доктор технических наук, доцент
И. В. Щербакова,
кандидат технических наук
ИСПОЛЬЗОВАНИЕ НЕЙРОСЕТЕВЫХ АНСАМБЛЕЙ ДЛЯ КОРРЕКЦИИ ВЕСОВЫХ КОЭФФИЦИЕНТОВ КРИТЕРИЕВ НЕОДНОРОДНЫХ АЛЬТЕРНАТИВ В ИНТЕРЕСАХ ИССЛЕДОВАНИЯ ДЕВИАНТНОГО ПОВЕДЕНИЯ НЕСОВЕРШЕННОЛЕТНИХ
USE OF NEURAL NETWORK STRUCTURES FOR CORRECTING WEIGHT COEFFICIENTS OF CRITERIA OF INHOMOGENEOUS
ALTERNATIVES IN THE INTERESTS OF RESEARCHING DEVIANT BEHAVIORS
В статье предлагается методика использования комитета нейронных сетей с первоначальной инициализацией весовых коэффициентов связей для повышения эффективности многокритериального принятия решений. Проведена верификация метода на основе нейросетевых ансамблей для коррекции весовых коэффициентов критериев неоднородных альтернатив, на примере оценки девиантного поведения несовершеннолетних.
This paper proposes a methodology for using the committee of neural networks with the initial initialization of linking weights to improve the efficiency of multi-criteria decisionmaking. Verification of the method based on neural network ensembles for the correction of weighting coefficients of criteria for heterogeneous alternatives, for example, the evaluation of the deviant behavior of minors.
Введение. За последние 70 лет множеством ученых был проявлен высокий интерес к решению проблем машинной имитации человеческих мыслей: появлялось множество научных работ по новым математическим моделям и алгоритмам обучения искусственных нейронных сетей. Первую попытку формализации искусственной нейронной
сети относят к 1943 г., когда была представлена статья о логическом исчислении человеческих идей и нервной активности американскими учёными (У. Мак-Каллок и У. Питтс). Распознавание образов, оптимизация, прогнозирование, принятие решений, анализ данных — все это основные области применения нейронных сетей. В настоящее время существенно выросла скорость работы нейронных сетей, что также повлияло на их распространение.
Сейчас достаточно остро стоит задача измерения всего того, что нас окружает. Ввиду множества факторов и переменных, влияющих на определенные события, явления или объекты исследования, методики измерений постоянно модифицируются, применяются новые подходы для повышения точности и достоверности измерений. Зачастую для измерения одного и того же явления используется множество различных описательных структур (классификаций), что накладывает определенные ограничения на подходы к измерению. Рассмотрим девиантное поведение человека. Согласно Н. В. Майсак [2], де-виантное поведение подростка делится на 3 глобальные категории: конструктивное, внешнедеструктивное и аутодеструктивное. Согласно международной классификации болезней МКБ-10 девиантное поведение можно охарактеризовать группой ^91 — расстройства поведения), включающей в себя шесть диагностических подгрупп. Р. Джен-кинс включает 7 видов нарушений поведения в детском и подростковом возрасте. М. Рат-тер считает, что расстройства поведения делятся на социализированные и несоциализи-рованные, и т.д.
Очевидно, что девиантное поведение подростка в представлении различных ученых имеет разную структуру и включает в себя различные формы. Также отмечено, что соответствие девиантного поведения определенному уровню требует различных критериев оценки, которые порой обладают иерархичной структурой [1]. Таким образом, в классе задач многокритериального принятия решений, подростки выступают в роли неоднородных альтернатив. Расчет показателей девиантного поведения и сопоставление между собой неоднородных альтернатив требуют особого подхода к методике расчета [6].
Нейросетевое обучение. На рис. 1 показана базовая структура нейронной сети. Многослойная нейронная сеть состоит из следующих слоев: входной слой — распределяет данные по элементам следующего слоя (не производит вычислений), скрытые слои — слои обычных нейронов, выходной слой — выдает результат расчетов всей нейронной сети.
Рис. 1. Структурная схема многослойной нейронной сети
Параллельные вычисления всеми звеньями нейронной сети являются одной из важнейших особенностей нейронных сетей, обусловливающей их широкое применение. Огромное количество межнейронных связей позволяет производить процесс обработки информации со значительной скоростью, приобретать устойчивость к ошибкам. Также одним из не менее важных свойств является обучение посредством накопления знаний. Натренированная на конечном множестве данных нейронная сеть способна также качественно обрабатывать данные, не принадлежащие выборке, использовавшейся для обучения.
Понимание основных принципов построения нейронных сетей происходит при рассмотрении сети, как совокупности отдельных нейронов. В структуре нейрона можно выделить следующие блоки: входные сигналы х1, хп, весовые коэффициенты Wl,Wn , сумматор ^, функция активации ¥(х), выходной сигнал О. Математическая модель
нейрона представляет собой суммирующий пороговый элемент и может быть представлена в следующем виде (рис. 2).
и и
Рис. 2. Математическая модель искусственного нейрона
Математическое описание правила срабатывания персептрона:
n
O = F(< WT, X >) = F(£ wt ■ xt),
Г Г " (!)
_ Jl, (< WT, X >) > 0, [0, иначе.
Обучение нейронной сети происходит посредством некоторого набора данных (обучающей выборки), где каждый образец данных сравнивается с целевым значением. При условии, что разница между целевым значением и исходным, превышает допустимое значение £, весовые коэффициенты меняются. Обучение считается оконченным, когда на каждом из образцов данных общая ошибка является допустимой.
Практически каждый алгоритм обучения нейронной сети является разновидностью алгоритма обучения по методу коррекции ошибки, которые представлены в разной реализации. Коррекция весовых коэффициентов нейронной сети заключается в нахождении общей меры качества сети, в качестве которой обычно выбирают функцию ошибки сети. Для подбора необходимых весов необходима минимизация функции ошибки. Одним из самых распространенных методов поиска min является метод градиентного спуска.
Так, для функции одной переменной весовые коэффициенты нейронной сети изменяются в направлении, противоположном производной, т. е. справедлива формула
Wn+1 = Wn - h ■ F\W), (2)
где h — шаг изменения;
F(W) — функция качества нейронной сети для одной переменной.
Для функции F, содержащей n переменных и единичного вектора ё*в простран-
у\П
стве Rn ||е|| = 1, e ^ R , дифференциал функции качества нейронной сети выражается формулой
d F(W) = limF(W + et) -F(W)). (3)
Частный дифференциал для е = (0, 0, 0 ... 1 ... 0)
Q F(W)= llm (F (W1, W2 , W3...W+et ^-Wn ) - F (W)) (4)
Таким образом, антиградиент функции F (W) представлен в виде набора следующих дифференциалов:
dF (W) = ((-dF (Wi), - dF (w2),..., - dF (Wi),..., - dF (w„ ))T. (5)
На примере обучающей выборки {(хк,У)}, где к = 1, ..., К, определим обобщенную функцию ошибки, накопленной по всем эпохам:
K K ( m \
E = Z(Ek) =E|El/2|fr -Y||2 (6)
k=1 k=1V i=1 J
Модификацию весов нейронной сети можно представить в виде следующей формулы:
Wn+1 = Wn - h ■дЕ / dW (7)
Для линейной функции активации F(t) = t формирование выхода нейронной сетью происходит в виде скалярного произведения весов на вектор входов: O =< W, X >, тогда градиент будет равен:
дЕ / dW = -(Y - O ) ■ X, (8)
где Yi — желаемый выход; Oi — полученный выход; X — вектор выхода.
Тогда формула изменения весов примет следующий вид:
Wn+1 = Wn - h ■ (Y - о ) ■ X. (9)
Обозначив разницу (Yi - Oi) как 3, получим:
Wn+1 = Wn - h ■3■ X, (10)
что является алгоритмом обучения по 3 -правилу.
Алгоритм первоначальной инициализации весовых коэффициентов нейронной сети.
Алгоритм обучения нейронной сети:
1. Использование нечетко-множественного метода анализа иерархий [8] для получения весовых коэффициентов связей, так как первоначальная инициализация приближенных значений весовых коэффициентов позволяет сократить время обучения нейронной сети и работать более эффективно.
2. До тех пор пока количество заданных итераций меньше предустановленного значения или суммарная квадратичная ошибка на выходе сети не превышает предустановленного минимума, выполняются шаги 3—10.
3. Для каждой пары (данные, целевое значение) выполняются шаги 4—9.
4. Каждый входной нейрон (xi, i=1,2,3, ..., n) отправляет полученный сигнал xi всем нейронам в скрытом слое.
5. Каждый скрытый нейрон (zj, j=1,2,3, ..., p) суммирует взвешенные входящие
Zn
XiVij и применяет активационную функцию zj=f(z_inj) После
чего посылает результат всем элементам следующего слоя (выходного).
6. Каждый выходной нейрон (yk, к=1,2,3, ..., m) суммирует взвешенные входящие
Zn
ZjWjk и применяет активационную функцию, вычисляя выходной сигнал yk=f(y ink).
7. Каждый выходной нейрон (yk, к=1,2,3, ..., m) получает целевое значение — то выходное значение, которое является правильным для данного входного сигнала, и вычисляет ошибку ok=(tk-yk) f'(y ink), также вычисляет величину, на которую изменится вес связи Wjk, Awjk=a ok zj, помимо этого, вычисляет величину корректировки смещения Awok=a ok и посылает ok нейронам в предыдущем слое.
8. Каждый скрытый нейрон (Zj, j= 1,2, ..., p) суммирует входящие ошибки (от
Zn
akwik и вычисляет величину ошибки,
fc=i
умножая полученное значение на производную активационной функции Oj= o inj f'(z inj), также вычисляет величину, на которую изменится вес связи vtj Avj=a Oj Xi. Помимо этого, вычисляет величину корректировки смещения voj=a Oj.
9. Каждый выходной нейрон (yk, k=1,2,.., m) изменяет веса своих связей с элементом смещения и скрытыми нейронами: Wjk(new)=Wjk(old) + A Wjk Каждый скрытый нейрон (Zj, j=1,2,...,p) изменяет веса своих связей с элементом смещения и выходными нейронами: Vij(new)=Vij(old) + A Vj.
10. Проверка условия прекращения работы алгоритма.
В основе алгоритма лежит метод градиентного спуска. В зависимости от знака градиент функции (в данном случае значение функции — это ошибка, а параметры — это веса связей в сети) дает направление, в котором значения функции возрастают (или убывают) наиболее стремительно.
Часто возникают ситуации, когда параллельное использование алгоритмов, выполняющих одну задачу, не приводит к приемлемому результату [9]. В таких случаях обоснованно применение композиций алгоритмов, благодаря которым происходит компенсация ошибок и смешение результатов [3]. Так, при решении задач с помощью методов нейронных сетей по аналогии могут использоваться структуры, состоящие из нескольких нейронных сетей (ансамблей). Ансамбли нейронных сетей могут также применяться для реализации алгоритмов смешения мнений экспертов.
Использование подсистемы оценки эффективности нейросетевых экспертов позволяет производить подавление и усиление сигнала у определенных экспертов для получения белее достоверного интегрального показателя, но при этом требует построения персональной структуры для решения каждой конкретной задачи (рис. 4.). Сложные задачи, в которых присутствуют неявные внутренние зависимости, могут решаться при помощи разбиения на более мелкие структуры для последующего синтеза обобщенного
86
решения. Комбинированные структуры экспертов, где каждый из экспертов является искусственной нейронной сетью, называют ассоциативной машиной или комитетом нейронных сетей.
Верификация метода коррекции весовых коэффициентов критериев. Для получения весовых коэффициентов, используемых в дальнейшем в качестве параметров инициализации для первоначальной настройки нейронной сети, используем расширенный метод анализа иерархий. На примере признаков подгруппы «Группа риска». представленных в работе [5], построим матрицы парных сравнений ОЕК и ОКЫ. Используем лингвистическую шкалу от 1 до 5.
Рис. 3. Блок-схема алгоритма обучения нейронной сети
Блок-схема алгоритма обучения нейронной сети представлена на рис. 4.
1
Эксперт п
и„
у | Выходной сигнал
Рис. 4. Модель смешения оценок экспертов
Для качественных признаков, относящихся к подгруппе «Группа риска» интегрального показателя девиантного поведения [4], получим
/ 1 2 3 4\
Сй* = (о0353 0.5 1 3 ) ■ (11)
\0.25 0.33 0.5 1/
Максимальное собственное число для матрицы (11) равно 4,031. Индекс согласованности ИС = 0,01, а отношение согласованности ОС = 0,011. Поэтому матрица ОКЫ является хорошо согласованной.
Для признаков наличия, относящихся к подгруппе «Группа риска» интегрального показателя девиантного поведения [5], получим
11
11
СДМ = 1 1
\0,5 0,33
Максимальное собственное число для матрицы (3) равно 4,046. Индекс согласованности ИС = 0,015, а отношение согласованности ОС = 0,017. Поэтому матрица ОК№ является хорошо согласованной.
Собственные векторы матриц ОЕК и ОК№ соответственно (векторы приоритетов) имеют вид
1 2 1
0.5
2
(12)
К0)-
= (0,814 0,483 0,279 0,166),
(13)
К(0) = (0,525 0,691 0,439 0,234). (14)
Нормированный собственный вектор, округленный с точностью до 0,001, для объединенных признаков, упорядоченных в необходимой последовательности, пред-
ставлен ниже:
У(1)= (0,212 0,126 0,224 0,141 0,089 0,043 0,072 0,091). (15) Распределение девиантного поведения подгруппы «Группа риска» в нормированном виде с использованием весовых коэффициентов (15) представлено на рис. 5.
о, а
0.6
0.4
0.2
—■ —■
Щ ^Н и> Ш гН Щ
ГМ Г\ (П (Щ ^ ^г
Рис. 5. Нормированное распределение девиантного поведения с использованием весовых коэффициентов , полученных при помощи расширенного МАИ
В ходе исследований было выявлено целевое распределение [7] /(.х)= - 0.1851п(х)+1, которому должно соответствовать явление, описанное рис. 6.
1 I
о. а
о.е
0,4
0,2
к
Ш
гнг-^гчтго^г^гьт^щшг-'г^эсозспспса
Ш Л » Н и Л и Н Л N (Ч го ^ ^
Рис. 6. Сравнение распределения девиантного поведения с использованием вектора весовых коэффициентов, полученного при помощи расширенного метода анализа
иерархий с целевой функцией
Для производства корректировки весовых коэфициентов критериев при помощи нейронных сетей получим:
У<2) = (0,216 0,13 0,14 0,13 0,13 0,079 0,084 0,1) (16)
1
0.8
0.6
- I - ) ) гН гН г"1 ) . '1 гн
Рис. 7. Распределение девиантного поведения с использованием вектора весовых коэффициентов, полученного при помощи нейронных сетей
Для большей наглядности на рис. 8 представлено сравнение двух распределений с использованием вышеуказанных весовых коэффициентов.
1
\
^ *— ^__
Г- ГО СП ^
Рис. 8. Распределения девиантного поведения, полученные при помощи различных наборов весовых коэффициентов критериев девиации в сравнении с целевым распределением
Заключение. Отразить близость распределения к вышеуказанной функции/(.х) позволит величина точности аппроксимации. Распределение девиантного поведения с использованием вектора весовых коэффициентов, полученного при помощи расширенного метода анализа иерархий, имеет погрешность аппроксимации Я2(¥1)=0,73772, для вектора весовых коэффициентов, полученного при помощи нейронной сети — Я2(У2)= 0,9524, что существенно выше и наиболее близко к значениям функции /(х). Использование предложенного метода позволяет корректировать весовые коэффициенты критериев неоднородных альтернатив с учетом целевых функций распределения.
ЛИТЕРАТУРА
1. Ахлюстин С. Б., Нарушев И. Р., Мальцев С. А. Формирование комплексного показателя качества объектов со слабоформализуемыми признаками // Цифровизация агропромышленного комплекса : материалы I Международной научно-практической конференции (г. Тамбов, 10—12 октября 2018 г.). — Тамбов : Тамбовский государственный технический университет, 2018. — С. 185—187.
2. Майсак Н. В. Матрица социальных девиаций: классификация типов и видов де-виантного поведения // Современные проблемы науки и образования. — 2010. — № 4.
— С. 27—59.
3. Мельников А. В. Использование кластерно-иерархических методов в криминологических исследованиях // Процессы информационного обмена в деятельности правоохранительных органов: современное состояние и перспективы совершенствования : сборник научных статей / под ред. Л. Д. Матросовой [и др.]. — Орел, 2015. — С. 30—34.
4. Нарушев И. Р., Мальцев С. А., Мельников А. В., Кубасов И. А. Кластеризация объектов со слабо формализуемыми признаками на основе нейронной сети в виде слоя Кохонена // Вестник ВГУИТ. — 2018. — Т. 80, № 3. — С. 86—91. — DOI: http://dx.doi.org/10.20914/2310-1202-2018-3-86-91
5. Нарушев И. Р., Мельников А .В., Денисенко В. В. Модели обобщенного показателя девиантного поведения несовершеннолетних // Вестник Воронежского института МВД России. — 2018. — № 1. — С. 44—50.
6. Нарушев И. Р., Мальцев С. А., Кубасов И. А. Численный метод сшивания объектовой базы экспертизы девиантного поведения несовершеннолетних при использовании метода анализа иерархий // Вестник Воронежского института ФСИН России. —2018.
— № 4. — С. 89—97.
7. Рыдченко К. Д., Кушнарев М. А. К вопросу о профилактике девиации несовершеннолетних под воздействием вредоносной информации в сети Интернет // Общественная безопасность, законность и правопорядок в III тысячелетии. — 2018. — № 4-3. — С. 140—143.
8. Саати Т., Кернс К. Аналитическое планирование. Организация систем. — М. : Радио и связь, 1991. — 224 с.
9. Хайкин С. Нейронные сети: полный курс : пер. с англ. — 2-е изд. — М. ; СПб. ; Киев : Вильямс, 2006. — 1104 с.
REFERENCES
1. Ahlyustin S. B., Narushev I. R., Maltsev S. A. Formirovanie kompleksnogo poka-zatelya kachestva ob'ektov so slaboformalizuemyimi priznakami // Tsifrovizatsiya agropromy-ishlennogo kompleksa : materialyi I Mezhdunarodnoy nauchno-prakticheskoy konferentsii (g. Tambov, 10—12 oktyabrya 2018 g.). — Tambov: Tambovskiy gosudarstvennyiy tehnich-eskiy universitet, 2018. — S. 185—187.
2. Maysak N. V. Matritsa sotsialnyih deviatsiy: klassifikatsiya tipov i vidov deviantnogo povedeniya // Sovremennyie problemyi nauki i obrazovaniya. — 2010. — # 4. — S. 27—59.
3. Melnikov A. V. Ispolzovanie klasterno-ierarhicheskih metodov v kriminologicheskih issledovaniyah // Protsessyi informatsionnogo obmena v deyatelnosti pravoohranitelnyih or-ganov: sovremennoe sostoyanie i perspektivyi sovershenstvovaniya : sbornik nauchnyih statey / pod red. L. D. Matrosovoy [i dr.]. — Orel, 2015. — S. 30—34.
4. Narushev I. R., Maltsev S. A., Melnikov A. V., Kubasov I. A. Klasterizatsiya ob'ektov so slabo formalizuemyimi priznakami na osnove neyronnoy seti v vide sloya Kohonena // Vest-nik VGUIT. — 2018. — T. 80, # 3. — S. 86—91. — DOI: http://dx.doi.org/10.20914/2310-1202-2018-3-86-91
5. Narushev I. R., Melnikov A .V., Denisenko V. V. Modeli obobschennogo poka-zatelya deviantnogo povedeniya nesovershennoletnih // Vestnik Voronezhskogo instituta MVD Rossii. — 2018. — # 1. — S. 44—50.
6. Narushev I. R., Maltsev S. A., Kubasov I. A. Chislennyiy metod sshivaniya ob'ektovoy bazyi ekspertizyi deviantnogo povedeniya nesovershennoletnih pri ispolzovanii metoda analiza ier-arhiy // Vestnik Voronezhskogo instituta FSIN Rossii. —2018. — # 4. — S. 89—97.
7. Ryidchenko K. D., Kushnarev M. A. K voprosu o profilaktike deviatsii nesovershennoletnih pod vozdeystviem vredonosnoy informatsii v seti internet // Obschestvennaya be-zopasnost, zakonnost i pravoporyadok v III tyisyacheletii. — 2018. — # 4-3. — S. 140—143.
8. Saati T., Kerns K. Analiticheskoe planirovanie. Organizatsiya sistem. — M. : Radio i svyaz, 1991. — 224 s.
9. Haykin S. Neyronnyie seti: polnyiy kurs : per. s angl. — 2-e izd. — M. ; SPb. ; Kiev : Vilyams, 2006. — 1104 s
СВЕДЕНИЯ ОБ АВТОРАХ
Нарушев Илья Романович. Адъюнкт.
Воронежский институт МВД России.
E-mail: nar_i@bk.ru
Россия, 394065, г. Воронеж, проспект Патриотов, 53. Тел. (473) 200-52-13.
Мельников Александр Владимирович. Профессор кафедры математики и моделирования систем. Доктор технических наук, доцент.
Воронежский институт МВД России.
E-mail: meln78@mail.ru
Россия, 394065, г. Воронеж, проспект Патриотов, 53. Тел. (473) 200-52-13.
Щербакова Ирина Владимировна. Начальник кафедры математики и моделирования систем. Кандидат технических наук.
Воронежский институт МВД России.
E-mail: isherbacova20@mvd.ru
Россия, 394065, Воронеж, проспект Патриотов, 53. Тел. (473) 200-52-15.
Narushev Ilia Romanovich. Post-graduate cadet.
Voronezh Institute of the Ministry of the Interior of Russia.
E-mail:_nar_i@bk.ru
Work address: Russia, 394065, Voronezh, Prospect Patriotov, 53. Tel. (473) 200-52-13.
Melnikov Alexander Vladimirovich. Professor of the chair of Mathematics and Systems Modeling, Doctor of Technical Sciences, Associate Professor.
Voronezh Institute of the Ministry of the Interior of Russia.
E-mail: meln78@mail.ru
Work address: Russia, 394065, Voronezh, Prospect Patriotov, 53. Tel. (473) 200-52-13.
Shcherbakova Irina Vladimirovna. Head of chair of Mathematics and Systems Modeling. Candidate of Technical Sciences.
Voronezh Institute of the Ministry of the Interior of Russia.
Work address: Russia, 394065, Voronezh, Prospect Patriotov, 53. Tel. (473) 200-52-15.
Ключевые слова: принятие решений; интегральный показатель; нейронные сети, алгоритмы обучения, ассоциативная машина.
Key words: making decisions; integral index; neural networks, learning algorithms, associative machine.
УДК 004.85
