CC BY
25
А.А. Толстых Д.Н. Черников К.А. Мельник
ТРЕХЭТАПНАЯ ПРОЦЕДУРА КЛАСТЕРИЗАЦИИ ТЕХНИЧЕСКИХ ОБЪЕКТОВ С ИСПОЛЬЗОВАНИЕМ НЕЙРОННЫХ СЕТЕЙ
THREE-STAGE PROCEDURE OF THE CLUSTERING OF THE TECHNICAL OBJECTS WITH USE OF NEURAL NETWORKS
Предложена трехэтапная методика классификации и кластеризации объектов при расширении входного пространства. Приведены результаты кластеризации для каждого этапа и проведен анализ эффективности методики.
A three-stage method of classifying and clustering objects when expanding the input space is proposed. The results of clustering for each stage are presented and the analysis of the effectiveness of the technique is carried out.
Введение. Задача экспертизы объектов в большинстве случаев относится к классу задач кластеризации. В настоящее время разработаны различные методики кластеризации, однако не существует универсальной методики учитывающей случаи расширения входного пространства объектов. Часто на практике возникает следующая ситуация: ранее была произведена экспертиза по группе объектов и проанализированы ее результаты, затем появились данные о новых объектах этой же категории и необходимо произвести их оценку по той же методике. Поскольку при сравнении объектов производится их нормировка по базовым значениям каждого признака, необходимо выбрать новые базовые значения, пригодные для всех признаков расширенной группы. Подобный подход позволяет избежать ошибки кластеризации, возникающей при неверно выбранных начальных условиях.
Целью работы является анализ эффективности трехэтапной методики кластеризации при расширении входного пространства объектов.
Рассмотрим в качестве исходных данных набор технических характеристик 12 средств фото- и видеофиксации. В табл. 1, 2 приводятся технические характеристики
средств фото- и видеофиксации, которые составляют исходную выборку. В табл. 3 приводятся технические характеристики средств фото- и видеофиксации, которые составляют дополнительную выборку 13—17.
Таблица 1
Технические характеристики и параметры и средств фото- и видеофиксации
Образец (номер, модель) 1. Fe-ipc-bl100p 2. Ezviz c3c wi-fi 3. Falcon eye fe-otr1300 4. Orient ip-33-sh24cpsd 5. Fe-ipc-bl200p 6. Fe-ipc-dl200p
q Технические характеристики (признаки) U для 1—6 приборов (образцов)
1 Цвет черный белый белый белый черный белый
2 Установка камеры (вне/в) помещении вне вне вне вне / в вне вне
3 Число пикселей матрицы 1,3 мп 1 мп 1,3 мп 2,4 мп 2,43 мп 2,43 мп
4 Минимальная степень освещенности 0 Lux 0,02 Lux 0,1 Lux 0,01 Lux 0 Lux 0 Lux
5 Фокусное расстояние 3,6 мм 2,8 мм 3,6 мм 6 мм 3,6 мм 3,6 мм
6 Угол обзора (горизонт.) 70° 70° 70° 47° 70° 70°
7 Дальность ИК подсветки 15 м 30 м 30 м 30 м 30 м 15 м
8 Максимальное разрешение 1280x720 1280x720 1280x960 1920x1080 1920x1080 1920x1080
9 Тип подключения проводной беспроводной проводной/ беспроводной проводной проводной проводной
10 Слот для карты памяти нет есть есть есть нет нет
11 Система обнаружения движения нет есть есть есть нет нет
12 Цена, руб 3650 3890 3950 4290 4390 4650
Таблица 2
Технические характеристики и параметры U средств фото- и видеофиксации
Модель Zorq zq-ipc2-bhs-28fo Falcon eye fe-ipc-bl200pv Hikvision ds-2cd2t42wd -i8 Ginzzu hab-20v2p Orient ip- 33-sh24bpsd Ginzzu hwb-2031s
Номера приборов 7 8 9 10 11 12
q Технические характеристики (признаки) U для 7—12 приборов
1 Цвет белый белый белый белый белый белый
2 Установка камеры (вне/в) помещении вне вне / в вне / в вне / в вне / в вне / в
3 Число пикселей матрицы 2 мп 2,43 мп 4 мп 2 мп 2,4 мп 2 мп
4 Минимальная степень освещенности 0,01 Lux 0 Lux 0,01 Lux 0,1 Lux 0,01 Lux 0,1 Lux
5 Фокусное расстояние 2,8 мм от 2,8 мм до 12 мм 12 мм от 2,8 мм до 12 мм 3,6 мм 3,6 мм
6 Угол обзора (горизонт.) 101° Нет данных 24.7° Нет данных 71° 74°
7 Дальность ИК подсветки 20 м 50 м 80 м 30 м 30 м 30 м
8 Максимальное разрешение 1920x1080 1920х1080 2688x1520 1920x1080 1920х1080 1920x1080
9 Тип подключения проводной проводной проводной проводной проводной Проводной / беспроводной
10 Слот для карты памяти нет нет нет нет есть нет
11 Система обнаружения движения нет есть есть нет есть нет
12 Цена, руб 5990 6290 14 990 3350 4050 4290
Таблица 3
Технические характеристики и параметры и средств фото- и видеофиксации
Модель VStarCam C7815WIP Orient ip-58-SH2VPSD Ezviz Wi-Fi CS-CV210-A0-52WFR Orient ip-57-SH32VP Hikvision DS-2CD2T22WD-I8 ХЪаве по всем объектам
Номера приборов 13 14 15 16 17 1-17
q Технические характеристики (признаки) ир для 13—17 приборов
1 Цвет белый белый белый черный белый 1,00
2 Установка камеры (вне/в) помещении вне /в вне /в вне /в вне /в вне /в 1,00
3 Число пикселей матрицы 1 мп 2 мп 2,4 мп 3,2 мп 2 мп 4 мп
4 Минимальная степень освещенности 1 Lux 0,01 Lux 0,02 Lux 0,01 Lux 0,01 Lux
5 Фокусное расстояние 3,6 мм от 2,8 мм до 12 мм 4 мм от 2,8 мм до 12 мм 12 мм —
6 Угол обзора (горизонт.) 56.14° от 90° до 25° 107.5° от 90° до 25° 24.3° —
7 Дальность ИК подсветки 15 м 60 м 30 м 60 м 80 м 80 м
8 Максимальное разрешение 1280x720 1920x1080 1920x1080 2688x1520 1920x1080 2688
9 Тип подключения проводн./ беспров. проводной проводн./ беспров. проводн. проводн. 1,00
10 Слот для карты памяти есть есть есть нет есть 1
11 Система обнаружения движения есть есть есть есть есть 1
12 Цена, руб 4350 5990 6990 7190 13490 3350
Последний столбец таблицы соответствует обобщенным характеристикам исходной выборки. Данное обобщение проводилось на основе вычисления средних значений количественных показателей.
Пространство признаков. Выберем, как и прежде, основные признаки объектов экспертизы из перечня параметров Цд. Количественные признаки в порядке убывания их значимости: х\=и% (максимальное разрешение), Х2=Цз (число пикселей матрицы), хз=Ц7 (дальность ИК-подсветки). В качестве признаков наличия выберем в порядке убывания
74
значимости X4=Ull (наличие системы обнаружения движения) и X5=Ull (наличие слота для карты памяти). Качественными признаками выберем в порядке убывания значимости X6=U9 (тип подключения), X7=U2 (возможность установки камеры вне/внутри помещения), X8=Ul (цвет прибора).
Для признаков положительного эффекта (ППЭ) в качестве базового значения х]Ъа*е при нормировке выбирается максимальное значение признака по всем к объектам:
х]Ме=т^х?> I = \2...к. (1)
Для признаков отрицательного эффекта (ПОЭ) в отличие от формулы (1), выбирается в качестве базового объекта для сравнения с другими объектами экспертизы объект с минимальным значением признака по группе сравниваемых объектов:
1 = 1,2...к. (2)
В данном случае единственным признаком ПОЭ является цена прибора, поэтому, исходя из (2), наибольшим предпочтением будет пользоваться объект с минимальной ценой.
Однако в двух группах объектов: первая (образцы 1—12) и вторая (образцы 13— 17) базовые значения, определенные по формулам (1), (2), различаются. Поэтому предлагается следующая методика выбора этих значений для расширенной группы (образцы !—17): учитывая тот факт, что в первой группе значительно больше объектов, чем во второй, принимаются для общей оценки данные первой группы, и, в целом, получается меньшая статистическая погрешность.
Так, для признака ППЭ максимального разрешения выбирается значение хШе 9 = 2688 соответствующее 9-й видеокамере, а для признака ПОЭ цены выбирается
значение хЬше10 = 3350, соответствующее 10-й видеокамере. Соответствующие базовые
значения сводятся в таблицу (табл. 3, последний столбец), а нормированные значения признаков и взвешенные суммы количественных, наличия и качественных признаков для образцов 13—17 представлены в табл. 4.
Таблица 4
Нормированные значения признаков и обобщенные показатели качества и обратной цены
Номера объектов экспертизы
№№ образцов 13 14 15 16 17
Количественные признаки
х1 0,476 0,713 0,713 1,000 0,713
х2 0,250 0,500 0,600 0,800 0,500
Х3 0,187 0,750 0,375 0,750 1,000
0,387 0,662 0,648 0,922 0,688
Признаки наличия
Х4 1 1 1 1 1
Х5 1 1 1 0 1
1«. 1 1 1 0,7 1
Качественные признаки
X6 1,00 0,72 1,00 0,72 0,72
Xj 1,00 1,00 1,00 1,00 1,00
x8 0,31 0,31 0,31 0,72 0,31
0,928 0,749 0,928 0,792 0,749
Обобщенный показатель качества
J 0.602 0,758 0,768 0,851 0,775
П ризнак обратной цены
P 0,770 0,559 0,479 0,465 0,248
Классификация с помощью персептрона. Объединяя данные обеих групп объектов, получим входной массив двумерных характеристических векторов всех 17 образцов
^0,321 0,588 0,619 0,736 0,476 0,459 0,446 0,676 0,882
Z1 =
V
0,917 0,681 0,484 0,780 0,763 0,720 0,559 0,532 0,223 ' , , , , , , , , (3)
0,461 0,736 0,494 0,602 0,758 0,768 0,51 0,775^
1,000 0,827 0,781 0,770 0,559 0,479 0,465 0,248у в которых первый элемент — значение обобщенного показателя качества J, а второй
— значение функции обратной цены P .
При моделировании применяется функция активации с жесткими ограничениями hardlim, которая возвращает выход нейрона равным 1, если вход достигнет порогового значения, в иных случаях — равным 0. Поэтому выберем желаемый вектор целей T, исходя из наибольших значений комплексного показателя «качество-цена» Jcopm для первой группы объектов и наибольших значений Jcopm для объектов 13—17 (табл. 4, последняя строка):
T = (0 1 1 1 0 0 0 0 0 0 1 0 0 1 0 1 0) (4)
При использовании графического интерфейса GUI вначале референтные данные Z, T формируются в рабочей области WorkSpace, а затем импортируются в nntool с обучающей функцией learnp и с указанием числа циклов обучения (обычно достаточно 3 циклов).
В нашем случае обучение персептрона произошло за 12 циклов с нулевым вектором ошибок (все объекты правильно классифицированы в соответствии с (4)). При этом вектор весов и смещение нейрона примут вид
ш(1,1) = (2,793 1,633)T, ¿(1) = -3,000. (5)
Итак, результаты классификации с помощью персептрона оказались правильными, а поверхность раздела согласно (5) является разделяющей прямой в двумерном пространстве Z, P:
2,793J +1,633Р - 3 = 0. (6)
Из анализа расположения точек на рис. 3 следует, что относительно большое количество циклов обучения обусловлено следующим: 2-й образец лежит фактически на
разделительной линии, а 2-й и 3-й образцы слишком близки между собой, хотя принадлежат к различным множествам Q1, Q2.
Упомянутая проблема характерна для однослойного персептрона, поскольку он эффективно классифицирует только линейно разделимые множества. Для повышения надежности классификации и кластеризации предложим использовать метод LVQ[], который позволяет работать и с линейно неразделимыми множествами объектов.
Представим графически координаты образцов и разделительную линию между множествами Q1 (крестообразные маркеры) и Q2 (круглые маркеры) (рис. 1). На данном рисунке близко расположенные точки 2 и 3 отнесены к одной и той же области перспективных образцов Q1 согласно новому целевому вектору (3) и поэтому проблем линейной разделимости не возникает.
1.2 г
1 -
CL
ш 0.8 -=г Ж
0
1
О. 0 6 " ID
0 К X
к 0.4 -
1 >
в
0.2 -
0 -1-1-1-1-'-'-1-
0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
Обобщенный показатель качества J
Рис. 1. Координаты векторов образцов и разделительная линия
Кластеризация на основе самоорганизующегося слоя Кохонена. В качестве входных данных P выберем расширенную матрицу для 17 образцов Z1 (3), первой строкой которой является вектор обобщенных показателей качества J , а второй строкой —
вектор обратной цены P .
Выберем разделение множества 17 образцов видеокамер на три области: Q1 — перспективные образцы, Q2 — промежуточные (нормальные) образцы, Q3 — неудовлетворительные образцы. Таким образом, нужно потребовать разделения множества входных векторов на 3 кластера. Создадим слой Кохонена с помощью М-функции netc: net=newc([0 1,1;0 1,1],3,0,1), где первый аргумент определяет диапазон входных значений, второй указывает на количество нейронов в слое. При этом начальные значения элементов матрицы весов задаются как среднее максимальных и минимальных значений, т.е. в центре интервала входных значений. Это реализуется по умолчанию встроенной М-функцией midpoint при создании сети. Определим структуру сформированной нами сети с помощью М-функции view(net) (рис. 2):
Рис. 2. Самоорганизующаяся сеть Кохонена с тремя нейронами
Из рис. 2 видно, что это слой конкурирующего типа, поскольку в нем применена конкурирующая функция активации. Номер активного нейрона i определяет группу (кластер), к которой наиболее близок входной вектор. Слой сконструирован со следующими характеристиками: сеть использует функцию евклидова расстояния dist, функцию инициализации initwb, функцию обработки входов netsum, функцию активации compet, функцию описания топологии hextop. После 100 циклов обучения векторы весов и смещений примут вид
'0,4768 0,8148 ^ '8,1625 Л
IW11 = 0,7728 0,4080 ; ь1 = 8,1702
V 0,6381 0,8151 у V 8,1319 у
(7)
С помощью функции моделирования сети sm(net,Z) определим принадлежность образцов к конкретному кластеру:
(8)
(3.1) (2,7) (1,13)
(1.2) (2,8) (2,14)
(1.3) (2,9) (2,15)
(1.4) (3,10) (2,16)
(3.5) (1,11) (2,17)
(2.6) (3,12),
где в круглых скобках первое число — номер кластера, а второе число — номер образца.
Итак, к области Q1 (перспективные образцы) отнесены 2-й, 3-й, 4-й и 11-й объекты, а к области Q3 (неудовлетворительные образцы) — 1-й, 5-й, 10-й и 12-й объекты. Это вполне обоснованно, поскольку основным критерием отнесения образцов к тому или иному кластеру у нас являлось значение комплексного показателя «качество-цена» J сорт.
С помощью М-функции plot построим график взаимного расположения векторов образцов и весов нейронов (рис. 3).
Рис. 3. Расположение векторов образцов и весов нейронов
В начале процесса обучения активность различных нейронов устанавливается одинаковой, а в конце обучения третий нейрон наиболее активен (рис. 4).
Номер нейрона Рис. 4. Параметры активности различных нейронов
Кластеризация на 3 кластера на основе ЬУР-сети. В качестве массива входных данных выбрана полученная ранее матрица 21 для 17 образцов (3).
По-прежнему выберем разделение множества характеристических векторов видеокамер на три области: О1 — перспективные образцы, О2 — промежуточные (нормальные) образцы, О3 — неудовлетворительные образцы.
Тс =(3 2 1 1 2 2 3 2 2 2 1 3 2 1 2 1 2).
(9)
С помощью встроенной функции ind2vec(Tc) преобразуем Tc в матрицу связности (целевую матрицу):
T
Г001 100000010 0101 0^ 010011011100 10101
100000100001 00000
У
(10)
Синтез LVQ-сети осуществляется следующим образом: пе1=пе,^уд(Р,4,[0.3 0.5 0.2]). Кроме того, выберем количество нейронов равным 4 (больше, чем число задаваемых кластеров — 3), желаемое относительное распределение векторов входа по кластерам задается вектор-строкой [0,3 0,5 0,2]. Сформированная сеть имеет следующий вид (рис. 5):
Вход Слой__Слой_ Выход
О О w 0 JjXuJ ° ° w 0 / о о
Рис. 5. Символическая схема LVQ-сети
В процессе работы программы с помощью встроенной функции net.inputWeights{1} определяются параметры сети: используется функция обучения learnlv1, а начальные веса нейронов выбираются согласно процедуре midpoint в середине возможных значений векторов входа.
Для обучения сети применим функцию train, задав количество циклов обучения равным 200, а значение параметра скорости обучения 0,01. В результате обучения сети получим следующие весовые коэффициенты нейронов конкурирующего слоя, которые определяют положение центров кластеризации с помощью встроенной функции net.IW{1, 1}:
W = (0,7635 0,7742),
w = (0,7831 0,2679), 2 v (11)
W = (0,5298 0,7846),
W = (0,4138 0,5798).
Построим получившуюся картину распределения входных векторов по весам «победивших» в конкуренции нейронов (рис. 6).
Рис. 6. Распределение векторов входа и векторов весов
Матрица весов линейного (выходного) слоя сети находится с помощью процедуры net.LW{2,1} и показывает, как победившие в конкуренции нейроны распределены по кластерам:
' 1 0 0 0Л
ЬШ{2) = 0 110. (12)
0 1 1 0 0 0 0 1
у
Очевидно, что второй кластер образуется двумя нейронами с весами щ, Щ . В результате обучения сети вектор индексов кластеров примет вид
Тс = (3 2 1 1 2 2 3 2 2 2 1 2 2 1 2 1 2). Матрица связности принимает вид
(13)
Т =
Г0 0 1
0 1 0
1 0 0
1 0 0
0 1 0
0 1 0
00 01 10
0 1 0
01 10 00
00 11 00
1 0 0
0 1 0
1 0 0
0 ^ 1
0 У
(14)
Последние выражения несколько отличаются от предварительно заданных целевых требований (10) и (11): последний, 12-й образец перемещен из области О3 неудовлетворительных объектов в область О2 промежуточных объектов. Причина, во-первых, состоит в том, что исходные целевые требования формировались на основе всего лишь одного показателя Jсорm, а LVQ-сеть использует больший объем информации — о двух показателях /, Р.
Вывод. В целом предложенная трехэтапная методика (персептрон, самоорганизующийся слой Кохонена, LVQ-сеть) классификации и кластеризации объектов экспертизы дала положительные результаты и представляется эффективной. Использование подобных гибридных методик затратно по вычислительным ресурсам, однако дает более точные результаты кластеризации. Полученные результаты можно использовать при построении систем выбора объектов или их кластеризации.
ЛИТЕРАТУРА
1. Хайкин С. Нейронные сети: полный курс. — М. : Вильямс, 2006. — 1104 с.
2. Kohonen Т. beaming vector q^ntization for pattem recognition : Technical Report TKKPA601. — Finland : Helsinki University of Technology, 1986.
3. Медведев В. С. Нейронные сети. Matlab. — М. : ДИАЛОГ—МИФИ, 2002. — 496 с.
4. Neural Network Design / M. T. Hagan [et al.]. — 2nd Edition. — Stillwoter, 2014.
— 512 p.
5. What is the best multi-stage architecture for object recognition? / K. Jarrett [et al.] // ICCV. — 2009. — P. 2146—2153.
6. Loong T. W. Understanding sensitivity and specificity with the right side of the brain // BMJ : British Medical Journal. — 2003. — № 327. — P. 716—719.
7. Comparative Study on Hyperparameter Optimization for Recommender Systems / P. Matuszyk [et al.] // Workshop on Recommender Systems and Big Data Analytics (RS-BDA'16) @ iKNOW. — 2016. — P. 134—146.
8. Carpenter G. A., Grossberg S. Adaptive Resonance Theory the Handbook of Brain Theory and Neural Networks. Second Edition. — Boston : MIT Press, 2002. — P. 257—261.
9. Mahapatra S. S., Khan M. S. A Neural Network Approach for Assessing Quality in Technical Education: An Empirical Study // J. IJPQM. — 2007. — N 2(3). — P. 287—306.
10. Shammary D., Khalil I., Tari Z. A distributed aggregation and fast fractal clustering approach for SOAP traffic // J. Netw Comput Appl. — 2014. — N 41. — P. 1—14.
REFERENCES
1. Haykin S. Neyronnyie seti: polnyiy kurs. — M. : Vilyams, 2006. — 1104 s.
2. Kohonen T. Leaming vector qiantization for pattem recognition : Technical Report TKKPA601. — Finland : Helsinki University of Technology, 1986.
3. Medvedev V. S. Neyronnyie seti. Matlab. — M. : DIALOG-MIFI, 2002. — 496 s.
4. Neural Network Design / M. T. Hagan [et al.]. — 2nd Edition. — Stillwoter, 2014.
— 512 p.
5. What is the best multi-stage architecture for object recognition? / K. Jarrett [et al.] // ICCV. — 2009. — P. 2146—2153.
6. Loong T. W. Understanding sensitivity and specificity with the right side of the brain // BMJ : British Medical Journal. — 2003. — N. 327. — P. 716—719.
7. Comparative Study on Hyperparameter Optimization for Recommender Systems / P. Matuszyk [et al.] // Workshop on Recommender Systems and Big Data Analytics (RS-BDA'16) @ iKNOW. — 2016. — P. 134—146.
8. Carpenter G. A., Grossberg S. Adaptive Resonance Theory the Handbook of Brain Theory and Neural Networks. Second Edition. — Boston : MIT Press, 2002. — P. 257—261.
9. Mahapatra S. S., Khan M. S. A Neural Network Approach for Assessing Quality in Technical Education: An Empirical Study // J. IJPQM. — 2007. — N 2(3). — P. 287—306.
10. Shammary D., Khalil I., Tari Z. A distributed aggregation and fast fractal clustering approach for SOAP traffic // J. Netw Comput Appl. — 2014. — N 41. — P. 1—14.
СВЕДЕНИЯ ОБ АВТОРАХ
Толстых Андрей Андреевич. Преподаватель кафедры тактико-специальной подготовки. Воронежский институт МВД России. E-mail: tolstykh.aa@yandex.ru
Россия, 394065, Воронеж, проспект Патриотов, 53. Тел. (473) 200-52-68.
Черников Дмитрий Николаевич. Преподаватель кафедры тактико -специальной подготовки. Воронежский институт МВД России. E-mail: nadezhda31.12@mail.ru
Россия, 394065, г. Воронеж, проспект Патриотов, 53. Тел. (473) 200-56-26.
Мельник Кирилл Андреевич. Преподаватель кафедры тактико-специальной подготовки. Воронежский институт МВД России. E-mail: e-mail: kirill.melnik.vrn@mail.ru
Россия, 394065, г. Воронеж, проспект Патриотов, 53. Тел. (473) 200-56-26.
Tolstykh Andrey Andreevich. Lecturer of the chair of Tactical and Special Preparation. Voronezh Institute of the Ministry of the Interior of Russia. E-mail: tolstyhaa@vimvd.ru
Work address: Russia, 394065, Voronezh, Prospect Patriotov, 53. Tel. (473) 200-52-68.
Chernikov Dmitry Nikolaevich. Lecturer of the chair of Tactical and Special Preparation. Voronezh Institute of the Ministry of the Interior of Russia. E-mail: nadezhda31.12@mail.ru
Work address: Russia, 394065, Voronezh, Prospect Patriotov, 53. Tel. (473) 200-56-26.
Melnik Kirill Andreevich. Lecturer of the chair of Tactical and Special Preparation. Voronezh Institute of the Ministry of the Interior of Russia. E-mail: nadezhda31.12@mail.ru
Work address: Russia, 394065, Voronezh, Prospect Patriotov, 53. Tel. (473) 200-56-26.
Ключевые слова: показатели качества; объекты экспертизы; нечеткие множества; функция активации; нейронные сети.
Key words: quality indicators; objects of examination; indistinct sets; activation function; neural networks.
УДК 519.684
