CC BY
36
Известия Саратовского университета. Новая серия. Серия: Экономика. Управление. Право. 2022. Т. 22, вып. 2. С. 184-190 Izvestiya of Saratov University. Economics. Management. Law, 2022, vol. 22, iss. 2, pp. 184-190
https://eup.sgu.ru
https://doi.org/10.18500/1994-2540-2022-22-2-184-190
Научная статья УДК 351.753
Классификация изображений следов по экземплярам оружия с помощью полносвязной нейронной сети
В.А.Федоренко10, К.О.Сорокина1, П. В. Гиверц2 ч> —ц^^р V v^^7
1Саратовский национальный исследовательский государственный университет имени Н. Г. Чернышевского, Россия, 410012, г. Саратов, ул. Астраханская, д. 83
2Баллистическая лаборатория криминалистического управления полиции Израиля, Израиль, 91906, г. Иерусалим, ул. Хаим Бар-Лев, д. 1
Федоренко Владимир Александрович, кандидат физико-математических наук, доцент, заведующий лабораторией криминалистического материаловедения, fed77@yandex, https://orcid.org/0000-0002-3979-2602
Сорокина Ксения Олеговна, программист лаборатории криминалистического материаловедения, lorredos@gmail.com, https://orcid. org/0000-0003-1071-1298
Гиверц Павел Витальевич, доктор философии, эксперт-баллист, заслуженный член AFTE, pavel.giverts@gmail.com, https://orcid.org/0000-0002-4019-5055
Аннотация. Введение. Цель работы - повышение эффективности идентификации огнестрельного оружия по изображениям следов бойков в автоматическом режиме. Актуальность поставленной задачи определяется низкой эффективностью известных методов автоматической идентификации оружия по следам бойков с отдельными топологическими типами индивидуализирующих признаков, что в целом отрицательно сказывается на расследовании преступлений, связанных с применением огнестрельного оружия. Формирование клоновых изображений. Для обучения нейронной сети была сформирована обучающая выборка, включающая 140 оригинальных изображений следов бойков из 50 классов, на основе которых получено порядка 1000 клоновых изображений с несколько измененными индивидуализирующими признаками. Под классом в данном случае понимается отдельный экземпляр оружия. Обучение нейронной сети. В качестве классификатора использовалась полносвязная нейронная сеть со следующей архитектурой: входной слой нейронов; два скрытых слоя; выходной слой. Входной слой включал 2500 нейронов, первый скрытый слой - 625, второй скрытый слой - 156, выходной слой состоял из 50 нейронов (по числу классов). Оценка результатов расчетов. Точность прогнозирования обученной нейронной сети оценивалась в соответствии с метрикой Accuracy, которая равна отношению числа правильных прогнозов к общему числу сформированных прогнозов. Точность прогнозирования по максимальному сигналу на одном выходном нейроне составила 81%, а при учете максимальных сигналов на трех выходных нейронах - порядка 91%. Выводы. В целом, исследования показали возможность классификации изображений следов бойков по экземплярам оружия с помощью полносвязной нейронной сети, а также эффективность применения искусственно генерированных клоновых изображений следов бойков для обучения полносвязной нейронной сети в случаях с малым количеством исходных объектов.
Ключевые слова: идентификация оружия, цифровые изображения, следы бойков, полносвязная нейронная сеть, точность прогнозирования
Для цитирования: Федоренко В. А., Сорокина К. О., Гиверц П. В. Классификация изображений следов бойков по экземплярам оружия с помощью полносвязной нейронной сети // Известия Саратовского университета. Новая серия. Серия: Экономика. Управление. Право. 2022. Т. 22, вып. 2. С. 184-190. https://doi.org/10.18500/1994-2540-2022-22-2-184-190 Статья опубликована на условиях лицензии Creative Commons Attribution 4.0 International (CC-BY 4.0)
Article
Classification of firing pin marks images by weapon specimens using a fully-connected neural network V. A. Fedorenko1 K. O. Sorokina1, P. V. Giverts2
"'Saratov State University, 83 Astrakhanskaya St., Saratov 410012, Russia
2Division of Identification and Forensic Science, Israel Police, 1 Haim Bar-Lev Road, Jerusalem 91906, Israel
Vladimir A. Fedorenko, fed77@yandex, https://orcid.org/0000-0002-3979-2602 Kseniia O. Sorokina, lorredos@gmail.com, https://orcid.org/0000-0003-1071-1298 Pavel V. Giverts, pavel.giverts@gmail.com, https://orcid.org/0000-0002-4019-5055
Abstract. Introduction. The aim of the work is to increase the efficiency of identification of firearms by images of firing pin marks in the automatic mode. The relevance of the task is determined by the low efficiency of the known methods of automatic identification of firearm by
the firing pin marks with individual topological types of individualizing features. This affects the investigation of crimes related to the use of firearms. Formation of clone images. A training sample was formed; it included 140 original images of firing pin marks from 50 classes, on the basis of which about 1000 clone images were made with slightly modified individualizing features. In this case a specific specimen of a firearm is meant as a class. Neural network training. A fully connected neural network with the following architecture was used as a classifier: an input layer of neurons; two hidden layers; an output layer. The input layer included 2500 neurons, the first hidden layer was made up of 625 neurons, the second hidden layer contained 156 neurons; the output layer consisted of 50 neurons (in accordance with the number of the classes). Evaluation of the calculation results. The prediction accuracy of the trained neural network was estimated according to the Accuracy metric, which is the ratio of the number of correct predictions to the total number of predictions. The prediction accuracy for the maximum signal on one output neuron was 81%, and when the maximum signals on three output neurons were taken into account, the accuracy was about 91%. Conclusions. The research has shown the possibility of classification of the images of firing pin marks by weapons using a fully connected neural network, as well as the effectiveness of using artificially generated clone images of firing pin marks for training a fully connected neural network in cases with a small number of initial objects.
Keywords: firearms identification, digital images, firing pin marks, fully-connected neural network, accuracy of prediction
For citation: Fedorenko V. A., Sorokina K. O., Giverts P. V. Classification of firing pin marks images by weapon specimens using a fully-connected
neural network. Izvestiya of Saratov University. Economics. Management. Law, 2022, vol. 22, iss. 2, pp. 184-190 (in Russian). https://doi.
org/10.18500/1994-2540-2022-22-2-184-190
This is an open access article distributed under the terms of Creative Commons Attribution 4.0 International License (CC-BY 4.0)
Введение
Одной из актуальных задач судебно-кримина-листического исследования огнестрельного оружия является разработка эффективного алгоритма автоматической классификации изображений следов бойков по экземплярам оружия. Разработка такого алгоритма осложняется большим разнообразием типов индивидуализирующих признаков в следах бойков. В качестве примера на рис. 1 представлены изображения следов с разными типами доминирующих признаков, которые характеризуются большим топологическим разнообразием [1]. Кроме этого, в пределах одного класса (в данном случае под одним классом понимаются следы бойков одного экземпляра оружия)
возможна значительная вариативность признаков, которая может возникать по многим причинам, таким как использование патронов различных производителей, наличие лакового покрытия на поверхности капсюля, различное количество смазочных материалов в механизме оружия и т.д. В качестве примера на рис. 2 представлены две пары следов: первая пара - следы, сформированные разными бойками (разные классы), а вторая пара - следы, сформированные одним бойком. Визуально вторая пара следов имеет более выраженные отличия, чем первая. Таким образом, крайне сложно разработать единый для всех типов признаков алгоритм выделения и оценки их сходства и решения классификационной задачи.
Рис. 1. Изображения следов бойков с характерными индивидуализирующими признаками Fig. 1. Images of firing pin marks with characteristic individualizing features
а/a б/b
Рис. 2. Следы бойка: а - несовпадающие следы; б - следы одного бойка Fig. 2. Firing pin marks: a - non-matching marks; b - marks of the same firing pin
Методы оценки схожести изображений
Рассмотрим кратко основные методы оценки сходства изображений следов бойков, применяемые в настоящее время. В различных автоматизированных идентификационных баллистических системах схожесть изображений следов бойков оценивается в основном по максимуму функции взаимной корреляции (ФВК), величина которого указывает на степень их подобия. Однако функция не инвариантна повороту, масштабу и положению одного изображения относительно другого. Поэтому при реализации данного метода ФВК рассчитывают при различных поворотах одного изображения относительно другого. Это сильно замедляет процедуру многогрупповой классификации при проведении поиска по электронной гильзотеке, включающей тысячи цифровых изображений следов бойков. Присутствие в изображениях различного рода артефактов и засветок существенно снижает эффективность корреляционного анализа.
Дж. Сонгом был разработан метод «конгруэнтных совпадающих ячеек» (CMC-Congruent Matching Cells) для сравнения цифровых изображений следов патронного упора [2, 3]. Он позволяет исключать из анализа малоинформативные области сравниваемых изображений. Метод корреляционных ячеек, близкий к методу CMC, был предложен в работе [4]. Он основан на разбиении анализируемых изображений следов на сетку равных ячеек, нахождении максимума ФВК для одноименных ячеек первого и второго изображения, определении сдвигов одного изображения относительного другого, при которых наблюдается наибольшее число парных ячеек с максимальными значениями ФВК. Близость значений координат сдвигов, при которых наблюдается наибольшее число парных ячеек с максимальным значением ФВК, характеризует степень совпадения распределенных на сравниваемых изображениях неодно-родностей (признаков). Метод корреляционных ячеек может быть успешно применен как для анализа изображений следов патронного упора, так и для изображений следов бойков. К недостаткам данных методов можно отнести слабую эффективность при анализе статических следов как бойков, так и патронного упора с признаками в виде дуг и окружностей, а также сложность их применения для групповой классификации.
Еще один современный метод основан на измерении характеристик (дескрипторов) признаков, выделенных на сравниваемых изображениях [5, 6]. К дескрипторам можно отнести, например, периметр и площадь признака в виде пятна, коэффициент его компактности, максимальный и минимальный момент инерции и т.д. По степени
близости значений дескрипторов сравниваемых изображений можно сделать вывод о схожести самих изображений. Данный метод малоэффективен в условиях высокой вариативности признаков.
Изображения следов бойков с крупными признаками в виде пятен неопределенной формы предложено сравнивать методом контурного анализа [5]. Метод инвариантен повороту и масштабу анализируемых изображений [7], однако он неэффективен при анализе изображений следов бойков с другой топологией индивидуализирующих признаков.
Нейронные сети
В последнее время достаточно широкое применение в криминалистике находят нейронные сети. Одним из видов нейронных сетей являются полносвязные нейронные сети (ПНС), которые хорошо зарекомендовали себя при решении задач многогрупповой классификации. Такие сети позволяют определить класс, к которому относится изображение сравниваемого объекта. Для этого на предварительном этапе проводится обучение сети, в процессе которого она учится выделять признаки, характерные для каждого класса объектов. Обучение нейронных сетей основано на получении сигнала ошибки, его обратном распространении и корректировке весовых коэффициентов, связывающих нейроны соседних слоев [8, 9]. В процессе обучения весовые коэффициенты формируются так, чтобы при поступлении на вход тестового изображения на выходном нейроне, соответствующем классу этого изображения, получался максимальный сигнал, близкий к единице.
Применение полносвязных, а впоследствии и сверточных нейронных сетей для идентификации огнестрельного оружия по цифровым изображениям следов бойков осложняется малым числом изображений для каждого экземпляра оружия. Обусловлено это тем, что при контрольном отстреле оружия для сбора образцов гильз в федеральную гильзотеку с целью обеспечения возможности розыска оружия в случае его утраты (хищения) либо раскрытия преступлений, совершенных с его применением, отстреливается малое число патронов. Например, в Российской Федерации из каждого экземпляра оружия отстреливается по 3 патрона, в других странах от 2 до 5 патронов. Для эффективного обучения нейронной сети требуется большое число изображений для каждого класса, представленных в разном масштабе, с разной ориентацией и положением в кадре, ракурсом, разным перекрытием объекта другими предметами и т.д. Чем больше разнообразие объектов одного класса, тем лучше обучится сеть и тем точнее она будет прогнозировать.
Анализ исследуемых изображений следов бойков позволяет предположить, что для эффективного обучения ПНС может потребоваться обучающая выборка с гораздо меньшим числом объектов для каждого класса, чем это необходимо при решении традиционных задач классификации изображений. Действительно, исследуемые изображения следов бойков круглой формы, пригодные к идентификации, имеют один масштаб, одно разрешение, одинаково центрированы и практически всегда представляют полное изображение следа. Поэтому можно предположить, что для успешного обучения нейронной сети для каждого класса может быть достаточно двух-трех десятков изображений.
Формирование клоновых изображений
Вариативность изображений следов, сформированных одним бойком, обусловлена, прежде всего, некоторой изменчивостью отображения самих индивидуализирующих признаков, а также различной ориентацией изображений (поворотом). Проблема малого числа исходных изображений может быть решена путем формирования клоновых изображений с разной ориентацией и с искаженными в определенных пределах индивидуализирующими признаками. Все исходные
изображения были получены с помощью автоматизированной баллистической идентификационной системы «Р01БС».
В рамках представленной работы для получения клоновых изображений использовалась следующая процедура. В соответствии с методикой, описанной в работе [1], на исходных изображениях следов бойков (рис. 3, а), представленных в градациях серого, определялись области с малым изменением по яркости, которые характеризуются наибольшей вариативностью. Для выделения таких областей каждое исходное изображение бинаризовалось по разным глобальным уровням, и затем из одного бинарного изображения (рис. 3, б) вычиталось второе (рис. 3, в), что приводило к формированию разностного изображения (рис. 3, г). На нем эти области выделены серым цветом. Яркость данных областей на клоновых изображениях изменялась в некоторых пределах, имитируя разные материалы капсюля и разную реакцию поверхности капсюля на противодавление пороховых газов в момент выстрела (рис. 3, д). Также выявлялись границы признаков, на которых яркость менялась скачкообразно. Такие участки являются наиболее устойчивыми, и на рис. 3, г они представлены в виде тонкой линии белого цвета. Пространственные искажения вы-
О
в/с
Рис. 3. Выделение областей с высокой и низкой вариативностью на изображении следа бойка: а - исходное изображение; б - исходное изображение, бинаризованное по глобальному уровню z; в - исходное изображение, бинаризованное по глобальному уровню z+0.1; г - разность бинарных изображений, представленных на рис. б, в; д - клоновое изображение, полученное из
исходного
Fig. 3. High and low variability areas in the image of the firing pin marks: a -original image; b - original image binarized by the global level z; c - original image binarized by the global level z+0.1; d - difference of binary images presented in Fig. b, c; e - a clone image derived from the original one
деленных областей на клоновых изображениях не допускались более 5% от их линейных размеров. Предварительно с исходных изображений уда -лялись артефакты, соринки, следы производства капсюлей и т.д.
Обучение полносвязных нейронных сетей
Для проведения расчетов была сформирована обучающая и тестовая выборка общим числом объектов порядка 1100. Из них только 140 изображений размером 500 х 500 пикселей были исходными, формирующими 50 классов. Остальные были получены за счет клонирования исходных изображений по описанной выше методике. Для обучения полносвязной нейронной сети все изображения были уменьшены до размеров 50 х 50 пс.
Была сформирована ПНС [8] с двумя скрытыми слоями (рис. 4) со следующими параметрами: входной слой включал 2500 входных нейронов; первый скрытый слой - 625 нейронов; второй слой - 156; выходной слой включал 50 нейронов (по числу классов). В результате нейронная сеть содержала порядка 1.6 млн регулируемых весовых коэффициентов.
Обучение нейронной сети проводилось поэтапно. На первом этапе обучающая выборка
Рис. 4. Архитектура применявшейся полносвязной нейронной сети
Fig. 4. The architecture of the applied fully-connected neural network
включала только исходные изображения. Вначале на вход подавали изображения с хорошо выраженными индивидуализирующими признаками, затем - изображения с менее выраженными признаками. На втором этапе обучающая выборка была расширена за счет формирования клоновых изображений без поворотов. На третьем этапе обучающая выборка включала изображения, случайным образом повернутые относительно начального положения на углы в пределах ±35 градусов. Каждое клоновое изображение поворачивалось 4-5 раз влево и столько же раз вправо на произвольные углы.
Точность прогнозирования оценивалась путем учета максимального сигнала как на одном выходном нейроне, так и на двух и трех нейронах.
Оценка результатов расчетов
Оценка точности прогнозирования классов объектов тестовой выборки, включающей порядка 160 объектов, не входящих в обучающую выборку, проводилась в соответствии с метрикой Accuracy, которая равна отношению числа правильных прогнозов к общему числу сформированных прогнозов. Результаты расчетов представлены в таблице, из данных которой видно, что использование только исходных изображений в обучающей выборке (140 объектов 50 классов) позволило обеспечить точность прогнозирования порядка 69% при учете максимального сигнала на одном выходном нейроне. При учете максимальных сигналов на трех выходных нейронах точность прогнозирования составила 79%. Низкая точность прогнозирования обусловлена малым числом объектов обучающей выборки и, возможно, переобучением нейронной сети. После увеличения числа объектов обучающей выборки в два раза за счет генерации новых клоновых изображений без их поворотов точность прогнозирования по максимальному сигналу на одном выходном нейроне увеличилась до 73%, а при учете максимальных сигналов на трех нейронах -
Точность предсказания класса тестового объекта с помощью полносвязной НС Table. Accuracy of the test object class prediction using fully-connected neural network
Число выбранных классов Тип выборки Точность прогнозирования, %
Учитывается один выходной нейрон с максимальным значением сигнала Оригиналы 69
Оригиналы + клоны 73
Оригиналы + клоны + повороты 81
Учитываются два выходных нейрона с наибольшими значениями сигналов Оригиналы 75
Оригиналы + клоны 82
Оригиналы + клоны + повороты 88
Учитываются три выходных нейрона с наибольшими значениями сигналов Оригиналы 79
Оригиналы + клоны 88
Оригиналы + клоны + повороты 91
до 88%. Затем обучающая выборка была увеличена до 1100 объектов с помощью поворота исходных изображений на углы в пределах ±35 градусов. Точность прогнозирования при учете сигнала на одном выходном нейроне составила 81%, а при учете на трех выходных нейронах составила порядка 91%. Время переобучения сети при включении новых изображений оказалось на порядок меньше времени ее первоначального обучения.
Отдельно следует отметить достаточно высокую избирательность обученной полносвязной нейронной сети. На рис. 5 представлены изображения следов бойков двух экземпляров пистолета Макарова с заводскими номерами 1784 и 1699 с топологически близкими индивидуализирующими признаками. Сеть достаточно уверенно дифференцировала по классам эти изображения.
а /a
б/b
в/с
Рис. 5. Пример высокой избирательности полносвязной нейронной сети: а, б - изображения следов бойка на гильзах, стреляных в одном экземпляре пистолета Макарова с серийным номером 1784; в - изображение следа бойка на гильзе, стреляной
в пистолете Макарова с серийным номером 1699 Fig. 5. Example of high selectivity of the full-connected neural network: a, b - images of firing pin mark on cartridge cases discharged from the same Makarov pistol with serial number 1784; c - image of firing pin mark on cartridge case discharged from Makarov pistol with serial number 1699
Выводы
Проведенные исследования показали:
- возможность классификации изображений следов бойков по экземплярам оружия с помощью применения полносвязной нейронной сети в целом;
- эффективность применения искусственно генерированных клоновых изображений следов бойков для обучения полносвязной нейронной сети в случаях с малым количеством исходных объектов;
- необходимость последующего перехода к сверточной нейронной сети для анализа изображений размером 250 х 250 пс и более для увеличения точности прогнозирования за счет учета более мелких пространственных признаков.
Применение нейронных сетей позволяет автоматизировать процесс идентификации оружия по изображениям следов бойков и статистически обосновать формирование категорических выводов.
Список литературы
1. Федоренко В. А., Корнилов М. В. Оценка схожести следов бойков огнестрельного оружия по их цифро-
вым изображениям // Информационные технологии и вычислительные системы. 2015. № 3. C. 92-100.
2. Song J. Proposed "NIST Ballistics Identification System (NBIS)" Based on 3D Topographic Measurements on Correlation Cells // AFTE Journal. 2013. Vol. 45, № 2. P. 184-194.
3. Song J. Proposed "Congruent Matching Cells (CMC)" Method for Ballistic Identification and Error Rate Estimation // AFTE Journal. 2015. Vol. 47, № 3. P. 177-185.
4. Сорокина К. О., Федоренко В. А., Гиверц П. В. Оценка схожести изображений следов патронного упора методом корреляционных ячеек // Информационные технологии и вычислительные системы. 2019. № 3. C. 3-15. https://doi.org/10.14357/20718632190301
5. Fedorenko V. A., Kornilov M. V. Automatic Comparison of Firing Pin Marks Against Descriptors Independent of Image Orientation // AFTE Journal. 2018. Vol. 50, № 3. P. 169-175.
6. Гонсалес Р., Вудс Р. Цифровая обработка изображений. М. : Техносфера, 2019. 1104 с.
7. Фурман Я. А. Введение в контурный анализ и его приложения к обработке изображений и сигналов. М. : Физматлит, 2003. 592 с.
8. Рашид Т. Создаем нейронную сеть. СПб. : Альфа-книга, 2017. 272 с.
9. Николенко С. И., Кадурин А. А., Архангельская Е. О. Глубокое обучение. Погружение в мир нейронных сетей. СПб. : Питер, 2018. 480 с.
References 5.
1. Fedorenko V. A., Kornilov M. V. Assessing similarities firing pin traces of firearms on their digital images. Informatsionnye Tekhnologii i Vychislitel'nye Sistemy, 6. 2015, no. 3, pp. 92-100 (in Russian).
2. Song J. Proposed "NIST Ballistics Identification System (NBIS)" Based on 3D Topographic Measurements on 7. Correlation Cells. AFTE Journal, 2013, vol. 45, no. 2,
pp. 184-194.
3. Song J. Proposed "Congruent Matching Cells (CMC)" Method for Ballistic Identification and Error Rate Estimation. AFTE Journal, 2015, vol. 47, no. 3, pp. 177-185. 8.
4. Sorokina K. O., Fedorenko V. A., Giverts P. V. Evaluation of the Similarity of Images of Breech Face Marks Using the Method of Correlation Cells. Informatsi- 9. onnye tekhnologii i vychislitel'nye sistemy [Journal
of Information Technologies and Computing Systems], 2019, no. 3, pp. 3-15 (in Russian). https://doi. org/10.14357/20718632190301
Fedorenko V. A., Kornilov M. V. Automatic Comparison of Firing Pin Marks Against Descriptors Independent of Image Orientation. AFTE Journal, 2018, vol. 50, no. 3, pp. 169-175.
Gonzalez R., Woods R. Tsifrovaia obrabotka izobrazhenii [Digital Image Processing]. Moscow, Tecnosphera Publ., 2019. 1104 p. (in Russian).
Furman Ia. A. Vvedenie v konturnyi analiz i ego prilozheniia k obrabotke izobrazhenii i signalov [Contour Analysis Introduction and its Image and Signal Processing Applications]. Moscow, Fizmatlit Publ., 2003. 592 p. (in Russian).
Rashid T. Sozdaem neironnuiu set' [Make Your Own Neural Network]. St. Petersburg, Alfa-kniga Publ., 2017. 272 p. (in Russian).
Nikolenko S. I., Kadurin A. A., Arkhangel'skaia E. O. Glubokoe obuchenie. Pogruzhenie v mir neironnykh setei [Deep Learning. Dipping into the World of Neural Networks]. St. Petersburg, Piter Publ., 2018. 480 p. (in Russian).
Поступила в редакцию 15.11.2021; одобрена после рецензирования 20.12.2021; принята к публикации 21.12.2021 The article was submitted 15.11.2021; approved after reviewing 20.12.2021; accepted for publication 21.12.2021
