CC BY
70
УДК 340.64
АВТОМАТИЗИРОВАННЫМ ПРОГРАММНЫЙ КОМПЛЕКС ДЛЯ ОПЕРАТИВНОГО ОТОЖДЕСТВЛЕНИЯ ЧЕЛОВЕКА ПО ПОХОДКЕ
THE AUTOMATED PROGRAM COMPLEX FOR THE OPERATIONAL IDENTIFICATION
THE PERSON BY HIS GAIT
© Сиволобов Сергей Владимирович
Sergey V. Sivolobov
магистр информатики и вычислительной техники, Волгоградский государственный университет, Russia.
master of Computer Science and Engineering, Volgograd State University, Russia.
© Булгаков Владимир Геннадьевич
Vladimir G. Bulgakov кандидат технических наук, доцент, магистр юриспруденции, доцент кафедры технико-криминалистического обеспечения экспертных исследований учебно-научного комплекса судебной экспертизы, Московский университет МВД России.
PhD (Technical), Associate professor, Master of Law, Moscow University of the Ministry of Interior, Russia.
© Бумагин Виктор Викторович
Victor V. Bumagin
старший преподаватель кафедры информационных систем и компьютерного моделирования, Волгоградский государственный университет.
Assistant Professor of the Department of Information Systems and Computer Modeling, Volgograd State University, Russia.
В статье представлен аппаратно-программный комплекс, использующий алгоритм распознавания человека по походке, отобразившейся на видеозаписи. Рассматриваются последовательность и основные этапы компьютерной обработки видеоданных, запечатлевших походку человека, для решения криминалистических задач.
Ключевые слова: оперативное отождествление, походка, нейронные сети, контурный анализ изображения.
Вн
р
> настоящее время для решения задач ^ раскрытия и расследования преступлений правоохранительными органами активно используются автоматизированные информационные системы (АИС) различного назначения. К ним относятся АИС уголовной регистрации, автоматизированные рабочие места сотрудников правоохранительных органов, АИС
The hardware-software complex using algorithm of recognition the person's gait- displayed on video - is presented in the article. The sequence and the main stages of computer processing of the video data for the solution of criminalistic tasks are considered.
Key words: operational identification, gait, neural networks, planimetric analysis of the image.
обеспечения производства различных судебных экспертиз и др. [1, с. 84-102]. Наиболее важные, решаемые такими АИС задачи - установление и изобличение лиц, совершивших преступление.
Сегодня одним из информационных источников о преступной деятельности и лицах, её осуществляющих, являются системы видеонаблюдения, которые получают всё большее
распространение и используются правоохранительными органами. Системы видеонаблюдения позволяют фиксировать значительный объём разнообразной информации, но не во всех случаях обеспечивают возможность оперативного реагирования на криминальную ситуацию и установление лиц, попавших в поле зрения видеокамер [2, с. 154-159].
Находящиеся на вооружении правоохранительных органов автоматизированные информационно-поисковые системы, действующие в рамках Единой информационно-телекоммуникационной системы органов внутренних дел [3], обладают большим потенциалом возможностей фиксации и передачи криминалистически значимой информации. Правоохранительный сегмент комплексной автоматизированной информационно-аналитической системы «Безопасный город» обеспечивает получение большого объёма видеоинформации за счёт камер систем видеонаблюдения и фиксации. Информационно-поисковая система видеонаблюдения «Видеопоток», состоящая из видеокамер наблюдения, расположенных в местах массового скопления людей, а также аппаратно-программных средств обработки и распознавания изображений, позволяет выделять из потока лица людей и проводить их сравнение с фотоизображениями разыскиваемых лиц в режиме реального времени. В качестве базы данных для сравнения используются информационные массивы фото- и видеоизображений лиц, представляющих оперативный интерес, комплексов «СОВА» или «Образ ++» [1, с. 92-93].
Как показывает практика, преступники, находясь в зоне видеонаблюдения, довольно редко демонстрируют своё лицо, закрывая его маской, головным убором, маскируя при помощи грима и т. п. В этих случаях установление преступника затруднено. Вместе с тем в материалах видеозаписи отображаются также динамические свойства и признаки человека [4, с. 306-308], к которым относятся особенности походки, жестикуляции, артикуляции и т. д. В базах данных видеоизображений лиц, представляющих оперативный интерес, также содержится не только портретная информация (лицо), но и сведения о динамических признаках указанных лиц.
Использование этой информации в целях раскрытия и расследования преступлений ограничивается проблемой отсутствия технической реализации распознавания указанных лиц по внешне проявляющимся их динамическим свойствам и признакам. Специфика оперативного отождествления человека по видеозаписи в режиме реального времени также не позволяет
использовать для этого разработанные последнее время аппаратно-программные комплексы, предназначенные для судебно-экспертного исследования отдельных динамических признаков [5].
Для восполнения этого пробела нами были проведены исследования, в результате которых был создан аппаратно-программный комплекс для оперативного отождествления человека по походке, отобразившейся с помощью видеозаписи.
Для распознавания образов в аппаратно-программном комплексе используется специализированная искусственная нейронная сеть. Достоинством выбранного метода является относительная простота реализации алгоритма распознавания и интерпретации результатов. К недостаткам следует отнести необходимость специализированной предобработки данных и длительного обучения нейронной сети.
Аппаратно-программный комплекс состоит из следующих основных модулей: выделения движущейся фигуры на кадрах видеозаписи и работы с нейронной сетью.
В качестве среды для разработки аппаратно-программного комплекса была использована Microsoft VisualStudio.NET 2008. При написании программы использовался язык программирования C#, что обусловлено наличием в нём встроенных процедур для решения элементарных задач, встречающихся в созданной программе, например, математических функций и работы с массивами. Кроме того, используются некоторые функции библиотеки компьютерного зрения OpenCV [6, c. 141-156].
Работа модуля выделения движущейся фигуры (контуров) человека состоит из следующей последовательности операций: загрузки, предварительной фильтрации изображения, вычисления и вычитания фона, окончательной фильтрации, обработки изображений и совмещения изображений походок в одной фазе.
В качестве исходных данных для работы программного модуля могут выступать данные, поступающие с камер систем видеонаблюдения со стандартным соотношением сторон кадра 4:3. При этом предусмотрена возможность работы с любыми современными видеокамерами (как цветными, так и чёрно-белыми). Ограничивается лишь минимальное разрешение камеры: 640x480, что соответствует стандартному видеоразрешению VGA. При меньшем разрешении качество обработки кадров может снижаться [7, с. 151-174].
Для распознавания человека достаточно выборки из продолжительного видеопотока, состоящей из 100 кадров, которая начинается с первого появления человека в кадре (рис. 1).
Научно-практический журнал. ISSN 1995-5731
Рис. 1. Исходное изображение
При этом кадры загружаются в режиме «оттенки серого».
Для очистки исходных изображений от шума (помех на изображении) проводится операция предварительной фильтрации, при этом применяются медианные фильтры [7, с. 234-236].
Для выделения фона на последовательности изображений с движущимся объектом используется специальный алгоритм, основанный на выборе пикселей, яркость которых не меняется от кадра к кадру (рис. 2).
Чтобы выделить движущиеся объекты на кадрах видеозаписи, необходимо исключить фон. При этом для каждой точки изображения вычисляется абсолютное значение (модуль) разницы яркости точки кадра и соответствующей точки на выделенном в предыдущем действии фоне. После этого производится бинаризация изображения. В результате получается чёрно-белое изображение, где чёрным обозначается фон, а белым - движущийся объект. Рассмотрим кадр с удалённым фоном (рис. 3). В некоторых местах на нём присутствуют белые точки (артефакты), которые являются следствием не идеально выделенного фона, а также тени от объекта. Указанные помехи удаляются путём медианной фильтрации (рис. 4).
Рис. 2. Автоматически выделяемый фон
Следующей операцией является сопоставление кадров походки человека, зафиксированной видеозаписью, с кадрами походок, хранящихся в базе данных. Проведение сравнительного исследования по серии кадров
Рис. 3. Изображение с удалённым фоном
походки двух людей возможно, если привести их к одинаковой фазе движения, так как ходьба является циклическим локомоторным действием, отличающимся высокой степенью автоматизированности и точной повторяемостью от цикла к циклу отдельных его компонентов [8, с. 388-389]. Поэтому при сопоставлении последовательности кадров походок в программе предусмотрена операция по сдвигу одной из последовательностей кадров относительно другой до совпадения фаз движения людей, чьи походки сравниваются (рис. 5-6).
А
Рис. 4. Изображение после медианной фильтрации и выделения контура человека
Для того чтобы все сравниваемые походки людей находились в одной и той же фазе, в программе предусмотрена возможность использования кадров походки одного человека в качестве опорных, относительно которых будут сдвинуты фазы движения на всех остальных видеосъёмках.
Рис. 5. Кадры сравниваемых походок в разных фазах движения
Рис. 6. Кадры сравниваемых походок, приведённые к одинаковым фазам движения
Для классификации полученных данных в аппаратно-программном комплексе предусматривается использование многослойных нейронных сетей, в частности, многослойного персептрона [9, с. 219-295] и сети свёртки [10, с. 276-279]. Возможна также реализация их обучения и использования с помощью технологий параллельных вычислений (CUDA, OpenMP, MPI).
Имеющиеся в аппаратно-программном комплексе функции предусматривают как полностью автоматический цикл обработки видеоданных, так и поэтапный в «ручном» режиме.
Одним из ограничений возможностей аппаратно-программного комплекса определяется тем, что он позволяет работать только
Библиографический
1. Информационные системы: учеб. пособие / Е. В. Бурцева, И. П. Рак, А. В. Селезнев, А. В. Терехов, В. Н. Чернышов. Тамбов : Изд-во Тамб. гос. техн. ун-та, 2009. 128 с. ISBN 9785-8265-0874-9.
2. Булгаков В. Г. Требования, предъявляемые к системам видеонаблюдения для использования полученных ими изображений человека в решении криминалистических задач // Вгсник Академгг адвокатури Укра'гни. 2011. Число 1(20).
3. Об утверждении новой редакции программы МВД России «Создание единой информационно-телекоммуникационной системы органов внутренних дел» [Электронный ресурс] : приказ МВД РФ № 435 от 20 мая 2008 г. (ред. от 25.07.2009 г.) // СПС «ГАРАНТ-Строй Максимум. Объединённый комплект», версия от 17 марта 2013 г.
4. Булгаков В. Г. Динамический портрет человека в криминалистике // «Черные дыры»
Wjf>
с видеозаписями, где человек зафиксирован с боковой точки съёмки. Дело в том, что наиболее высокоамплитудные движения проявляются и, следовательно, могут быть зафиксированы именно с боковой точки съёмки. Эта проблема может быть решена соответствующим расположением камер систем видеонаблюдения.
Работа аппаратно-программного комплекса была протестирована на базе данных походок более чем 30-ти человек. При этом походку каждого человека фиксировали видеозаписью несколько раз. Всего было проведено более 150 видеосъёмок. Результаты тестирования показали, что аппаратно-программный комплекс обеспечивает достаточно высокую точность распознавания - до 75%, при этом вероятность ошибок второго рода составляет 0-10%.
Разработанный и протестированный аппаратно-программный комплекс для оперативного отождествления человека по походке показал принципиальную возможность создания АИС, которая может быть интегрирована в существующие компоненты комплексной автоматизированной информационно-аналитической системы «Безопасный город» для решения задачи установления лиц, представляющих оперативный интерес.
Таким образом, активное внедрение и использование современных информационных технологий позволит выйти на качественно новый уровень информационного обеспечения при раскрытии, расследовании и предупреждении преступлений.
Материалы поступили в редакцию 12.08.2013 г. список (References)
1. Burceva E. V., Rak I. P., Seleznev A. V., Terehov A. V., Chernyshov V. N. (2009) Information systems. Tambov, Izd-vo Tamb. gos. tehn. un-ta. 128 p. ISBN 978-5-8265-0874-9.
2. Bulgakov V. G. (2011) Requirements for the use of video surveillance images of a man they have received in dealing with forensic tasks. Visnik Akademii advokaturi Ukraini. Chislo 1(20).
3. Approval of the amended program of Russian Ministry of Internal Affairs «Creating a unified information technology system of internal affairs», The order of Ministry of Internal Affairs of the Russian Federation № 435 of May 20, 2008 (as amended on 25.07.2009). SPS «GARANT-Stroj Maksimum. Ob#edinennyj komplekt», versija ot 17 marta 2013 g.
4. Bulgakov V. G. (2007) Dynamic portrait of a man in criminology. «<Chernye dyry» v rossijskom
Научно-практический журнал. ISSN 1995-5731
в российском законодательстве. Юридический журнал. 2007. № 1. ISSN 0236-4964.
5. Свид-во № 2012616758о гос. рег. программы для ЭВМ. Анализ походки человека / Сиволобов С. В., Бумагин В. В., Булгаков В. Г. ; заявитель и правообладатель Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Волгоградский государственный университет». № 2012614528 ; заявл. 04.06.2012; зарег. 27.07.2012.
6. Robert Laganière. OpenCV 2 Computer Vision Application Programming Cookbook. Packt Publishing, 2011. 298 с. ISBN 978-1-849513-24-1.
7. Сойфер В. А. Методы компьютерной обработки изображений. М. : ФИЗМАТЛИТ, 2003. 784 с. ISBN 5-9221-0270-2.
8. Дубровский В. И. Биомеханика : учеб. для сред. и высш. учеб. заведений. 2-е изд. / В. И. Дубровский, В. Н. Фёдорова. М. : ВЛАДОС-ПРЕСС, 2004. ISBN 5-305-00101-3.
9. Хайкин С. Нейронные сети: полный курс. 2-е изд. : пер. с англ. М. : Вильямс, 2006. 1104 с. ISBN 5-8459-0890-6.
10. Y. LeCun, Y. Bengio. Convolutional networks for images, speech, and time-series. In M. A. Arbib, editor, The Handbook of Brain Theory and Neural Networks. MIT Press, 1995. ISBN 0-262-01197-2.
zakonodatel'stve. Juridicheskij zhurnal. № 1. ISSN 0236-4964.
5. Sivolobov S. V., Bumagin V. V., Bulgakov V. G. The analysis of human gait. Svid-vo № 20126167580 gos. reg. programmy dlja JeVM., zajavitel' i pravoobladatel' Federal'noe gosudarstvennoe bjudzhetnoe obrazovatel'noe uchrezhdenie vysshego professional'nogo obrazovanija «Volgogradskij gosudarstvennyj universitet». № 2012614528, zajavl. 04.06.2012, zareg. 27.07.2012.
6. Robert Laganiere. (2011) OpenCV 2 Computer Vision Application Programming Cookbook. Packt Publishing. 298 c. ISBN 978-1-849513-24-1.
7. Sojfer V. A. (2003) Methods of computer image processing. Moscow, FIZMATLIT. 784 p. ISBN 5-9221-0270-2.
8. Dubrovskij V. I., Fjodorova V. N. (2004) Biomechanics. Moscow, VLADOS-PRESS. ISBN 5-305-00101-3.
9. Hajkin S. (2006) Neural networks: a complete course. Moscow, Viljams. 1104 p. ISBN 5-84590890-6.
10. Y. LeCun, Y. Bengio. (1995) Convolutional networks for images, speech, and time-series. In M. A. Arbib, editor, The Handbook of Brain Theory and Neural Networks. MIT Press. ISBN 0-262-01197-2.
¿//////////////////ш^^^
ПОДПИСНОЙ ИНДЕКС ПО КАТАЛОГУ АГЕНТСТВА «РОСПЕЧАТЬ»
З6829
