CC BY
74
УДК 004.93'12
ДАНИЛОВ В.В. д.т.н., проф. (Донецкий национальный университет) БАБИЧЕВА М.В. старший преподаватель (Донецкий национальный университет)
Автоматизированная система видеонаблюдения по распознаванию предметов повышенной опасности
Danilov V. V., Doctor of Technical Science, Professor (DONNU) Babicheva M., Senior Lecturer (DONNU)
Algorithmated CCTV system for hazards recognize
Введение
Системы видеонаблюдения
играют большую роль в безопасности на железной дороге, являясь превентивным средством безопасности. Интеллектуальные системы
видеонаблюдения должны обеспечивать возможность предотвращения
террористических актов,
правонарушений и преступлений, хищения грузов, безопасность пассажиров и работников железной дороги [1]. Несмотря на широкое применение, на данный момент, качество видео аналитики в автоматизированных системах
видеонаблюдения оставляет желать лучшего. Основная задача данной технологии заключается в
автоматизации мониторинга
изображений и обработке большого количества информации, которое невозможно обработать оператору, находящемуся за пультом управления. Нейросетевые алгоритмы
обнаруживают объекты специфического размера и формы (оружие, взрывчатку), игнорируя несоответствующие объекты. Они могут отслеживать эти объекты, принимая во внимание возможные последствия (нож зажат в руке
специфическим хватом), и генерировать сигнал тревоги. При принятии решения о подаче тревоги, алгоритм принимает во внимание факторы, которые закладывает разработчик, или предоставляет пользователю
самостоятельно выбирать угрозы из имеющегося списка [2].
Анализ последних исследований и публикаций
Системы видеонаблюдения
используют на железнодорожном транспорте для решения широкого круга задач [1]. К ним относятся: дистанционное оценивание
технического состояния вагонов; обнаружение негабаритного груза и других нарушений правил технической эксплуатации и безопасности, а также составление оперативных донесений о выявленных нештатных ситуациях; фиксация времени прохождения локомотива и последнего вагона состава; определение скорости и направления движения состава [3]. Ряд исследований посвящены проблеме распознавания лиц на вокзалах. В основном это разработки Китайских и Индийских ученых [4].
Однако исследований,
посвященных разработке полностью автоматизированных систем
видеонаблюдения для обеспечения безопасности на железнодорожном транспорте, обращающих внимание оператора на наличие на сцене опасных предметов таких, как оружие или взрывчатка, мало.
Цель работы
Целью представленной работы является разработка
автоматизированной системы для распознавания четырех классов предметов повышенной опасности: нож, пистолет, автомат, граната и тестирование в различных условиях (освещенность, дальность, наличие на сцене похожих предметов). Подобная система сможет применяться при организации оперативного
видеонаблюдения на объектах железнодорожной инфраструктуры в режимных организациях (оборонные заводы и учреждения НИИ и т.д.).
Основной материал
Алгоритм распознавания и архитектура нейронной сети. Для реализации проекта были выбраны сверточные нейронные сети, которые позволяют значительно уменьшить объем характерных признаков изображения, применять
распараллеливание для увеличения скорости обработки, ведь распознавание должно происходить в режиме близком к реальному времени [2, 4].
Для распознавания были выбраны четыре типа объектов повышенной опасности: нож, пистолет, автомат и граната. Эти объекты образовали четыре класса, по которым должно проводиться распознавание. Алгоритм
позволяет увеличивать количество классов, но тогда для обработки изображений потребуются более мощные средства и оптимизация самой программы.
Задачами, решаемыми в данной работе, были следующие. Первая, каким образом и по каким признакам различить опасный предмет от безопасного. В некоторых случаях даже натренированный оператор не может точно определить, какой именно предмет на видео. Предложенным нами решением является классификация предмета с определенной вероятностью, и в случае, когда эта вероятность выше установленного порога, утверждать, что предмет относится к одному из четырех классов. Этот порог предполагалось найти экспериментально на этапе обучения системы.
Вторая, для корректной работы большинства нейронных сетей необходимо нормализовать входные данные, то есть подавать на вход изображения определенного размера. Нами рассмотрены три варианта решения этой задачи:
- изначально настроить камеру на съемку кадров определенного размера, однако функция съемки в заданном разрешении доступна не для всех видеокамер и данное обстоятельство усложнит развертывание системы на объекте, уже оснащенном видеосистемой;
- произвести пост обработку изображения, однако это замедлило бы процесс распознавания и увеличило расход оперативной памяти вычислительной системы;
- использовать специальную сверточную архитектуру нейронной сети, которая позволяет пропорционально увеличивать или уменьшать количество выходных ячеек
сетки. Как показали проведенные исследования, данный подход оказался наиболее перспективным, что позволило предложить следующий алгоритм распознавания:
1) активация камеры;
2) из видеопотока выбирается каждый 10-й кадр;
3) предварительная обработка изображения (фильтрация и улучшение);
4) изображение подается на вход нейронной сети
5) нейронная сеть обнаруживает или не обнаруживает принадлежность объекта (ов) на кадре к одному из четырех классов (в случае обнаружения, указывается вероятность, с которой выделенный на кадре предмет соответствует выбранному классу);
6) система оповещает оператора видео или аудио сигналом.
Захваченные кадры проходят следующую предварительную
обработку: из полноцветного
изображение переводится в
полутоновое, производится фильтрация шумов и улучшение по алгоритму Винера.
В основу нейронной сети легла оптимизированная, для увеличения скорости работы и уменьшения требования к производительности аппаратной платформы, архитектура YOLO 3-й версии. В стандартную архитектуру были внесены следующие изменения:
- исключен сверточный слой 13 x 13, отвечающий за распознавание крупных объектов;
- добавлено 6, так называемых, якорей детектирования для увеличения точности распознавания;
- добавлено 3 выходных сверточных слоя для предсказания ограничивающей рамки трехмерного тензорного кодирования, наличия
объекта и одного из классов.
Обучение нейронной сети. Обучение производилось на 2000 изображениях опасных предметов. На подготовленных образцах
присутствовал либо один объект, соответствующий одному из четырех классов, либо несколько объектов из разных классов, либо несколько объектов одно и того же класса, либо объект, имеющий сходства с любым из распознаваемых классов, последний вариант был включен, чтобы алгоритм не распознавал сторонние объекты, как соответствующие одному из классов.
Изображения размечались
вручную (рис. 1). Затем данные распределялись на обучающую выборку, используемую для
корректировки весов (80 %), и тестовую выборку (20 %), с помощью которой проверялось качество распознавания на разных этапах, и отсутствие переобучения сети (наличие изменения градиента).
На нейронную сеть в случайном порядке подавались изображения из группы для тренировки, затем выдавался ответ, распознан или не распознан объект. Результат работы алгоритма сравнивался с реальным классом и затем производилась корректировка весов по алгоритму Левенберга-Марквардта [4, 5]. Для определения оптимального
вероятностного порога распознавания проводилось несколько таких циклов обучения на одних и тех же данных.
Разработка приложения и тестирование. В разработке GUI приложения на языке
программирования Python 3.6 применялась библиотека Tensorflow 2.2.2.
Процесс распознавания
представлен на рисунке 2.
Рис. 1. Процесс разметки обучающей выборки
Рис. 2. Процесс распознавания с разграничивающей сеткой и тремя якорями (слева), результат распознавания ножа, зажатого нехарактерным хватом (справа)
Захваченный кадр
разграничивается сеткой SxS ячеек. Каждая ячейка имеет от 3 до 6-ти якорей. Для каждого якоря рассчитываются координаты,
вероятность наличия объекта и вероятность принадлежности к каждому из классов. После формирования всех якорей происходит процесс
фильтрации, по окончанию которого остаются только те, у которых значение вероятности выше, заданного при
обучении порога. Предполагаемый объект повышенной опасности выделяется рамкой с указанием вероятности распознавания в процентах.
Первичное тестирование
проводилось на видео, с изображением различных предметов, в том числе и повышенной опасности для
определения слабых мест алгоритма. Для окончательных тестов были взяты достоверные макеты объектов
повышенной опасности. Предметы предъявлялись в четырех положениях: лежали на столе, были видны полностью в руке, зажаты характерным хватом, когда видно 80 и 60% предмета. Тестирование проводилось при разном освещении - нормальном и тусклом (отличие от нормального
приблизительно на 40 %).
Для тестирования использовался стенд: CPU - Intel Core i7-5700HQ; GPU - NVidia GeForce GTX 960M (2 Гб GDDR5);
RAM - 12 Гб DDR3L-1600 МГц; Web Cam - HD (1080х720). На рисунке 3 приведены некоторые результаты распознавания в виде диаграммы.
Рис. 3. Результаты распознавания опасных предметов на различном расстоянии при
нормальном освещении
Помимо прочих факторов менялось и расстояние до объекта, поскольку при увеличении расстояния уменьшается количество пикселей, которые захватывает распознаваемый предмет. Тестирование проводилось на расстояниях 3 и 5 метров, опасные предметы предъявлялись системе в фас и в профиль. Цифры 2, 34, 36, 38 показывают количество успешных распознаваний из 40 предъявлений различных опасных предметов. Наилучшие результаты получены для автомата, как зажатого в руке, так и лежащего на столе. Наихудшие - для гранаты.
Выводы
Предложенный алгоритм
распознавания работает
удовлетворительно и, как ожидалось, лучшие результаты получены при условиях, приближенных к идеальным (освещение нормальное, расстояние малое).
Предложено решение трудности распознавания ножа (узкое лезвие, недостаточное освещение), путем введения признака «характерный хват».
Установлено, что действенность предложенного алгоритма
распознавания зависит от качества
изображения на носителе, а такие факторы как размытие, шум, нечеткость и т.д. отрицательно сказываются на его работе.
В реальных условиях,
автоматизированная система
видеонаблюдения по распознаванию предметов повышенной опасности, на основе нейронной сети должна быть обучена с носителя, например, телекамеры, установленного на объекте и предполагаемых опасных предметах при разных условиях предъявления, что предусмотрено логикой программы. По результатам тестирования намечены пути усовершенствования системы: увеличение количества и разнообразия данных для обучения и выравнивание освещенности захваченных кадров. Результаты данной работы планируется использовать в разработке охранных систем видеонаблюдения.
Список литературы:
1. Борисова Е.С. Анализ рынка видеонаблюдения на железнодорожном промышленном транспорте / Е.С. Борисова, В.А. Белякова // Научно-практический электронный журнал «Аллея Науки». - 2017. - № 10. -[Электронный ресурс]. - Режим доступа: https:// Alley-science.ru - Загл. с экрана.
2. Грубо И.И. Системы охранной сигнализации. Технические средства / И. И. Грубо. - М: Солон-Пресс, 2017. -220 с.
3. Орлов С.В. Видеоаналитика: задачи и решения // Журнал сетевых решений. - LAN. - 2014. - №6. -[Электронный ресурс]. - Режим доступа:https://www.osp.ru/lan/2014/06/1 3041879 - Загл. с экрана
4. Singh M. Autonomous Rail Track Inspection using Vision Based System /
M. Singh, S. Singh, J. Jaiswal, J. Hempshall // International Conference on Computational Intelligence for Homeland Security & Personal Safety. -2007.
5. Рутковская Д. Нейронные сети, генетические алгоритмы и нечеткие системы / Пер. с польск. И.Д. Рудинского / Д. Рутковская, М. Пилиньский, Л. Рутковский. - М.: Горячая линия. - Телеком, 2006. - 452 с.
6. Бабичева М.В. Распознавание лиц в режиме реального времени сверточной нейронной сетью / М.В. Бабичева, А.С. Шевченко // Вестник Донецкого национального университета. Серия Г: Технические науки. - 2018. - № 2 (60). - C. 67-71.
7. Флах П. Машинное обучение. Наука и искусство построения алгоритмов, которые извлекают знания из данных / Пер. с англ. А.А. Слинкина. - М.: ДМК Пресс, 2015. - 400 с.
8. Николенко С.И. Глубокое обучение / С.И. Николенко, А.А. Кадурин, Е.О. Архангелькая. -СПб.: Питер, 2019. - 480 с.
Аннотации:
В статье предлагаются предварительные результаты создания автоматизированной системы видеонаблюдения по распознаванию предметов повышенной опасности, например, при организации оперативного
видеонаблюдения охранных мероприятий на объектах железнодорожной инфраструктуры, в режимных организациях (оборонные заводы и учреждения, НИИ и т.д.) Процесс оперативного видеонаблюдения на основе нейронной сети предлагается, как усовершенствование существующих систем. На сегодняшний день подобных разработок существует очень мало. Предложен алгоритм обнаружения объектов и архитектура нейронной сети. Реализовано компьютерное приложение на языке программирования Python 3.6, с применением библиотеки TensorFlow, и базовой архитектуры
YOLOv3, проведено обучение на изображениях опасных объектов. Приложение протестировано на видео, с изображением реальных ножей, гранат, пистолетов, автоматов и макетах опасных предметов, рассмотрены возможности улучшения характеристик системы.
Ключевые слова: системы
видеонаблюдения, распознавание объектов повышенной опасности, нейронные сверточные сети.
In the article, the preliminary results of creating an automated video surveillance system for objects of increased danger recognizing, for example, when organizing operational video surveillance of security measures at railway infrastructure facilitiesin, sensitive organizations (military plants and institutions, research institutes,
etc.) are proposed. The process of operational video surveillance based on a neural network is proposed as an improvement of existing systems. To date, there are very few such developments. An algorithm for detecting objects and the architecture of a neural network is proposed. A computer application was implemented in the Python 3.6 programming language, using the TensorFlow library, and the basic YOLOv3 architecture, and training was conducted on images of dangerous objects. The application was tested on video, with the image of real knives, grenades, pistols, machine guns and mock-ups of dangerous objects, the possibilities of improving the characteristics of the system are considered.
Keywords: video surveillance systems, recognition of high-risk objects, neural convolutional networks.
УДК 621.39
ЯРЕМКО И.Н., к.т.н., доцент (Донецкий национальный технический университет) ПАВЛОВСКАЯ К.А., ассистент (Донецкий национальный технический университет)
Анализ модели распространении радиоволн SUI для решения задач построения сетей сотовой связи 5G
Yaremko I.N., Candidate of Technical Science, Associate Professor (DONNTU) Pavlovskaya K.A., Assistant (DONNTU)
Analysis of the SUI radio wave propagation model for solving the problems of building 5G cellular networks
Введение
При прогнозировании зон покрытия базовыми станциями, обеспечивающих мобильную связь между железнодорожными службами и подвижным составом, особую роль играет расчет нагрузки сетей мобильной связи, исходя из которой планируют архитектуру создающейся сети,
координаты базовых станций с учетом заданного качества обслуживания QoS.
При проектировании сетей 5G для нужд железнодорожного транспорта необходимо учитывать влияние всевозможных факторов
распространения радиоволн на параметры передающего и
принимаемого сигнала.
