CC BY
0
УДК 004.93
ПРОГРАММНОЕ РАСПОЗНАВАНИЕ НАРУШЕНИЙ ПРАВИЛ ДОРОЖНОГО ДВИЖЕНИЯ ПО ВИДЕОПОСЛЕДОВАТЕЛЬНОСТИ
Б. А. Истигечев Научный руководитель - А. Г. Зотин
Сибирский государственный университет науки и технологий имени академика М. Ф. Решетнева Российская Федерация, 660037, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31
E-mail: boris220-2011@mail.ru
Рассматривается использование технологий компьютерного зрения в целях распознавания нарушений правил дорожного движения. Описаны правила обнаружения нарушений правил дорожного движения. Проведён эксперимент по распознаванию нарушений правил дорожного движения на примере видеофрагмента.
Ключевые слова: машинное зрение, нейронные сети, мониторинг дорожной ситуации, обработка видеопоследовательности.
RECOGNITION OF TRAFFIC VIOLATIONS BY VIDEO SEQUENCE
B. A. Istigechev Scientific supervisor - A. G. Zotin
Reshetnev Siberian State University of Science and Technology 31, Krasnoyarskii rabochii prospekt, Krasnoyarsk, 660037, Russian Federation E-mail: boris220-2011@mail.ru
Considered using of technologies of computer vision for recognition of traffic violations. Described rules of detection of traffic violations. Presented results of the recognition on example of video clip.
Keywords: computer vision, neural networks, monitoring of traffic, processing of video sequence.
Безопасность дорожного движения - важный фактор, влияющий на качество дорог и здоровье граждан. Улучшение безопасности дорожного движения позволит уменьшить число аварий и увеличить проходимость дорог, повысится продолжительность жизни. Фиксация нарушений при помощи технических средств могла бы снизить количество аварий на дорогах и нарушений ПДД (правил дорожного движения). Мониторинг дорожного движения призван решать проблемы дорожного движения на основе получаемых данных [1].
Для распознания нарушений ПДД используется видеопоток с IP-камер или других видеоустройств, который разделяется на отдельные кадры и обрабатывается. Предполагается, что устройства видеозаписи снимают участок дороги со светофором и пешеходным переходом в дневное время суток.
Для распознания объектов на дороге необходимо использовать алгоритмы компьютерного зрения. Для обнаружения всех объектов необходимо, чтобы поле зрения камеры попадали дорога и светофоры, т. е. они не должны находиться слишком далеко. Наиболее удобно использовать изометрическую проекцию.
Определены следующие нарушения ПДД, которые будут распознаваться:
Секция «Программные средства и информационные технологии»
- переход на красный свет;
- проезд на красный свет;
- переход дороги в неположенном месте.
Распознание объектов может производиться как при помощи нейронных сетей, так и без них, например, при помощи каскадов Хаара [2]. Однако метод уже устарел и его использование в современных приложениях не рекомендуется. С 2012 года в области компьютерного зрения активно применяются свёрточные нейронные сети [3]. С этого времени было придумано множество архитектур нейронных сетей для распознавания объектов на изображении. Однако наиболее удачной и быстрой архитектурой оказалось YOLO. В настоящее время существует уже четвёртая версия данной нейросети - YOLOv4 [4].
Для распознавания на вход нейронной сети подаётся кадр из видеопоследовательности, который приводится к размеру 416*416. Выход нейронной сети - список координат рамок, привязанных к определённым классам объектов. Для контуров дорог, пешеходных переходов и светофоров проводится ручная разметка - один раз в начале работы. Нейронная сеть используется для распознавания движущихся объектов - пешеходов и машин. Обработка изображения происходит гораздо быстрее, если координаты контуров объектов заданы вручную. Примеры контуров и их обозначения приводятся на рис. 1.
Рис. 1. Цветовые обозначения различных контуров, используемых в алгоритме
Также распознается цветовой сигнал светофоров при помощи считывания цветов пикселей в рамках контура светофора.
Для распознавания нарушений ПДД были сформулированы следующие правила:
- если горит красный свет для машин, то пешеходам можно переходить дорогу - это не считается нарушением;
- если горит зелёный или жёлтый свет для машин, то пешеходам нельзя переходить дорогу - это нарушение правил;
- если цвет светофора не определён и нет пешеходов, переходящих дорогу в неположенном месте, тогда засчитывается «не определено»;
- переход засчитывается, если есть пересечение контура нижней части пешехода с контуром пешеходного перехода;
- если нижняя часть контура пешехода не пересекается с контуром пешеходного перехода или дороги, то он не учитывается;
- если нижняя часть контура пешехода пересекается с пешеходным переходом и с дорогой, если горит красный для машин, это не считается нарушением;
- если нет пересечения с пешеходным переходом - засчитывается за нарушение.
Контур нижней части пешехода - это прямоугольник площадью в четверть от площади
контура пешехода, примыкающий к низу исходного контура.
Для проверки точности и полноты распознавания был проведён эксперимент. Используется пробный видеоролик, записанный с видеокамеры. Он длится 5 минут 45 секунд и состоит из 10350 кадров. Для разметки видео был привлечён эксперт, который разметил 121 кадр с нарушениями правил. Всего на видео произошло 4 нарушения. Количество кадров с найденными нарушениями ПДД - 112 или 1,08% от общего числа кадров. Точность и полнота, вычисленные по формулам из [5], составили 96,4% и 87,6% от числа кадров соответственно. По числу нарушений - 100% и 100% соответственно.
Распознание нарушений ПДД прошло успешно. Технологии компьютерного зрения хорошо справляются с задачами, которые ранее считались прерогативой человека. Для дальнейшего совершенствования системы стоит реализовать запись кадров нарушений в базу данных, а также автоматическое распознавание номеров нарушителей правил.
Библиографические ссылки
1. В. А. Мизь, А. В. Хаханова. Анализ систем автоматизированного мониторинга автомобильного транспорта и управления дорожным движением. Харьков: Автоматизированные системы управления и приборы автоматики, 2012. № 4 (161). С. 25-31.
2. Каскады Хаара [Электронный ресурс]. URL: https://habr.com/ru/post/198338/ (Дата обращения: 15.03.2022).
3. Goodfellow I., Bengio Y., Courville A. Deep Learning. Cambridge: MIT Press, 2016. 800 с.
4. Object detection with deep learning and OpenCV [Электронный ресурс]. URL: https://www.pyimagesearch.com/2017/09/11/object-detection-with-deep-learning-and-opencv (Дата обращения: 15.03.2022).
5. О. Жерон. Прикладное машинное обучение с помощью Scikit-Learn и Tensorflow: концепции, инструменты и техники для создания интеллектуальных систем. Пер. с англ. -СПб. : Альфа-книга, 2018. 688 с. : ил.
© Истигечев Б. А., 2022
