CC BY
10УДК 004.032.6
Технические науки
Чулин Константин Вячеславович, студент-магистр, Калужский филиал ФГБОУ ВО «Московский государственный технический университет имени
Н.Э. Баумана (национальный исследовательский университет)» Белов Юрий Сергеевич, к.ф. -м.н., доцент, Калужский филиал ФГБОУ ВО «Московский государственный технический университет имени Н.Э. Баумана (национальный исследовательский университет)» Федоров Виктор Олегович, к.т.н., доцент, Калужский филиал ФГБОУ ВО «Московский государственный технический университет имени Н.Э. Баумана (национальный исследовательский университет)»
ОЦЕНКА КАЧЕСТВА РАСПОЗНАВАНИЯ ДОРОЖНЫХ ЗНАКОВ СИСТЕМОЙ РАСПОЗНАВАНИЯ YRTODV1 (YOLO REAL-TIME OBJECT DETECTION, VERSION 1)
Аннотация: Обнаружение дорожных знаков является чрезвычайно важным в системах автономного вождения и целом влияющим аспектом безопасности на дороге. Для снижения риска несчастных случаев и улучшения опыта вождения водителей были разработаны системы распознавания дорожных знаков, которые сыграли важную роль в автоматическом вождении и обслуживании дорожной сети. В данной статье оцениваются результаты работы новой модели, основанная на сверточной нейронной сети, для повышения точности обнаружения и распознавания дорожных знаков, особенно в условиях плохой видимости; проведено сравнение результатов работы разработанной сети с другими сетями; представлены результаты работы разработанной системы.
Ключевые слова: система распознавания дорожных знаков, нейронные сети, дорожные знаки, YOLO, классификация.
Annotation: The detection of road signs is extremely important in autonomous driving systems and a generally influential aspect of road safety. To reduce the risk of accidents and improve the driving experience of drivers, road sign recognition systems have been developed, which have played an important role in automatic driving and maintenance of the road network. This article evaluates the results of a new model based on a convolutional neural network to improve the accuracy of detection and recognition of road signs, especially in conditions of poor visibility; the results of the work of the developed network with other networks are compared; the results of the work of the developed system are presented.
Keywords: road sign recognition system, neural networks, road signs, YOLO, classification.
Введение. Обнаружение дорожных знаков чрезвычайно важно в системах автономного вождения и безопасности в транспорте. Однако точное распознавание дорожных знаков остается сложной задачей, особенно в экстремальных условиях. Для снижения риска несчастных случаев и улучшения опыта вождения водителей были разработаны системы распознавания дорожных знаков, которые играют важную роль при вождении транспортного средства и обслуживании дорожной сети.
Требования к разрабатываемой системе
Дорожные происшествия часто происходят из-за рассеянного вождения и невнимательности. Для повышения безопасности дорожного движения и облегчение процесса вождения необходимо разработать систему распознавания дорожных знаков. Чем больше предупреждений система получает от внешней среды, тем надежнее становится автомобиль и процесс вождения. Программное решение способно решить проблему невнимательности и снизить влияние человеческого фактора во время движения [1].
Поскольку большинство аварий рассматривается как нарушение скоростного режима, инженеры автомобильных компаний приступили к устранению этой проблемы. Одним из возможных вариантов решения этой
проблемы является установка системы распознавания знаков в транспортное средство.
В общем случае система производит распознавание следующим образом:
1. Камера анализирует окружающую среду и считывает данные дорожных знаков.
2. Система распознает форму, похожую на знак.
3. Распознает цвета и наличие дополнительных значков.
4. Ищет совпадения в базе данных.
5. Информирует водителя с помощью дисплея. Порядок распознавания типа знака:
1. Определение формы: круг, прямоугольник, квадрат.
2. Анализ цветовой гаммы.
3. Считывание символов или надписей на знаке.
Система работает на базе сложного аппаратно-программного комплекса [2].
Стандартные элементы конструкции:
• Видеокамера - обычно располагается внутри автомобиля на лобовом стекле и используется для распознавания дорожных знаков.
• Блок управления - получает информацию с камеры, обрабатывает изображения и выполняет поиск совпадений с базой данных. При обнаружении ограничения информация отправляется на дисплей.
• Индикатор вывода информации - предназначен для отображения окончательной информации, касающейся ограничения скорости и характеристик движения на маршруте.
К качеству снимков с камеры предъявляются особые требования. Автомобиль движется с высокой скоростью, поэтому для распознавания объектов необходима хорошая оптика с высоким разрешением изображения.
На дисплее отображается информация о скоростном режиме. Среди основных недостатков необходимо выделить проблемы, связанные с распознаванием знаков в слепых зонах, особенно если они установлены с
нарушениями.
Для того, чтобы система распознавания дорожных знаков эффективно работала в реальных условиях, она должна пройти своеобразный контроль, состоящий из некоторых тестов, например, проверка работы при различном освещении, различных углах поворота. Требования, которые должна выполнять система распознавания дорожных знаков:
- распознавать дорожные знаки в пределах некоторой области с видеопотока в режиме реального времени.
- обеспечивать устойчивость в освещении: распознавать дорожные знаки не только при естественном, но и при искусственном освещении.
Оценка результатов работы разработанной сети с другими сетями
Результаты предложенной системы были получены на основе набора данных RTSD. Результаты приведены в таблице 1.
Таблица 1. Результаты распознавания различных моделей.
Модель Метрика precision (%) mAP_0.5 (%) mAP_0.5:0.95 (%)
Faster RCNN 74.12 85.84 77.95
YOLOv3 70.16 76.92 72.97
YOLOv5 71.92 80.05 75.63
YRTODv1 96.12 94.80 75.73
Из таблицы 1 видно, что предложенная модель показала наилучшую производительность в наборе данных RTSD. Используя предложенную модель, точность составила 96.12, тАР_0.5 - 94.80, а тАР_0.5:0.95 равнялся 75.73. По сравнению с YoloV5 точность была увеличена на 24.2, тАР_0.5 был увеличен на 14.75, а тАР_0.5: 0,95 был увеличен на 0.1. По сравнению с двухступенчатыми детекторами, более быстрой моделью RCNN, модель YRTODv1 обеспечивает только конкурентоспособную производительность в точности распознавания [3].
Более подробная информация о результатах экспериментов YRTODvl показана на рисунках 1-4.
На рисунке 1 показано, что значения потерь велики на начальной стадии обучения модели. Однако по мере продвижения процесса обучения значение потерь показывает общую тенденцию к снижению. Убывающая кривая очень плавная, и на всех итерациях нет всплесков. После завершения обучения с 30 эпохами была получена окончательная обучающая модель [4].
1га in/bo ijoss
tag. Ifflin/lwxJoss OOS [ 0.07 -0.06 O.OS ■ 0.04 -0.03 -0.02 ■
0
" = Q
Рисунок 1 - Потери при обучении
На рисунке 2 показано, что потери при проверке очень велики на начальном этапе обучения. Однако по мере продвижения процесса обучения величина потерь демонстрирует общую тенденцию к снижению. Кривые очень плавные, и во время всех итераций нет никаких всплесков. Когда обучение было завершено через 30 эпох, потери также достигли минимума, и обученная модель показала хорошую производительность.
Рисунок 2 - Потеря проверки
ЕЗ = ЕЗ
Рисунок 3 - Метрики
В начале обучения, как метрика recall, так и метрика precision быстро возросли благодаря быстрой адаптации модели. По мере продолжения обучения оба значения начали расти стабильным шагом, но они все еще увеличивались
постепенно. Когда обучение было завершено через 30 эпох, recall и precision также достигли максимальных значений [5].
На рисунке 3 показаны тренды mAP_0.5 и MAP_ 0.5:0.95 в зависимости от периодов обучения. В начале обучения как mAP_0.5, так и mAP_0.5:95 быстро увеличивались, но значение mAP_0.5 было выше, чем значение mAP_0.5:95. По мере продолжения обучение переходило в стабильное состояние, в котором были увеличены как mAP_0.5, так и mAP_0.5:95 постепенно. Когда обучение было завершено через 30 эпох, mAP_0.5 и mAP_0.5:95 достигли максимальных значений, что указывало на то, что обученная модель достигла оптимизированного статуса.
0.0 0.2 0.4 0.6 0.8 1.0
Recall
- All classes 0.836 mAP_0.5
Рисунок 4 - Кривая PR
На рисунке 4 показана кривая PR YRTODv1 с набором RTSD. Синяя линия показывает кривую точного отзыва для всех классов, когда пороговое значение изменяется с 0 на 1. Кривая PR для всех классов находится близко к верхнему правому углу окна, что указывает на то, что значения precision и recall близки к 1 [6]. Таким образом, полученные результаты YRTODv1 для классификации относительно хороши. Но для некоторых классов кривая PR
близка к нижнему левому углу окна, что указывает на то, что как precision, так и recall близки к 0. Таким образом, производительность прогнозирования для этих классов низкая, что в основном связано с тем, что в этих классах недостаточно обучающих выборок. Для этих классов эффективность обучения может быть улучшена за счет добавления большего количества обучающих образцов [7].
На кривой PR значения recall были нанесены на ось X, а precision - на ось Y. Точка на кривой PR представляет соответствующие значения recall и precision результатов классификации при определенном пороге. В деталях, при определенном пороге модель будет предсказывать результат, превышающий пороговое значение, как положительный, а результаты, меньшие порогового значения, как отрицательные. Кривая PR была сгенерирована путем перемещения порога с высокого на низкий [8].
На рисунке 5 представлено изображение, которое загружается в систему для распознавания.
Рисунок 5 - Изображение с дорожным знаком
Результат распознавания представлен на рис.6
Рисунок 6 - Изображение с отмеченным распознанным знаком
Выводы
В данной статье продемонстрированы результаты работы разработанной системы распознавания дорожных знаков YRTODvl; более высокая точность способствуют уменьшению числа аварийных ситуаций на дорогах.
Библиографический список:
1. Смольянинов В.А., Белов Ю.С. Проектирование программного комплекса обнаружения и распознавания дорожных знаков в потоковом видео // Научное обозрение. Технические науки. 2021. № 4. С. 16-21.
2. Belghaouti O., Handouzi W., Tabaa M. Improved traffic sign recognition using deep ConvNet architecture // Procedia Computer Science. 2020. vol. 177, pp. 468-473.
3. Чулин К.В., Белов Ю.С. Проектирование системы обнаружения и распознавания дорожных знаков // Научное обозрение. Технические науки. 2021. № 6. С. 22-27.
4. Tabernik D., Skocaj D. Deep learning for large-scale traffic-sign detection and recognition // IEEE Transactions on Intelligent Transportation Systems. 2020. vol. 21, no. 4, pp. 1427-1440.
5. Chaudhari T., Wale A., Joshi A., and Sawant S. Traffic sign recognition
using small-scale convolutional neural network, ICCIP, 2020.
6. Belghaouti O., Handouzi W., Tabaa M. Improved traffic sign recognition using deep ConvNet architecture // Procedia Computer Science, 2020, vol. 177, pp. 468-473.
7. Jin, Y., Fu, Y., Wang, W., Guo, J., Ren, C., Xiang, X.: Multi-Feature Fusion and Enhancement Single Shot Detector for Traffic Sign Recognition. in IEEE Access, vol. 8, pp. 38931-38940, (2020).
8. Z. Zheng, P. Wang, W. Liu, J. Li, R. Ye, and D. Ren, "Distance-IoU loss: faster and better learning for bounding box regression," in Proceedings of the AAAI Conference on Artificial Intelligence, vol. 34, no. 7, pp. 12993-13000, 2020.
