CC BY
21
УДК 004.932.72 DOI: 10.24412/2071-6168-2021-2-50-55
РЕЗУЛЬТАТЫ ЭКСПЕРИМЕНТАЛЬНОЙ ОЦЕНКИ ЭФФЕКТИВНОСТИ АРХИТЕКТУР ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ ПРИ РЕШЕНИИ ЗАДАЧ РАСПОЗНАВАНИЯ ОБЪЕКТОВ ДОРОЖНОГО ДВИЖЕНИЯ
О.В. Есиков, Н.А. Денисова, А.Е. Романюта, П.Н.Зотов
Для решения задач распознавания объектов дорожного движения экспериментально проверено применение искусственных нейронных сетей типа персептрон и сверточных сетей. На основе использования данных от видеорегистратора автомобиля сформированы обучающая и тестовая выборки объектов дорожного движения. Результаты экспериментальной проверки эффективности применения искусственных нейронных сетей для решения задач распознавания объектов дорожного движения получены с помощью разработанных программ.
Ключевые слова: распознавание образов, машинное обучение.
Высокая динамка роста рынка беспилотных транспортных средств диктует необходимость качественного решения целого круга научно-технических задач и в первую очередь обеспечения безопасности их эксплуатации [1]. Для обеспечения безопасной эксплуатации беспилотных транспортных средств в условиях интенсивного дорожного движения невозможна без оперативного и качественного решения задач распознавания объектов дорожного движения [1,2].
Применительно к беспилотным транспортным средствам исходная информация для распознавания объектов дорожного движения представляется в виде изображений оптического диапазона, поступающих от видеокамер. В качестве объектов дорожного движения выступают: пешеходы, мотоциклисты, велосипедисты, транспортные средства (легковые, грузовые автомобили, пассажирский транспорт, спецтехника и др.).
В настоящее время в качестве основы построения системы распознавания изображений объектов наиболее широко применяются искусственные нейронные сети.
Наиболее эффективными из всех разновидностей ИНС, применяемых для решения задач распознавания изображений объектов в настоящее время, являются свер-точные нейронные сети [3] следующих архитектур VGG-16 [4], ResNet-50 [5], MobileNet v2 [6].
Основной особенностью сверточных нейронных сетей является их способность самостоятельно выделять признаки на изображениях.
Для задания архитектуры сверточных ИНС и их обучения использовались библиотеки TensorFlow и Keras в среде языка программирования Python.
Для сравнительной оценки качества процессов обучения и распознавания использована сверточных ИНС использовалась нейронная сеть прямого распространения сигнала типа персептрон с сигмоидной функцией активации нейронов [7, 8].
Для сравнения качества решения задач распознавания ИНС сверточного типа с полносвязными сетями типа персептрон, использованы результаты, полученные в [1,2]. Для повышения эффективности функционирования ИНС типа персептрон при решении задачи распознавания применялись результаты оценки фрактальной размерности изображений контуров объектов дорожного движения [9,10] и ИНС типа автоэнкодер [11] в качестве решающего правила. Для обучения данных сетей применялся алгоритм обратного распространения ошибки [7].
Общая характеристика ИНС, участвующих в экспериментальной оценке их эффективности распознавания объектов дорожной обстановки представлены в табл. 1.
Для реализации ИНС типа персептрон, автоэнкодера разработана программа на языке С# в среде Microsoft Visual Studio 2013.
50
Для корректности сравнительной оценки вычислительной сложности процессов обучения сверточных ИНС ресурсы GPU в процессе обучения с применением TensorFlow не использовались.
Каждое изображение перед поступлением на вход ИНС подвергалось предварительной обработке, глубина которой в значительной степени зависит от архитектуры сети. Для ИНС сверточного типа на вход поступают цветные изображения RGB. Для их обработки достаточно применение таких преобразований, как эквализация гистограммы, цветокоррекция, кадрирование. При этом требований по масштабированию изображений и их кадрирование относительно местоположения объекта распознавания для данных сетей не предъявляется. На вход ИНС типа персептрон поступают черно-белые изображения контуров объектов, которые должны быть отмасштабированы и отцентрованы. Для получения изображений контуров объектов из исходных изображений применяются следующие преобразования: эквализация гистограммы, негативное преобразование, преобразования Собела, Кирша, Лапласа и др. [8].
Таблица 1
Характеристика архитектур ИНС, применяемых в системах ___распознавания___
Наименование архитектуры ИНС Число слоев Объем сохраненной ИНС (Мб) Размер входного изображения Время обучения Значение функции ошибки/потерь
Полносвязная сеть
прямого распространения (персептрон) 3 7,4 320x240 5 м 56 с 0,12
Полносвязная сеть
прямого распространения (персептрон) + 6 7.41 320x240 10 м 43 с 0,11
автоенкодер
У0016 16 533 224x224 2 ч 52 м 24 с 0,10
МоЬНеШ у2 53 29 224x224 13 м 19 с 0,13
50 205 224x224 32 м 22 с 0,11
На основе кадров, полученных от видеорегистратора автомобиля и изображений из открытых источников, сформированы обучающая выборка на 7 объектов дорожного движения, каждый из которых представлен 20 экземплярами и тестовая выборка. Фрагменты обучающей выборки для объектов «Пешеход» и «Мотоциклист» представлены на рис. 1.
На основе применения методов фрактального анализа [9] к изображениям объектов дорожного движения, входящих в обучающую выборку, получены значения их фрактальной размерности, представленные в табл. 2.
Время обучения ИНС типа персептрон составило порядка 6 минут (табл. 1), а с учетом обучения автоэнкодера и данных о фрактальной размерности изображений контуров объектов - 11 минут.
Результаты распознавания экземпляров тестовой выборки полносвязными ИНС показали [1], что применение в качестве решающего правила автоэнкодера обеспечивает в большинстве случаев (в 6 из 7, для полученных результатов по тестовой выборке), при использовании значений фрактальной размерности контуров изображений объектов в качестве дополнительного признака классификации, повышение качества распознавания на величину 2.. .15 %.
Так, для объекта «Пешеход» значения выходов нейронов, соответствующих объекту классификации для изображения с фрактальной размерностью контура 1,196 составили: для основной ИНС 0,77, для автоэнкодера 0,86 (рис. 2).
Ï
к
*
I
!
а) фрагмент обучающей выборки для объекта «Пешеход»
M* é à t
# jè§ il #
б) фрагмент обучающей выборки для объекта «Мотоциклист» Рис. 1. Фрагменты обучающей выборки для объектов дорожного
движения
Таблица 2
Результаты оценки значений фрактальной размерности контуров объектов
Парам. Пешеход Велосипедист Мотоциклист Легковой а/м Грузовой а/м Пассажирский транспорт Спецтехника
Мат. ож. 1,195 1,322 1,240 1,211 1,092 1,178 1,130
СКО 0,040 0,074 0,050 0,032 0,058 0,030 0,063
и... Распознавание объектов
Ожрьпъ
0 ИслОПьаоаатъ значение Фракта1Ъной размерности Значение ФР 1.196 Z
I
1 " ИМИ Итог Итог с А
■ Пешеход 0.77 0.86
2 ГТегкоеой а/м 0.02 0.09
3 иассажирский транспорт 0.09 0.14
4 Велосипедист 0.18 0.00
5 Мотоциклист 0.01 0.12
6 грузовой ¿/м 0.13 0.00
7 Спеитехника 0.06 0.06
Результат : Пешеход - 0,77
Рис. 2. Результаты распознавания тестового изображения объекта дорожного
движения
Время обучения сверточных сетей VGG16 и ResNet50 при сопоставимо качестве существенно превосходит время обучения ИНС типа персептрон. ИНС архитектуры MobileNet v2 имеет время обучения сопоставимое с ИНС типа персептрон с учетом
52
применения автоэнкодера в качестве решающего правила. Зависимость значения функции потерь ИНС МоЫ1е№1 у2 от количества эпох алгоритма обучения представлена на рис. 3.
Эпоха
Рис. 3. Зависимость значения функции потерь от числа эпох в процессе обучения ИНС МоЬИеМе(
Результаты распознавания экземпляров тестовой выборки отдельных объектов дорожной обстановки ИНС архитектур МоЫ1е№1 у2 и У§§16 представлены в табл. 3.
Из табл. 3 видно, что обученная ИНС МоЫ1е№1 у2 и У§§16 достаточно надежно распознают экземпляры тестовой выборки объектов дорожного движения с некоторым преимуществом сети У§§16. Сверточная нейронная сеть ЯевКе150 по качеству показала результаты распознавания экземпляров тестовой выборки чуть лучше сети МоЫ1е№1 у2, но хуже сети У§§16.
Наименьший объем сохраненной на внешний носитель сети имеет ИНС типа персептрон (табл. 1). ИНС У0016, ЯеБКе150, МоЫШе! у2 по объему в 72, 27,7 и в 4 раза соответственно превосходит сеть типа персептрон с учетом применения автоэнко-дера. При этом сохраненные сети У0016 и ЯевКе150 занимают на внешнем носителе в 18,4 и 7 раз пространства больше чем ИНС МоЫ1е№1 у2.
Данные представленные в табл. 1 показывают, что применение ИНС архитектур У0016 и ЯевКе150 требует более существенных вычислительных ресурсов, чем сети типа персептрон и МоЫ1е№1 у2.
Результаты распознавания тестовых изображений объектов _сверточной сетью МооЬИе^е( г2_
Таблица 3
Изображение объекта
Соответствия выходов ИНС объектам
Значения выходов ИНС
МоЫ1е№1 у2
Vgg16
Грузовой автомобиль Легковой автомобиль Мотоциклист Пассажирский транспорт Пешеход Спецтехника
Велосипедист_
0.004 0.009 0.023 0.004 0.193 0.008 0.759
0.000 0.000 0.002 0.000 0.000 0.000 0.998
Грузовой автомобиль Легковой автомобиль Мотоциклист Пассажирский транспорт Пешеход Спецтехника
Велосипедист_
0.039 0.009 0.489
0.008 0.084 0.188 0.181
0.000 0.000
0.997
0.000 0.000 0.000 0.003
Окончание таблицы 3
Изображение объекта
Соответствия выходов ИНС объектам
Значения выходов ИНС
Грузовой автомобиль
Легковой автомобиль
Мотоциклист
Пассажирский транспорт
Пешеход
Спецтехника
Велосипедист
0.004 0.003 0.012 0.010 0.934 0.009 0.026
0.003 0.002 0.018 0.001 0.935 0.003 0.039
4Mb
Грузовой автомобиль Легковой автомобиль Мотоциклист Пассажирский транспорт Пешеход
Спецтехника
Велосипедист
0.070 0.022 0.015 0.168 0.041 0.666 0.015
0.008 0.083 0.027 0.006 0.001 0.875 0.000
В связи с незначительной, по сравнению со сверточными сетями, сложностью структуры, ИНС типа персептрон имеет наименьшее среди рассмотренных сетей время распознавания объектов, при этом требуется достаточно глубокая обработка исходного изображения, сводящая на нет данное преимущество. Эти обстоятельства делают практическое использование архитектур ИНС VGG16, ResNet50, персептрон для решения задач распознавания объектов дорожного движения в беспилотных транспортных средствах затруднительным.
Таким образом, полученные результаты свидетельствуют о том, что в связи с ограниченными ресурсами бортовых вычислительных комплексов целесообразным в системе распознавания объектов дорожной обстановки беспилотных транспортных средств является применять ИНС архитектуры MobileNet v2.
Список литературы
1. Акиншин Н.С., Есиков О.В., Чебурков Ю.В., Петешов А.В., Денисова Н.А. К вопросу применения искусственных нейронных сетей в системах распознавания объектов в беспилотных комплексах // Известия Тульского государственного университета. Технические науки. 2019. Выпуск 10. С. 330-337.
2. N. S. Akinshin, A. A. Potapov, R. P. Bystrov, O. V. Esikov, A. I. Chernyshkov c Building Systems for Object Recognition by Multichannel Sensing Systems Based on Neural Networks and Fractal Signatures // Journal of Communications Technology and Electronics, 2020. Vol. 65. No. 7. P. 835-842.
3. Аггарвал Чару. Нейронные сети и глубокое обучение: учебный курс: пер. с англ. СПб.: ООО «Диалектика», 2020. 752 с.
4. Simonyan K., Zisserman A. Very deep convolutional networks for large-scale image recognition. arxiv preprint arxiv:1409.1556. 2014. [Электронный ресчурс] URL: https://arxiv.org/abs/1409.1556 (дата обращения: 13.07.2020).
5. He K., Zhang x., Ren S., Sun J. Deep residual learning for image recognition // Proceedings of the IEEE conference on computer vision and pattern recognition. 2016. Р. 770-778.
6. Howard A.G. et al. Efficient convolutional neural networks for mobile vision applications. arxiv preprint arxiv:1704.04861. 2017. [Электронный ресчурс] URL: https://arxiv.org/abs/1704.04861 (дата обращения: 13.09.2020).
7. Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы; пер. с пол. И. Д. Рудинского. М.: Горячая линия - Телеком, 2004. 383 с.
8. Андреев А.В., Есиков О.В., Мамон Ю.И., Акиншин Р.Н., Затучный Д.А., Феоктистова О.Г. Применение искусственных нейронных сетей для распознавания объектов на графических изображениях // Вестник Санкт-Петербургского государственного университета гражданской авиации. Под. ред. М.Ю. Смурова. С.-Петербург: СПбГУГА, 2017. № 1 (14). С. 131-141.
9. Потапов А.А. Фракталы в дистанционном зондировании // Зарубежная радиоэлектроника. Успехи современной радиоэлектроники. № 6. 2000. С. 3-65.
10. Акиншин Н.С., Есиков О.В., Денисова Н.А., Нехаев И.В., Чебурков Ю.В. Применение искусственных нейронных сетей в системах распознавания объектов в беспилотных транспортных средствах // Труды Российского научно-технического общества радиотехники, электроники и связи им. А.С. Попова. Серия: научные сессии Тульской областной организации. Выпуск XXXVII. 2019. С. 221-228.
11. Bourland Herve, Yves Kamp. Auto-association by multilayer perceptrons and singular value decomposition / Biological cybernetics 59. 4-5 (1988). Pp. 291-294.
Есиков Олег Витальевич, д-р техн. наук, профессор, главный специалист, cdhae a cdhae.ru, Россия, Тула, АО ЦКБА,
Денисова Наталья Александровна. студентка, [email protected], Россия, Тула, Тульский государственный университет,
Романюта Александр Евгеньевич, начальник НИИЦ,
den.natasha2014ayandex.ru, Россия, Москва, ФГБУ «46 ЦНИИ» МО РФ,
Зотов Павел Николаевич, канд. техн. наук, доцент, главный специалист научного отделения НТЦ, _pawzotaramhler.ru, Россия, Пенза, АО «Радиозавод»
RESULTS OF EXPERIMENTAL EVALUATION OF THE EFFECTIVENESS OF ARTIFICIAL NEURAL NETWORK ARCHITECTURES IN SOL VING PROBLEMS OF RECOGNIZING TRAFFIC OBJECTS
O. V. Esikov, N. A. Denisova, A. E. Romanyuta, P.N. Zotov
The use of artificial neural networks of the perceptron type and convolutional networks has heen experimentally tested to solve problems of recognizing traffic objects. Based on the use of data from the car's DVR, training and test samples of traffic objects were formed. The results of the experimental verification of the effectiveness of the use of artificial neural networks for solving problems of recognizing traffic objects were obtained using the developed programs.
Key words: pattern recognition, machine learning.
Esikov Oleg Vitalyevich, doctor of technical sciences, professor, chief specialist, cdbaeacdbae. ru, Russia, Tula, JSC CDBAE,
Denisova Natalya Aleksandrovna, student, [email protected], Russia, Tula, Tula State University,
Romanyuta Alexander Evgenievich, head of the research center of the federal state budgetary institution, den.natasha2014'a yandex.ru, Russia, Moscow, «46 Central Research Institute» of the Ministry of Defense of the Russian Federation,
Zotov Pavel Nikolaevich, candidate of technical sciences, docent, chief specialist of the scientific department STC, pawzotqrambler. ru, Russia, Penza, JSC «Radiozavod»
55
