CC BY
34
Методика автоматической классификации дорог с использованием
нейронной сети Mask R-CNN
Аннотация: В работе предложена методика автоматической классификации дорог, основанная на применении свёрточной нейронной сети Mask-R-CNN. Разработанная методика позволяет осуществить автоматизацию задачи категорирования автомобильных дорог, которая является основополагающей при перераспределении транспортных потоков, поскольку знание категории дороги позволяет определить её максимальную пропускную способность. Статья содержит описание этапов обучения нейронной сети, а также результаты, получаемые при её использовании. Предложенная в работе методика автоматической классификации дорог показала хорошие результаты, как при классификации дорог на основе спутниковых снимков, так и при классификации дорог на основе фотографий участков дорог. При расширении тестового набора количество классов распознаваемых дорог может быть увеличено до полного совпадения с категориями автомобильных дорог по СП 34.13330.2021. Кроме того, данная методика (в части сегментирования объектов на фотографиях) может быть использована для контроля качества дорожного полотна.
Ключевые слова: категории автомобильных дорог, свёрточные нейронные сети, спутниковые снимки, сегментация изображений, Mask R-CNN, распознание изображений, компьютерное зрение.
Один из методов снижения вредного воздействия антропогенного загрязнения атмосферы базируется на управлении источниками выбросов, среди которых важную роль играет автомобильный транспорт.
Для перераспределения транспортных потоков необходимо знать максимальную пропускную способность автомобильных дорог (максимальную интенсивность движения потока автотранспортных средств), которую можно вычислить, зная категорию каждой дороги.
В СП 34.13330.2021 «Автомобильные дороги» для каждой из категорий автомобильных дорог установлены расчетные интенсивности, представленные в таблице 1. Таким образом, если нам известен тип дороги, то мы можем вычислить максимальную интенсивность движения, однако
А.В. Игнатьев, М.А. Куликов, Д.Н. Цапиев, В.В. Тырин Волгоградский государственный технический университет
вопрос об отнесении городской дороги к той или иной категории остаётся открытым.
Таблица № 1
Категории автомобильных дорог по СП 34.13330.2021
Категория автомобильной дороги Расчетная интенсивность движения, приведенных ед./сут.
1А (автомагистраль) Св. 14000
1Б (скоростная дорога) Св. 14000
1В (обычная нескоростная дорога) Св. 14000
II (обычная нескоростная дорога) Св. 6000
III (обычная нескоростная дорога) Св. 2000 до 6000
IV (обычная нескоростная дорога) Св. 200 до 2000
V (обычная нескоростная дорога) До 200
Категорирование автомобильных дорог является весьма сложной задачей, так как различить их виды на спутниковом снимке довольно затруднительно. При решении задачи сегментации, не считая классификации, на обработку одного снимка c размером 3360x3360 пикселов тратится более 1000 британских фунтов [1, 2]. Поэтому осуществить классификацию дорог на больших пространствах в «ручном» режиме практически невозможно.
Возникает вопрос об автоматизации этого процесса.
В своей работе «Methodology for objects selection and classification of the urban planning system on the basis of voluntary geographic information» [3] для определения типов дорог мы использовали так называемую добровольную географическую информацию (VGI), предоставляемую сервисом OpenStreetMap (OSM) [4, 5], отбирая для них теги, соответствующие обозначению дорог, и сопоставляя с классификацией из ГОСТ Р 52398-2005. При этом ручная верификация, путем сравнения полученных результатов с объектами, изображенными на растровой подоснове, показала хорошее совпадение.
Тем не менее, во-первых, на карте остаются дороги, не размеченные тегами, во-вторых, в некоторых источниках, например, в статье [5] утверждается, что из-за своей простой и открытой семантической структуры подход OSM часто приводит к появлению зашумленных и неоднозначных данных, и, наконец, в-третьих, в эксплуатацию вводятся новые дороги, которые необходимо классифицировать.
В настоящий момент при решении задач распознания образов, в том числе и для задачи сегментации спутниковых снимков наибольшую эффективность показывают нейронные сети различных архитектур [6-8].
В работе [9] показана высокая эффективность свёрточной нейронной сети Mask-RCNN [10] при распознавании автомобильных дорог. Именно её мы использовали для решения задачи определения типов автомобильных дорог.
На данном этапе исследования для обучения нейросети нами было оставлено только четыре типа автодорог, отличительные особенности и расчетная интенсивность движения для которых описаны в стандарте СП 34.13330.2021.
Это:
- IA (автомагистраль) с расчетной интенсивность движения свыше 14000 приведенных ед./сут. - motorway;
- II (обычная нескоростная дорога) с расчетной интенсивность движения от 6000 до 14000 приведенных ед./сут. - type 2
- III (обычная нескоростная дорога) с расчетной интенсивность движения от 2000 до 6000 приведенных ед./сут. - type 3
- V (обычная нескоростная дорога) с расчетной интенсивность движения до 200 приведенных ед./сут. - type 5
Для автоматической классификации дорог выбранного типа была создана сверточная нейронная сеть архитектуры Mask R-CNN.
М Инженерный вестник Дона, №5 (2022) ivdon.ru/ru/magazine/arcliive/n5y2022/7663
При создании нейронной сети нами была использована одноимённая библиотека Mask R-CNN, которая обладает рядом преимуществ. В частности, она проверяет правильность выполнения разметки и соответствие загруженных в датасете спутниковых фотографий с файлом описания разметки. Кроме того, не требуется приводить снимки к одному формату (это делает сама библиотека)
Разработанная нами нейронная сеть содержит пять скрытых слоев (число типов классифицируемых объектов плюс один).
Для создания датасета, который в дальнейшем использовался для обучения нейронной сети, было необходимо отобрать 200 спутниковых снимков (по 50 снимков для каждого из типов дорог), а затем разметить их и распределить по типам присутствующих на них дорог с помощью программы VGG Image Annotator.
Был создан и размечен датасет, состоящий из 200 спутниковых с пространственным разрешением 30 метров.
Пример исходного и размеченного снимка для дороги type 3 из этого датасета приведены ниже на рис. 1.
a - дорога type 3 (исходное б - дорога type 3 (размеченное
изображение) изображение)
Рис. 1. - Пример исходного и размеченного снимка для дороги type 3
Полученный датасет был разбит на обучающую и тестовую выборки в
соотношении 3:2, соответственно.
При обучении сети нами было задано 200 итераций в эпохе, что необходимо для полного охвата всего датасета.
При использовании этого датасета для качественного обучения нейронной сети понадобилось 40 эпох.
Дополнительно было проведено обучение нейронной сети этой архитектуры для распознавания автомобильных дорог по фотографиям. Для этого использовался датасет из 36 фотографий (по 9 фотографий для каждого из типов дорог).
На рис. 2 показан результат определения типов дорог на спутниковых снимках, а на рис. 3 результат определения типов дорог на фотографиях дорог. При этом видно, что степень их распознавания составляет не менее
а - результат распознавания дороги б - результат распознавания дороги type 5 type 3
Рис. 2. - Определение типов дорог на спутниковых снимках
а - результат распознавания motorway б - результат распознавания дороги
type 3
Рис. 3. - Определение типов дорог на фотографиях дорог
Предложенная в работе методика автоматической классификации дорог, основанная на применении свёрточной нейронной сети Mask-R-CNN, показала хорошие результаты, как при классификации дорог на основе спутниковых снимков, так и при классификации дорог на основе фотографий участков дорог. При расширении тестового набора количество классов распознаваемых дорог может быть увеличено до полного совпадения с категориями автомобильных дорог по СП 34.13330.2021. Кроме того, данная методика (в части сегментирования объектов на фотографиях) может быть использована для контроля качества дорожного полотна.
Благодарности
Исследование выполнено за счет гранта Российского научного фонда № 22-11-20024, https://rscf.ru/project/22-11-20024/, и Волгоградской области. Авторы выражают благодарность коллегам по кафедре «Цифровые технологии в урбанистике, архитектуре и строительстве» ИАиС ВолгГТУ, принимавшим участие в разработке проекта.
Литература
1. United Kingdom - Salisbury: Research and experimental development services. URL: publictenders.net/node/3556044/.
2. Dstl Satellite Imagery Feature Detection. Private Leaderboard Final! URL: kaggle.com/c/dstl-satellite-imagery-feature-detection/discussion/30135.
3. Ignatyev A.V. Methodology for objects selection and classification of the urban planning system on the basis of voluntary geographic information. URL: aip.scitation.org/doi/10.1063/5.0075373.
4. Ballatore A., Bertolotto M. and Wilson D.C., Geographic knowledge extraction and semantic similarity in OpenStreetMap, Knowl Inf Syst 37, 2013, 61-81. URL: doi.org/10.1007/s10115-012-0571-0.
5. Baglatzi A., Kokla M. and Kavouras M. Semantifying OpenStreetMap, CEUR Workshop Proceedings 901, Boston, USA, 2012, 39-50.
6. Сайфеддин Д., Булгаков А. Г., Круглова Т. Н. Нейросетевая система отслеживания местоположения динамического агента на базе квадрокопетра // Инженерный вестник Дона, 2014, №.1. URL: ivdon .ru/magazine/archive/n 1y2014/2293/.
7. Плуготаренко Н. К., Варнавский А. Н. Применение нейронных сетей для построения модели прогнозирования состояния городской воздушной среды // Инженерный вестник Дона, 2012, №4-2. URL: ivdon .ru/magazine/archive/n4p2y2012/1351/.
8. Соловьев Р.А., Тельпухов Д.В., Кустов А.Г. Автоматическая сегментация спутниковых снимков на базе модифицированной свёрточной нейронной сети UNET // Инженерный вестник Дона, 2017, №4. URL: ivdon.ru/magazine/archive/ n4y2017/4433.
9. Тусикова А.А., Вихтенко Э.М. О распознавании автомобильных дорог на спутниковых снимках с использованием сверточных сетей MASK-RCNN //V Международная конференцияин «Информационные технологии и
высокопроизводительные вычисления» (ITHPC-2019), Хабаровск, Россия, 2019 г. С. 308-314.
10. Johnson J.W. Adapting Mask-RCNN for Automatic Nucleus Segmentation // IEEE Conference on Computer Vision and Pattern Recognition. 2018. URL: arxiv.org/pdf/1805.00500.pdf.
References
1. United Kingdom - Salisbury: Research and experimental development services URL: publictenders.net/node/3556044/.
2. Dstl Satellite Imagery Feature Detection. Private Leaderboard Final! URL: kaggle.com/c/dstl-satellite-imagery-feature-detection/discussion/30135/.
3. Ignatyev A.V. Methodology for objects selection and classification of the urban planning system on the basis of voluntary geographic information. URL: aip.scitation.org/doi/10.1063/5.0075373.
4. Ballatore A., Bertolotto M. and Wilson D.C., Geographic knowledge extraction and semantic similarity in OpenStreetMap, Knowl Inf Syst 37, 2013, 61-81. URL: doi.org/10.1007/s10115-012-0571-0.
5. Baglatzi A., Kokla M. and Kavouras M. Semantifying OpenStreetMap, CEUR Workshop Proceedings 901, Boston, USA, 2012, 39-50.
6. Sayfeddin D., Bulgakov A. G., Kruglova T. N. Inzhenernyj vestnik Dona , 2014, №.1 URL: ivdon.ru/magazine/archive/n1y2014/2293.
7. Plugotarenko N. K., Varnavskiy A. N. Inzhenernyj vestnik Dona , 2012, №4-2. URL: ivdon.ru/magazine/archive/n4p2y2012/1351.
8. Soloviev R.A., Telpukhov D.V., Kustov A.G. Inzhenernyj vestnik Dona, 2017, №4. URL: ivdon.ru/magazine/archive/ n4y2017/4433.
9. Tusikova A.A., Vikhtenko E.M. V Mezhdunarodnaya konferentsiya «Informatsionnyye tekhnologii i vysokoproizvoditel'nyje vychisleniya» (V
M Инженерный вестник Дона, №5 (2022) ivdon.ru/ru/magazine/arcliive/n5y2022/7663
International Conference "Information Technologies and High-Performance Computing"), Khabarovsk, Russia, 2019, pp. 308-314.
10. Johnson J.W. IEEE Conference on Computer Vision and Pattern Recognition. 2018. P.7. URL: arxiv.org/pdf/1805.00500.pdf.
