АВТОМАТИЧЕСКОЕ ОБНАРУЖЕНИЕ ДЕФЕКТОВ ДОРОЖНОГО ПОЛОТНА ПРИ ПОМОЩИ СВЕРТОЧНЫХ НЕЙРОННЫХ СЕТЕЙ Текст научной статьи по специальности «Компьютерные и информационные науки»

ТЕСНМСАЬ БСЖШСЕ

Кравцов Станислав Сергеевич студент группы ЗМПП1901МТУСИ Чантиева Милана Энбековна МТУСИ, к.т.н., доцент кафедрыМКиИТ РР1: 10.24412/2520-6990-2022-3126-42-47 АВТОМАТИЧЕСКОЕ ОБНАРУЖЕНИЕ ДЕФЕКТОВ ДОРОЖНОГО ПОЛОТНА ПРИ ПОМОЩИ

СВЕРТОЧНЫХ НЕЙРОННЫХ СЕТЕЙ

Kravtsov Stanislav Sergeevich

student of the group ZMPP1901 MTUCI Chantieva Milana Enbekovna MTUCI, Ph.D., Associate Professor of the Department of MC&IT

AUTOMATIC ROAD DAMAGE DETECTION WITH CONVOLUTIONAL NEURAL NETWORKS

Аннотация

Представлен метод на основе глубокого обучения для детектирования дефектов дорожного покрытия, содержащихся на изображениях, сделанных с помощью смартфона, установленного на транспортном средстве. Применена модель сверточной нейронной сети для решения задачи. Путем анализа соотношений сторон и размерности поврежденных областей в наборе обучающих данных были скорректированы соответствующие параметры модели. Оценка точности, проведенная на наборе данных из нескольких сотен изображений в высоком разрешении, демонстрирует, что производительность модели обнаружения дефектов превосходит по точности существующие методы на основе машинного обучения.

Abstract

A deep learning method is presented for detecting road surface damage contained in images taken with a smartphone installed on a vehicle. A convolutional neural network model is applied to solve the problem. By analyzing the aspect ratios and dimensions of the damaged areas in the training dataset, the corresponding model parameters were adjusted. Accuracy scores performed on a dataset of several hundred high-resolution images show that the damage detection model's performance outperforms existing machine learning methods.

Ключевые слова: глубокое обучение, обучение с учителем, сверточные нейронные сети, обнаружение дефектов дорожного полотна

Keywords: deep learning, supervised learning, convolutional neural networks, road surface damage detection

Введение

Автоматическое обнаружение дефектов на дорожном покрытии - важнейшая задача при техническом обслуживании транспорта для обеспечения безопасности движения. Однако обнаружение все еще остается сложной задачей из-за неоднородности и интенсивности повреждений и сложности фона на изображениях, например, из-за слабого контраста дорожного покрытия и возможных теней с аналогичной интенсивностью. Недавний успех, связанный с применением методов глубокого обучения для решения задач компьютерного зрения в различных областях, послужил мотивацией для описания метода обнаружения дефектов на основе сверточных нейронных сетей. Глубокая сверточная нейронная сеть, предложенная в работе, обучается так, чтобы классифицировать каждый фрагмент изображения в собранном наборе данных.

Интегрированная система для обнаружения и определения признаков дефектов дорожного покрытия предложена в работе [1], а полный набор алгоритмов обработки изображений для определения признаков различных повреждений поверхности

дорожного полотна представлен в работе [2]. Хотя вручную отобранные признаки по-прежнему широко используются, важно отметить, что используемых методов обработки недостаточно, чтобы различить дефект дорожного покрытия и сложный фон на изображениях среднего или низкого качества.

С другой стороны, впечатляющая производительность для решения многих задач в различных областях продемонстрировала эффективность признаков, которые выделены глубокими нейронными сетями [3]. Для обучения с учителем особенно популярны глубокие сверточные нейронные сети. Многообещающие результаты этих моделей служит основной мотивацией для применения методов глубокого обучения в задачах обнаружения дефектов дорожного покрытия.

Описание предложенного метода

Успешное применение методов глубокого обучения для обнаружения повреждений на дорожном покрытии зависит от свойств «отличительности» и репрезентативности отобранных признаков. В рам-

ках эксперимента был применен новый метод обнаружения дефектов, в котором отличительные признаки отбираются непосредственно из необработанных фрагментов изображения с помощью свер-точных нейронных сетей. В предлагаемом подходе выделяются следующие четыре важных аспекта: 1) используется детектор на основе глубокого обучения вместо детекторов на основе машинного обучения; 2) не делается никаких предположений о геометрии дорожного покрытия; 3) используются отличительные признаки, которые автоматически извлекаются из изображений, а не отбираются вручную; 4) в отличие от традиционных методов машинного и компьютерного зрения, требующих специальных оптических устройств, предлагаемый подход успешно применяется к изображениям, которые собираются с помощью недорогого смартфона.

Сверточная нейронная сеть принимает на вход изображение с фотографией дорожного покрытия. Задача обнаружения дефектов состоит в том, чтобы определить, является ли конкретный пиксель на этом фото частью повреждения дорожного полотна. Сеть обучается на квадратных участках изображения с заданной базовой информацией об участках с повреждениями и без них. Для удобства обозначений эти фрагменты (с повреждениями и без) также называются положительными и отрицательными соответственно. В рамках этих определений участок, центр которого сам является пикселем с повреждением или находится в непосредственной близости от такого пикселя, рассматривается как положительный, в противном случае - как отрицательный.

Предварительная обработка данных

Набор данных с более чем 500 изображениями дорожных покрытий размером 3264 х 2448 был собран с использованием камеры смартфона. Для того, чтобы достичь компромисса между вычислительными затратами и точностью результатов обнаружения, каждая выборка представляет собой трех-канальный (RGB) фрагмент изображения размером 99 х 99 пикселей, сгенерированный при помощи следующих действий:

Все элементы сверточного фильтра обучаются путем обучения с учителем на размеченном наборе экземпляров, описанных ранее. На каждом сверточ-ном слое нейросеть выполняет операции макси-

1. Фрагмент, центр которого находится в пределах f = 5 пикселей от центра тяжести повреждения, считается положительным; в противном случае - отрицательным.

2. Чтобы уменьшить сходство между обучающими выборками, перекрытие двух положительных участков Р1 и Р2, выражаемое как О = площадь (Р1 П Р2) / площадь (Р1 и Р2), должно поддерживаться и на низком уровне. Было выбрано расстояние между центрами двух соседних участков, равное d = 0,75w, где w - ширина участка. Для отрицательных участков два соседних не должны перекрываться.

3. При наличии центра фрагмента каждый фрагмент-кандидат вращается вокруг этого центра на случайный угол а 6 [0°, 360°]. Это играет важную роль в увеличении количества экземпляров повреждений, поскольку участки дефектов составляют лишь небольшую часть собранных изображений.

Из сгенерированных экземпляров 640000 используются в качестве обучающего набора, 160000 - в качестве набора для кросс-проверки при обучении сети, а 200000 - в качестве тестовых экземпляров. Количество изображений с повреждениями и без них установлено равным во всех трех наборах данных.

Архитектура сети

Архитектура сверточной сети проиллюстрирована на рис. 1. Сеть состоит из сверточных слоев, между которыми определены фильтры, представляют собой сверточный, а также слоев максимизации пулинга и полносвязных слоев, соответственно. В общем случае сверточная нейронная сеть рассматривается как иерархическая модель извлечения признаков, которая отбирает признаки на различных абстрактных слоях и отображает интенсивность необработанных пикселей участка с повреждением в вектор признаков несколькими полносвязными слоями. Все параметры совместно оптимизируются за счет минимизации ошибки в случае неправильной классификации по обучающей выборке с помощью метода обратного распространения ошибки, являющегося стандартным спо-

мального объединения (пулинга), чтобы суммировать отклики признаков по соседним пикселям. Такие операции позволяют сверточной нейронной сети изучать пространственно-инвариантные признаки; то есть они не меняются в зависимости от

собом обучения сверточных нейронных сетей [4].

Рис. 1. Схема архитектуры сверточной нейронной сети

44

расположения объектов на изображениях. Наконец, для классификации используются полносвязные слои. Из-за взаимоисключающего свойства основной проблемы обнаружения (дефект или отсутствие дефекта), слой Softmax используется в качестве последнего, выходного слоя сети, и он необходим для вычисления вероятности каждого класса с учетом поступающих на вход данных.

Для обучающего набора S = {х(1), у(1)}, который содержит т фрагментов изображения, х(1) - это ьй фрагмент изображения, а у(1) 6 {0, 1} - соответствующая ему метка класса. Если у(1) = 1, то х(1) - положительный фрагмент, в противном случае х(1) - отрицательный фрагмент. Пусть z(l)J будет выходным сигналом блока j в последнем слое для х(1). Тогда вероятность того, что метка у(1) для х(1) равна j, может быть вычислена по формуле (1).

р(У® =;К°)

(0л _

Z®

е J

(I)

(1)

Обучение сети

Цель обучения сверточной нейронной сети -увеличить вариативность данных в обучающей выборки и избежать переобучения. Метод дропаута используется между двумя полносвязными слоями для уменьшения переобучения за счет предотвращения сложных совместных адаптаций между обучающими данными [5]. Выходной сигнал каждого нейрона обнуляется с вероятностью 0,5. Обучение сверточной нейронной сети ускоряется при помощи графических процессоров. Дальнейшее ускорение достигается за счет использования так называемых выпрямленных линейных блоков (англ. Rectified Linear Unit, ReLU) в качестве функции активации, которая более эффективна, чем функции гиперболического тангенса Tanh(x) и сигмоидаль-ная функция (1 + e-x)-1, используемые в традиционных моделях нейронных сетей как на этапе обучения, так и на этапе тестирования. Сверточная нейронная сеть обучается с использованием метода стохастического градиентного спуска с размером мини-выборки из исходного набора данных в 48 экземпляров, импульсом, равным 0,9, и уменьшением весов на 0,0005. Для достижения минимального результата для проверки необходимо не менее 20 эпох.

Для обработки тестового изображения сеть может предоставить каждому фрагменту изображения вероятность того, относится ли он к повреждению дорожного покрытия или нет. Эта процедура дает карту вероятностей. Сверточная нейросеть имеет большее количество степеней свободы и, следовательно, склонна демонстрировать большую дисперсию и небольшую погрешность [4]. Таким образом, количество повреждений в дорожном полотне намного меньше, чем количество участков фона на изображении. Этот факт заставляет сеть переоценивать вероятность повреждения. Следовательно, необходимо использовать соответствующий порог.

Тестирование сети

Все эксперименты проводились с использованием процессора Intel ® Core™ i7-2600 с 8 ГБ ОЗУ и графического процессора NVIDIA GeForce 940M. Сверточная нейронная сеть была создана с помощью структуры фреймворка Caffe и обучена с использованием 5-кратной кросс-проверки. Предлагаемый метод сравнивается с методом на основе классификации опорных векторов и методами градиентного бустинга деревьев; ядро радиальной базисной функции Гаусса используется с C и у, определенными с использованием 5-кратной кросс-проверки; градиентный бустинг, состоящий из 100 слабых классификаторов с максимальной глубиной 5, обучается с помощью библиотеки компьютерного зрения OpenCV. Признаки для обучения метода опорных векторов и бустинга основаны на цвете и текстуре каждого фрагмента изображения, которые связаны с двоичной меткой, указывающей на наличие или отсутствие повреждений на асфальте. Вектор признаков является 93-мерным и состоит из цветных участков, гистограмм и различных дескрипторов (RGB-среднее, HSV для RGB-среднего, сатурация, оттенок).

На рис. 2 и 3 приведены примеры изображений вместе с соответствующей вероятностью классификации выбранных участков, которые правильно классифицируются только с помощью предлагаемого метода, основанного на сверточной нейронной сети. Эти результаты ярко демонстрируют, что отличительные признаки, отобранные сверточной нейронной сетью, превосходят созданные вручную при использовании традиционных методов машинного обучения.

Рис. 2. Экземпляры поврежденных дорожных покрытий и соответствующие им вероятности

повреждения сверточной нейронной сети

В отличие от предыдущих достижений в этой области, геометрическая информация в данной работе не рассматривается, поскольку основная идея заключается в том, чтобы описать метод обнаруже-

ния дефектов без конкретных геометрических преобразований. Сводная статистика тестирования результатов приведена в таблице 1. Из этих результатов видно, что сверточная нейросеть превосходит два других детектора.

Таблица 1.

Сравнение производительности различных методов_

Метод Точность Полнота F1-Mepa

Метод опорных векторов 0.8542 0.6942 0.7458

Градиентный бустинг деревьев 0.7457 0.7674 0.7561

Сверточные нейронные сети 0.8789 0.9341 0.9047

Рис. 3. Экземпляры неповрежденных дорожных покрытий и соответствующие им вероятности «не

повреждения» сверточной нейронной сети

Далее было проведено визуальное сравнение предложенного метода с классификатором опорных векторов и градиентным бустингом деревьев с использованием изображений размером 300 х 300. Повреждения дорожных покрытий обнаруживаются в скользящем окне с шагом в 1 пиксель. Если окно частично находится за границей изображения, недостающие пиксели синтезируются путем зеркального отражения. На рис. 4 показаны результаты обнаружения трещин для трех различных сцен. Для каждой сцены каждая строка показывает исходное изображение с повреждением, достоверность повреждения (бинаризованное изображение), а также карты вероятности, созданные методом опорных векторов (SVM) и методами градиентного бустинга деревьев (Boosting) и сверточной нейросетью

(Proposed) соответственно. Пиксели зеленого и синего цвета обозначают повреждение и его отсутствие соответственно, а более высокая яркость означает более высокую достоверность. Метод опорных векторов не может отличить повреждение от фона, и некоторые повреждения в результате этого были классифицированы неверно. По сравнению с ним, метод градиентного бустинга деревьев способен может обнаруживать дефекты с большей точностью. Тем не менее, некоторые фоновые участки классифицируются как повреждения, что приводит к изолированным зеленым частям. В отличие от этих двух методов, предлагаемый метод обеспечивает превосходную производительность при правильной классификации участков с повреждениями, отличая их от фоновых.

Рис. 3. Карты вероятностей для трех сцен - а), Ь), ^ по различным детекторам, используемым в

рамках проведенного эксперимента

Заключение

Таким образом, был предложен метод автоматического обнаружения, основанный на глубоких сверточных нейронных сетях, в которых признаки автоматически извлекаются из вручную размеченных участков изображения, полученных с помощью недорогой камеры переднего вида, то есть фронтальной камеры смартфона. В рамках будущих исследований планируется оптимизировать предложенный метод обнаружения и построение комплексной интегрированной системы для обнаружения дорожных дефектов в реальном времени.

Литература

1. H. Oliveira and P. L. Correia, «Automatic Road crack detection and characterization», IEEE Transactions on Intelligent Transportation Systems, vol. 14, no. 1, pp. 155-168, 2013.

2. H. Oliveira and P.L. Correia, «Crackit-an image processing toolbox for crack detection and characterization», in Proceedings of IEEE International Conference on Image Processing, Oct. 2014, pp. 798-802.

3. H. Maeda, Y. Sekimoto, T. Seto, T. Kashiyama, and H. Omata, «Road damage detection and classification using deep neural networks with smartphone images», Computer-Aided Civil and Infrastructure Engineering, 2018.

4. K. He, X. Zhang, S. Ren, and J. Sun, «Deep residual learning for image recognition», in IEEE Conference on Computer Vision and Pattern Recognition, 2016, pp. 770-778.

5. M. Kawano, K. Mikami, S. Yokoyama, T. Yonezawa, and J. Nakazawa, «Road marking blur detection with drive recorder», in International Conference on Big Data, 2017, pp. 4092-4097.