CC BY
99
УДК 004.85
СЕГМЕНТАЦИЯ ДЕФЕКТОВ НА ДОРОЖНОМ ПОКРЫТИИ НА ОСНОВЕ
НЕЙРОСЕТЕВЫХ ТЕХНОЛОГИЙ
Васильев П. В., Сеничев А. В.
Донской государственный технический
университет, Ростов-на-Дону, Российская
Федерация
Предложена модель сверточной нейронной сети, на основе которой, реализовано проведение сегментации дефектов на изображениях дорожного покрытия. Разработанная модель может быть применена в различных областях для решения задач сегментации и идентификации. Проведена оптимизация нейронной сети с учетом особенностей решаемой задачи.
Предложенная модель имеет высокую степень повторяемости и имеет небольшие требования к аппаратной части. Обучение данной модели возможно проводить в условиях небольшого объема исходного набора данных. Система, разработанная на основе данной модели, может применяться для автономной обработки большого объема данных. Ключевые слова: идентификация дефектов, машинное обучение, сверточные нейронные сети, дорожное покрытие.
UDC 004.85
DEFECT SEGMENTATION ON THE ROAD SURFACE BASED ON NEURAL NETWORK TECHNOLOGIES
Vasilev P. V., Senichev A. V.
Don State Technical University, Rostov-on-Don, Russian Federation
[email protected] [email protected]
A model of a convolutional neural network is proposed. Segmentation of defects on images of the road surface is performed. The developed model can be applied in various areas to solve segmentation and identification problems. The neural network has been optimized considering the peculiarities of the problem being solved. The proposed model has a high degree of repeatability and has low hardware requirements. This model can be trained in the conditions of a small amount of the initial data set. The developed system can be used to process large amounts of data.
Keywords: defect identification, machine learning, convolutional neural networks, pavement.
Введение. В данной работе предлагается подход, который задействует технологии машинного обучения. Это позволяет автоматизировать процесс оценки качества дорожного покрытия. Предлагаемый подход заключается в обучении сверточной нейронной сети на основе данных, размеченных вручную. Таким образом система научится распознавать основные виды повреждений объектов контроля и проводить их оценку. Это позволит существенно повысить скорость обследования дорожного полотна и сократить материальные издержки.
Предлагаемый метод. Для проведения идентификации дефектов на изображениях дорожного покрытия нужно определить, что является дефектом, а что нет. Другими словами, нужно провести сегментацию изображения и выделить соответствующие классы. Данный тип задач в последнее время эффективно решается с помощью специально разработанных архитектур сверточных нейронных сетей, таких например, как SegNet [1], [2].
Изображения дорожного покрытия имеют свою специфику. Она заключается в небольшом диапазоне серого цвета и небольшой разнице между фоном и целевым объектом изображения.
у
Помимо этого, на изображениях может присутствовать большое количество шумов и посторонних объектов. Изображения могут содержать различные типы дефектов разного размера и формы.
На данный момент существует большое количество наборов данных, на основе которых можно провести обучение нейронной сети [3, 4]. Эти наборы данных включают в себя оригинальные изображения дорожного покрытия и соответствующие им изображения-маски, показывающие наличие или отсутствие дефектов. Так как изображения с дефектами на дорожном покрытии имеют свою специфику, авторы предлагают собственную упрощенную модель глубокой сверточной нейронной сети. Для сегментации изображения предлагается Fully convolutional neural network [5] со структурой Encoder-Decoder. На вход системы подается изображение дорожного покрытия, а на выходе получается бинарное изображение. Таким образом, в качестве результата получается сегментированное изображение, показывающее наличие и отсутствие дефектов.
Архитектура. На рис. 1 показана архитектура предлагаемой глубокой сверточной нейронной сети. Нейронная сеть стоит из двух частей — сверточной и разверточной. Сверточная часть выполняет функцию извлечения признаков. Она преобразует входное изображение в многомерное представление признаков. Разверточная сеть играет роль генератора, который создает сегментированное изображение на основе признаков, полученных от сверточной сети. Последний сверточный слой сети с сигмовидной активационной функцией генерирует сегментированное изображение, другими словами, карту вероятностей присутствия дефекта того же размера, что и входное изображение.
Рис. 1. Архитектура предложенной сети
Подготовка набора данных. Для обучения построенной модели используется набор данных CrackForest [4]. Проводится его аугментация (искусственное увеличение набора данных), так как обучение и работа нейронной сети основана на Path-based подходе. Набор данных состоит из 117 оригинальных изображений. Он разделяется на обучающую, тестовую и валидационную выборки. На рис. 2 показаны изображения, полученные в результате аугментации данных, и соответствующие им маски, применяемые для обучения нейронной сети.
Рис. 2. Изображения и соответствующие им бинарные маски, полученные в результате аугментации данных
Обучение нейронной сети. В связи со спецификой исследуемой области, для обучения и оценки работы нейронной сети применяются метрики intersection over union (IoU, коэффициент Жаккара) и эквивалентная ей бинарная мера схожести dice (мера Сёренсена). В качестве функции потерь используется функция 1 — J.
J (Л, В) =
1АПВ1
S(A, В) =
21АПВ1
IAUBY IAI + IBI
Инициализация весов в слоях нейронной сети осуществляется методом Glorot. Выполняется batch normalization [6] для уменьшения внутреннего ковариационного сдвига путем нормализации входных распределений каждого слоя.
Для обучения используется алгоритм оптимизации Adam (Method for Stochastic Optimization) [7].
Обучение нейронной сети проходит в несколько этапов. На первом этапе сеть обучается на небольшом объеме данных (30% от основного набора), 5 эпох. На втором этапе сеть обучается на полном объеме данных необходимое количество эпох. Параметр learning rate изменяется с каждой эпохой, согласно установленной зависимости.
Для реализации разработанной архитектуры ГСНН используются фреймворки Keras и Tensorflow.
Результаты. После обучения нейронной сети производится валидация на тестовых данных. Каждый фрагмент изображения подается на вход нейронной сети, а на выходе получается сгенерированная карта вероятностей наличия дефекта. Полученное предположение сети сравнивается с истинным значением. В связи со специфическим соотношением площади дефекта к площади всего изображения, а также двоичной (однобитовой) маски и действительного (4-байтового) генерируемого изображения, значения метрик IoU и Dice имеют характерные значения. Качество подготовленного набора данных оказывает большое влияние на обучение и результат работы нейронной сети. В некоторых случаях в результате работы нейронной сети наблюдается наличие дефектов, хотя на истинных изображениях дефект отсутствует (ошибка разметки). Это сказывается на общей оценке качества работы представленной модели. В целом оценка точности работы нейронной сети предложенными метриками может иметь субъективный характер. Поэтому не стоит воспринимать приведенные значения как абсолютные.
В рамках данной работы была проведена оценка некоторых моделей FCN-нейронных сетей. Результаты приведены в таблице 1. В скобках указано количество фильтров на первой части сети. Количество фильтров на второй части сети зеркально отражено на рис. 1.
Точность работы некоторых моделей нейронных сетей
Таблица 1
Архитектура сети Точность работы
10 слоев (256, 128, 64, 64, 64, ...), 929 665 параметров Dice: 73,81%, IoU: 34,88%
16 слоев (32, 32, 16, 16, 16, 8, 8, 8, ...), 43 441 параметров Dice: 70,40%, IoU: 33,24%
12 слоев (32, 32, 16, 16, 8, 8, ...), 37 537 параметров Dice: 67,57%, IoU: 32,12%
Для обработки изображений высокого разрешения применяется метод скользящего окна с заданным шагом, регулирующим скорость обработки и детализацию. Несколько изображений из валидационного набора и результат обработки их нейронной сетью представлены на рис. 3.
Predicted <loll: 33.53%)
050 O-i 50 -
150 150 -
200 250 300 _______ 200 250 300 -
Real image 3 100 200 300 400 ( Mask > 100 200 300 400 Predicted <loU: 26.43%)
Г ■ 50 -100 -150 - 50 -100 -150 -
■eir.' 200 -250 -300 - f 200 250 300 -
0 100 200 300 400 ( Real image ) 100 200 300 400 ( Mask ) 100 200 300 400 Predicted 4loll: 31.75%)
P2: - 50 100 150 200 250 300 50 -100 -150 -200 -250 300 -
100 200 300 400
100 200 300 400
Рис. 3. Валидационные изображения, обработанные обученной нейронной сетью
Заключение. Предложена модель глубокой сверточной нейронной сети для проведения идентификации дефектов на изображениях дорожного покрытия. Предложены техники построения обучающей выборки и двухэтапного процесса обучения сети с учетом специфики решаемой задачи. Проделанная работа показала, что можно успешно применять подобные архитектуры в условиях небольшого количества исходных данных. Предложенная модель имеет высокую степень повторяемости и может быть использована в различных задачах сегментации. В результате, согласно используемым метрикам, FCN показывает следующие результаты: IoU -0,3488, Dice - 0,7381.
Библиографический список
1. V. Badrinarayanan, A. Kendall and R. Cipolla, "SegNet: A Deep Convolutional EncoderDecoder Architecture for Image Segmentation," in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 39, no. 12, pp. 2481-2495, Dec. 1 2017.
2. Ronneberger O., Fischer P., Brox T. (2015) U-Net: Convolutional Networks for Biomedical Image Segmentation. In: Navab N., Hornegger J., Wells W., Frangi A. (eds) Medical Image Computing and Computer-Assisted Intervention - MICCAI 2015. MICCAI 2015. Lecture Notes in Computer Science, vol 9351. Springer, Cham.
3. Eisenbach, M., Stricker, R., Seichter, D., Amende, K., Debes, K., Sesselmann, M., Ebersbach, D., Stockert, U., Gross, H.-M. How to Get Pavement Distress Detection Ready for Deep Learning? A
Systematic Approach. in: Int. Joint Conf. on Neural Networks (IJCNN), Anchorage, USA, pp. 20392047, IEEE 2017.
4. Y. Shi, L. Cui, Z. Qi, F. Meng and Z. Chen, "Automatic Road Crack Detection Using Random Structured Forests," in IEEE Transactions on Intelligent Transportation Systems, vol. 17, no. 12, pp. 3434-3445, Dec. 2016.
5. E. Shelhamer, J. Long and T. Darrell, "Fully Convolutional Networks for Semantic Segmentation," in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 39, no. 4, pp. 640-651, April 1 2017.
6. S. Ioffe and C. Szegedy, "Batch normalization: Accelerating deep network training by reducing internal covariate shift," CoRR, vol. abs/1502.03167, 2015.
7. Kingma, Diederik & Ba, Jimmy. (2014). Adam: A Method for Stochastic Optimization. International Conference on Learning Representations.
