CC BY
279
ИНФОРМАТИКА, ВЫЧИСЛИТЕЛЬНАЯ
ТЕХНИКА И УПРАВЛЕНИЕ INFORMATION TECHNOLOGY, COMPUTER SCIENCE, AND MANAGEMENT
УДК 004.932.72'1 https://doi.org/10.23947/1992-5980-2019-19-1-63-73
Модель глубокой сверточной нейронной сети в задаче сегментации трещин на изображениях асфальта*
Б. В. Соболь1, А. Н. Соловьев2, П. В. Васильев3, Л. А. Подколзина4**
1 2 3 4 Донской государственный технический университет, г. Ростов-на-Дону, Российская Федерация
Deep convolution neural network model in problem of crack segmentation on asphalt images*** B. V. Sobol1, A. N. Soloviev2, P. V. Vasiliev3, L. A. Podkolzina4**
1 2 3 4 Don State Technical University, Rostov-on-Don, Russian Federation
Введение. Своевременное устранение дефектов (трещин, сколов и пр.) на участках повышенной нагрузки дорожного полотна позволяет снизить риск возникновения аварийных ситуаций. В настоящее время для контроля состояния дорожного покрытия применяются различные методы фото- и видеонаблюдения. Оценка и анализ полученных данных в ручном режиме могут занять недопустимо много времени. Таким образом, необходимо совершенствовать процедуры осмотра и оценки состояния объектов контроля с помощью технического зрения. Материалы и методы. Авторами предложена модель глубокой сверточной нейронной сети для идентификации дефектов на изображениях дорожного покрытия. Модель реализована как оптимизированный вариант наиболее популярных на данный момент полностью сверточных нейронных сетей (FCNN). Показано построение обучающей выборки и двухэтапный процесс обучения сети с учетом специфики решаемой задачи. Для программной реализации предложенной архитектуры использовались фреймворки Keras и TensorFlow.
Результаты исследования. Применение предложенной архитектуры эффективно даже в условиях ограниченного объема исходных данных. Отмечена высокая степень повторяемости результатов.
Модель может быть использована в различных задачах сегментации. Согласно метрикам, FCNN показывает следующие результаты идентификации дефектов: IoU — 0,3488, Dice — 0,7381.
Обсуждение и заключения. Полученные результаты могут быть использованы в процессе мониторинга, моделирования и прогнозирования процессов износа дорожных покрытий.
Ключевые слова: искусственные нейронные сети, идентификация дефектов, сегментация, дорожное покрытие, трещины, IoU, Dice.
Introduction. Early defect illumination (cracks, chips, etc.) in the high traffic load sections enables to reduce the risk under emergency conditions. Various photographic and video monitoring techniques are used in the pavement managing system. Manual evaluation and analysis of the data obtained may take unacceptably long time. Thus, it is necessary to improve the conditional assessment schemes of the monitor objects through the autovision.
Materials and Methods. The authors have proposed a model of a deep convolution neural network for identifying defects on the road pavement images. The model is implemented as an optimized version of the most popular, at this time, fully convolution neural networks (FCNN). The teaching selection design and a two-stage network learning process considering the specifics of the problem being solved are shown. Keras and TensorFlow frameworks were used for the software implementation of the proposed architecture. Research Results. The application of the proposed architecture is effective even under the conditions of a limited amount of the source data. Fine precision is observed. The model can be used in various segmentation tasks. According to the metrics, FCNN shows the following defect identification results: IoU -0.3488, Dice - 0.7381.
Discussion and Conclusions. The results can be used in the monitoring, modeling and forecasting process of the road pavement wear.
Keywords: artificial neural networks, defect identification, segmentation, road pavement, cracks, IoU, Dice.
Работа выполнена при поддержке грантов РФФИ 19-08-00074, 18-31-00024, 16-01-00390.
**E-mail: [email protected], [email protected], [email protected], [email protected]
***The research is done on RFFI grants nos. 19-08-00074, 18-31-00024, 16-01-00390.
(U S X <u 4 CO eö Л
G
^
IS
eö «
IS X
X
<a
i«
й X Л
ч
(U
h —
4 О
IS
X
3 m
eö И
IS
eö
5 a о
X
5
Образец для цитирования: Модель глубокой сверточной For citation: B.V. Sobol, et al. Deep convolution neural
нейронной сети в задаче сегментации трещин на изобра- network model in problem of crack segmentation on asphalt
жениях асфальта / Б. В. Соболь [и др.] // Вестник Донского images. Vestnik of DSTU, 2019, vol. 19, no. 1, pp. 63-73
гос. техн. ун-та. — 2019. — Т. 19, № 1. — С. 63-73. https://doi.org/10.23947/1992-5980-2019-19-1-63-73 https://doi.org/10.23947/1992-5980-2019-19-1-63-73
Введение. Износ дорожного покрытия требует регулярного контроля. Эффективные стратегии мониторинга позволяют своевременно обнаруживать проблемные участки. Такой подход значительно повышает эффективность технического обслуживания дорог, сокращает расходы на их содержание и обеспечивает непрерывную эксплуатацию. Технологии выявления критических признаков состояния дорожного покрытия эволюционировали от ручных методов фотофиксации до использования высокоскоростной цифровой техники [1].
Россия входит в пятерку стран с наибольшей протяженностью автомобильных дорог. Для фото- и видеомониторинга столь масштабной инфраструктуры необходимы системы одновременно оперативные, надежные и простые в использовании. Очевидно, что в данном случае речь не идет о решениях, предполагающих анализ данных в ручном режиме. Такой подход неприемлем из-за значительных временных затрат на обработку информации и невысокого качества анализа.
Авторы данной работы предлагают новое технологическое решение в сфере машинного обучения. Его реализация позволяет автоматизировать процесс оценки качества дорожного покрытия. С этой целью сверточ-ная нейронная сеть обучается на данных, размеченных вручную. Таким образом система учится распознавать и оценивать основные виды повреждений объектов контроля.
Обзор литературы. Многие исследования посвящены совершенствованию алгоритмов обнаружения дефектов в деталях конструкций и на объектах инфраструктуры. Для решения указанной задачи широко используются возможности компьютерного зрения. Их постоянное совершенствование поддерживается развитием технологий зондирования, прогрессом в аппаратном и программном обеспечении. Однако следует признать, что в настоящее время компьютерное зрение используется ограниченно. Это обусловлено многими факторами, в числе которых:
— неоднородность дефектов,
— разнообразие типов поверхностей,
— сложность фона,
— примыкания.
Авторы ряда публикаций исследуют автоматизированные методы обнаружения трещин на изображениях и предлагают собственные решения [2-9]. В некоторых работах рассматривается специфика мониторинга объектов дорожно-транспортной инфраструктуры [10, 11], а также мостов и сооружений [12, 13].
До недавнего времени для решения указанных задач использовались в основном ручные техники мониторинга, такие, как:
— морфологические операции [13],
— анализ геометрических особенностей [6],
— применение фильтров Габора [14],
— вейвлет-преобразования [15],
— построение гистограмм ориентированных градиентов (HOG, histograms oriented gradients) [16], g — текстурный анализ,
— машинное обучение [4].
и
й Однако сейчас перечисленный инструментарий используется все реже. Его вытесняет глобальное рас-
"3 пространение нейросетевых технологий и машинное обучение, поддерживаемое вычислительными мощностя-ö ми графических процессоров.
и
^ Сверточная нейронная сеть (CNN, convolutional neural network) — это многослойная архитектура ис-
^ кусственной нейронной сети, специально предназначенная для работы с изображениями [17]. В этом случае J3 слой субдискретизации (pooling layer) позволяет реализовать локальные восприимчивые поля через сверточные слои и инвариантность относительно малых геометрических деформаций.
Данная архитектура демонстрирует выдающиеся результаты в решении следующих задач распознава-
64 ния:
— рукописных цифр [18],
— номеров домов на основе набора данных Google StreeView house number (SVHN) [19],
— дорожных знаков [20].
Рост вычислительных мощностей графических процессоров позволяет использовать более глубокие архитектуры моделей машинного обучения [21]. Появилась возможность избежать переобучения [22]. Этому способствует развитие таких современных техник, как увеличение данных, регуляризация и др.
Совершенствование сверточных нейронных сетей открывает возможность более эффективного изучения и обобщения особенностей изображений (например, классификации изображений [23], поиска объектов [24], обнаружения транспортных средств [25]).
Гибкость и перспективность глубокого обучения для задач автоматического обнаружения трещин дорожного покрытия показана в работах [26, 27].
В [28] рассматривается использование нейронных сетей для автоматического обнаружения и классификации трещин в асфальте. Авторы предлагают использовать среднее значение и дисперсию значений оттенков серого. С учетом этих показателей изображение делится на фрагменты, после чего каждая ячейка классифицируется как трещина. Была показана целесообразность использования дефлектометров с падающим грузом (FWD, fall weight deflectometers) для оценки трещин асфальта. В 98% случаев система эффективно обнаруживает трещину на изображении.
В работе [29] исследовано применение нейронной сети для обнаружения дефектов. Выяснились преимущества метода кластеризации пикселей как объектов. Она позволяет увеличить точность идентификации и уменьшить шум.
В работе [30] авторы использовали архитектуру глубокого обучения, которая включает модель VGG -16. Ее предварительно обучили выявлять особенности, которые позволяют различать классы изображений. Модель продемонстрировала отличное качество распознавания даже в работе с изображениями из неизвестных ей областей. CNN VGG-16 используется в качестве глубокого генератора признаков изображений дорожного покрытия. Авторы обучали только последний слой классификатора. Они провели эксперименты с различными моделями машинного обучения, показали их сильные и слабые стороны.
В работе [31] показано применение CNN в прикладной робототехнической задаче. Речь идет об автономном обнаружении и оценке состояния трещин и повреждений в канализационной трубе. CNN фильтрует
К
данные и локализует трещины, что позволяет получить характеристику их геометрических параметров. щ
<о
Цель работы [32] — автоматизация последовательного обнаружения сколов и численное представление ¡^
разрушения в сетях метрополитена. Для этого создается интегрированная модель, реализующая гибридный ал-
С
горитм и интерактивное 3Б-представление. Прогнозирование глубины сколов поддерживается регрессионным ^
К
анализом. cö
и
В [33] представлены обзор и оценка перспективных подходов, позволяющих автоматически обнаружи- ^
KS
вать трещины и коррозию в системах гражданской инфраструктуры. и
^
В [34] описана эффективная архитектура на основе CNN для обнаружения трещин дорожного покрытия g
на трехмерной поверхности асфальта. Архитектура CrackNet обеспечивает высокую точность обработки дан- ^
ч
ных, благодаря оригинальному методу представления геометрии дорожного покрытия. CrackNet состоит из пя-
IS
ти слоев и включает более миллиона обучаемых параметров. Эксперименты с использованием 200 тестовых g
3Б-изображений показали, что точность CrackNet может достигать 90,13 %. ^
Предлагаемый метод. Для идентификации дефектов на изображениях дорожного покрытия нужно и
определить, что является дефектом, а что нет. Иными словами, следует провести сегментацию изображения и jg
К
выделить соответствующие классы. В последнее время данный тип задач эффективно решается с помощью н
cö
специально разработанных архитектур сверточных нейронных сетей, таких, как: SegNet [35], U-Net [36].
Специфика изображений дорожного покрытия заключается в небольшом диапазоне оттенков серого ^
К
цвета и незначительной разнице между фоном и целевым объектом. Кроме того, задачу усложняют шумы, де-
фекты и наличие на изображении посторонних объектов.
Используются различные наборы данных, на которых обучаются нейронные сети [7, 37]. В эти наборы входят оригинальные изображения дорожного покрытия и соответствующие им изображения-маски с дефектами или без них. Изображения с дефектами на дорожном покрытии специфичны, поэтому авторы предлагают собственную упрощенную модель глубокой сверточной нейронной сети. Для сегментации изображения предлагается полностью сверточная нейронная сеть (FCNN, fully convolutional neural network) [38] со структурой «эн-кодер — декодер». На вход системы подается изображение дорожного покрытия, а на выходе получается бинарное изображение. В результате создается сегментированное изображение, показывающее наличие или отсутствие дефектов.
Архитектура глубокой сверточной нейронной сети. На рис. 1 показана архитектура предлагаемой глубокой сверточной нейронной сети.
Convolutional network Deconvolutional network
64x64x1 64x64x256 64x64x256 64x64x1
Входное изображение | Слой субдискретизации (MaxPooling)
Сверточный слой + BN + ReLU I Слой увеличения разрешения (UpSampling) Сверточный слой + Sigmoid
Рис. 1. Архитектура предложенной сети
Нейронная сеть стоит из двух частей — сверточной и разверточной. Сверточная часть преобразует входное изображение в многомерное представление признаков. Иными словами, она выполняет функцию извлечения признаков. Разверточная сеть играет роль генератора, который создает сегментированное изображение на основе признаков, полученных от сверточной сети. Последний сверточный слой сети с сигмовидной активационной функцией генерирует сегментированное изображение — карту вероятностей наличия дефекта такого же размера, что и на входном изображении.
Первая часть сети состоит из пяти сверточных слоев с наборами фильтров (256, 128, 64, 64, 64). Применяется инструмент «нормализация партии» (BN, batch normalization) [39]. В качестве активацион-ных функций используется «выпрямитель» (ReLU, rectified linear unit). Далее следуют слои субдискретизации (pooling) с окном 2^2. Проходя через этот слой, изображение уменьшается в два раза. Вторая часть сети является зеркальным отражением первой. Размер изображения необходимо восстановить до g исходного и сформировать карту вероятностей, основываясь на признаках входного изображения. С этой 3 целью применяются слои повышающей дискретизации (upsampling-слои) в комбинации со сверточными д слоями. Предложенная нейронная сеть имеет 10 сверточных слоев и 929 665 обучаемых параметров. -о Подготовка набора данных. Для обучения построенной модели используется набор данных
CrackForest [7]. Проводится его аугментация (искусственное увеличение набора данных), так как обучение и работа нейронной сети основана на path-based подходе, который предполагает использование вы-^ резанных случайным образом элементов исходных изображений.
Итак, набор данных состоит из 117 изображений. Он разделяется на обучающую, тестовую и ва-лидационную выборки. Для каждого изображения из обучающей и тестовой выборки случайно выбираются фрагменты размером 64*64. Исследования показали, что в рамках поставленной задачи гамма-коррекция изображений повышает качество работы нейронной сети. Каждый фрагмент изображения 66 подвергается вращению, отражению и деформации. Было установлено оптимальное соотношение фраг-
<и
Л
ментов с дефектом и без него: 95 % к 5 %. При этом учитываются дефекты, которые занимают не менее 5 % площади изображения. Размер выборки влияет на процесс обучения и качество работы сети. Установлено оптимальное соотношение: 15 200 фрагментов обучающей выборки и 3 968 тестовой. На рис. 2 показаны изображения и соответствующие им маски, применяемые для обучения нейронной сети.
Рис. 2. Изображения и соответствующие им бинарные маски, полученные в результате аугментации данных
Обучение нейронной сети. Для обучения и оценки работы нейронной сети применяются метрики пересечения между двумя обнаружениями (intersection over union, IoU, коэффициент Жаккара) и эквивалентная бинарная мера схожести (dice, мера Сёренсена). В качестве функции потерь используется функция 1 — /:
J(A,B)= S(A,B)=2^.
Инициализация весов в слоях нейронной сети осуществляется методом Глорота [40]. Для уменьшения внутреннего ковариационного сдвига выполняется нормализация партии путем нормализации входных распределений каждого слоя. Для обучения используется Adam-алгоритм (метод стохастической оптимизации) [41].
На первом этапе нейронная сеть обучается на небольшом объеме данных (30 % от основного набора) в течение 5 эпох. На втором этапе сеть обучается на полном объеме данных необходимое количество эпох. Коэффициент скорости обучения (learning rate) изменяется с каждой эпохой по установленной зависимости (рис. 3).
□.0010 Н
Рис. 3. Изменение коэффициента скорости обучения сети в зависимости от эпохи
В рамках поставленной задачи установлено, что оптимальное количество эпох обучения равно 25 (5 эпох на первом этапе обучения и 20 — на втором). При большем количестве эпох точность работы нейронной сети существенно не менялась.
Для реализации разработанной архитектуры глубокой CNN использованы фреймворки Keras и Tensor-
<и S I <и
и
ей
а
с
^
S
ей И S I
X (D
h «
ей К Л
4 <и h
5
4 о
5 ¡т
S и
eö И S
<3 S а о
-е
к £
Ö О T3
M
"c
и (U
Ü С Л
Результаты исследования. После обучения нейронной сети производится валидация на тестовых данных. Каждый фрагмент изображения подается на вход сети, а на выходе получается сгенерированная карта вероятностей наличия дефекта. На рис. 4 показаны результаты работы обученной сети и их сравнение с истинными значениями из тестовой выборки.
Рис. 4. Результаты работы обученной нейронной сети
На рис. 4 данные разнесены в четыре столбца:
1) исследуемое изображение,
2) результат работы нейронной сети,
3) дефект, выделенный человеком вручную,
4) разница между 2) и 3).
Предположения сети сравниваются с истинными значениями. Значения метрик IoU и Dice обусловлены специфическими соотношениями следующих факторов:
— площади дефекта и площади всего изображения,
— двоичной (однобитовой) маски и действительного (4-байтового) генерируемого изображения.
Стоит отметить, что при использовании IoU для фрагментов без дефекта значения метрики равны 0
(рис. 5).
Рис. 5. Количество изображений, идентифицированных с определенной точностью
Качество подготовленного набора данных существенно влияет на обучение и результат работы нейронной сети. В некоторых случаях нейронная сеть указывает на дефект, хотя его нет на истинном изображении, или наоборот. Это сказывается на общей оценке качества работы модели. В целом, оценка точности работы нейронной сети по предложенным метрикам может быть субъективной, поэтому не стоит воспринимать данные рис. 4 как абсолютные.
В рамках представленной работы оценены некоторые модели БСМ-сетей. Результаты приведены в
табл. 1.
Таблица 1
Точность работы некоторых моделей нейронных сетей
Архитектура сети Точность работы
10 слоев (256, 128, 64, 64, 64, ...), 929 665 параметров Dice: 73,81 %, IoU: 34,88 %
16 слоев (32, 32, 16, 16, 16, 8, 8, 8, ...), 43 441 параметров Dice: 70,40 %, IoU: 33,24 %
12 слоев (32, 32, 16, 16, 8, 8, ...), 37 537 параметров Dice: 67,57 %, IoU: 32,12 %
Здесь в скобках указано количество фильтров на первой части сети. Количество фильтров на второй части сети зеркально отражено (рис. 1).
Для обработки изображений высокого разрешения применяется метод скользящего окна с заданным шагом, регулирующим скорость обработки и детализацию — так формируется результирующая карта вероятностей наличия дефекта для всего изображения. Несколько изображений из валидационного набора и результат обработки их нейронной сетью представлены на рис. 6.
<и К X <и ч
СО ей Л
С
^
IS ей И IS X X
<а i-
ч
ей X Л
ч <и
h —
4 О
IS
X
3 и
ей И
IS
ей
5
Л
о X
5
Ö О 43
M
'S3
СЛ
<U
Ü £ л
Рис. 6. Валидационные изображения, обработанные обученной FCN
Обсуждение и заключения. Предложена модель глубокой сверточной нейронной сети для идентификации дефектов на изображениях дорожного покрытия. Модель реализована как упрощенный и оптимизированный вариант FCN-сетей, наиболее популярных на данный момент. Представлены техники построения обучающей выборки и двухэтапного процесса обучения сети с учетом специфики решаемой задачи. Проделанная работа показала, что применение подобных архитектур успешно при небольшом количестве исходных данных. Отмечена высокая степень повторяемости результатов. Описанная модель может быть использована в различных задачах сегментации. Согласно метрикам, FCNN показывает следующие результаты: IoU — 0,3488, Dice — 0,7381.
Библиографический список
1. Quality Management of Pavement Condition Data Collection / National Academies of Sciences, Engineering, and Medicine. — Washington : The National Academies Press, 2009. — 144 p. DOI: https://doi.org/10.17226/14325 .
2. Pavement Distress Analysis Using Image Processing Techniques / D. S. Mahler [et al.] // Computer-Aided Civil and Infrastructure Engineering. — 1991. — Vol. 6, iss. 1. — P. 1-14. DOI: https://doi.org/10.1111/j.1467-8667.1991.tb00393.x .
3. Tizhoosh, H. R. Locally adaptive fuzzy image enhancement / H. R. Tizhoosh, G. Krell, B. Michaelis // Computational Intelligence Theory and Applications. Fuzzy Days 1997. Lecture Notes in Computer Science. — Berlin ; Heidelberg : Springer, 1997. — Vol. 1226. — P. 272-276. DOI: https://doi.org/10.1007/3-540-62868-1_118 .
4. Crack Tree: Automatic crack detection from pavement images / Q. Zou [et al.] // Pattern Recognition Letters. — 2012. — Vol. 33. — P. 227-238. DOI: 10.1016/j.patrec.2011.11.004 .
5. Pavement crack detection based on saliency and statistical features / W. Xu [et al.] // IEEE International Conference on Image Processing. — 2013. — Melbourne : IEEE, 2013. — P. 4093-4097. DOI: https://doi.org/10.1109/ICIP.2013.6738843 .
6. Oliveira, H. CrackIT — An Image Processing Toolbox for Crack Detection and Characterization / H. Oliveira, P. L. Correia // IEEE International Conference on Image Processing — ICIP 2014. — Paris : IEEE, 2014. — P. 798-802. DOI: http://doi.org/10.1109/ICIP.2014.7025160 .
7. Automatic Road Crack Detection Using Random Structured Forests / Y. Shi [et al.] // IEEE Transactions on Intelligent Transportation Systems. — 2016. — Vol. 17, iss. 12. — P. 3434-3445. DOI: https://doi.org/10.1109/TITS.2016.2552248 .
8. Lee, B. J. Position-Invariant Neural Network for Digital Pavement Crack Analysis / B. J. Lee, H. Lee // Computer-Aided Civil and Infrastructure Engineering. — 2004. — Vol. 19, iss. 2. — P. 105-118. DOI: http://dx.doi.org/10.1111/j.1467-8667.2004.00341.x .
9. Sun, B.-C. Automatic Identification of Pavement Cracks Using Mathematic Morphology / B.-C. Sun, Y.-J. Qiu // First International Conference on Transportation Engineering. — Chengdu : ASCE, 2007. — P. 1783-1788. — DOI: https://doi.org/10.1061/40932(246)292 .
10. Chambon, S. Detection of road cracks with multiple images / S. Chambon // International Joint Conference on Computer Vision Theory and Applications, VISAPP. — Angers : Springer, 2010. — 7 p.
11. Zhang, L. Road crack detection using deep convolutional neural network / L. Zhang [et al.] // IEEE International Conference on Image Processing (ICIP-2016). — Phoenix : IEEE, 2016. — P. 3708-3712. DOI: https://doi.org/10.1109/ICIP.2016.7533052 .
12. Automated Crack Detection on Concrete Bridges / P. Prasanna [et al.] // IEEE Transactions on Automation Science and Engineering. — 2014. — Vol. 13, iss. 2. — P. 591-599. DOI: https://doi.org/10.1109/ TASE.2014.2354314 .
13. An innovative methodology for detection and quantification of cracks through incorporation of depth perception / M.-R. Jahanshahi [et al.] // Machine Vision and Applications. — 2013. — Vol. 24. — P. 227-241. DOI: https://doi.org/10.1007/s00138-011-0394-0 .
14. Enhanced automatic detection of road surface cracks by combining 2D/3D image processing techniques / R. J. Medina [et al.] // IEEE International Conference on Image Processing (ICIP-2014). — Paris : IEEE, 2014. — P. 778-782. https://doi.org/10.1109/ICIP.2014.7025156 .
15. Automatic Bridge Crack Detection — A Texture Analysis-Based Approach / S. Chanda [et al.] // Artificial Neural Networks in Pattern Recognition (ANNPR) : Lecture Notes in Computer Science. — Cham : Springer, 2014. — Vol. 8774. — P. 193-203. DOI: https://doi.org/10.1007/978-3-319-11656-3_18 .
16. Asphalt Surfaced Pavement Cracks Detection Based on Histograms of Oriented Gradients / R. Kapela [et al.] // 22-nd International Conference Mixed Design of Integrated Circuits & Systems. — Moscow : ALT Linux, 2015. — P. 579-584. DOI: https://doi.org/10.1109/MIXDES.2015.7208590 .
17. Gradient-based learning applied to document recognition / Y. LeCun [et al.] // Proceedings of the IEEE. — 1998. — Vol. 86, iss. 11. — P. 2278-2324. DOI: https://doi.org/10.1109/5.726791 .
18. Ciresan, D. Multi-column deep neural networks for image classification / D. Ciresan, U. Meier, g J. Schmidhuber // Proc. of Conference on Computer Vision and Pattern Recognition (CVPR). — Providence : IEEE, ¡g 2012. — P. 3642-3649. DOI: https://arxiv.org/abs/1202.2745 . §
19. Multi-digit number recognition from street view imagery using deep convolutional neural networks / ^
c
I. J. Goodfellow [et al.] // Proc. of International Conference on Learning Representations (ICLR). — Banff : Deep ^
Learning, 2014. — P. 1-12. DOI: https://arxiv.org/abs/1312.6082 . ^
20. A committee of neural networks for traffic sign classification / D. Ciresan [et al.] // Proc. of International
Joint Conference on Neural Networks (IJCNN). — San Jose : IEEE, 2011. — P. 1918-1921. DOI: *
http://doi.org/10.1109/IJCNN.2011.6033458 . H
21. Arel, I. Deep machine learning — a new frontier in artificial intelligence research / I. Arel, D. C. Rose, g T. P. Karnowski // IEEE Computational Intelligence Magazine. — 2010. — Vol. 5, iss. 4. — P. 13-18. DOI: ¡3 http://doi.org/10.1128/IAI.02190-14 . h
22. Simard, P. Y. Best practices for convolutional neural networks applied to visual document analysis / g P. Y. Simard, D. Steinkraus, J. C. Platt // Proc. of International Conference on Document Analysis and Recognition E (ICDAR). — Edinburgh : IEEE, 2003. — P. 958-963. DOI: http://doi.org/10.1109/ICDAR.2003.1227801 . 3
23. Going deeper with convolutions / C. Szegedy [et al.] // IEEE Conference on Computer Vision and Pattern ^ Recognition (CVPR). — Boston : IEEE, 2015. — P. 1-9. DOI: http://doi.ieeecomputersociety.org/10.1109/CVPR.2015.7298594 . <|
24. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation / R. Girshick [et al.] // & IEEE Conference on Computer Vision and Pattern Recognition. — Columbus IEEE, 2014. — P. 580-587. ^ DOI: https://doi.org/10.1109/CVPR.2014.81 . K
25. Vehicle Detection in Satellite Images by Hybrid Deep Convolutional Neural Networks / X. Chen [et al.] // IEEE Geoscience and Remote Sensing Letters. — 2014. — Vol. 11, iss. 10. — P. 1797-1801. DOI: 10.1109/ACPR.2013.33 .
26. Some, L. Automatic image-based road crack detection methods / L. Some. — Stockholm : Royal Institute of Technology, 2016. — 61 p.
27. Xie, D. Deep learning in visual computing and signal processing / D. Xie, L. Zhang, L. Bai // Applied Computational Intelligence and Soft Computing. — 2017. — Vol. 2017 (10). — P. 1-13. DOI: https://doi.org/10.1155/2017/1320780 .
28. Saar, T. Automatic Asphalt pavement crack detection and classification using Neural Networks / T. Saar, O. Talvik // 12th Biennial Baltic Electronics Conference. — Tallinn : IEEE, 2010. — P. 345-348. DOI: http://dx.doi.org/10.1109/BEC.2010.5630750 .
29. Meignen, D. One application of neural networks for detection of defects using video data bases: identification of road distresses / D. Meignen, M. Bernadet, H. Briand // Database and Expert Systems Applications : Proc. 8th International Workshop in Toulouse, France. — Berlin ; Heiderberg : Springer-Verlag, 1997. — P. 459-464. DOI: https://doi.org/10.1109/DEXA.1997.617332 .
30. Deep Convolutional Neural Networks with transfer learning for computer vision-based data-driven pavement distress detection / K. Gopalakrishnan [et al.] // Construction and Building Materials. — 2017. — Vol. 157. — P. 322-330. DOI: https://doi.org/10.1016/j.conbuildmat.2017.09.110 .
31. Browne, M. Convolutional Neural Networks for Image Processing: An Application in Robot Vision / M. Browne, S. S. Ghidary // AI 2003: Advances in Artificial Intelligence. — Berlin ; Heidelberg : Springer, 2003. — Vol. 2903. — P. 641-652. DOI: https://doi.org/10.1007/978-3-540-24581-0_55 .
32. Dawood, T. Machine vision-based model for spalling detection and quantification in subway networks / T. Dawood, Z. Zhu, T. Zayed // Automation in Construction. — 2017. — Vol. 81. — P. 149-160. DOI: http://dx.doi.org/10.1016/j.autcon.2017.06.008 .
33. A survey and evaluation of promising approaches for automatic image-based defect detection of bridge structures / M. R. Jahanshahi [et al.] // Structure and Infrastructure Engineering: Maintenance, Management, Life-Cycle Design and Performance. — 2009. — Vol. 5, iss. 6. — P. 455-486. DOI: https://doi.org/10.1080/15732470801945930 .
34. Automated Pixel-Level Pavement Crack Detection on 3D Asphalt Surfaces Using a Deep-Learning Network / A. Zhang [et al.] // Computer-Aided Civil and Infrastructure Engineering. — 2017. — Vol. 32, iss. 10. — P. 805-819. DOI: https://doi.org/10.1111/mice.12297 .
35. Badrinarayanan, V. SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation / V. Badrinarayanan, A. Kendall, R. Cipolla // IEEE Transactions on Pattern Analysis and Machine Intelligence. — 2017. — Vol. 39, iss. 12. — P. 2481-2495. DOI: 10.1109/TPAMI.2016.2644615.
36. Ronneberger, O. U-Net: Convolutional Networks for Biomedical Image Segmentation / O. Ronneberger, P. Fischer, T. Brox // Medical Image Computing and Computer-Assisted Intervention — MICCAI 2015. — Cham : Springer, 2015. — Vol. 9351. — P. 234-241. DOI: 10.1007/978-3-319-24574-4_28.
37. How to Get Pavement Distress Detection Ready for Deep Learning? A Systematic Approach / M. Eisenbach [et al.] // IEEE International Joint Conference on Neural Networks (IJCNN). — Anchorage : IEEE. — 2017. — P. 2039-2047. DOI: http://doi.org/10.1109/IJCNN.2017.7966101 .
38. Shelhamer, E. Fully Convolutional Networks for Semantic Segmentation / E. Shelhamer, J. Long, T. Darrell // IEEE Transactions on Pattern Analysis and Machine Intelligence. — 2017. — Vol. 39, iss. 4. — P. 640651. DOI: 10.1109/TPAMI.2016.2572683.
P 39. Ioffe, S. Batch normalization: Accelerating deep network training by reducing internal covariate shift /
d S. Ioffe, C. Szegedy // Computing Research Repository. — 2015. — 9 p. DOI: abs/1502.03167. g 40. Glorot, X. Understanding the difficulty of training deep feedforward neural networks / X. Glorot,
Y. Bengio // AlSTATS. — 2010. — Vol. 9. — P. 249-256. r^ 41. Diederik, P. K. Adam: A Method for Stochastic Optimization / P. K. Diederik, J. Ba // International Con-
's ference on Learning Representations. — Banff : IEEE, 2014. — 15 p.
(U
-¡^ Поступила в редакцию 02.11.2018 Received 02.11 .2018
Л
Сдана в редакцию 02.11.2018 Submitted 02.11.2018
Запланирована в номер 15.01.2019 Scheduled in the issue 15.01.2019
Об авторах:
Соболь Борис Владимирович,
заведующий кафедрой «Информационные технологии» Донского государственного технического университета (РФ, 344000, г. Ростов-на-Дону, пл. Гагарина, 1), доктор технических наук, профессор, ОЯСГО: http://orcid.org/0000-0003-2920-6478 [email protected]
Authors: Sobol, Boris V.,
Head of the Information Technologies Department, Don State Technical University (1, Gagarin sq., Rostov-on-Don, 344000, RF), Dr.Sci. (Eng.), professor,
ORCID: http://orcid.org/0000-0003-2920-6478 [email protected]
Соловьев Аркадий Николаевич,
заведующий кафедры «Теоретическая и прикладная механика» Донского государственного технического университета (РФ, 344000, г. Ростов-на-Дону, пл. Гагарина, 1), доктор физико-математических наук, профессор, ORCID:http://orcid.org/0000-0001-8465-5554 [email protected]
Васильев Павел Владимирович,
старший преподаватель кафедры «Информационные технологии» Донского государственного технического университета (РФ, 344000, г. Ростов-на-Дону, пл. Гагарина, 1), ORCID: http://orcid.org/0000-0003-4112-7449 gen@,mail. т
Soloviev, Arkady N.,
Head of the Theoretical and Applied Mechanics Department, Don State Technical University (1, Gagarin sq., Rostov-on-Don, 344000, RF), Dr.Sci. (Phys.-Math.), professor,
ORCID: http://orcid.org/0000-0001-8465-5554 [email protected]
Vasiliev, Pavel V.,
Senior lecturer of the Information Technologies Department, Don State Technical University (1, Gagarin sq., Rostov-on-Don, 344000, RF), ORCID: http://orcid.org/0000-0003-4112-7449 [email protected]
Подколзина Любовь Александровна, Аспирант 2-го года обучения кафедры «Информационные технологии» Донского государственного технического университета (РФ, 344000, г. Ростов-на-Дону, пл. Гагарина, 1), ORCID: http://orcid.org/0000-0001-9476-5802 podkolzinalu@,@,gmail.com
Podkolzina, Lubov A.,
Post-graduate student of the Information Technologies Department, Don State Technical University (1, Gagarin sq., Rostov-on-Don, 344000, RF), ORCID: http://orcid.org/0000-0001-9476-5802 podkolzinalu@@gmail.com
и К X <u
CO eö Л
С
^
IS eö И IS X X
<a
i«
CÖ
X Л
и h S
о IS x 3 ю
eö И
IS
eö
s
a о
X
5
