CC BY
122
Оригинальная статья / Original article УДК: 004.932.2
DOI: 10.21285/1814-3520-2016-10-111-118
АЛГОРИТМИЧЕСКОЕ И ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ АВТОМАТИЧЕСКОГО ОБНАРУЖЕНИЯ И КЛАССИФИКАЦИИ ДЕФЕКТОВ ДОРОЖНОГО ПОКРЫТИЯ С ПОМОЩЬЮ МЕТОДА РАЗРЕЗА ГРАФОВ И АЛГОРИТМА СЛУЧАЙНЫХ ЛЕСОВ
1 9
© Тху Хыонг Нгуен1, Тхе Лонг Нгуен2
Иркутский национальный исследовательский технический университет, 664074, Россия, г. Иркутск, ул. Лермонтова, 83.
РЕЗЮМЕ. ЦЕЛЬ. Предложен новый подход к решению задачи автоматического обнаружения и классификации дефектов дорожного покрытия, основанный на анализе таких признаков, как форма и текстура. МАТЕРИАЛ. МЕТОДЫ. Разработанный подход реализован в среде Matlab c использованием методов цифровой обработки изображений и их классификации на основе алгоритма случайного леса. Сегментация реализована с помощью комбинации алгоритма разреза графа и марковского случайного поля. РЕЗУЛЬТАТЫ И ИХ ОБСУЖДЕНИЕ. Система позволяет точно локализовать местоположение дефекта и определить его тип (выбоина, сеть трещина, глубокая трещина). Эффективность предложенного подхода продемонстрирована на реальных данных. ЗАКЛЮЧЕНИЕ. Представлена программная реализация системы мониторинга автодорог, которая основана на алгоритмах обработки изображений и методов машинного обучения для автоматического обнаружения и классификации дефектов дорожного покрытия.
Ключевые слова: дефекты дорожного покрытия, распознавание образов, классификация, сегментация.
Формат цитирования: Нгуен Тху Хыонг, Нгуен Тхе Лонг. Алгоритмическое и программное обеспечение автоматического обнаружения и классификации дефектов дорожного покрытия с помощью метода разреза графов и алгоритма случайных лесов // Вестник Иркутского государственного технического университета. 2016. Т. 20. № 10. С. 111-118. DOI: 10.21285/1814-3520-2016-10-111-118
AN ALGORITHM AND SOFTWARE FOR PAVEMENT DEFECT AUTOMATIC DETECTION
AND CLASSIFICATION BASED ON A GRAPH CUT METHOD AND A RANDOM FOREST ALGORITHM
Thu Huong Nguyen, The Long Nguyen
Irkutsk National Research Technical University, 83 Lermontov St., Irkutsk, 664074, Russia.
ABSTRACT. PURPOSE. A new approach is proposed for the solution of the problem of automatic detection and classification of road pavement defects based on the analysis of such characteristics as shape and texture. MATERIAL. METHODS. The developed approach is implemented in the Matlab environment with the use of the methods of image digital processing and classification using a random forest algorithm. Segmentation is implemented by means of a graph cut method and a Markov random field. RESULTS AND THEIR DISCUSSION. The system allows accurate location of road pavement defects and their type identification (pothole, honeycomb cracks, deep crack). The efficiency of the proposed approach is demonstrated on real data. CONCLUSION. This paper has presented the software implementation of a road monitoring system which is based on image processing algorithms and machine learning methods for road pavement defect automatic detection and classification.
Keywords: road pavement defects, image detection, classification, segmentation
For citation: Nguyen Thu Huong, Nguyen The Long. An algorithm and software for pavement defect automatic detection and classification based on a graph cut method and a random forest algorithm. Proceedings of Irkutsk State Technical University. 2016, vol. 20, no. 10, pp. 111-118. (In Russian) DOI: 10.21285/1814-3520-2016-10-111-118
Введение
Для планирования ремонта дорожных сетей сервисные компании нуждаются в точной и актуальной информации о нали-
чии и местоположении дорожных дефектов. Тысячи километров дорог и автомагистралей подвергаются мониторингу в России
1
Нгуен Тху Хыонг, аспирант, e-mail: thuhuongyb@gmail.com Nguyen Thu Huong, Postgraduate, e-mail: thuhuongyb@gmail.com
2Нгуен Тхе Лонг, аспирант, e-mail: thelongit88@gmail.com Nguyen The Long, Postgraduate, e-mail: thelongit88@gmail.com
каждый год. Ранее периодическая проверка выполнялась вручную с привлечением инженерного состава. Этот метод занимает много времени и не является безопасным для человека. За последние десятилетия область компьютерного зрения получила интенсивное развитие и нашла приложение в различных областях жизнедеятельности, начиная от контроля качества продукции и до автоматизированных систем видеонаблюдения. В настоящее время многие системы обнаружения и классификации дефектов дорожного покрытия разработаны с помощью методов обработки изображений и алгоритмов машинного обучения: CSIRO's RoadCrack vehicle [1] и Roadware's ARAN system [2]. Эти программы ориентированы в основном на обнаружение дефектов типа трещин. Существуют различные методы обнаружения дефектов дорожного покрытияна на основе характеристик цвета и яркости [3], анализа пороговых значений [4], характеристик структурных характеристик изображений [5]. Имеется много разных подходов для обнаружения дефектов дорожного покрытия. Один из самых распространенных подходов осуществляется путем анализа гистограмм с использованием искусственных нейронных сетей (ИНС). В работе [6] авторы для классификации сегментов дорожных изображений, а также трещин предлагают методику, основанную на нейронной сети. Проводится анализ гистограмм изображений. Признаки передаются в нейронную сеть для последующей классификации. После того как изображения классифицируются на наличие трещин, участки, не имеющие трещин, после их сегментации передаются в другую нейронную сеть для классификации типа трещин. Модели на основе теории графов широко используются для сегментации, что отражено, например, в работе [7]. В работе [8] авторы предложили объединить методы математической морфологии и преобразование Фурье для создания признаков, которые были классифицированы на основе классификатора AdaBoost [9].
В статье [10] авторы обсудили проблемы автоматического анализа видео,
чтобы следить за состоянием дорожного покрытия в лабораторных условиях и показали, что использование компьютерного зрения для решения задач анализа изображений позволяет сократить время внедрения и дает более высокую точность.
Был предложен способ обнаружения поверхностных контуров, который не зависит от теней, освещения и неровностей. Этот метод основан на обработке изображений с использованием локальных особенностей градиента, линейного предсказания [11] и анализа градиентов изображений [12].
В работе [13] Лемперт, Сидоров и Жуков представили подход к проблеме определения приоритетов работ по ремонту дорожного покрытия с ограниченными ресурсами, который использует комбинацию методов распознавания и классификации дефектов на основе статистического анализа и машинного обучения с оригинальными методами для решения задачи оптимизации определения приоритетов работ (оптическая - геометрическая аналогия).
Авторы в работах [14, 15] предложили два новых метода для регистрации дефектов дорожного покрытия. Подходы основаны на видеосистеме, представляющей собой автомобиль, на котором установлен комплекс для сбора и анализа данных дорожной поверхности. Используется метод сегментации изображений, затем дефекты классифицируются с помощью определенного классификатора.
Предложен новый подход к обнаружению дефектов дорожного покрытия с помощью алгоритма марковского случайного поля для создания карты дефектов на основе анализа признаков текстуры и признаков формы, который позволяет классифицировать 3 типа дефектов дорожного покрытия с помощью случайных лесов алгоритма. В данной статье рассмотрены возможности применения компьютерного зрения для построения автоматизированной системы обнаружения и классификации дефектов дорожного покрытия. Программное обеспечение реализовано в среде
Matlab с привлечением библиотеки с от- кализовать местоположение дефекта и крытым кодом Open CV для обработки определить его тип (выбоина, сеть трещин, изображений. Система позволяет точно ло- глубокие трещины).
Программа автоматического обнаружения и классификации дефектов дорожного покрытия
Предложенная система состоит из трех основных этапов (рис. 1). Первым шагом является предварительная обработка. На этом шаге используются методы сглаживания, фильтрации шума с помощью метода Гаусса, затем изображение преобразуется в изображение в оттенках серого. Второй этап предполагает обнаружение местоположения дефектов с помощью метода разреза графа [16] и марковских случайных полей [17]. На третьем шаге мы проводим классификацию каждого дефекта на основе вектора признаков с помощью алгоритма случайного леса [18].
Для анализа атрибутов каждого дефекта были выбраны следующие признаки:
Моменты Ху, извлекаемые, как правило, из формы объекта на изображении.
Гистограмма цепного кода (CCH-chain code histogram), вычисляемая из гистограммы представления контура.
Также использовались размер области дефекта (ширина, длина и площадь) и гистограмма изображения.
Для повышения качества сегментации изображений (рис. 2) использовались марковские случайные поля.
Программа реализована в среде Matlab на основе методов обработки изображений и алгоритмов машинного обучения. Входными данными программы являются изображения дорожного покрытия, выходными данными - результаты классификации дефектов и их местоположение.
Интерфейс пользователя представлен на рис. 3. Здесь Loadimage - это загрузка данных (изображения дорожного покрытия); Select - выбор областей для анализа; Crop - разрез областей для анализа; Preprocessing - предварительная обработка изображения (преобразование на полутоновое изображение, фильтрация и др.) для улучшения качества изображений; Featureextraction - извлечение признаков в изображениях; результат обнаружения областей дефектов представлен в разделе «Defectroaddetection».
Классификация дефектов (рис. 4) позволяет обнаруживать 3 основных дефекта, таких как выбоина, трещина сети, глубокая трещина, помеченные на рис. 5 соответственно как 1, 2, 3.
Классификатор построен с использованием параметров ntree = (50, 100), mtry = 2 и depth = (2, 5). В таблице представлен эффект увеличения количества деревьев в ансамбле, что требует больше времени для обучения, но в то же время позволяет обеспечивать лучшие результаты в терминах среднеквадратичной ошибки (Mean Squared Error - MSE), которая рассчитывается следующим образом:
MSE = 1-Zl1(f(xi)-yi)2, (1)
где n - количество тестовых ров, f(x{) - вероятностный вывод классификатора на х{ и у{, которые являются фактическими этикетками).
База данных Database 11рсдварнтсльная обработка Pre-processing Обнаружение Detection Классификация Classification
Изображения Image 1 i Черно-белое изображение ' Gray - sealc image i _ j Век юр при шаков Feature vector i
Рис. 1. Этапы автоматического обнаружения и классификации дефектов дорожного покрытия Fig. 1. Steps of road pavement defect automatic detection and classification
________ Начнем с произвольной маркировки f
у— Start from arbitrary labeling f
]f* -
Для каждой пары метокD,N eL For each pair of marks D,N EL
Найти / = argminE(f) Find / = argminE(f)
Установка / = /; success ■■= 1; Set / = /; success ■■= 1;
Возвращение f Return f
Рис. 2. Алгоритм разреза графа Fig. 2. Graph cut algorithm
Рис. 3. Графический интерфейс ПО Fig. 3. Graphical software interface
Загрузка модели классификации машинного обучения Loading of a machine learning classification model
Загрузка базы изображений дорожного покрытия
Road pavement image database loading
Предобработка изображения Image pre-processing
Извлечение признаков Feature extraction
Классификация на основе алгоритма случайных лесов Random Forest-based classification
Создание вектор признаков Feature vector development
Возвращение тип дефекта дорожного покрытия Return road pavement defect type
Рис. 4. Блок-схема дефекта классификации дорожного покрытия Fig. 4. Flow chart of road pavement defect classification
PROGRAM OF OEFECT PAVEMENT DETECTION AND CLASSIFICATION
Рис. 5. Результат при обнаружении и классификации Fig. 5. Results of detection and classification
Время обучения, процент правильной классификации алгоритмов классификации случайного леса и Boosting ( GBTs ) / Learning time, percent of correct classification of Random forest
and Boosting algorithms (G BTs)
Параметры / Parameters Случайный лес / Random Forest Boosting (GBTs)
Количество деревьев/ Number of trees - 50 Глубина / Depth - 2 Количество деревьев / Number of trees - 100 Глубина / Depth - 100 Количество деревьев / Number of trees - 50 Глубина / Depth- 2 Количество деревьев / Number of trees - 100 Глубина / Depth - 5
Время прохождения, c / Time of travel, sec 150 257 140 278
Процент правильной классификации / Percent of correct classification 80,5 93,29 88,57 91,45
MSE 0,393 0,366 0,3 0,516
Заключение
В данной статье представлена программная реализация системы мониторинга автодорог, которая основана на алгоритмах обработки изображений, а также методах машинного обучения и предназначена для автоматического обнаружения и классификации дефектов дорожного покрытия. С использованием методов сегментации изображений и алгоритмов разреза графов и Random Forest для автоматического обнаружения дефектов данная система определяет местоположение де-
Библиогра
1. CSIRO, RoadCrack Specifications. Available at: http://www.cslro.au/en/Research/MF/Areas/Innovatlon/ Prototyping/Road-Crack-Detection (accessed 18 January 2016).
2. Roadware Group Inc, Wisecrax data sheet. Available at: http://www.roadware.com/related/down-loads/WiseCrax-Brochure (accessed 2004).
3. Sy N.T., Avila M, Begot S., Bardet J.C. Detection of defects in road surface by a vision system. Proc. 14th IEEE Mediterranean Electrotechnical Conference MELECON, 2008, pp. 847-851.
4. Chua K.M., Xu L. Simple procedure for identifying pavement distresses from video images. Journal of transportation engineering, 1994, vol. 120, issue 3, pp. 412-431.
5. Jean D. Detection de fissures de surface de chausses par technique d'imageriedans le visible. Journes des Sciences de I'Ingnieur. 2003, vol. 122, pp. 159-164.
6. Justin Bray, BrijeshVerma, Xue Li, Wade He. A neu-
фектов и классифицирует их на три класса. Базы данных для экспериментов взяты из авторской коллекции [19] и из архива [20].
Авторы выражают благодарность своему научному руководителю, доктору физико-математических наук, профессору Д.Н. Сидорову за оказанную помощь при написании статьи, а также Femandes К. и Ciobanu и (Португалия) за любезно предоставленный доступ к архиву изображений дефектов дорожного покрытия.
кии список
ral network based technique for auto-matic classification of road cracks, Neural Networks, IJCNN'06, International Joint Conference on, IEEE. 2006. pp. 907-912.
7. Sylvie Chambon, Christian Gourraud, Jean Marc Moliard, Philippe Nicolle. Road crack ex-traction with adapted filtering and markov model-based segmentation introduction and validation. International Joint Conference on Computer Vision Theory and Applications, VISAPP. 2010.
8. Aurelien Cord, Sylvie Chambon. Automatic road defect detection by textural pattern recognition based on AdaBoost, Computer-Aided Civil and Infrastructure Engineering. 2012. Vis. 27 (4), pp. 244-259.
9. Ian Fase. Experiments with a new Boosting Algorithm. On-line journal. 2001. Availabe at https://cse-web.ucsd.edu/classes/fa01/cse291/AdaBoost.pdf (accessed 23 October 2001).
10. Barinova O., Shapovalov R., Sudakov S., Velizhev A., Konushin A. Efficient road mapping via interactive image segmentation. Stilla U, Rottensteiner
F, Paparoditis N (Eds) CMRT09. IAPRS, part 3/W4. Paris, France, 3-4 September, 2009.
11. Avishek Parajuli, Mehmet Celenk, H. Bryan Riley. Robust lane detection in shadows and low illumination conditions using local Gradient features. Open Journal of Applied Sciences. 2013, vol. 3, pp. 68-74.
12. Jia Lu, Jing Qian, Weimin Han. Discrete gradient method in solid mechanics. International journal for numerical methods in engineering. 2007. DOI: 10.1002/nme.2187.
13. Лемперт А.А., Сидоров Д.Н., Жуков А.В. Об одном подходе к оптимизации ремонта автомобильных дорог в условиях ограниченного финансирования // Обобщенные постановки и решения задач управления: c6. тр. Междунар. симпозиума. М: ФИЗМАТЛИТ, 2014. С. 114-118.
14. Крылов А., Судаков С., Киншаков В., Семашко А., Баринова О., Конушин А. Алгоритмы детектирования разметки и дефектов дорожного покрытия // Труды 18-й Международной конференции по компьютерной графике и зрению
«ГрафиКон'2008». Сер. GraphiCon. М., 2008. С. 206-212.
15. Chen H, Miyojim M. M.: Automatic pavement distress detection system // Journal of information Sciences. 1998, vol. 108, pp. 219-240.
16. Boykov, Vekslers Zabih. Fast approximate energy minimization via Graph Cuts // IEEE PAMI, 2001, vol. 23, no. 11, pp. 1222-1239.
17. Charles A Bouman, Ken Sauer, Suhail Saquib. Markov random fields and stochastic image models, IEEE International Conference on Image Processing (1995).
18. Leo Breiman. Random forests, Machine learning, Vis. 45 (1), pp. 5-32 (2001).
19. Available at: https://yadi.sk/d/GEIaJHYOspQbR (accessed 27 June 2016).
20. Fernandes K., Ciobanu L. Pavement Pathologies Classification Using Graph-Based Features. ICIP 2014 -IEEE International Conference on Image Processing. 2014. Paris, France.
References
1. CSIRO, RoadCrack Specifications. Available at: http://www.csiro.au/en/Research/MF/Areas/Innovation/ Prototyping/Road-Crack-Detection (accessed 18 January 2016).
2. Roadware Group Inc, Wisecrax data sheet Available at: http://www.roadware.com/related/down-loads/WiseCrax-Brochure. (accessed 2004).
3. Sy N.T., Avila M, Begot S., Bardet J.C. Detection of defects in road surface by a vision sys-tem. Proc. 14th IEEE Mediterranean Electrotechnical Conference MELECON, 2008, pp. 847-851.
4. Chua K.M., Xu L. Simple procedure for identifying pavement distresses from video images. Journal of transportation engineering. 1994, vol. 120, issue. 3, pp. 412-431.
5. Jean D. Detection de fissures de surface de chausses par technique d'imageriedans le visible. Journes des Sciences de l'Ingnieur. 2003, vol. 122, pp. 159-164.
6. Justin Bray, BrijeshVerma, Xue Li, Wade He. A neural network based technique for auto-matic classification of road cracks, Neural Networks, IJCNN'06, International Joint Conference on, IEEE. 2006. pp. 907-912.
7. Sylvie Chambon, Christian Gourraud, Jean Marc Moliard, Philippe Nicolle. Road crack ex-traction with adapted filtering and Markov model-based segmentation introduction and validation. International Joint Conference on Computer Vision Theory and Applications, VISAPP. 2010.
8. Aurelien Cord, Sylvie Chambon. Automatic road defect detection by textural pattern recognition based on AdaBoost, Computer-Aided Civil and Infrastructure Engineering. 2012. Vis. 27 (4), pp. 244-259.
9. Ian Fase. Experiments with a new Boosting Algorithm. On-line journal. 2001. Available at
https://cseweb.ucsd.edu/classes/fa01/cse291/Ada-Boost.pdf (accessed 23 October 2001).
10. Barinova O., Shapovalov R., Sudakov S., Velizhev A., Konushin A. Efficient road mapping via interactive image segmentation. Stilla U, Rottensteiner F, Paparoditis N (Eds) CMRT09. IAPRS, part 3/W4. Paris, France, 3-4 September, 2009.
11. Avishek Parajuli, Mehmet Celenk, H. Bryan Riley. Robust lane detection in shadows and low illumination conditions using local Gradient features. Open Journal of Applied Sciences. 2013, vol. 3, pp. 68-74.
12. Jia Lu, Jing Qian, Weimin Han. Discrete gradient method in solid mechanics. International journal for numerical methods in engineering. 2007. DOI: 10.1002/nme.2187.
13. Lempert A.A., Sidorov D.N., Zhukov A.V. Ob odnom podkhode k optimizatsii remonta avtomobil'nykh dorog v usloviyakh ogranichennogo finansirovaniya [An approach to highway repair optimization under conditions of limited funding]. Cb. tr. Mezhdunar. simpoziuma "Obobshchennye postanovki i resheniya zadach uprav-leniya" [Collection of works of the International Symposium "Generalized Settings and Solutions of Control Problems]. Moscow, FIZMATLIT Publ., 2014. pp. 114-118. (In Russian)
14. Krylov A., Sudakov S., Kinshakov V., Semashko A., Barinova O., Konushin A. Algoritmy detektirovaniya razmetki i defektov dorozhnogo pokrytiya [Algorithms of road pavement marking and defects detection]. Trudy 18-i Mezhdunarodnoi konferentsii po komp'yuternoi grafike i zreniyu «GrafiKon'2008» Ser. GraphiCon [Proceedings of the 18th International Conference on Computer Graphics and Vision Sense "GrafiCon'2008". GraphiCon Series]. Moscow, 2008, pp. 206-212. (In Russian)
15. Chen H, Miyojim, M. M.: Automatic pavement dis-
tress detection system // Journal of Information Sciences. 1998, vol. 108, pp. 219-240.
16. Boykov, Vekslers Zabih. Fast approximate energy minimization via Graph Cuts. IEEE PAMI, 2001, vol. 23, no. 11, pp. 1222-1239.
17. Charles A Bouman, Ken Sauer, Suhail Saquib. Markov random fields and stochastic image models, IEEE International Conference on Image Processing (1995).
Критерии авторства
Нгуен Тху Хыонг, Нгуен Тхе Лонг имеют равные авторские права и несут равную ответственность за плагиат.
Конфликт интересов
Авторы заявляют об отсутствии конфликта интересов.
Статья поступила 19.07.2016 г.
18. Leo Breiman. Random forests, Machine learning, Vis. 45 (1), pp. 5-32 (2001).
19. Available at: https://yadi.sk/d/GEIaJHYOspQbR (accessed 27 June 2016).
20. Fernandes K., Ciobanu L. Pavement Pathologies Classification Using Graph-Based Features. ICIP 2014 -IEEE International Conference on Image Processing. 2014. Paris, France.
Authorship criteria
Nguyen Thu Huong, Nguyen The Long have equal authors rights and bear equal responsibility for plagiarism.
Conflict of interest
The authors declare that there is no conflict of interest regarding the publication of this article.
The article was received 19 Jule 2016
