CC BY
59
Методика обнаружения дефектов дорог с использованием изображений, полученных с беспилотных летательных аппаратов
М.Ю. Катаев1, Е.Ю. Карташов1, В.Д. Авдеенко1 1 Томский государственный университет систем управления и радиоэлектроники, 634050, Россия, г. Томск, пр. Ленина, д. 40
Аннотация
Дорожные дефекты являются одним из наиболее важных факторов при дорожно-транспортном происшествии, определяющим безопасность водителя, состояние автомобиля и скорость передвижения, поэтому они должны быть исправлены как можно скорее. К дефектам относятся трещины, колеи и выбоины на дорожном покрытии, и если их не исправлять в короткие сроки, то их размер будет расти каждый день. Есть различные методы, которые используются для обнаружения дорожных дефектов, одним из которых является метод компьютерного зрения. Типично цифровые камеры устанавливаются на автомобили, и затем выполняется обработка получаемого набора изображений от данного отрезка дороги. В данной статье предлагается методика получения изображения с помощью беспилотных летательных аппаратов, что позволяет собрать необходимые данные о состоянии дорожного полотна на больших по длине отрезках дороги. Предлагается методика выделения дефектов в виде трещин и оценки параметров, которые определены в нормативных документах. В результате проведенных исследований были получены и обработаны реальные изображения с помощью предложенной авторами методики, которая показала высокую скорость и точность, что указывает на возможность использования её на практике.
Ключевые слова: дефекты дороги, изображение, компьютерное зрение, беспилотный летательный аппарат.
Цитирование: Катаев, М.Ю. Методика обнаружения дефектов дорог с использованием изображений, полученных с беспилотных летательных аппаратов / М.Ю. Катаев, Е.Ю. Карташов, В.Д. Авдеенко // Компьютерная оптика. - 2023. - Т. 47, № 3. - С. 464-473. - DOI: I0.18287/2412-6179-C0-I209.
Citation: Kataev MY, Kartashov EY, Avdeenko VD. Method for detecting road defects using images obtained from unmanned aerial vehicles. Computer Optics 2023; 47(3): 464-473. DOI: 10.18287/2412-6179-C0-1209.
Введение
Автомобильный транспорт - наиболее распространенный вид транспорта во всем мире, и одной из наиболее важных причин дорожно-транспортных происшествий на дорогах являются дефекты дорожного покрытия, которые вызваны либо сложными погодными условиями, большими транспортными потоками, либо неправильными действиями при дорожном строительстве. Деформация дорожного покрытия приводит к растрескиванию, появлению блочных трещин, поперечным трещинам, появлению колеи и др. Устранение дорожных дефектов является сложной работой, так как вынуждает ограничивать движение, при этом традиционный мониторинг состояния дорог и обнаружение дефектов на поверхности выполняются преимущественно визуально или на специализированных транспортных средствах, оснащенных дорогостоящими приборами. Специализированные организации проверяют состояние дорог визуально или сначала делают изображения и потом проверяют расчеты вручную, что делает этот процесс трудоемким, а результаты неоднородными, субъективными и на некоторое время сдвинутыми. Специа-
лизированные транспортные средства оснащены цифровыми камерами линейного сканирования или типичными RGB-камерами, направленными вниз (перпендикулярно к дороге), чтобы получать изображения дорожных покрытий. Иногда применяют весьма дорогостоящие лазерные сканаторы, стереозрение без подсветки или с подсветкой и т.д. Указанные выше средства позволяют выполнять измерения для широких дорог и невозможны для более узких дорожных покрытий, переулков или велосипедных дорожек, и, кроме того, полученные результаты являются достаточно дорогими.
Поэтому для решения задачи обнаружения дефектов дорожного полотна требуется быстрый, дешевый, точный метод, позволяющий получать информацию о состоянии дорожного полотна на больших расстояниях. Цель разрабатываемой программно-аппаратной системы, часть из которой представлена данной статьей, связана с повышением качества дорожного покрытия за счет своевременного обнаружения дефектов дороги и оценки их характеристик, обеспечения безопасности на дорогах, улучшения качества содержания дороги, уменьшения расходов на поддержание качества дорожного покрытия.
Одним из методов, отвечающих указанным требованиям, и является компьютерное зрение, в основе которого лежит использование методов обработки изображений. Подход компьютерного зрения основывается на том, что дефект на изображении имеет контраст с дорожным покрытием (более темный), что позволяет его достаточно точно определять, но при этом при получении изображений дороги необходимо иметь в виду, что контраст уменьшается из-за определенного угла освещения дорожного покрытия или изменения в различных погодных условиях (дождь, туман, снег). Также следует учитывать и характеристики цифровой камеры, которые тоже влияют на качество изображений.
1. Постановка задачи
В настоящее время наличие цифровых устройств порождает огромное количество потоков и типов данных, что позволяет делать выводы об исследуемых процессах и объектах быстрее и точнее как никогда раньше. Объемы данных и их структура формирует направление, которое определяется как «большие данные». Соответственно с большими данными возникает необходимость разработки соответствующих подходов для аналитики и вычислительных средств, что ведет к расширению возможностей для управления и принятия решений. Решение задачи контроля состояния дорожного покрытия относится к направлению больших данных при использовании специализированных устройств, что требует привлечения достаточных для этого средств и соответствующих специалистов. Для получения показателей скорости и точности определения состояния дорожного покрытия можно использовать обыкновенные цифровые камеры, установленные на типовые автомобили, чтобы компенсировать высокую стоимость специализированных транспортных средств и средств получения изображений. Однако время получения изображений для исследуемого участка дороги получается достаточно большим, так как требует проезда автомобиля по всем полосам, в разных направлениях. Таким образом, выбор беспилотного летательного аппарата для исследований дорожного состояния полотна мотивировано практическими аспектами.
Беспилотные летательные аппараты (БПЛА) проектируются и собираются на основе требований и в основном классифицируются на две категории: 1) с неподвижным крылом (самолётный тип) и 2) многомоторные (вертолётный тип). БПЛА с неподвижным крылом имеют ограничения для применения в городских условиях с точки зрения сложной конструкции, безопасности полета около энергетических и высотных объектов (здание или труба) и требований к взлетно-посадочной полосе. Присутствуют и преимущества с точки зрения долговечности и большой полезной нагрузки. Многомоторные БПЛА используют вертикальный взлет и посадку и больше подхо-
дят для городской местности, однако имеют существенно меньшее время полета и требуют регулярной смены электрических батарей.
К преимуществам использования БПЛА в целях мониторинга состояния дорожного покрытия можно отнести: 1) возможность запрограммировать их для полета в автономном режиме и 2) управлять им в режиме реального времени для навигации и сбора данных, используя различные многочисленные и взаимозаменяемые устройства измерений (локаторы разных типов или RGB цифровые камеры). Кроме того, многороторные БПЛА могут летать на меньшей высоте, обладают большей маневренностью и могут собирать данные с более высоким пространственным разрешением. Надо отметить, что БПЛА становится с каждым годом проще в использовании, долговечнее и надежнее и не требует значительного по времени накопления опыта и обучения. Стоимость БПЛА также снижается при улучшении технических возможностей.
2. Мониторинг дорог
В соответствии с рекомендациями нормативных документов определяются элементы технического обслуживания дорог [1], [2]. Все виды работ с дорожным полотном должны приводить к следующим эксплуатационным показателям дороги: обеспечение скорости и пропускной способности, непрерывности движения транспорта, комфортности и безопасности движения. Определяется, что к обеспечению безопасности и улучшению организации движения относятся: поддержание требуемой ровности покрытия дороги, устранение дефектов покрытий в виде выбоин, ям, трещин и других деформаций, поддержание требуемой шероховатости покрытия, поддержание поверхности дороги в чистом состоянии путем своевременного удаления с нее пыли, грязи, песка. Указывается, что минимальная ширина трещины составляет 5 мм на протяженности участка дороги не менее 0,5 км. Согласно указанным выше нормативным документам, планируется проводить обследование конкретного участка дороги в установленные сроки и не реже одного раза в течение года. Для организации видов работ при техническом обслуживании участка дороги требуется понимание наличия видов дефектов, например, трещин, выбоин, ям и т. д.
В настоящее время дорожные службы используют традиционные методы, требующие личных измерений «пройди и посмотри» и реже применяют программно-аппаратные комплексы для измерения определенных дефектов поверхности дорог. Могут использоваться и опросы водителей, которые оценивают местоположение и серьезность дорожных дефектов на основе чаще всего автомобильных регистраторов. Традиционные методы позволяют получать информацию о дорожных дефектах в форме записей и фотографий, но получение этих данных занимает много времени. Помимо времени получения данных,
в таких методах уходит большое время на их интерпретацию и необходимые расчеты. Поэтому интеграция аппаратных (приборных) способов измерения и вычислительных комплексов позволяет получить нужные результаты в гораздо меньшее время, без потери точности.
Носителями приборов могут быть специалисты, транспортные средства, беспилотные летательные аппараты и самолеты. Самолетные платформы позволяют получать невысокое пространственное разрешение (сантиметры), но быстро собирают данные с высот примерно 200 - 300 метров над большой территорией, однако такие измерения являются достаточно дорогими. Беспилотные летательные аппараты (БПЛА) способны получать изображения высокого разрешения (на уровне 0,5 - 1 см), близкие к реальному времени, с существенно меньшими затратами, чем самолетные измерения. Надо отметить, что самыми популярными подходами являются пешеходный и транспортный варианты, а менее проработанными -подходы, основанные на воздушных аппаратах. По применению БПЛА в задаче контроля качества дорожного покрытия работы только начинают появляться. Что выражается в отсутствии проработанных требований к организации полета БПЛА (высота, маршрут и т.д.), к методикам обработки, а также к формируемым отчетным документам.
Транспортные средства чаще всего используются во всем мире для оценки дефектов дорожного покрытия с помощью широкого класса измерительных приборов с преимуществом перед другими способами измерений в непрерывности получения данных с высоким пространственным разрешением (1 - 10 мм). Они также способны получать данные измерений под деревьями и мостами с применением таких приборов: лазерные 2Б- или 3Б-сканеры, видеокамеры разного класса, георадары, тепловизоры и др. [3 - 5].
Помимо всех неоспоримых преимуществ, которые были описаны ранее, у этого вида измерений есть несколько ограничений, одним из них являются правила полетов (например, нельзя выполнять полеты вблизи аэропортов и других закрытых объектов). Другим ограничением является влияние ветра (до 10 м/с), который способен перемещать БПЛА и создавать небольшие отклонения в его траектории, что может
привести к получению размытых изображений даже при наличии соответствующих устройств коррекции. Ещё одним из ограничений применения БПЛА является выбор места взлета и посадки, нависающие над дорогой деревья и разрешительные нормативные процедуры. Другим серьезным ограничением БПЛА является емкость аккумулятора и время полета, что для квадрокоптеров составляет 20 - 40 минут автономной работы, а для самолетов - 1 - 2 часа. Однако при наличии соответствующих разрешений, выбрав безветренный и без осадков (дождь или снег) день, можно за определенное время получить изображения дороги большой длины (около 100 км) [6 - 8].
3. Повреждения дорожного покрытия
Повреждение (дефекты) дорожного покрытия -это любой тип дефекта дорожного покрытия, который указывает на снижение состояния поверхности дороги, что влечет к снижению эксплуатационных показателей [1]. Определим виды дефектов дорожного покрытия.
1) Колея. Колеи вызваны деформациями, связанными с недостаточной прочностью дорожного покрытия при высокой интенсивности движения транспортных средств.
2) Выбоины - это углубления, возникающие на участках дороги, где основание дороги, как правило, подвергалось воздействию высокой влажности из-за трещин на асфальтированном слое. Этот вид является самым распространенным дефектом поверхности как на дорогах с твердым покрытием, так и на дорогах без покрытия.
3) Трещины на дорожном покрытии могут возникать по разным схемам и с разной частотой в течение года и вызваны подвижками или проседанием нижележащих слоев дорожного покрытия. Если оставить их без внимания, тогда трещины превращаются в выбоины (рис. 1а и 16).
4) Яма. Для дорог с твердым основанием выбоины в конечном итоге развиваются и превращаются в ямы (рис. 1в).
5) Впадины вызваны неравномерным проседанием слоев дорожного покрытия.
Отдельные виды дефектов дорожного покрытия приведены на рис. 1.
Рис. 1. Изображения дороги, где присутствуют дефекты дорожного покрытия (а -
б — трещина продольная и в — ямы)
сеточная структура трещин,
4. Обзор программного обеспечения
В области контроля состояния дорог есть немало разработанных и поддерживаемых программных продуктов, например, «ГИС федеральных автомобильных дорог». Он представляет из себя банк данных о состоянии дорог [9], Программа «Титул-2005» [10] предназначена для хранения, учета и анализа различных характеристик дорог. Геоинформационная система (ГИС) автомобильных дорог IndorRoad [11] предназначена для сбора информации, возникающей в ходе эксплуатации и сопровождения автомобильных дорог. Сеть автомобильных дорог представлена в ГИС в виде карты, которая имеет слои, связанные с жизненным циклом дороги, от планирования до ремонтов, где собирается информация о дефектах. На основе работы этой программы был подготовлен документ [12]. ГИС «Автодор» [13] предназначена для обеспечения работы с метаданными, возникающими в ходе сопровождения автомобильных дорог, где в качестве одного из параметров могут быть указаны обнаруженные дефекты.
Программа «Единый государственный реестр автомобильных дорог» [14] предназначена для сопровождения деятельности Федерального дорожного агентства по ведению реестра автомобильных дорог Российской Федерации. В программе реализованы функции описания участков дорог в виде хранения информационных карт, куда заносится информация о состоянии дороги и выполняемых работах на ней. Отраслевой автоматизированный банк дорожных данных (АБДД «Дорога») собирает информацию о состоянии дорог и на ее основе определяет оценку технического состояния автомобильных дорог, выделяет аварийные участки и рассчитывает потребность в дорожных работах [2]
Выполняя анализ указанных выше программ и некоторых других, можно отметить, что практически все программы предназначены для получения информации о дефектах дорожного полотна и дальнейшего её анализа. Рассмотренные программы не имеют средств обработки изображений, полученных со спутников или БПЛА, приводящих к оценке дефектов участков дороги.
5. Методика сбора данных БПЛА
Сбор данных осуществляется с помощью квадро-коптера (БПЛА), который имеет 12-мегапиксельную RGB-камеру. Схема получения изображений во время полета квадрокоптера приведена на рис. 2.
Этого достаточно для фиксации минимальной трещины (5 мм). Подобный расчет легко выполнить с помощью геометрических преобразований на основе рис. 2, когда Ях = (2-Я1^ (ах /2)) / Их.
Для камеры с лучшим разрешением (например, 24 мегапикселя) высота полета может быть выше. Цифровая камера настраивается на получение изображе-
ний с 70 % перекрытием для создания ортофотоплана и уменьшения влияния потоков ветра. Время съемки выбирается летнее, ранним утром, когда на дорогах минимум машин. Получение изображений проводится с опцией получения координат каждого изображения, что необходимо для связи получаемого ортофо-топлана с географической информационной системой.
Рис. 2. Получение изображений БПЛА при полете над дорогой
На рис. 2 приведен БПЛА, который летит на высоте Н над дорогой, захватывая в поле зрения камеры (ах, ау) область дороги размером (Ьх, Ьу) и прилегающую территорию. Высота полета БПЛА определяется необходимой точностью определения дефектов, согласованной с нормативными документами (ширина 5 мм) и должна быть выше электрических столбов освещения, высота которых равна 9,5 - 13,5 метров [15]. В пределах города одна полоса может меняться от 2,75 до 4 метров [16]. С учетом этого двухполосная дорога займет от 7,5 до 8 метров и для Ьу = 20 метров, высота полета Н = 12 метров или немного выше. Для 12-мегапиксельной камеры число пикселей составляет (Их, Иу) = (4000^3000), что получается в пространственном разрешение Ях = 3 мм.
6. Структура программного обеспечения
Для детектирования дефектов возможно применение методов обнаружения краев, которые надо настраивать на различное изменение условий, которые формируют изображение. При изменении условий (погода или освещение в течение дня) происходит изменение цвета исследуемой области изображения, что затрудняет обнаружение дефектов. В этом случае важность предварительной обработки приобретает особый статус для более четкого различения особенностей дорожного покрытия, которые имеют одинаковую текстуру, на которую наложены следы шин, разливов масла и т.д. Дефекты дорожного покрытия, например, трещины, представляют собой более темную область изображения, которая имеет не всегда сплошную линию.
Для решения задачи выделения на изображении дороги дефектов разработано программное обеспечение, основные элементы которого приведены на рис. 3.
Получение набора изображений Построение ортофотоплана
Тематическая обработка Предварительная обработка
Построение отчета Передача результатов в QGIS
Рис. 3. Основные элементы программы обработки изображений, полученных с БПЛА
Из рис. 3 видно, что на первом этапе выполняется полет БПЛА и получение набора изображений над исследуемым участком дороги. Далее выполняется построение ортофотоплана, например, в известной программе Agisoft [17] или Open Drone Map photogrammetry [18]. Следующий шаг связан с предварительной обработкой полученного ортофотоплана, когда выполняются действия по получению участков дороги, равных 100 метрам по длине. Последовательно каждый участок разбивается на равные блоки (Kx, Ky), и каждый блок обрабатывается отдельно (типичный размер блока 0,5^0,5 метра или около 170x170 пикселей).
Следует заметить, что изображения асфальта относятся к области однородных по яркости, где отличительными особенностями являются: разметка, дефекты,
мусор и тени. Площадь таких особенностей относительно общего участка дороги составляет несколько процентов, что позволяет, по согласованию с специалистами автодорожных служб, на первом этапе проектирования и апробации программно-аппаратного комплекса их не учитывать.
В данной работе используется шаблонный поиск дефектов дорожного покрытия, основанный на сравнении яркостной составляющей текущего блока и шаблона. Так как БПЛА захватывает в изображении не только дорожное полотно, но и обочину, которая отличается по своей структуре, возникает необходимость на первом шаге выделить на изображении только дорожное полотно. Предлагается это выполнить с помощью шаблонного подхода, когда заранее рассмотрены различные ситуации гистограмм яркости (Я, в, В) каналов, связанные с дорожным покрытием и обочиной. Для расчета гистограмм яркости были выделены различные ситуации изображений размером 300x300 пикселей. Результаты расчета гистограмм яркости (Я, в, В) каналов показаны на рис. 4 для случаев чистого, без дефектов асфальта (4а), асфальта с дефектами (46) и обочины (4в). Из рис. 4 видно, что гистограммы дорожного полотна (без и с дефектами) и обочины существенно отличаются друг от друга. Далее для каждого случая и каналов (Я, в, В) по гистограмме рассчитывается среднее значение и дисперсия, что позволяет построить эффективный алгоритм сегментации [19] выделения только дорожного покрытия.
а)
б)
в)
Рис. 4. Гистограммы яркости каналов для случаев: чистого, без дефектов асфальта -асфальта с дефектами - б и придорожной части (обочины) - в
Для такого подхода изменения яркости изображения за счет побочных эффектов, таких как тень от деревьев, фонарного столба, являются критическими и в связи с этим выдвигаются некоторые дополнительные требова-
ния к подаваемым на вход тематической обработки изображениям [20 - 23]. На стадии предварительной обработки повышается уровень контрастности, для того чтобы было возможно различать мелкие трещины.
а
Рассмотрим применяемый алгоритм изменения контраста в каждом блоке изображения (IRk (i,j), IGk (i, j), IBk (i, j)), где I (i, j) - часть изображения, попадающая в блок k для каждого канала (R,G,B). Находится среднее значение яркости в каждом канале mR (k) = < IRk (i, j)> и для других каналов выполняется аналогичная процедура. Далее применяется изменение яркости (mR (k), mG (k), mB (k)) методом гамма-коррекции [20]:
ml (k) = max (m (k) / max)", (1)
где m (k), ml(k) - средняя яркость блока до и после преобразования; max=256 - максимальная яркость пикселя; " - величина, которая меняется в диапазоне (0,1^10) и подбирается эмпирически под изображение асфальта.
Относительное
число пикселей
Яркость изображения Рис. 5. Отличие относительных гистограмм яркости серого изображения светлого и темного асфальта
На рис. 5 показано изображение относительной яркости дорожного покрытия для светлого и темного асфальта.
Относительное число пикселей
Уровень яркости Рис. 6. Отличие гистограмм яркости серого изображения дорожного покрытия без трещины и с трещиной
Из анализа рис. 5 можно сделать вывод, что формы гистограмм разные для светлого и темного асфальта по положению максимума и дисперсии, что важно для ал-
горитма поиска трещин. На рис.6 приведено отличие гистограмм яркости дороги серого изображения без трещины и с трещиной при заданном размере блоков разбиения участков дороги. Размер блока подбирался таким образом, чтобы эффективность обнаружения трещин была высокой [24 - 26].
Серое изображение рассчитывалось на основе анализа данных, приведенных на рис. 4, который показывает незначительное отличие гистограмм яркости каналов RGB для разных случаев, возникающих на любом участке дороги. В настоящей статье нами рассматривается лишь ситуация сухого асфальта, так как при влажном асфальте возможно наличие луж (воды), которые могут скрывать явные дефекты дорожного покрытия. Заметим, что из обработки большого числа изображений пропорции изображений с трещиной и без нее остаются для светлого и темного асфальта. Это обстоятельство позволяет построить алгоритм поиска трещин и ям вне зависимости от цвета асфальта.
Наличие на дорожном покрытии разметки и теней не влияет на выявление дефектов (ям и трещин), так как рассматривается незначительный по размеру блок изображения (в ходе экспериментов выбран размер 50 х50 пикселей) и трещина всегда будет темнее. Наличие мусора на дорожном покрытии не рассматривается в данной версии статьи по причине небольшой площади по отношению к дорожному покрытию, кроме случая заноса части дороги элементами обочины (возможно, песок, гравий и земля), когда такой дефект будет иметь существенные отличия в гистограмме яркости (например, рис. 4е) от чистого асфальта [27 - 29]. Отличие гистограммы яркости около обочины (рис. 4е) от чистого асфальта (рис. 4а) позволяет строить алгоритм обнаружения таких участков за счет выявления несимметричности контура гистограммы при переходе от отдельных каналов к серому изображению.
Следующий этап предварительной обработки связан с преобразованием контрастированного изображения в градации серого. Для более точного детектирования ям или трещин на изображениях дороги выполняется фильтр размытия Гаусса, чтобы уменьшить вариации яркости на краях дефектов. После этого из полученного изображения для каждого блока вычитается изображение шаблона того же размера. Полученная разность на основе порогового алгоритма преобразуется к бинарному виду (см. рис. 7). Так как на бинарном изображении могут возникать артефакты (небольшого размера белые области), которые не относятся к дефектам, то они удаляются фильтром, отсекающим области менее определенной площади.
Помехами для извлечения признаков дефектов на дорожном покрытии является множественное освещение (Солнце и лампа придорожного фонаря) и изменения освещения в течение дня (из-за чего меняется цвет дороги), тени от деревьев и столбов дорожного освещения, придорожных рекламных щитов и т. д.
Эти изменения цвета приводят к тому, что необходимо учитывать временные отрезки получения изображений и соответствующим образом корректировать их.
После получения бинарного изображения появляется возможность измерить размер дефекта (длина, площадь) известным, простым и надежным методом жука [14], для чего надо найти первую белую точку как стартовую. Далее надо применить маску, определяемую табл. 1, и правило обхода пикселей маски по направлениям, как в табл. 2.
Табл. 1. Маска пикселей изображения для поиска границы
(х - 1, у -1) (х - 1, у) (х - 1, у + 1)
(х, у - 1) (Л у) (х, у + 1)
(х + 1, У - 1) (х + 1 у) (х - 1, у + 1)
Считая, что точка (х, у) является точкой контура, следующая точка контура должна находиться в пределах 8 соседних пикселей относительно этой точки (табл. 1). Направление обхода пикселей в маске представлено в табл. 2.
Табл.2. Направление обхода маски пикселей (табл. 1)
4 3 2
5 (х у) 1
6 7 8
Согласно направлению поиска (табл. 2), происходит поиск белого пикселя с пикселем 1 по направлению налево, к следующему элементу маски. Если этот элемент белый, то маска смещается в направлении нового найденного белого пикселя, который ста-
> *
новится центром. Далее маска поворачивается направо, иначе - налево и процедура обхода маски повторяется, пока весь контур не будет пройден. При обходе записываются координаты каждого пикселя контура, что позволяет вычислить длину контура по выражению [25]:
й (к) = ^(х(0 - х (/))2 + (у (0 - у (/))2, (2)
где к - число точек контура; (^/) - координаты точек контура.
После вычисления й (к) появляется возможность вычислить размеры (длину и площадь) найденных дефектов, которые имеют белый цвет (рис. 4). Зная пространственное разрешение, можно получить фактический размер дефектов на изображении. С определенной погрешностью возможно и определить глубину трещины или ямы по перепаду яркости самого темного пикселя дефекта и средней яркости изображения. Полученный результат переводится в физические единицы (мм) с учетом пространственного разрешения Ях (см. выше по тексту).
Длину дефекта можно определить по [25], [26]:
В = тах (й (к)).
(3)
Далее выполняется формирование отчета, где из бинаризованного изображения формируется отчет, содержащий размеры дефектов. Полученный отчет передается в географическую систему QGIS для отображения в привязке к географическим координатам и понимания местоположения дефектов [28, 29].
Рис. 7. Бинаризация изображения в блоке
7. Полученные результаты
На рис. 8 приведен результат поиска дефектов дорожного покрытия на участке дороги и в увеличенном размере (белый прямоугольник в левом нижнем углу) показаны найденные контуры трещин. Изображение участка дороги 30 метров получено с квадро-коптера (БПЛА), пролетевшего над дорогой в 6 утра на высоте 12 метров.
Из изображения в белой рамке на рис. 8 видно, что найдены практически все дефекты на исследуемом участке дороги. Для каждого блока (выделен в
белой рамке) найденные контуры дефектов нумеруются, и для каждого выполняется расчет размеров (длина, площадь).
Надо отметить, что важным направлением развития подходов компьютерного зрения являются нейронные сети, которые часто встречаются и в обсуждаемой в статье проблемы [30]. Однако для решения подобной задачи необходимо иметь качественно выполненную разметку трещин на дороге и большое количество изображений для обучения нейронной сети, что является весьма затратным по времени и вычислительным ресурсам мероприятием. При этом до-
стигаемая точность не превышает результатов, которые получены в данной статье и некоторых других, приведенных в списке литературы.
8. Анализ эффективности
Для оценки эффективности обнаружения и фиксации дефектов дорожного покрытия нами используется общепринятая модель [31], где точность обнаружения трещин на дорожном покрытии определяется как отношение правильно классифицированных изображений к общему количеству рассмотренных изображений. В качестве изображений берется не само изображение, а отдельные блоки, размер которых составляет примерно 0,5*0,5 метра. Оценки эффективности работы алгоритма обнаружения трещин на дорожном полотне состоит в следующих расчетных шагах. Пусть у нас есть два набора изображений, одно из которых является шаблоном (Р1), для которого расчеты выполнены заранее и подтверждена их точность, т.е. с известными характеристиками {Р1(1), Р1(2)}, где Р1(1) - трещина и Р1(2) - дорожное покрытие без трещин (заранее часть изображений дорожного покрытия размечено), и Р2 набор {Р2(1), Р2(2)}, здесь Р2(1) - трещина и Р2(2) - дорожное покрытие без трещин, что найдено из работы предлагаемого в статье алгоритма. Тогда количество истинных положительных срабатываний алгоритма выделения трещин состоит из пар изображений, которые оказались правильно сгруппированными. Количество ложных срабатываний состоит из пар изображений, для которых выполнена неверная группировка. Ложные срабатывания возникают при обработке изображений при наличии на полотне дороги объектов, так как элементы освещения, провода, камни, сучки, проволока и т.д., которые отличаются по цвету от асфальта. Решение этих проблемных сторон повышения точности обнаружения трещин на дорожном покрытии является направлением дальнейших исследований авторов данной статьи.
Выбрав определенный участок дороги (например, показанный на рис. 8), можно получить результаты
автоматического обнаружения трещин участка дороги. Расчет показал, что точность (accuracy) для выбранного участка дороги составляет 92 %, полнота -86 % и F-мера - 89 %. Полученный результат является достаточным для решения задачи автоматизации выявления трещин и ям на дорожном покрытии при получении изображений с помощью БПЛА. На основе полученных результатов составляется отчет, в котором записывается координата середины участка дороги и все трещины нумеруются, рассчитывается их длина, рассчитывается ширина каждой трещины, которая потом является основой для суммарной длины трещин и средней ширины трещин.
В направлении исследований обнаружения трещин на дорожном покрытии имеется много направлений, где очень часто применяются методы машинного обучения, такие как нейронные сети, метод опорных векторов, К-ближайших соседей, случайные леса и др. В работе [32] проведено сравнение большинства методов машинного обучения в задаче обнаружения трещин на дорожном покрытии, где точность (accuracy) варьируется от 51,6 до 70,7 %. В работе [33] показывается сравнение различных вариантов нейронных сетей для детектирования трещин кирпичной кладки по изображению и демонстрируется разброс точности от 86,5 до 95,3 %. Анализ многих других статей показывает, что точность по многим методам обнаружения трещин находится в диапазоне 50 - 95 %, и поэтому полученные результаты в данной статье являются достаточно хорошими по сравнению со многими другими подходами.
Заключение
Разработана программная система (методика), которая способна обнаруживать и измерять параметры дефектов на дорожных покрытиях. Обнаружение дорожных дефектов имеет высокую точность, которая определяется нормативными документами автодорожных служб. Передача информации о дефектах в географическую информационную систему позволяет использовать результаты в практической работе автодорожных служб. Экспериментально показано, что трещины менее 1 см могут быть обнаружены, что очень близко к необходимым по нормативным документам показателям. Нахождение глубины трещин и ям позволяет с определенной точностью рассчитать объем дефектов, что важно при автоматизированном расчете объемов материалов для проведения ремонта дороги. Тем не менее, надо отметить, что цвет дороги, который меняется в зависимости от времени дня и состояния погоды, влияет на показатели точности выполняемых в программной системе операций обработки изображений. Это обстоятельство заставляет авторов статьи продолжить исследования и разработку более совершенных подходов, которые учитывают мешающие достижению высокой точности факторы. В настоящей версии программной системы авторами
не затрагивался такой показатель важности, как время вычислений. Это является также предметом дальнейших исследований и разработки скоростных алгоритмов, позволяющих обрабатывать большие по размеру изображения ортофотопланов в достаточное для практических нужд время.
References
[1] Technical rules for the repair and maintenance of roads. VSN 24-88. Moscow: "FSUE TsPP" Publisher; 2006.
[2] Rules for the development of road maintenance projects. ODM 218.3.110-2019. Moscow: "Rosavtodor" Publisher; 2019.
[3] Ranyal E, Sadhu A, Jain K. Road condition monitoring using smart sensing and artificial intelligence: A review. Sensors 2022; 22(8): 3044.
[4] Di Graziano A, Marchetta V, Cafiso S. Structural health monitoring of asphalt pavements using smart sensor networks: A comprehensive review. Journal of Traffic and Transportation Engineering 2020; 7: 639-651.
[5] Premachandra C, Waruna H, Premachandra H, Parape CD. Image based automatic road surface crack detection for achieving smooth driving on deformed roads. IEEE Int Conf on Systems, Man, and Cybernetics 2013: 4018-4023.
[6] Romero-Chambi E, Villarroel-Quezada S, Atencio E, Rivera MF-L. Analysis of optimal flight parameters of unmanned aerial vehicles (UAVs) for detecting potholes in pavements. Appl Sci 2020; 10(12): 4157.
[7] Pan Y, Zhang X, Cervone G, Yang L. Detection of asphalt pavement potholes and cracks based on the unmanned aerial vehicle multispectral imagery. IEEE J Sel Top Appl Earth Obs Remote Sens 2018; 11(10): 3701-3712.
[8] Pascucci S, Bassani C, Palombo A, Poscolieri M, Cavalli R. Road asphalt pavements analyzed by airborne thermal remote sensing: preliminary results of the venice highway. Sensors 2008; 8(2): 1278-1296.
[9] Geoportal GIS GC "Avtodor" [In Russian]. 2023. Source: <https://gis.russianhighways.ru>.
[10] "Titul-2005". Road industry software [In Russian]. 2023. Source: <http://titul2005.ru>.
[11] IndorSoft [In Russian]. 2023. Source: <https://www.indorsoft.ru>.
[12] Geoinformation systems of highways. The procedure for collecting, storing and updating data. ODM 218.9.0082019. Moscow: "Rosavtodor" Publisher; 2019.
[13] Avtodor [In Russian]. 2023. Source: <https://avtodor-sz.ru>.
[14] Federal Road Agency Rosavtodor [In Russian]. 2023. Source: <https://rosavtodor.gov.ru>.
[15] GOST 32947-2014. Automobile roads of general use. Supports of stationary electric lighting. Technical requirements [In Russian]. Moscow: "Standartinform" Publisher; 2019.
[16] GOST R 52399-2005. Geometric elements of roads [In Russian]. Moscow: "Standartinform" Publisher; 2006.
[17] Agisoft. Discover intelligent photogrammetry with Metashape. 2023. Source: <https://www.agisoft.com>.
[18] OpenDroneMap. 2023. Source: <https://www.opendronemap.org>.
[19] Kataev MYu, Kartashov EYu, Kuznetsov AA. Clustering technique for agricultural fields based on RGB images of unmanned aerial vehicles. Reports of TUSUR 2021; 24(3): 50-56.
[20] Gonzalez RC, Woods RE. Digital image processing. 3rd ed. Prentice Hall; 2008.
[21] Pratt WK. Digital image processing [In Russian]. Part 1. Moscow: "Mir" Publisher; 1982.
[22] Pratt WK. Digital image processing [In Russian]. Part 2. Moscow: "Mir" Publisher; 1982.
[23] Krasilnikov NN. Digital processing of 2D and 3D images [In Russian]. Saint-Petersburg: "BHV-Petersburg" Publisher; 2011.
[24] 24. Katulev AN, Khramichev AA, Yagolnikov SV. Digital processing of 2D low-contrast images generated by an optoelectronic device in complex background conditions: detection, recognition, tracking of dynamic objects [In Russian]. Moscow: "Radiotehnika" Publisher; 2018.
[25] Furman YaA. Introduction to contour analysis. Applications to image and signal processing [In Russian]. Moscow: "Fizmatlit" Publisher; 2003.
[26] Sadykov SS, Stulov NN. Methods and algorithms for identifying features of objects in technical vision systems [In Russian]. Moscow: "Hotline-Telecom" Publisher; 2005.
[27] Oliveira H, Correia PL. Road surface crack detection: Improved segmentation with pixel-based refinement. 25th European Signal Processing Conf (EUSIPCO) 2017: 20262030.
[28] Cubero-Fernandez A, Rodriguez-Lozano FJ, Villatoro R. Efficient pavement crack detection and classification. J Image Video Proc 2017; 2017: 39.
[29] Gavil<n M, Balcones D, Marcos O, Llorca DF, Sotelo MA, Parra I, Ocana M, Aliseda P, Yarza P, Amirola A. Adaptive road crack detection system by pavement classification. Sensors 2011; 11: 9628-9657.
[30] Wang W, Su C. Convolutional neural network-based pavement crack segmentation using pyramid attention network / W. Wang and // IEEE Access. - 2020. - Vol.8. -P. 206548-206558.
[31] Choi SS, Cha SH, Tappert CC. A survey of binary similarity and distance measures. Int J Syst Cybern Inform 2010; 8(1): 43-48.
[32] Protopapadakis E, Voulodimos A, Doulamis A, Doulamis N, Stathaki T. Automatic crack detection for tunnel inspection using deep learning and heuristic image postprocessing. Appl Intell 2019; 49: 2793-2806.
[33] Dais D, Bal IE, Smyrou E, Sarhosis V. Automatic crack classification and segmentation on masonry surfaces using convolutional neural networks and transfer learning. Autom Constr 2021; 125: 103606.
Сведения об авторах
Катаев Михаил Юрьевич, доктор технических наук, профессор Томского университета систем управления и радиоэлектроники. Область научных интересов: обработка сигналов и изображений, алгоритмы. E-mail: kmy@asu.tusur.ru .
Карташов Евгений Юрьевич. Кандидат технических наук, инженер Томского университета систем управления и радиоэлектроники. Область научных интересов: беспилотные летательные аппараты. E-mail: kart.62@yandex.ru .
Авдеенко Владислав Дмитриевич, 2000 года рождения, в 2022 году окончил Томский государственный университет систем управления и радиоэлектроники по специальности 09.03.01 «Программное обеспечение средств вычислительной техники и автоматизированных систем». Область научных интересов: обработка цифровых изображений. E-mail: vlades2000@gmail.com .
ГРНТИ: 20.53.19
Поступила в редакцию 12 августа 2022 г. Окончательный вариант - 23 декабря 2022 г.
Method for detecting road defects using images obtained from unmanned aerial vehicles
M.Yu. Kataev1, E.Y. Kartashov1, V.D. Avdeenko1 1 Tomsk State University of Control Systems and Radioelectronics, 634050, Russia, Tomsk, Lenin Ave. 40
Abstract
With road defects being a key factor in traffic accidents, driver safety, vehicle condition and travel speed, they need to be promptly repaired. The defects include cracks, ruts and potholes on the road surface, and if not repaired in due time, they grow in size very quickly. There are various methods that are used to detect road defects, one of which is a computer vision method. Typically, digital cameras are installed on cars and then the resulting set of images from a given section of the road is processed. This article proposes a technique for obtaining images using unmanned aerial vehicles, which provides the required amount of data to assess the road condition on lengthy road sections. A technique for identifying road cracks and estimating parameters defined in the road traffic regulations is proposed. As a result of the studies, real images are obtained and processed using the method proposed herein, showing high performance and accuracy and indicating the possibility of its future practical uses.
Keywords: road defects, image, computer vision, unmanned aerial vehicle.
Citation: Kataev MY, Kartashov EY, Avdeenko VD. Method for detecting road defects using images obtained from unmanned aerial vehicles. Computer Optics 2023; 47(3): 464-473. DOI: I0.18287/2412-6179-C0-I209.
Authors' information
Mikhail Yurievich Kataev, Doctor of Technical Sciences, Professor of the Tomsk University of Control Systems and Radioelectronics. Research interests: signal and image processing, algorithms. E-mail: kmy@asu.tusur.ru .
Evgeny Yurievich Kartashov, Candidate of Technical Sciences, Engineer of the Tomsk University of Control Systems and Radioelectronics. Research interests: unmanned aerial vehicles. E-mail: kart.62@yandex.ru .
Vladislav Dmitrievich Avdeenko, (b. 2000), graduated from the Tomsk State University of Control Systems and Radioelectronics in 2022 with a degree in 09.03.01 "Software for Computer Engineering and Automated Systems". Research interests: digital image processing. E-mail: vlades2000@gmail.com .
Received August 12, 2022. The final version - December 23, 2022.
