CC BY
98УДК 004.021
И.А. Шемарулин, В.Ю. Карпычев
РАСПОЗНАВАНИЕ ДОРОЖНЫХ ЗНАКОВ НА ОСНОВЕ ЦВЕТНЫХ КОНТУРОВ
Нижегородский государственный технический университет им. Р.Е. Алексеева
Представлен алгоритм распознавания дорожных знаков на основе цветных контуров. Проведены измерения пороговых значений красного цвета в разное время суток и различных погодных условиях. Описаны основные преимущества использования модели HSV. Предложен общий алгоритм детектирования дорожных знаков на изображении.
Ключевые слова: компьютерное зрение, нейронная сеть, цветовое пространство, морфологические операции, видеосигнал.
Увеличение числа дорожно-транспортных происшествий на дорогах общего пользования в Российской Федерации является одной из серьёзных проблем настоящего времени. Очевидно, что в большинстве случаев так называемый «человеческий фактор» является главной причиной текущей аварийной ситуации на дорогах. Как правило, водитель, находясь в стрессовой ситуации, не успевает заметить предупреждающие знаки или знаки ограничения максимальной скорости движения. Учитывая это, один из способов решения данной проблемы в виде интеллектуализации процесса управления транспортным средством выглядит вполне применимым, а разработка алгоритмов распознавания дорожных знаков и их реализация в виде автоматизированной системы являются актуальными на сегодняшний день задачами.
В настоящее время на фоне быстрого развития так называемых Е-Саг'ов интеллектуальных автомобилей, наработки в области распознавания объектов на дороге и разработка различных вспомогательных средств для управления автомобилем требуют пристального внимания.
Несмотря на то, что многие автомобили представительского класса уже оснащены оборудованием, способным выполнять подобные функции, данные технологии нельзя назвать общедоступными. В связи с этим, представляется целесообразным использование программных средств для решения задач распознавания объектов. Именно поэтому предложена методика детектирования и распознавания дорожных знаков без применения сложных технических средств. Эта методика основывается исключительно на обработке данные, полученные с камеры мобильного телефона или видеорегистратора.
Использование существующих алгоритмов распознавания образов является не целесообразным, в связи с их ресурсоемкостью, что исключает возможность их использования в системах реального времени. Исходя из этого, целью данной работы является разработка универсального алгоритма, основной особенностью которого является высокая скорость обработки кадров (преобразование цветового пространства, удаление шумов, сужение области обработки, детектирования потенциального объекта, распознавание дорожного знака) [5].
Изменение цветовой модели входного видеосигнала
Входной сигнал с камеры является последовательностью изображений (кадров, полученных с камеры в определенный момент времени). Каждое из этих изображений представлено в цветовой модели RGB.
Все запрещающие знаки ограничения максимальной скорости движения на дорогах РФ имеют круглую форму и контур красного цвета. Именно этот контур позволяет опреде-
© Шемарулин И.А., Карпычев В.Ю., 2016.
лить потенциальный дорожный знак на кадре видеосигнала, поэтому первостепенной является задача выделения областей красного цвета на изображении.
Использование цветовой модели RGB является нецелесообразным в данном случае, так как поиск областей красного цвета предполагает анализ всех трех составляющих R, G и B. Более того, изменение R составляющей будет влиять на допустимые значения других составляющих. Именно поэтому для поиска на изображениях объектов по цвету и яркости, как правило, применяется цветовая модель HSV, использование которой и предлагается для решения задачи выделения красных контуров.
HSV - цветовая модель, в которой координатами цвета являются:
1. Hue - цветовой тон (например, красный, зелёный или голубой). От 0° до 360°, однако иногда приводится к диапазону 0-100 или 0-1.
2. Saturation - насыщенность. Варьируется в пределах 0-100 или 0-1. Чем больше этот параметр, тем «чище» цвет, поэтому этот параметр иногда называют чистотой цвета. А чем ближе этот параметр к нулю, тем ближе цвет к нейтральному серому.
3. Value (значение цвета) или Brightness - яркость. Также задаётся в пределах 0-100 или 0-1.
Преобразования из RGB в HSV производятся следующим образом [1]:
V ^ max(R, G, B)
'V - min(R, G, B)
S ^
, if V * 0 V
0, otherwise
60(G - B)/S, if V = R H ^ J 120 + 60(B -R)/S, if V = G 240 + 60(R - G)/S, if V = B.
Если H < 0, то H = H + 360.
В результате преобразований значения цвета будут находиться в следующих диапазонах:
0 < V < 1, 0 < S < 1, 0 < H < 360.
Пороговые значения тона (Hue) для знаков с красным контуром будут отличаться при изменении времени суток и погодных условий, так как цвет знаков будет изменяться в зависимости от освещённости. Так, красный контур дорожного знака может восприниматься как оранжевый при искусственном освещении в ночное время суток или при свете автомобильных фар. В связи с этим, требуется подобрать пороговые значения цвета при различных уровнях освещенности и в разных погодных условиях. Теоретически подобранные значения отображены в табл. 1. Эти значения требуют дополнительной корректировки на основании данных, полученных экспериментальным путем.
Из табл. 1 видно, что цветовое пространство HSV наиболее подходит для выделения красного контура дорожных знаков при различных погодных условиях и времени суток, так как пороговые значения цветового тона практически постоянны и отличны лишь в ночное время суток (искажение за счет искусственного освещения дорожного полотна и света фар автомобилей).
Если представить изображение в цветовом пространстве RGB, полученное из последовательности кадров в виде матрицы размерности M*NX3, которая состоит из целых чисел от 0 до 255, которые определяют цвет каждого пикселя исходного изображения.
<
Таблица 1
Пороговые значения цвета для выделения красных контуров дорожных знаков, на изображениях, полученных с видеорегистрирующего устройства
Цветовое пространство Ясный день Дождь/Влажность/Сумерки Ночь
120<R<255 120<R<255 100<R<255
RGB 0<G<77 0<G<65 0<G<80
0<B<90 0<B<90 0<B<20
300<H<360 300<H<360 30<H<360
HSV 0.7<S<1 0.7<S<1 0.7<S<1
0.4<V<1 0.4<V<1 0.4<V<1
Определение объектов красного цвета на кадрах после конвертации в модель HSV происходит следующим образом:
1. Исходная матрица M*NX3 разделяется на три матрицы M*N, соотвествующие трем компонентам H, S, V пространства.
2. Если элемент матрицы попадает в интервал между пороговыми значениями из таблицы 1, то значение заменяется на 1, в противном случае - 0. В результате такого преобразования имеем три матрицы M*N со значениями 0 и 1.
3. Измененные матрицы объединяются с помощью выполнения операции «логического И».
В результате получим бинарное изображение, белые области которого соответствуют объектам красного цвета, а черные - всем объектам другого цвета.
&
i>
о
Рис. 1. Выделение областей красного цвета на изображении
Удаление шумов с помощью морфологических операций на бинарных изображениях
В бинарной морфологии двоичное изображение, представляется в виде черных и белы точек (или 0 и 1). Областью изображения является некоторое подмножество точек изображения, а каждая операция двоичной морфологии является некоторым преобразованием над этим множеством. В качестве исходных данных используются двоичное изображение В и некоторый структурный элемент Результатом операции является двоичное изображение. Основные операции: наращивание, эрозия, замыкание, размыкание [4].
Наращивание бинарного изображения А структурным элементом В обозначается
А © В (1)
и определяется выражением
А ® В = и А . (2)
Ь<вВ
Здесь оператор объединения можно считать оператором, который применяется в окрестности пикселов. Структурный элемент В накладывается на все пиксели бинарного изображения. Когда начало координат структурного элемента совпадает с единичным пикселом, ко всему структурному элементу применяется перенос и логическое сложение (логическое ИЛИ) с соответствующими пикселами бинарного изображения. Результаты операции записываются в выходное бинарное изображение, которое изначально инициализируется нулевыми значениями.
Эрозия бинарного изображения А структурным элементом В обозначается
Лов
(3)
и определяется выражением
При выполнении операции эрозии структурный элемент пробегает по всем пикселам изображения. Если в какой-либо позиции каждый единичный пиксель структурного элемента совпадет с единичным пикселом бинарного изображения, то выполняется логическое сложение центрального пиксела структурного элемента с соответствующим пикселом выходного изображения. В результате применения данной операции все объекты, меньшие чем структурный элемент, удаляются, размеры всех объектов уменьшаются, объекты, соединённые тонкими линиями, разъединяются
Рис. 2. Наращивание (слева) и эрозия (справа) темно-синего квадрата дисковым структурным элементом, результирующего на ярко голубой квадрат
Замыкание бинарного изображения А структурным элементом В обозначается
А • В (5)
и определяется выражением:
А*Г. у А Гг. И (6)
Операция замыкания закрывает малые внутренние «дырки» и убирает углубления по краям области. Если сначала применить операцию наращивания, то можно избавиться от малых дыр и щелей, но в данном случае произойдёт изменение контура объекта в большую сторону. Этого можно избежать с помощью операции эрозии, которая выполненяется сразу после наращивания таким же структурным элементом.
Размыканием бинарного изображения А структурным элементом В обозначается
А о В
и определяется выражением
(7)
(8)
В результате размыкания все объекты, меньшие, чем структурный элемент, отсеиваются. При этом рассеивание помогает избежать сильного уменьшения размера объектов. Также размыкание отлично подходит для удаления линий, толщина которых меньше, чем диаметр структурного элемента. Важно помнить, что после выполнения операции контуры объектов сглаживаются.
Рис. 3. Замыкание (слева) и размыкание (справа) темно-синего квадрата дисковым структурным элементом
Результаты морфологических операций над изображением представлены на рис. 4. Комбинации описанных операций эффективно удаляют шумы на изображении и делают его более удобным для последующего детектирования потенциального дорожного знака.
О
о
Рис. 4. Удаление шумов с помощью морфологических операций
Детектирование потенциальных дорожных знаков
На изображении помимо дорожных знаком могу находиться иные объекты красного цвета, поэтому определение потенциального знака в кадре только лишь по цветовому признаку недостаточно. В связи с этим, необходимо выделить второй признак рассматриваемых дорожных знаков - форма эллипса близкая к кругу.
Для выделения на эллипсов на изображении является целесообразным использование преобразования Хафа. Такой подход применяется для поиска объектов, принадлежащих к определённому классу геометрических фигур.
Множество точек окружности можно преставить в виде формулы
^ - a)2 + (у - Ь)2 = R2 (9)
где R - радиус окружности; а Ь) - координаты ее центра.
Таким образом, формула, определяющая семейство окружностей, представляет собой
F(a, b, R, x, y) = (x - a)2 + (y - b)2 - R2. (10)
Следовательно, для нахождения окружностей необходимо задать три параметра: радиус окружности и координаты ее центра, что сказывается на скорости вычислений. Поэтому необходимо можно представить задачу определения окружностей с неизвестным радиусом следующим образом:
1. Выделить границы на изображении с помощью детектора границ Канни [2].
2. С помощью оператора Собеля [3] посчитать градиент для ненулевых точек.
3. Определить центр каждой окружности.
4. Определить ненулевые точки, лежащие на одинаковом расстоянии от центра.
5. Выделить окружности заданного радиуса, которые и будут соответствовать объектам поиска.
Распознавание дорожных знаков
После получения областей потенциальных знаков на изображении необходимо распознать тип дорожного знака, чтобы определить информацию, которую он несет.
В первую очередь все изображения знаков из полученных областей должны быть приведены к единому виду и размеру. Далее эти изображения последовательно должны быть поданы на вход модуля распознавания. Данный этап в настоящее время находится в процессе разработки. В системе для распознавания знаков планируется использование нейронной сети, архитектура которой пока не определена.
Выводы
Таким образом, можно сделать вывод о целесообразности применения алгоритма распознавания дорожных знаков на основе цветных контуров на практике. На данный момент описанный алгоритм практически полностью реализован за исключением нескольких моментов:
• На основании результатов, полученных в процессе работы экспериментальным путем, необходима корректировка пороговых значений цвета для красных контуров дорожных знаков в разное время суток и при различных погодных условиях.
• Вопрос выбора архитектуры нейронной сети для распознавания объектов на изображении также требует тщательной проработки.
• Алгоритм реализован на языке программирования C++ с использованием кроссплат-форменной библиотеки Qt и библиотеки компьютерного зрения OpenCV.
• Ведётся работа по оптимизированию описанного алгоритма для использования на мобильном устройстве на базе OS Google Android.
Библиографический список
1. Журавель, И.М. Краткий курс теории обработки изображений / И.М. Журавель. - М.: Наука, 1999.
2. Canny, J. A Computational Approach to Edge Detection // IEEE Transactions on Pattern Analysis and Machine Intelligence. — November 1986. - V. 8, N. 6. - P. 679-697.
3. Вудс, Р. Цифровая обработка изображений / Р. Вудс, Р. Гонсалес. - 3-е изд., испр. и доп. - М.: Техносфера, 2012. - 1104 с.
4. Яне, Б. Цифровая обработка изображений / Б. Яне. - М.: Техносфера, 2007. - 584 с.
5. Brkic, K. An overview of traffic sign detection methods // Department of Electronics, Microelectronics, Computer and Intelligent Systems Faculty of Electrical Engineering and Computing Unska 3, 10000 Zagreb, Croatia, Tech. Rep, 2010.
Дата поступления в редакцию 06.05.2016
I.A. Shemarulin, V.Y. Karpychev
RECOGNITION OF ROAD SIGNS ON THE BASIS OF COLOR CONTOURS
Nizhny Novgorod state technical university n.a. R.E. Alexeyev
Purpose The alternative traffic sign recognition algorithm on the basis of color contours is described. The general algorithm of detection of road signs on the image is proposed.
Design/methodology/approach A theoretical framework is proposed based on the analysis of RBG and HSV color models and the use of mathematical morphology to improve the quality of the analyzed image.
Findings The assertion that the use of the RGB color model is most applicable solution of the problem of recognition of road signs confirmed by practical experiments. Detailed results are presented. The general algorithm of detection of road signs on the image is proposed as well.
Research limitations/implications Measurements of threshold values of red color at different times and in different weather conditions are given. It is necessary to consider the results obtained in the software development of the original problem.
Originality/value Moreover, the proposed algorithm is successfully implemented in practice in the scope of Traffic Sign Recognition system and has a number of technical advantages in terms of low resource consumption, highperformance computing and accuracy.
Key works: computer vision, neural network, color space, morphological operations, video signal.
