CC BY
155
ПРЕДВАРИТЕЛЬНАЯ ОБРАБОТКА ЦИФРОВЫХ ИЗОБРАЖЕНИИ
В СИСТЕМАХ ЛОКАЛИЗАЦИИ И РАСПОЗНАВАНИЯ ДОРОЖНЫХ ЗНАКОВ
Якимов П.Ю.
Институт систем обработки изображений РАН
Аннотация
Задача локализации и распознавания дорожных знаков является актуальной на сегодняшний день. Подобная система способна не только повысить безопасность, компенсируя вероятную невнимательность человека за рулём, но и позволяет снизить усталость водителя, помогая следить за окружающей дорожной обстановкой. Данная статья предлагает эффективный алгоритм предобработки цифровых изображений для дальнейшего детектирования дорожных знаков в реальном времени. В статье рассмотрена возможность использования цветового пространства HSV для извлечения красного цвета. Был разработан алгоритм устранения шума для повышения точности и скорости детектирования. Для удаления шумов была использована параллельная реализация на GPU. Полученные изображения наилучшим образом подходят для дальнейшей локализации дорожных знаков.
Ключевые слова: цветовое пространство HSV, устранение шума, детектирование дорожных знаков, распознавание дорожных знаков, CUDA.
Введение
Настоящая статья посвящена проблеме распознавания дорожных знаков, которая становится всё более насущной. Количество автомобилей постоянно увеличивается, как и количество аварий на дорогах. Именно поэтому большое внимание уделяется методам интеллектуальной обработки информации и принятия решений в системах активной автомобильной безопасности.
Система распознавания дорожных знаков предназначена для предоставления водителю актуальной информации о дорожной обстановке. Существует несколько таких систем: «Opel Eye» компании Opel, «Speed Limit Assist» от компании Mercedes-Benz, «Traffic Sign Recognition» компании Ford и другие. Большинство из них нацелено на детектирование и распознавание дорожных знаков ограничения скорости движения [1].
Распознавание дорожного знака обычно происходит в два этапа: детектирование знака и последующее распознавание. Существует множество различных методов распознавания [2], [3], [4]. Фактически распознавание объекта небольшого размера не вызывает особенных сложностей при наличии образцов или шаблонов возможных дорожных знаков. Существенной вычислительной сложностью обладает алгоритм детектирования.
Производительности существующих портативных компьютеров не всегда достаточно для осуществления детектирования дорожных знаков в режиме реального времени. Большинство алгоритмов детектирования основано на преобразовании Хафа, которое позволяет эффективно обнаруживать параметризованные кривые на изображении, но этот алгоритм является очень чувствительным к качеству цифрового изображения, особенно к наличию шума на изображении. Чем больше на изображении шума, тем больше времени займёт процесс детектирования объектов.
Таким образом, возможность детектирования дорожных знаков в реальном времени сильно зависит от качества подготовки препарата. В настоящей статье
предложен эффективный алгоритм извлечения качественного препарата с низким уровнем шума из входного изображения для последующей обработки алгоритмом детектирования и распознавания дорожных знаков.
Цветовой анализ
Современные дорожные знаки спроектированы таким образом, что водитель может практически моментально провести идентификацию знака. Это возможно благодаря ограниченному набору возможных цветов, геометрических форм и размеров. В частности, используются всего четыре цвета: белый, красный, жёлтый и синий. В настоящей работе рассмотрен алгоритм подготовки препарата для детектирования дорожных знаков на примере знаков, содержащих красный цвет.
Специфические условия освещённости значительно влияют на возможность корректного восприятия цвета объектов снимаемой сцены. При съёмке реальной дорожной ситуации на знаках возникает целый ряд различных условий освещения, сильно усложняющих детектирование объектов: прямые солнечные лучи, отражённый свет, затенения, свет автомобильных фар в тёмное время суток. Более того, различные искажающие эффекты могут присутствовать на одном дорожном знаке одновременно (рис. 1а).
W /\ ш
а) б)
Рис. 1. Дорожный знак с затенением (а); выделение красного в пространстве RGB (б)
Таким образом, на изображениях, получаемых с камеры, установленной в автомобиле, не всегда возможно выделить интересующую область по цвету с помощью простого применения порогового фильтра напрямую в цветовом пространстве RGB (Red, Green and Blue). На рис. 1 б представлен пример применения порогового фильтра к каналу красного цвета.
I
А
Для извлечения красного цвета из входного изображения необходимо использовать информацию о цвете каждого пикселя независимо от его неконтролируемого показателя освещённости. Для этих целей было выбрано цветовое пространство HSV (Hue, Saturation and Value).
Цветовое пространство HSV принадлежит к группе цветовых пространств, изначально основанных на человеческом восприятии цветов. HSV в основном используется в области компьютерного зрения и компьютерной графики. Рис. 2 иллюстрирует стандартное представление цветового пространства HSV в виде конуса. Оттенок (H) изменяется по окружности конуса, насыщенность (S) цвета возрастает с отдалением от оси конуса, а яркость (V) - с приближением к его основанию. Различные оттенки и цвета определены при движении против часовой стрелки от 0 до 360 градусов. Насыщенность варьируется в пределах от 0 до 1 и представляет собой «чистоту цвета» - чем ближе этот параметр к 0, тем ближе цвет к нейтральному серому. V содержит информацию о яркости пикселя, принимает значения от 0 до 1.
Рис. 2. Коническое представление модели HSV Большинство цифровых сенсоров получают входные изображения в формате RGB. Для перехода в цветовое пространство HSV необходимо применить следующие преобразования [5]:
H =
max = min. G - B
max - min
G - B
max - min
B - R
max - min
R - G
+ 0, max = R, G > B,
+ 360, max = R, G < B,
+120, max = G,
+ 240, max = B,
(1)
max - min
где max = max(R, G, B), min = min(R, G, B), а R, G и B принимают значения от 0 до 1. 0, max = 0
min (2)
S =
1 --
иначе.
max
V = max(R, G, B).
(3)
Между компонентами Н, S и V существуют определённые зависимости. Компонент Н не будет иметь
значение, если S или V компоненты представлены значениями, близкими к 0. Отображаемый цвет будет являться чёрным, если V равняется 0. Чистый белый цвет получается при V=1 и S=0 [6], [7].
«Идеальный» красный (R=255, G=0, B=0) в цветовом пространстве HSV определяется следующими значениями: H = 0,0°, S = 1, V = 1. Экспериментальным путём были определены оптимальные пороговые значения для выделения красного цвета дорожных знаков в пространстве HSV:
(0,0° < H < 23°) v (350° < H < 360°), (4)
0,85 < S < 1, (5)
0,85 < V < 1. (6)
Рис. 3 показывает результат обработки изображения дорожного знака (рис. 1а) с помощью пороговых значений (4) - (6) в цветовом пространстве HSV.
Рис. 3. Применение порогового фильтра в HSV
Удаление шума
Бинарное изображение, представленное на рис. 3, удовлетворяет условиям многих алгоритмов детектирования дорожных знаков. На представленном рисунке эффективно сработают алгоритмы с применением вейвлета Хаара [8], метода Хафа [9], регулярных выражений [2] и другие. Однако легко заметить наличие шума на изображении. Препарат на рис. 3 хорошо подготовлен для последующей обработки, но при захвате кадров из видеопоследовательности ситуация совершенно иная.
Фрагмент изображения на рис. 1а был получен с помощью фотоаппарата с разрешающей способностью 8,9 мегапикселей, и условия съёмки были ощутимо лучше, чем при съёмке видеокамерой, встроенной в автомобиль: большая чувствительность матрицы, близкое расстояние до знака, отсутствие размытия из-за движения автомобиля. На рис. 4а представлен фрагмент кадра, содержащий дорожный знак, из видеопоследовательности, полученной во время экспериментов.
Шум на рис. 46, возникающий при пороговой обработке с выделением красного цвета, не только ухудшает производительность системы, но и влияет на качество детектирования. Это может привести к ложному детектированию дорожного знака.
Для устранения такого точечного шума был выбран модифицированный алгоритм на основе результатов, полученных в работах [10] - [12]. В указанных работах была решена задача детектирования и ретуширования точечных и протяжённых («трещин») бликов на репродукциях произведений живописи.
Рис. 4. Кадр видеопоследовательности (а), бинарное изображение с извлечённым красным цветом (б), бинарное изображение после обработки алгоритмом устранения шума (в)
Эти артефакты возникали на цифровых фотоснимках вследствие неровности нанесения краски и, следовательно, из-за неравномерного отражения света от рельефной поверхности картин. Для обнаружения бликов был использован алгоритм скользящего окна с вложенным окном меньшего размера. Были введены несколько специальных признаков для детектирования артефактов. Рассматриваемая область считалась бликом, если выполнялись следующие условия:
(mах f (х,y) > fi,
(х, y)eWi
MJ (х, y)
(х, y )G W
> M
M f ( х , y )
(х, y )eW0
I I(х,y) < Si,
( х, y)EWi
D(Wi) < Di.
(7)
(8)
(9) (10)
Здесь f (х, y) - значение пикселя в точке с координатами х и y, W1 и W0 - соответственно размеры большого и вложенного маленького окон, M f (х, y) - среднее значение яркости внутри окна W1 или W0, I (х, y) - количество «ярких» пикселей внутри определённой области, D(W1) - диаметр области, т.е. значение, определяющее степень компактности области. f1,Mi, Si, Di - экспериментально подобранные пороговые значения. Неравенство (7) накладывает ограничение на минимальную величину абсолютной яркости, а (8) - на величину относительной средней яркости в окнах W1 и W0.
Данный алгоритм показал эффективные результаты при обработке цифровых репродукций. При настройке алгоритма под задачу обнаружения и устранения шума на изображениях с выделенным красным цветом было снято условие (7), так как изображение является бинарным и этот признак более не информативен в новой задаче. Несмотря на другое происхождение шума на изображениях дорожных знаков, алгоритм так же эффективно справился с устранением артефактов (шума). Результат обработки изображения на рис. 4б представлен на рис. 4в.
В работе [12] также показана эффективная реализация алгоритма устранения шума в массивно-многопоточной среде CUDA. Полученное ускорение работы на графическом процессоре относительно ЦПУ достигало 60-80 раз. Размер кадра видеопоследовательности составляет 1920*1080 пикселей. Время обработки изображения на ЦПУ составляет 0,7-1 с. Использование CUDA на ГПУ c достаточно низкой производительностью NVIDIA GeForce 335m позволило сократить временные затраты до 7-10 мс, что удовлетворяет требованию обработки видеопотока в реальном времени.
Таким образом, модифицированный алгоритм детектирования и устранения артефактов позволил улучшить качество изображения, подготовленного для алгоритма детектирования дорожных знаков. Общее время, затрачиваемое на обработку входного изображения, составило 10-20 мс.
Результаты экспериментов
Разработанный алгоритм был протестирован на кадрах видеозаписей, полученных в результате съёмки из автомобиля на улицах города Самары на камеру GoPro Hero 3 Black Edition.
Для детектирования дорожных знаков был применён алгоритм с использованием обобщённого преобразования Хафа [9]. На рис. 5 и рис. 6а приведены фрагменты исходных изображений с отмеченными на них дорожными знаками.
Рис. 6б демонстрирует работу алгоритма детектирования знаков без предварительного применения алгоритма устранения шумов, представленного в настоящей работе. Несложно заметить, что при детектировании была допущена ошибка. На необработанном зашумлённом изображении алгоритм детектиро-
вания собрал больше голосов для скопления шумов, чем для дорожного знака, находящегося в тени.
Рис. 5. Фрагмент кадра с отмеченным дорожным знаком
Рис. 6. Пример правильного детектирования знака (а), пример ошибки детектирования (б)
Следует отметить, что работа алгоритма детектирования на изображении с наличием шума заняла 250 мс. При этом дорожный знак на изображении, очищенном от шумов, был найден почти вдвое быстрее - 131 мс.
Заключение
В настоящей работе предложен алгоритм подготовки цифрового изображения, захваченного из видеопоследовательности, к детектированию дорожных знаков. Цветовая модель HSV оказалась наиболее подходящей для извлечения красного цвета на изображениях, и, благодаря экспериментально подобранным пороговым значениям, появилась возможность получать красный цвет независимо от условий освещения. А модифицированный алгоритм устранения шума помог не только избежать ошибок детектирования знаков, но и ускорил обработку изображений в 2 раза. Разработанный алгоритм позволяет улучшить качество и повысить надёжность автомобильных систем распознавания дорожных знаков и уменьшить время, необходимое на обработку 1 кадра, что приближает к возможности проводить детектирование и распознавание знаков на Full HD изо-
бражениях 1920x1080 из видеопоследовательности в реальном времени.
Задачей для дальнейшего исследования является разработка нового алгоритма локализации дорожных знаков, устойчивого к возможным поворотам и наклонам объекта поиска, а также алгоритма распознавания типа знака. Применение новых алгоритмов позволит проводить в реальном времени обработку видеопотока с высоким разрешением, а следовательно, на большем расстоянии и с лучшим качеством относительно аналогов.
Благодарн ости
Работа выполнена при поддержке РФФИ (проекты № 12-07-00581-а, № 12-07-31208, 13-07-97000-р_поволжье_а, 13-07-12181, 13-07-12030).
Литература
1. Shneier, M. Road sign detection and recognition // Proc. IEEE Computer Society Int. Conf. on Computer Vision and Pattern Recognition. - 2005 - P. 215-222.
2. Nikonorov, A. Traffic sign detection on GPU using color shape regular expressions / A. Nikonorov, P. Yakimov, P. Maksimov // VISIGRAPP IMTA-4 2013. - 2013. - Paper Nr 8.
3. Ruta, A. A New Approach for In-Vehicle Camea Traffic Sign Detection and Recognition / A. Ruta, F. Porikli, Y. Li, S. Watanabe, H. Kage, K. Sumi, // IAPR Conference on Machine vision Applications (MVA), Session 15: Machine Vision for Transportation - May 2009.
4. Belaroussi, R. Road Sign Detection in Images / R. Belaroussi, P. Foucher, J.P. Tarel, B. Soheilian, P. Charbonnier, N. Paparoditis // A Case Study, 20th International Conference on Pattern Recognition (ICPR) - 2010. - P. 484-488.
5. Tkalcic, M. Colour spaces - perceptual, historical and ap-plicational background / M. Tkalcic, J. Tasic // In The IEEE Region 8 EUROCON 2003 proceedings - 2003. - P. 304308.
6. Koschan, A. Digital Color Image Processing / A. Koschan, M.A. Abidi // ISBN 978-0-470-14708-5. - 2008. - 376 P.
7. Travis, D. Effective Color Displays Theory and Practice // Academic Press, ISBN 0-12-697690-2. - 1991. - 328 p.
8. Chen, S.Y. Boosted Road Sign Detection And Recognition / Sin-Yu Chen, Jun-Wei Hsieh // International Conference on Machine Learning and Cybernetics - 2008. - vol. 7. -P. 3823-3826.
9. Ruta, A. Detection, Tracking and Recognition of Traffic Signs from Video Input / A. Ruta, Y. Li, X. Liu // Proceedings of the 11th International IEEE Conference on Intelligent Transportation Systems, Beijing, China - 2008.
10. Yakimov, P. Detection and color correction of artifacts in digital images / S. Bibikov, R. Zakharov, A. Nikonorov, V. Fursov, P. Yakimov // Optoelectronics, Instrumentation and Data Processing. - 2011. - Vol. 47, issue 3. - P. 226232.
11. Якимов, П. Исследование эффективности технологии CUDA в задаче распределённой предпечатной подготовки цифровых изображений / С.А. Бибиков, А.В. Никоноров, В.А. Фурсов, П.Ю. Якимов // Сборник трудов «Научный сервис в сети Интернет: масштабируемость, параллельность, эффективность». - 2009. -С. 21-26.
12. Якимов, П. Программный комплекс для обработки изображений в массивно-многопоточной CUDA-среде / П.Ю. Якимов, В.А. Фурсов // Сборник трудов конференции «Проведение научных исследований в области информационно-телекоммуникационных технологий». - 2010. - С. 119-120.
References
1. Shneier, M. Road sign detection and recognition // Proc. IEEE Computer Society Int. Conf. on Computer Vision and Pattern Recognition. - 2005 - P. 215-222.
2. Nikonorov, A. Traffic sign detection on GPU using color shape regular expressions / A. Nikonorov, P. Yakimov, P. Maksimov // VISIGRAPP IMTA-4 2013. - 2013. - Paper Nr 8.
3. Ruta, A. A New Approach for In-Vehicle Camea Traffic Sign Detection and Recognition / A. Ruta, F. Porikli, Y. Li, S. Watanabe, H. Kage, K. Sumi // IAPR Conference on Machine vision Applications (MVA), Session 15: Machine Vision for Transportation - May 2009.
4. Belaroussi, R. Road Sign Detection in Images / R. Bela-roussi, P. Foucher, J.P. Tarel, B. Soheilian, P. Charbonnier, N. Paparoditis // A Case Study, 20th International Conference on Pattern Recognition (ICPR) - 2010. - P. 484-488.
5. Tkalcic, M. Colour spaces - perceptual, historical and applica-tional background / M. Tkalcic, J. Tasic, // In The IEEE Region 8 EUROCON 2003 proceedings - 2003. - P. 304-308.
6. Koschan, A. Digital Color Image Processing / A. Koschan, M.A. Abidi // ISBN 978-0-470-14708-5. - 2008. - 376 p.
7. Travis, D. Effective Color Displays Theory and Practice // Academic Press, ISBN 0-12-697690-2. - 1991. - 328 p.
8. Chen, S.Y. Boosted Road Sign Detection And Recognition / Sin-Yu Chen, Jun-Wei Hsieh // International Conference on Machine Learning and Cybernetics - 2008. - Vol. 7. -P. 3823-3826.
9. Ruta, A. Detection, Tracking and Recognition of Traffic Signs from Video Input / A. Ruta, Y. Li, X. Liu // Proceedings of the 11th International IEEE Conference on Intelligent Transportation Systems, Beijing, China, 2008.
10. Yakimov, P. Detection and color correction of artifacts in digital images / S. Bibikov, R. Zakharov, A. Nikono-rov, V. Fursov, P. Yakimov // Optoelectronics, Instrumentation and Data Processing. - 2011. - Vol. 47, issue 3. - P. 226-232.
11. Yakimov, P. Investigation of the efficiency of CUDA technology in the problem of distributed prepress of digital images / S.A. Bibikov, A.V. Nikonorov, V.A. Fursov, P.Y. Yakimov // conference Science in the Internet: scalability, parallelism, efficiency. - 2009. - P. 21-26. - (In Russian).
12. Yakimov, P. Software for image processing using massively multithreaded CUDA environment / P.Y. Yakimov, V.A. Fursov // conference "Conducting research in the field of information and telecommunication technologies". -2010. - P. 119-120. - (In Russian).
PREPROCESSING OF DIGITAL IMAGES IN SYSTEMS OF LOCATION AND RECOGNITION OF ROAD SIGNS
P.Yu. Yakimov
Image Processing Systems Institute of the Russian Academy of Sciences
Abstract
The problem of localization and recognition of road signs is actual for today. Such a system can not only improve safety, compensating the probable human inattention, but it also helps to reduce tiredness, helping drivers keep an eye on the surrounding traffic conditions. This article proposes an efficient algorithm for preprocessing digital images for further detection of road signs in real time. The article considers the possibility of using HSV color space to extract the red. A denoising algorithm was developed to improve the accuracy and speed of detection. Parallel implementation on the GPU was used to remove the noise. The resulting images are best suited for further localization of road signs.
Key words: HSV color space, image denoising, traffic signs detection, traffic signs recognition, CUDA.
Сведения об авторе
Якимов Павел Юрьевич, родился в 1987 году, в 2011 году окончил магистратуру Самарского государственного аэрокосмического университета имени академика С.П. Королёва по специальности «Прикладная математика и информатика». В настоящее время работает стажёром-исследователем в Институте систем обработки изображений РАН и проходит обучение в аспирантуре СГАУ по специальности 05.13.18, работает м.н.с. в СГАУ, имеет 28 опубликованных работ. Область научных интересов: распознавание образов и анализ изображений, параллельные и распределённые вычисления, вычисления с помощью графических процессоров. E-mail: pavel. yakimov@hotmail. com .
Pavel Yurievich Yakimov, (b. 1987), graduated from SSAU in 2011, received Master's degree, majoring in Applied Mathematics and Informatics, currently studies PhD in SSAU, works as a junior researcher in Samara State Aerospace University and Image Processing Systems Institute, has 28 scientific publications. Field of scientific interest: pattern recognition and image analysis, parallel and distributed programming, GPGPU programming.
Поступила в редакцию 17 июня 2013 г.
Дизайн: Я.Е. Тахтаров. Оформление и верстка: М.А. Вахе, С.В. Смагин и Я.Е. Тахтаров.
Подписано в печать 16.09.2013 г. Усл. печ. л. 15,02. Отпечатано в типографии ООО «Предприятие «Новая техника». Заказ № 11/3. Тираж 320 экз. Печать офсетная. Формат 62х84 1/8.
