CC BY
76
УДК 004.931
С.Ф. ЧАЛЫЙ, А.А. ДЕМЧЕНКО
ИСКЛЮЧЕНИЕ ЭФФЕКТА ОРЕОЛА ПРИ СЕГМЕНТАЦИИ ИЗОБРАЖЕНИЯ ДЛЯ РАСПОЗНАВАНИЯ СВЕТОФОРНЫХ СИГНАЛОВ
Рассматривается проблема исключения эффекта ореола, вызывающего искажение размера и формы сегментов при распознавании светофорных сигналов. Исследуется общая схема процесса распознавания и формируется тестовый набор кадров. Описывается подход к устранению эффекта ореола с помощью удаления области рассеяния и заполнения засвеченного сегмента. Приведенный подход повышает устойчивость процесса распознавания.
1. Введение
Предотвращение дорожно-транспортных происшествий является одной из важнейших проблем обеспечения транспортной безопасности. За последние годы все большее внимание уделяется интеллектуализации транспортных средств (ИТС), как инструменту повышения контроля дорожной обстановки. Интеллектуализация обеспечивает транспортное средство устройствами автоматизации с использованием мехатроники, искусственного интеллекта или мультиагентных систем для поддержки водителя. Интеллектуализация обеспечивает различную степень автоматизации и имеет широкую область применения, начиная с упрощения процесса парковки и заканчивая полностью автоматической ездой. Существенное достоинство ИТС проявляется при использовании транспортного средства людьми с нарушениями функций восприятия. Например, водителям, не различающим цвета, очень сложно ориентироваться в городской обстановке с огромным количеством разнообразных знаков и светофоров. ИТС в таком случае может обеспечивать дубляж сигналов текстом или голосом. В настоящее время ИТС чаще всего применяется в рекомендательных и контролирующих целях, но иногда такие средства могут напрямую вмешиваться в действия водителя, например, снижать скорость движения. Для того чтобы данные средства функционировали корректно, в соответствии с правилами дорожного движения, используют ряд различных датчиков, таких как радар, сонар, лидар и др.
Важным элементом регулирования дорожного движения являются светофоры. Информация о состоянии светофора может быть получена только с помощью модуля фотофиксации. Разработка такого модуля сопряжена со множеством технических трудностей, которые могут значительно повлиять на его надежность. В частности, наиболее значительными проблемами являются перспективные искажения формы светофорных ламп, частичное их перекрытие и плохие погодные условия. Качество распознавания сигналов светофоров во многом определяет надежность транспортных средств с системами интеллектуализации, что особенно характерно для городской обстановки.
Общепринятой практикой при обнаружении светофора является процесс цветовой сегментации [1-8]. Сегмент представляет собой группу пикселей с однородными цветами. Данный способ предусматривает, что светофоры имеют фиксированный диапазон цветов. Светофорная лампа характеризуется яркими и насыщенными цветами для облегчения восприятия водителями, однако в системе цифрового восприятия цветовая детекция очень чувствительна к изменениям освещения, например, из-за погодных условий. Кроме того, различные лампы могут приводить к различным цветовым вариациям, что обусловлено особенностями функционального исполнения. Таким образом, сама по себе цветовая детекция не является стабильным способом обнаружения и распознавания сигнала светофора.
Кроме цвета, дополнительным параметром для выявления или идентификации светофора служит форма сегмента [6-8]. Некоторые методы применяют обобщенное преобразование Хафа или генетический алгоритм для извлечения эллипсов на изображении, как предпо-
38
лагаемых сегментов светофорной лампы. Подходы, которые используют округлость формы, могут не работать, если светофоры частично перекрыты другими объектами.
При выделении сегментов изображения могут возникнуть нарушения форм светящихся объектов из-за присущего им эффекта ореола. В результате, рассеяние яркости приводит к ошибочному увеличению размеров сегментов. Кроме того, в некоторых условиях освещенности ореол объекта предоставляет больше полезной информации, чем сам объект. Такая ситуация возникает по причине частичной засветки матрицы камеры, имеющей узкий диапазон экспозиции. На рисунке приведен пример ошибочной сегментации.
Ошибки цветовой сегментации
Процесс распознавания под влиянием данного фактора может значительно потерять устойчивость при различной освещенности.
Целью исследования является усовершенствование существующего метода распознавания сигнала светофора для исключения эффекта ореола при распознавании светофорных сигналов, что позволит повысить устойчивость процесса распознавания в различных условиях освещенности и, как следствие, улучшить надежность перемещения транспортных средств.
2. Общая схема процесса распознавания
Перед рассмотрением подходов к исключению эффекта ореола нам необходимо исследовать общую схему [3] распознавания сигнала светофора. Система распознавания оперирует с дискретными кадрами видеопотока и включает в себя два крупных модуля -обнаружения светофора и цветовой классификации. Процесс распознавания включает в себя следующие этапы:
1) конвертация пикселей изображения из цветового пространства RGB в HSI;
2) преобразование в бинарное изображение. Пиксель бинарного изображения будет установлен в 1, только если значения тона, насыщенности и интенсивности соответствующего пикселя исходного изображения будут входить в заданные интервалы. Интервалы определяются исходя из распределения цветов тестового набора кадров;
3) морфологические операции сужения (erosion) и расширения (dilation). В качестве структурирующего элемента используется матрица размером 3x3;
39
4) сегментация и фильтрация по размеру сегмента. Сегменты образуются из групп соединенных пикселей со значением 1. Для нахождения сегмента применяется рекурсивный обход пикселей-соседей. Сегменты, у которых размер превосходит заданное пороговое значение, удаляются. На данном этапе при распознавании сигнала светофора в условиях плохого освещения, а также при неудовлетворительных характеристиках камеры возникает проблема искажения изображения - возникновения ореола, что требует выполнения дополнительных операций по обработке изображения;
5) фильтрация сегментов формы. Сегменты, у которых форма не соответствует эллипсу, удаляются;
6) цветовая классификация. Для определения цвета используются зависимости RGB компонент, выраженные в форме нестрогих неравенств. Если ни одно неравенство не выполняется, то система распознавания сигнализирует об отсутствии светофоров в кадре.
В работе [3] показано, что процесс распознавания в реальном времени, применительно к набору кадров с точно настроенной экспозицией камеры, дает не менее 97% точности и 91% полноты. Однако незначительное изменение параметров камеры или быстрая смена условий освещения вызывает появление ощутимого числа ложных срабатываний. При этом значение точности и полноты равно 50 и 90% соответственно.
3. Подход к исключению эффекта ореола
Для исключения эффекта ореола предлагается расширить этап 4 процесса распознавания следующей процедурой:
1) определение общей освещенности сегмента;
2) поиск и заполнение засвеченных сегментов: а - выделение засвеченных пикселей;
б - сегментация [3];
в - нахождение цвета соответствия подсегментов; г - заполнение цветом засвеченных подсегментов;
3) сегментация по оператору Лапласа;
4) удаление подсегмента области рассеяния.
Нахождение общей освещенности сегмента выполняется следующим образом:
Ls = X W)/CS, (1)
(x,y)E S
где LS - общая освещенность сегмента; S - множество пикселей сегмента; (x,y) -координаты пикселя; I(xy) - интенсивность пикселя; CS - размер сегмента.
Далее, если значение освещенности удовлетворяет условию:
Ls < TrLs, (2)
здесь TrLS - заданное пороговое значение, то выполняется операция сегментации по оператору Лапласа. Иначе, выполняется операция поиска и заполнения засвеченных сегментов.
Выделение засвеченных пикселей:
Sd = {(Х,У}| (Х,У) S,R(x,y)+ G(x,y)+ B(x,y)^ T*Sd}, (3)
где Sd - множество засвеченных пикселей; (x,y) - координаты пикселя сегмента; R(x,y) - красная компонента цвета пикселя; G(xy) - зеленая компонента; B(xy) - синяя компонента; TrsD - пороговое значение.
На данном этапе выполняется процедура сегментации, описанная в работе [3], в результате которой определяются подсегменты Ssd , центры подсегментов (Xsd,Ysd) и центр сегмента ((XS,YS) .
Нахождение цвета производится следующим образом:
Vd = (d -Xs;YSd - Ys ), (4)
40
V(x,y)=(x - Xs;y - Ys ), (5)
a(x,y)= C0S-1 (Vsd*/|VSd|* V(x,y)|), (6)
Scsd = {(х,у)|(х,у)є Ssd, a(xy) < TrcSD 1 , (7)
Rsd = X R(x,y) /Csd, (8)
(x,y)s S
Gsd = X G(x,y) /Csd, (9)
(x,y)E S
где Vsd - вектор между центром подсегмента и центром сегмента; V(x,y) - вектор между пикселем цвета и центром сегмента; а - угол между этими векторами; Scsd -множество пикселей цвета; TrCSD - пороговое значение, определяющее область вокруг подсегмента, откуда будет извлекаться цвет; (R,G,B)sd - компоненты цвета подсегмента.
После нахождения цвета все белые пиксели в подсегменте заполняются этим цветом и последний передается остальным этапам метода распознавания как обычный сегмент.
Для сегментации области рассеяния используется оператор Лапласа следующего вида:
1 1 1
1 -8 1
1 1 1
(10)
Полученные значения интенсивности пикселей затем приводятся к бинарному изображению по следующему условию:
[0 ^ < Ч
(x,y) [1 Lx,y > TV
(11)
где P - пиксель бинарного изображения; Trlp - пороговое значение.
Данное бинарное изображение сегмента содержит границы подсегментов, которые затем отделяются друг от друга и передаются как обычные сегменты остальным этапам метода.
В конце оставшийся подсегмент области рассеяния удаляется:
S = S\-Sd. (12)
Для оценки процесса распознавания использовалась методика, описанная в работе
[3].
Модифицированный процесс позволяет в среднем повысить точность распознавания сигнала светофора на 15-20%.
Выводы
Усовершенствован метод распознавания сигнала светофора путем исключения эффекта ореола, который искажает форму и размер сегментов изображения. Для устранения ореола объекта производится общая оценка освещенности кадра, которая позволяет определить характер искажения - изменение области рассеяния яркости или засветка области светофорной лампы. Для устранения области рассеяния применяется процедура фильтрации по оператору Лапласа. Для заполнения засвеченной области сегмента используется усредненное значение цвета из области рассеяния. В результате усиливается устойчивость процесса цветовой сегментации, что позволяет более точно распознавать светофоры в условиях различной освещенности.
41
Список литературы: 1. Gavrila D. M., Franke U., Gyrzig S., Wijhler C. Real-time Vision for Intelligent Vehicles // IEEE Instrumentation and Measurement Magazine. 2001. V. 4, № 2. P. 22-27. 2. ChengHD, JiangXH, Sun Y. Color image segmentation: advances and prospects // Pattern Recognition. 2001. V. 34, № 12. P. 2259-2281. 3. Lu H., Wang C. M., Chen S. Y. Traffic light recognition // Journal ofthe Chinese Institute of Engineers. 2008. V. 31, № 6. P. 1069-1075. 4. Chiang C. C., HoM. C., Liao H. S., Pratama A., Syu W. C. Detecting and recognizing traffic lights by genetic approximate ellipse detection and spatial texture layouts // International Journal of Innovative Computing, Information and Control. 2011. Т. 7, № 12. С. 6919-6934. 5. Yung N H C, Lai A H S. An Effective Video Analysis Method for Detecting Red Light Runners // IEEE Transactions on Vehicular Technology. 2001. V. 50, № 4. P. 1074-1084. 6. Yun-Chung Chung, Jung-Ming Wang, Sei-Wang Chen. A Vision-based Traffic Light System at Intersections // Journal of Taiwan Normal University. 2002. V. 47, № 1. P. 67-86. 7. Lindner F, Kressel U, Kaelberer S. Robust Recognition of Traffic Signals: материалы конф. «IEEE Intelligent Vehicles Symposium». 2004. P. 434. 8. Yehu Shen, Ozguner U, Redmill K. A Robust Video based Traffic Light Detection Algorithm for Intelligent Vehicles: материалы конф. «IEEE Intelligent Vehicles Symposium». 2009. P. 521-526.
Поступила в редколлегию 24.03.2014
Чалый Сергей Федорович, д-р техн. наук, профессор кафедры ИУС ХНУРЭ. Адрес: Украина, 61166, Харьков, пр. Ленина, 14, тел. 702-14-51.
Демченко Антон Алексеевич, студент магистратуры специальности Информационные управляющие сисемы, факультет КН, ХНУРЭ. Адрес: Украина, 61166, Харьков, пр. Ленина, 14, e-mail: ademchk@gmail.com.
42
