CC BY
69
DOI 10.36622^Ти.2020.16.6.004 УДК 004.932
ОБНАРУЖЕНИЕ СИГНАЛОВ СВЕТОФОРОВ С ИСПОЛЬЗОВАНИЕМ ЦВЕТОВОЙ СЕГМЕНТАЦИИ И ДЕТЕКТОРА РАДИАЛЬНОЙ СИММЕТРИИ
Р.М. Шакирзянов
Казанский национальный исследовательский технический университет им. А.Н. Туполева, г. Казань, Россия
Аннотация: в настоящее время широкое распространение получают беспилотные системы управления различными транспортными средствами, в том числе автомобилями. Управление беспилотным автомобилем предполагает решение задач, связанных с распознаванием объектов дорожной обстановки: пешеходов, автомобилей, препятствий (в виде ям, кочек, столбов, деревьев, зданий и т.д.), дорожных знаков, разметки, светофоров. Предложен алгоритм решения задачи обнаружения и распознавания сигналов светофоров круглой формы. Для решения этой задачи задействованы: быстрое преобразование радиальной симметрии, цветовая сегментация, морфологические операции. Особенностью алгоритма является то, что области расположения световых сигналов предварительно определяются по цветовому признаку с последующим уточнением формы и положения объектов на изображении. На основе предложенного метода было разработано программное обеспечение для обнаружения сигналов светофоров на фотоснимках. Программное обеспечение было протестировано на общедоступной базе изображений, содержащей светофоры. Предлагаемый алгоритм показал работоспособность, он может быть расширен в части типов распознаваемых сигналов и применён в составе систем управления беспилотными транспортными средствами, а также в составе систем помощи водителю для решения задач по предупреждению опасных и аварийных ситуаций на транспорте
Ключевые слова: компьютерное зрение, обработка изображений, быстрое преобразование радиальной симметрии, цветовая сегментация, определение светофоров
Введение
Изучением и проектированием беспилотных автомобилей занимаются многие университеты, научно-исследовательские центры, автомобильные и иные промышленные компании по всему миру с середины 1980-х годов. Известны разработки беспилотных транспортных средств, созданные гигантами (Ford, Volkswagen, Honda, Toyota, Mercedes, Tesla, Bosch, Audi, Baidu и BMW, Volvo, Kia Motors, КАМАЗ совместно с Cognitive Technologies, General Motors совместно с Lyft), в том числе машиностроительными компаниями (Ростсель-маш и Komatsu), ИТ-компаниями (Uber, Google, Яндекс), кроме того, такие разработки есть у сравнительно небольших групп разработчиков, в их числе КБ Аврора, ФГУП НАМИ, Comma.ai [1].
При создании системы управления такими автомобилями важными задачами являются обнаружение, распознавание и отслеживание объектов дорожной обстановки. Для их решения часто применяются технологии компьютерного зрения. В числе задач по обнаружению объектов на фото- или видео-изображениях можно выделить задачу распознавания световых сигналов, подаваемых светофорами. Как
правило, у человека не возникает трудностей с определением того, какой сигнал подаётся светофором, но на практике это не такая тривиальная задача, как может показаться на первый взгляд, т.к. при определении сигналов светофора сложности создают неравномерное солнечное освещение, объекты со схожей хроматической характеристикой и различные помехи. Например, компания Tesla в конце 2018 года, лишь спустя три года после начала выпуска беспилотного электромобиля, способного самостоятельно двигаться по шоссе, следовать по указанному маршруту, реагировать на манёвры других машин и распознавать препятствия на дороге, анонсировала, что её продукция научится распознавать сигналы светофоров [2]. И в 2020 году автопилот Tesla научили понимать сигналы светофоров и следовать им [3, 4].
Обнаружение и распознавание сигнала светофора включает в себя непосредственно его обнаружение и распознавание состояния (красный, зелёный или жёлтый). В литературе описаны различные способы решения этой задачи [5].
Все методы, обеспечивающие обнаружение и распознавание объектов на изображениях, можно разделить на два класса: основанные на моделях объектов и основанные на обучении. Сигналы светофора имеют чёткую структуру с точки зрения информации о цвете и
© Шакирзянов Р.М., 2020
форме. Наиболее распространённые виды светофоров имеют три фонаря (по одному для каждого состояния: красный, зелёный и жёлтый) и хорошо определённую круглую форму. Поэтому целесообразно производить их обнаружение и распознавание с использованием методов на основе моделей. Эти подходы основываются на разработке алгоритмов, которые используют информацию о цвете и форме искомых объектов для построения модели. Те методы, которые использовали исключительно информацию о цвете [6,7] или форме объекта [8, 9, 10], не были достаточно точны. Чтобы увеличить их точность, использовалось сочетание различных характеристик (цвет, форма, структура) [11, 12, 13]. Например, Чжан и соавторы [12] предложили многофункциональную систему, сочетающую в себе цветовую сегментацию, анализ формы и структуры объектов, а также географической информации. Их система, однако, зависела от большого числа гиперпараметров, которые подразумевали необходимость калибровки при различных обстоятельствах. Авторы провели эксперименты на собственном частном наборе данных и заявили, что отказы были вызваны перекрытиями объектов и неравномерным потоком света. Эта комбинация подходов, однако, как оказалось, не является достаточно адекватной.
Ещё один вид подходов для решения задачи распознавания объектов - подходы на основе обучения. Вероятно, первой попыткой применения методов, основанных на обучении, было использование каскадных классификаторов [14]. Также были исследованы популярные комбинации функций HoG и Gabor с классификаторами (такими как SVM [15], AdaBoost [16] и JointBoost [17]). В последнее время такие методы (т.е. без необходимости ручного программирования алгоритмов распознавания) превзошли большинство из тех, что основаны на моделях. В работе [18] использовали данные GPS и базы данных о местоположении светофоров, чтобы идентифицировать области интереса, и свёрточную нейронную сеть (CNN), чтобы распознать состояние светофора. Кроме того, общие детекторы объектов [19, 20] были успешно применены для обнаружения светофоров (без распознавания их состояния). Подробный разбор обнаружения светофоров с использованием нейронных сетей имеется в работе [21]. Там авторы применяют YOLO [20] на наборе данных LISA [5], где достигают 90,49% AUC. Подходы, основанные на обучении, особенно те, которые используют глубокое обучение, тре-
буют больших объёмов аннотированных данных, что не всегда есть в наличии. В настоящее время в свободном доступе есть зарубежные базы изображений с аннотациями светофоров [5; 22; 23]. Однако следует также заметить, что подходы, основанные на обучении, требуют больших вычислительных мощностей.
В данной работе предложен способ определения сигналов светофоров с использованием сегментации на основе цветовой составляющей изображения и метода быстрого преобразования радиальной симметрии (Fast Radial Symmetry Transform, FRST) [24] для уточнения формы объекта. Этот подход не требует больших вычислительных мощностей и предварительного обучения.
Примеры конструкций светофоров и их изображения
Светофор является техническим устройством оптической сигнализации, который предназначен для возможности регулирования движения различных участников дорожного движения (пешеходов, велосипедов, автомобилей, автобусов, трамваев, электробусов, троллейбусов и т.д.), поездов железной дороги и метрополитена, речных и морских судов и всего транспорта. Регулирование транспорта посредством светофоров является одним из эффективных методов повышения безопасности дорожного движения.
Для регулирования дорожного движения согласно ОДМ 218.6.003-2011 «Методические рекомендации по проектированию светофорных объектов на автомобильных дорогах» [25] светофоры классифицируются по их функциональному назначению (транспортные, пешеходные); по конструктивному исполнению (одно-, двух- или трёхсекционные, трёхсекцион-ные с дополнительными секциями); по их роли, выполняемой в процессе управления движением (основные, дублёры, повторители). Рекомендуемая высота установки светофоров от нижнего края корпуса до поверхности проезжей части должна составлять для транспортных светофоров:
- при установке над проезжей частью от 5 до 6 м (допускается от 6 до 8 м),
- при установке сбоку от проезжей части от 2 до 3 м.
На рис. 1 представлены типы и исполнение современных светофоров. В настоящей работе рассматриваются светофоры с горизон-
тальными и вертикальными круглыми сигналами.
Рис. 1. Типы и исполнение светофоров Модель изображения сигнала светофора
Выделение сигналов светофора на изображениях по цветовому признаку в условиях неравномерного освещения целесообразно производить по хроматическим составляющим цвета. В аппаратно-зависимом цветовом пространстве RGB, используемом для хранения изображений в файлах и для вывода изображений на экраны, картинка строится путём смешения базовых красного, синего и зелёного цветов в каждом пикселе. Такая схема удобна при аппаратной реализации дисплеев, однако несёт определённую сложность для анализа объектов по их цвету ввиду того, что каждый из каналов RGB несёт в себе как хроматическую, так и яркост-ную составляющую, что усложняет анализ изображения [26].
Цветовое пространство HSV относится к так называемой психологической группе цветовых пространств, т.е. основывается на особенности восприятия цвета человеком [26]. Имеет три канала: H - цветовой тон (hue), S - насыщенность (saturation), V - значение, яркость (value). Оно зависит от устройства, т.е. является аппаратно-зависимым, и является нелинейным преобразованием пространства RGB. Канал V отвечает за контраст и не содержит информацию о хроматической составляющей. Насыщенность S определяет чистоту цвета или, иначе, степень приближения цвета к нейтральности. Палитра HSV представлена на рис. 2, где изображены плоскости HS при следующих значениях уровня яркости (слева направо): 0, 50, 127, 205, 255. Значения в каналах S и V лежат в диапазоне [0..255], в канале H - [0..180].
Рис. 2. Палитра модели HSV при следующих уровнях яркости: 0, 50, 127, 205, 255
В цветовом пространстве HSV значения тона определены как значения угла в градусах в диапазоне [0..360]. Ввиду того, что размер канала в 1 байт не позволяет записывать туда значения больше 255, два соседних значения в канале H соответствуют смещению тона на 2 градуса. Однако значения в диапазоне [180..255] для канала H также определены. На рис. 3 представлена плоскость HS при уровне яркости V = 205. На нём белой вертикальной полосой обозначен уровень тона H = 180. Как видно из рисунка, цвета циклически продолжают повторяться. Однако при поиске объектов красного цвета это не позволит задать требуемый цветовой интервал одним диапазоном [180 - а; 180 + ß], где а и ß - некоторые значения, определяющие ширину разброса спектра красного цвета. Красный цвет при необходимости следует задавать «кусочно» в диапазонах [0; ß] и [180 - а; 180], где а и ß - некоторые значения, определяющие ширину разброса требуемых оттенков красного цвета.
Рис. 3. Палитра HSV при уровне яркости V = 205
Для возможности проведения цветовой сегментации был проведён статистический анализ фотографий из базы изображений светофоров [27] и определены диапазоны цветовых компонентов рассматриваемых объектов. Введём обозначения: v - уровень яркости, лежащий в диапазоне [0..255], h - цветовой тон, также лежащий в диапазоне [0..255].
Красным сигналом будет считаться цвет, удовлетворяющий условиям:
(1)
Жёлтым сигналом будет считаться цвет, удовлетворяющий условиям:
(V > 155, ! h > 23, U < 35.
(2)
Зелёным сигналом будет считаться цвет, удовлетворяющий условиям:
(V > 155, ! h > 40, U < 95.
(3)
После цветовой сегментации изображения полученные сегменты, потенциально содержащие искомые сигналы светофора каждого цвета (красный, жёлтый и зелёный), нужно подвергнуть обработке детектором радиальной симметрии, подробно описанным в работах [24, 28, 29].
Метод быстрого преобразования радиальной симметрии описан подробно в работе [24] и заключается в формировании весового изображения, в котором с каждым пикселем ассоциировано значение, отражающее его вес в качестве центра радиально-симметричного объекта заданного радиуса.
Весовое изображение формируется следующим образом. Сначала для каждого пикселя p = (х, у) исходного изображения I вычисляется значение градиента g(p):
g (p) = д/ ¿(р) + g2 (p)
(4)
где gx(p), gy(p) - значения горизонтального и вертикального градиентов в точке p.
Затем для каждого значения п е N, где N -множество значений радиусов симметрии, формируются Оп и Мп - изображения проекций направлений и модулей градиентов:
On (p + (p)) = On (p + (p)) +1,
On (p _ (p)) = On (p _ (p)) -1,' Mn (p + (p)) = Mn (p + (p))+||g(p)| Mn (p- (p)) = Mn (p- (p))-||g(p)|
(5)
(6)
(7)
(8)
где p+(p) и p-(p) - точки, расположенные на расстоянии п по направлению градиента и против направления градиента в точке p.
Затем для каждого значения радиуса п выполняется свёртка:
S = F * G
nnn
где
Fn (p) = (0„ (p))1 Mn (p)
On (p)|
(p)}
On (p) =-
max,
Mn (p) = ■
max
p 4 n v
Mn (p)|
К (p)|}
(9) (10) (11) (12)
где а - параметр радиальной жёсткости; Gn -низкочастотный гауссов фильтр.
После вычисления изображений Sn, п е N, формируется весовое изображение:
S = Х Sn
neN
(13)
Помимо описанного метода, могут также использоваться его различные модифицированные версии, в которых может учитываться только прямое направление градиента либо только его обратное направление, т.е. либо используется только выражение (7), либо используется только выражение (8).
Выявленные центры принимаются за центры зажжённого фонаря светофора ввиду того, что расположены в заданном фрагменте изображения, а содержащие их области обладают требуемыми цветом и формой.
Алгоритм и программная реализация
Алгоритм обнаружения сигналов светофоров, представленный в виде блок-схемы на рис. 4, содержит следующие основные шаги:
1. Загрузка и предварительная обработка изображения. Формат изображения может быть одним из следующих: JPEG, BMP, PNG, TIFF. Ввиду той особенности, что светофоры на снимках находятся в верхней части, т.е. выше линии горизонта [30], в дальнейшую обработку поступает верхняя половина изображения.
2. Цветовая сегментация в цветовом пространстве HSV отдельно по всем трём заданным цветам. Полученные три сегментированных изображения будут использоваться для
поиска каждого типа сигнала: красного, жёлтого и зелёного цветов.
3. Применение алгоритма на основе быстрого преобразования радиальной симметрии для обнаружения сигнала светофора как светящихся элементов заданного цвета и круглой формы. Для дополнительного уточнения результата над получившимися весовыми изображениями осуществляются операции дилата-ции, нормализации, используются детектор Кэнни, пороговое преобразование Оцу, происходит поиск центров масс обнаруженных объектов [26].
С
Конец
J
Рис. 4. Блок-схема алгоритма обнаружения и распознавания сигналов светофоров
В результате работы алгоритма изображение сегментируется на фон и сигналы светофоров.
Реализация представленного алгоритма была выполнена на языке программирования С++ с использованием библиотеки компьютерного зрения ОрепСУ [31].
Результаты экспериментов
Для апробирования работы алгоритма была выбрана база изображений светофоров [27], содержащая 13 427 фотографий с разрешением 1280х720 пикселей. На рис. 5 для иллюстрации в качестве примера приведены четыре изображения из используемой базы, снимки сделаны в различных обстановках при различных погодных условиях и освещённости. Для оценки эффективности алгоритма для ряда анализируе-
мых снимков были построены контрольные изображения, на которых вручную были отмечены соответствующие искомые объекты.
Рис. 5. Примеры исходных изображений
Результат обработки программой изображения, представленного на рис. 5 в левом верхнем углу, приведён на рис. 6. Были определены два светофора, расположенные в правой части фотографии, при этом два светофора (один слева, а другой в центре снимка) были исключены детектором радиальной симметрии на этапе уточнения формы из-за того, что имеют вид стрелки, направленной влево; фары автомобиля были исключены при проверке расположения (слишком низко для светофора), размера и цвета.
Рис. 6. Пример работы программы
Оценка эффективности работы алгоритма осуществлялась на основе методики, предложенной и описанной в работах [32, 33]. Это статистическая мера оценивания, которая основана на подсчитывании неверно классифицированных пикселей. Она относится к контролируемым эмпирическим методикам оценки и базируется на сравнении результата работы программы с эталонным изображением, размеченным вручную (так называемый ground truth образ). Для проведения оценки требуется подсчитать вероятности того, что случайно выбран-
ныи пиксель на отсегментированном с помощью алгоритма изображении принадлежит искомому объекту или, соответственно, фону. Под фоном понимаются такие области исходного изображения, которые не принадлежат искомому объекту. Вероятность ошибки сегментации всего изображения определяется следующим образом:
регг = р(Ь|о)р(о) + р(о|Ь)р(Ь), (14)
где р(о) - вероятность того, что случайным образом выбранныи пиксель исходного изображения принадлежит объекту, р(Ь) -вероятность того, что случайным образом выбранный пиксель исходного изображения принадлежит фону. Вероятности р(о) и р(Ь) являются априорными. Они вычисляются по контрольному изображению как отношение суммы количества пикселей (площади) объекта и, соответственно, площади фона к площади всего изображения. Вероятность р(о|Ь) является вероятностью того, что пиксель, принадлежащий фону, при сегментации ошибочно отнесён к объекту (т.е. ошибка 1-го рода). Она вычисляется как отношение суммы пикселей фона, ошибочно отнесённых к объекту на сегментированном изображении (результате работы оцениваемого алгоритма) к сумме пикселей фона на контрольном изображении. Наконец, р(Ь|о) - вероятность того, что пиксель, принадлежащий объекту, будет ошибочно отнесён к фону (т.е. ошибка 2-го рода), вычисляемая как отношение суммы пикселей объекта, ошибочно не отнесённых к объекту (или отнесённых к фону) на сегментированном изображении (результате работы оцениваемого алгоритма), к сумме пикселей объекта на контрольном изображении. Таким образом, р(о|Ь) и р(Ь|о) являются совокупными ошибками распознавания, это ошибки 1 и 2 рода соответственно.
Возможны варианты, когда искомые объекты малы по размерам по отношению ко всему изображению, т.е. #(о) « #(£>), где #(о) -мощность множества пикселей, принадлежащих искомому объекту, а #(Т>) - мощность множества пикселей всего изображения. Тогда вместо формулы (14) целесообразно применять оценку (15):
Регг
#(о5)-#(о) #(В)
(15)
налов светофоров на снимках имеют сравнительно небольшую площадь относительно площади всего изображения, для оценки эффективности использовалось соотношение (15).
Ниже в таблице представлены оценки ошибок 1-го и 2-го родов при обработке четырёх снимков из базы изображений [27], представленных на рис. 4, предложенным методом.
'езультаты оценки работы алгоритма
№ Снимок Ошибки 1-го рода Ошибки 2-го рода
1 Рис. 4 (лев. верх.) < 0,001 0,021
2 Рис. 4 (прав. верх.) < 0,001 0,143
3 Рис. 4 (лев. нижн.) 0,093 < 0,001
4 Рис. 4 (прав. нижн.) < 0,001 < 0,001
где о.; - множество найденных объектов в результате сегментации. Поскольку размеры сиг-
В соответствии с указанной методикой, произведённая оценка качества работы алгоритма на выборке фотографий из базы [27] с различными условиями освещённости и погодными условиями показывает точность работы алгоритма порядка 90%. При этом увеличение числа ошибок наблюдается при увеличении расстояния до светофора, кроме того, негативное влияние оказывает излишне яркий солнечный свет, снижающий контрастность снимка. Субъективная (визуальная) оценка показывает, что имеют место случаи пропуска некоторых объектов целиком, например, когда из трёх дублирующих друг друга светофоров один, нередко самый дальний, не определяется. При этом его признаки фиксируются на этапе цветовой сегментации, но отсеиваются на этапах уточнения формы и при финальной морфологической обработке. Увеличение чувствительности к дальним (малым) объектам повышает количество обнаруженных ложноположитель-ных объектов. Точность работы алгоритма в дальнейшем предполагается повысить за счёт применения нейронных сетей для финальной верификации областей, потенциально содержащих сигнал светофора. При этом нейронной сети передавать не целиком анализируемое изображение, а его части, выделенные предложенным алгоритмом.
Заключение
В данной работе предложен алгоритм обнаружения светофоров на снимках, полученных
с помощью монокулярной камеры. Алгоритм использует информацию о цвете и форме объектов для того, чтобы обеспечить обнаружение красных, жёлтых и зелёных круглых сигналов светофоров, он устойчив к атмосферным воздействиям и освещению. Он может быть использован при разработке систем на основе компьютерного зрения. В качестве примеров таких систем могут служить системы управления и поддержки принятия решений беспилотным транспортом.
Литература
1. Беспилотные автомобили (мировой рынок). Режим доступа: URL:
https://www.tadviser.ru/index.php/Статья: Беспилот-ные_автомобили_(мировой_рынок), свободный. Заглавие с экрана. Яз. рус. (дата обращения 07.10.2020).
2. Already testing traffic lights, stop signs & roundabouts in development software. Your Tesla will soon be able to go from your garage at home to parking at work with no driver input at all. Режим доступа: URL: https://twitter.com/elonmusk/status/1071845439140327424, свободный. Заглавие с экрана. Яз. англ. (дата обращения 07.10.2020).
3. Автопилот Tesla научился распознавать сигналы светофора. Режим доступа: URL: https://4pda.ru/2020/03/27/369797/, свободный. Заглавие с экрана. Яз. рус. (дата обращения 07.10.2020).
4. Watch Tesla Autopilot automatically stop at red light for the first time. Режим доступа: URL: https://electrek.co/2020/03/26/tesla-autopilot-automatically-stop-red-light-video/ , свободный. Заглавие с экрана. Яз. англ. (дата обращения 07.10.2020).
5. Vision for looking at traffic lights: Issues, survey, and perspectives/ M.B. Jensen, M.P. Philipsen, A. M0gel-mose, T.B. Moeslund, & M.M. Trivedi // IEEE Transactions on Intelligent Transportation Systems. 2016. №17. Р. 18001815.
6. Diaz-Cabrera M., Cerri P., & Sanchez-Medina J. Suspended traffic lights detection and distance estimation using color features// In 2012 15th International IEEE Conference on Intelligent Transportation Systems. Pp.1315-1320).
7. Diaz-Cabrera M., Cerri P., & Medici P. Robust realtime traffic light detection and distance estimation using a single camera// Expert Systems with Applications. 2015. № 42. Pp. 3911-3923.
8. Omachi M., & Omachi S. Detection of traffic light using structural information//In IEEE 10th International Conference on Signal Processing Proceedings. 2010. Р. 809-812).
9. Tracking both pose and status of a traffic light via an interacting multiple model filter/ G. Trehard, E. Pollard, B. Bradai, & F. Nashashibi // In 17th International Conference on Information Fusion (FUSION). 2014. Р. 1-7.
10. Sooksatra S., & Kondo T. Red traffic light detection using fast radial symmetry transform// In 2014 11th International Conference on Electrical Engineering/Electronics, Computer, Telecommunications and Information Technology (ECTI-CON). Р. 1-6. IEEE.
11. Koukoumidis E., Martonosi M., & Peh L.-S. Leveraging smartphone cameras for collaborative road advisories// IEEE Transactions on mobile computing. 2011. №11. Р. 707723.
12. A multifeature fusion based traffic light recognition algorithm for intelligent vehicles/ Y. Zhang, J. Xue, G. Zhang, Y. Zhang, & N. Zheng // In Proceedings of the 33rd Chinese Control Conference. 2014. Р. 4924-4929. IEEE.
13. Traffic lights detection and state estimation using hidden markov models/ A.E. Gomez, F.A. Alencar, P.V. Prado, F.S. Osorio, & D.F. Wolf // In 2014 IEEE Intelligent Vehicles Symposium Proceedings. Р. 750-755.
14. Lindner F., Kressel U., & Kaelberer S. Robust recognition of traffic signals// In IEEE Intelligent Vehicles Symposium. 2004. Р. 49-53.
15. Multiple exposure images based traffic light recogni-tion/ C. Jang, C. Kim, D. Kim, M. Lee, & M. Sunwoo // In 2014 IEEE Intelligent Vehicles Symposium Proceedings. Pp. 1313-1318
16. The recognition and tracking of traffic lights based on color segmentation and camshift for intelligent vehicles/ J. Gong, Y. Jiang, G. Xiong, C. Guan, G. Tao & H. Chen // In 2010 IEEE Intelligent Vehicles Symposium. Pp. 431-435.
17. Semantic segmentation based traffic light detection at day and at night/ V. Haltakov, J. Mayr, С. Unger, & S. Ilic // In German Conference on Pattern Recognition. 2015. Pp. 446-457. Springer.
18. Carina intelligent robotic car: architectural design and applications/ L.C. Fernandes, J.R. Souza, G. Pessin, P.Y. Shinzato, D. Sales, C. Mendes, M. Prado, R. Klaser, A.C. Magalhaes, A. Hata, et al.// Journal of Systems Architecture. 2014. № 60. P. 372-392.
19. Faster r-cnn: Towards realtime object detection with region proposal networks/ S. Ren, К. He, R. Girshick, & J. Sun // In Advances in neural information processing systems. 2015. Pp. 91-99.
20. Redmon J., & Farhadi A. Yolo9000: Better, faster, stronger// In 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Pp. 6517-6525.
21. Jensen M.B., Nasrollahi K., & Moeslund T.B. Evaluating state-of-the-art object detector on challenging traffic light data// In 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). Pp. 882-888.
22. Behrendt K., Novak L., & Botros R. A deep learning approach to traffic lights: Detection, tracking, and classifica-tion// In 2017 IEEE International Conference on Robotics and Automation (ICRA). Pp. 1370-1377.
23. Bdd100k: A diverse driving video database with scalable annotation tooling/ F. Yu, W. Xian, Y. Chen, F. Liu, M. Liao, V. Madhavan, & Т. Darrell// arXiv preprint arXiv: 1805. 04687. 2018
24. Lyasheva S., Shleymovich M., Shakirzyanov R. The Image Analysis Using Fast Radial Symmetry Transform in Control Systems Base on the Computer Vision// 2019 International Multi-Conference on Industrial Engineering and Modern Technologies, FarEastCon. 2019. P. 1-6.
25. ОДМ 218.6.003-2011 Методические рекомендации по проектированию светофорных объектов на автомобильных дорогах. Pежим доступа: URL: http://docs.cntd.ru/document/1200098292, свободный. Заглавие с экрана. Яз. рус. (дата обращения 07.10.2020).
26. Гонсалес P., Вудс P. Цифровая обработка изображений. М.: Техносфера, 2012. 1104 с.
27. Bosch Small Traffic Lights Dataset. Pежим доступа: URL: https://hci.iwr.uni-heidelberg.de/content/bosch-small-traffic-lights-dataset, свободный. Заглавие с экрана. Яз. англ. (дата обращения 07.10.2020).
28. Evangelos A. Skodras, Doctoral Dissertation, Electrical and Computer Engineer, University of Patras. Patras, 2016. 152 c.
29. Обнаружение окружностей на изображениях с помощью метода Хафа и преобразования быстрой радиальной симметрии/ А.П. Кирпичников, С.А. Ляшева, А.А. Шакирзянова, М.П. Шлеймович, Р.М. Шакирзянов // Вестник Технологического университета. 2019. Т. 22. № 8. С. 164-167.
30. George Siogkas, Evangelos Skodras, Evangelos Dermatas. International Conference on Computer Vision Theory and Applications VISAPP "Traffic Lights Detection in Adverse Conditions using Color, Symmetry and Spatiotemporal Information." Rome, Italy, 24-26 February, 2012.
31. OpenCV. Режим доступа: URL: https://opencv.org/, свободный. Заглавие с экрана. Яз. англ. (дата обращения 07.10.2020).
32. Droogenbroeck V.M., Bamich О. Design of Statistical Measures for the Assessment of Image Segmentation Schemes // Proceedings of 11th International Conference on Computer Analysis of Images and Patterns (CAIP2005), Lecture Notes in Computer Science. 2005. Vol. 3691. Р. 280287.
33. О количественной оценке эффективности алгоритмов анализа изображений / П.П. Кольцов, А.С. Осипов, А.С. Куцаев, А.А. Кравченко, Н.В. Котович, А.В. Захаров // Компьютерная оптика. 2015. Т. 39. № 4. С. 542-556. DOI: 10.18287/0134-2452-2015-39-4-542-556.
Поступила 14.10.2020; принята к публикации 18.12.2020 Информация об авторах
Шакирзянов Ринат Михайлович - старший преподаватель, Казанский национальный исследовательский технический университет им. А.Н. Туполева (420111, г. Казань, ул. К. Маркса, 10), тел. +7-951-892-4350, e-mail: [email protected], ORCID: https://orcid. org/0000-0002-8162-0310
DETECTION OF TRAFFIC SIGNALS USING COLOR SEGMENTATION AND A RADIAL
SYMMETRY DETECTOR
R.M. Shakirzyanov
Kazan National Research Technical University named after A.N. Tupolev, Kazan, Russia
Abstract: currently, unmanned systems for controlling various vehicles, including cars, are becoming widespread. Driving an unmanned vehicle involves solving problems related to the recognition of traffic objects: pedestrians, cars, obstacles (in the form of holes, bumps, poles, trees, buildings, etc.), road signs, markings, traffic lights. An algorithm for solving the problem of detecting and recognizing circular traffic signals is proposed. To solve this problem, the following are involved: rapid transformation of radial symmetry, color segmentation, morphological operations. A feature of the algorithm is that the areas of the location of the light signals are preliminarily determined by color, followed by the refinement of the shape and position of objects in the image. Based on the proposed method, software was developed for detecting traffic signals in photographs. The software was tested on a publicly available database of images containing traffic lights. The proposed algorithm has shown its efficiency, it can be expanded in terms of the types of signals recognized and used as part of control systems for unmanned vehicles, as well as part of driver assistance systems for solving problems to prevent dangerous and emergency situations
Key words: computer vision, image processing, radial symmetry transform, color segmentation, traffic light detection
References
1. "Driverless cars (global market)", available at: https://www.tadviser.ru/index.php/Статья:БеспилотньIе_автомобили_(мировой_рьшок). (accessed 07.10.2020).
2. "Already testing traffic lights, stop signs & roundabouts in development software. Your Tesla will soon be able to go from your garage at home to parking at work with no driver input at all", available at: https://twitter.com/elonmusk/status/1071845439140327424. (accessed 07.10.2020).
3. "Tesla Autopilot has learned to recognize traffic lights", available at: https://4pda.ru/2020/03/27/369797/. (accessed 07.10.2020).
4. "Watch Tesla Autopilot automatically stop at red light for the first time", available at: https://electrek.co/2020/03/26/tesla-autopilot-automatically-stop-red-light-video/ . (accessed 07.10.2020).
5. Jensen M.B., Philipsen M.P., M0gelmose A., Moeslund T.B., Trivedi M.M. "Vision for looking at traffic lights: Issues, survey, and perspectives", IEEE Transactions on Intelligent Transportation Systems, 2016, no. 17, pp. 1800-1815.
6. Diaz-Cabrera M., Cerri P., Sanchez-Medina J. "Suspended traffic lights detection and distance estimation using color features", 2012 15th International IEEE Conference on Intelligent Transportation Systems, 2012, pp. 1315-1320
7. Diaz-Cabrera M., Cerri P., Medici P. Robust real-time traffic light detection and distance estimation using a single camera", Expert Systems with Applications, 2015, no. 42, pp. 3911-3923.
8. Omachi M., Omachi S. "Detection of traffic light using structural information", IEEE 10th International Conference on Signal Processing Proceedings, 2010, pp. 809-812
9. Trehard G., Pollard E., Bradai B., Nashashibi F. "Tracking both pose and status of a traffic light via an interacting multiple model filter", 17th International Conference on Information Fusion (FUSION), 2014, pp. 1-7
10. Sooksatra S., Kondo T. "Red traffic light detection using fast radial symmetry transform", 2014 11th International Conference on Electrical Engineering/Electronics, Computer, Telecommunications and Information Technology (ECTI-CON), 2014, pp. 1-6.
11. Koukoumidis E., Martonosi M., Peh L.-S. "Leveraging smartphone cameras for collaborative road advisories", IEEE Transactions on Mobile Computing, 2011, no. 11, pp. 707-723.
12. Zhang Y., Xue J., Zhang G., Zhang Y., Zheng N. "A multifeature fusion based traffic light recognition algorithm for intelligent vehicles", Proc. of the 33rd Chinese Control Conference, 2014, pp. 4924-4929
13. Gomez A.E., Alencar F.A., Prado P.V., Osorio F.S., Wolf D.F. "Traffic lights detection and state estimation using hidden Markov models", 2014 IEEE Intelligent Vehicles Symposium Proceedings, 2014, pp. 750-755
14. Lindner F., Kressel U., Kaelberer S. "Robust recognition of traffic signals", IEEE Intelligent Vehicles Symposium, 2004, pp. 49-53
15. Jang C., Kim C., Kim D., Lee M., Sunwoo M. "Multiple exposure images based traffic light recognition", 2014 IEEE Intelligent Vehicles Symposium Proceedings, 2014, pp. 1313-1318
16. Gong J., Jiang Y., Xiong G., Guan C., Tao G., Chen H. "The recognition and tracking of traffic lights based on color segmentation and camshift for intelligent vehicles", 2010 IEEE Intelligent Vehicles Symposium, 2010, pp. 431-435
17. Haltakov V., Mayr J., Unger C., Ilic S. Semantic segmentation based traffic light detection at day and at night", German Conference on Pattern Recognition, Springer, 2015, pp. 446-457
18. Fernandes L.C., Souza J.R., Pessin G., Shinzato P.Y., Sales D., Mendes C., Prado M., Klaser R., Magalhaes A.C., Hata A., et al. "Carina intelligent robotic car: architectural design and applications", Journal of Systems Architecture, 2014, no. 60, pp. 372-392.
19. Ren S., He K., Girshick R., Sun J. "Faster r-cnn: Towards realtime object detection with region proposal networks", Advances in Neural Information Processing Systems, 2015, pp. 91-99.
20. Redmon J., Farhadi A. "Yolo9000: Better, faster, stronger", 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017, pp. 6517-6525
21. Jensen M.B., Nasrollahi K., Moeslund T.B. "Evaluating state-of-the-art object detector on challenging traffic light data", 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 2017, pp. 882-888
22. Behrendt K., Novak L., Botros R. "A deep learning approach to traffic lights: Detection, tracking, and classification", 2017 IEEE International Conference on Robotics and Automation (ICRA), 2017, pp. 1370-1377
23. Yu F., Xian W., Chen Y., Liu F., Liao M., Madhavan V., Darrell T. "Bdd100k: A diverse driving video database with scalable annotation tooling", arXiv preprint arXiv, 2018, 1805.04687.
24. Lyasheva S., Shleymovich M., Shakirzyanov R. "The image analysis using fast radial symmetry transform in control systems based on the computer vision", 2019 International Multi-Conference on Industrial Engineering and Modern Technologies, FarEastCon 2019, pp. 1-6.
25. "ODM 218.6.003-2011 Guidelines for the design of traffic light objects on highways", available at: http://docs.cntd.ru/document/1200098292. (accessed 07.10.2020).
26. Gonzalez R., Woods R. "Digital image processing" ("Tsifrovaya obrabotka izobrazheniy"), Moscow, Tekhnosfera, 2012, 1104 p.
27. "Bosch Small Traffic Lights Dataset", available at: https://hci.iwr.uni-heidelberg.de/content/bosch-small-traffic-lights-dataset. (accessed 07.10.2020).
28. Evangelos A. Skodras, Dr. diss., Electrical and Computer Engineer, University of Patras, Patras, 2016, 152 p.
29. Kirpichnikov A.P., Lyasheva S.A., Shakirzyanova A.A., Shleymovich M.P., Shakirzyanov R.M. "Detection of circles in images using the Hough method and fast radial symmetry transformation", Bulletin of Technological University (Vestnik Tekhnolog-icheskogo universiteta), 2019, vol. 22, no. 8, pp. 164-167.
30. Siogkas G., Skodras E., Dermatas E. "Traffic lights detection in adverse conditions using color, symmetry and spatiotemporal information", International Conference on Computer Vision Theory and Applications VISAPP, Rome, Italy, 24-26 February, 2012.
31. "OpenCV", available at: https://opencv.org/ (accessed 07.10.2020).
32. Droogenbroeck V.M., Barnich O. "Design of statistical measures for the assessment of image segmentation schemes", Proc. of the 11th International Conference on Computer Analysis of Images and Patterns (CAIP2005), Lecture Notes in Computer Science, 2005, vol. 3691, pp. 280-287.
33. Koltsov P.P., Osipov A.S., Kutsaev A.S., Kravchenko A.A., Kotovich N.V., Zakharov A.V. "On the quantitative evaluation of the effectiveness of image analysis algorithms", Computer Optics (Komp'yuternaya optika), 2015, vol. 39, no. 4, pp. 542-556.
Submitted 14.10.2020; revised 18.12.2020 Information about the author
Rinat M. Shakirzyanov, Assistant Professor, Kazan National Research Technical University named after A.N. Tupolev, (10 Karl Marx str., Kazan 420111, Rep. Tatarstan, Russia), e-mail: [email protected], tel.: +7-951-892-4350, ORCID: https://orcid.org/0000-0002-8162-0310
