CC BY
125
Отслеживание дорожных знаков в видеопоследовательности с использованием скорости автомобиля
Якимов П.Ю.
ОТСЛЕЖИВАНИЕ ДОРОЖНЫХ ЗНАКОВ В ВИДЕОПОСЛЕДОВАТЕЛЬНОСТИ С ИСПОЛЬЗОВАНИЕМ СКОРОСТИ АВТОМОБИЛЯ
П.Ю. Якимов1,2
1 Институт систем обработки изображений РАН, Самара, Россия,
2 Самарский государственный аэрокосмический университет имени академика С.П. Королёва (национальный исследовательский университет) (СГАУ), Самара, Россия
Аннотация
В статье предлагается эффективный алгоритм для обнаружения дорожных знаков в видео, полученного с помощью камеры, установленной в автомобиле. Обнаружение и классификация дорожных знаков реализованы с использованием CUDA и работают в режиме реального времени. Скорость автомобиля используется для прогнозирования положения дорожных знаков в соседних кадрах в видеопоследовательности. Использование такого отслеживания дорожных знаков повышает надёжность работы системы. Экспериментальные результаты подтвердили высокую эффективность разработанной системы обнаружения дорожных знаков.
Ключевые слова: обнаружение дорожных знаков, отслеживание дорожных знаков, обработка изображений, система компьютерного зрения, графические процессоры.
Цитирование: Якимов, П.Ю. Отслеживание дорожных знаков в видеопоследовательности с использованием скорости автомобиля / П.Ю. Якимов // Компьютерная оптика. -2015. - Т. 39, № 5. - С. 795-800. DOI: 10.18287/0134-2452-2015-39-5-795-800.
Введение
Обнаружение дорожных знаков, как правило, выполняется в два этапа: локализация знака и последующая классификация. Есть много различных методов локализации [1-3]. Большинство из них используют один кадр из видеопоследовательности для обнаружения объекта. Это означает, что они не используют дополнительную информацию о наличии знака в соседних кадрах. Такие подходы обычно сталкиваются с проблемой эксплуатации в режиме реального времени и с точностью обнаружения. С другой стороны, в ряде работ описываются алгоритмы отслеживания, которые пытаются предсказать расположение знаков в последовательности изображений. В работе
[4] авторы показывают, что совмещение обнаружения и отслеживания повышает надёжность системы в целом за счёт уменьшения количества ложных обнаружений. В статье [5] показано, что отслеживание помогает выполнять обнаружение быстрее. Тем не менее, указанные алгоритмы имеют большую вычислительную сложность и не могут быть использованы в режиме реального времени.
Настоящая статья описывает алгоритм обнаружения, который использует скорость, получаемую от транспортного средства в режиме реального времени. Это позволяет прогнозировать не только присутствие объекта, но также масштаб и его точные координаты на соседнем кадре. Таким образом, точность обнаружения повышается, в то время как вычислительная сложность остаётся прежней.
Чтобы обеспечить водителя актуальной информацией о дорожном знаке, система должна распознать локализованный объект. На самом деле распознавание объекта небольшого размера не вызывает каких-либо трудностей, так как все возможные варианты изображений дорожных знаков известны заранее. Также в случае успешной процедуры локализации становятся известны точные координаты дорожного
знака. Таким образом, на этапе классификации используется простой алгоритм сопоставления локализованного изображения с шаблоном. Данный алгоритм показывает хорошие результаты в сочетании с этапом локализации.
1. Локализация и классификация дорожных знаков
Разработанная технология обнаружения и различения дорожных знаков состоит из трёх этапов: подготовка изображения, локализация дорожного знака и его классификация.
В процессе подготовки изображения цветовое пространство HSV используется для извлечения из изображения красных и синих пикселей. Из-за ошибок матрицы видеокамеры или небольших цветных объектов на изображениях после применения порогового фильтра возникает точечный шум. Для устранения этого точечного шума применяется алгоритм, описанный в работе [6]. В работе [7] показана эффективная реализация алгоритма удаления шума на массивно-многопоточной архитектуре CUDA. Ускорение при использовании графических процессоров достигло 60 - 80 раз по сравнению с работой на обычном центральном процессоре. Размер кадра в видеопоследовательности - 1920*1080 пикселей. Время выполнения обработки изображений на центральном процессоре - 0,7 - 1 с. Использование CUDA на базе NVIDIA GeForce 335M сократило время выполнения до 7 - 10 мс, что удовлетворяет требованиям обработки видео в режиме реального времени.
В данной работе рассматриваются этапы локализации и различения дорожных знаков. Обнаружение дорожных знаков выполняется с использованием информации о цвете искомых объектов [6]. Для определения точных координат дорожного знака применяется модификация обобщённого преобразования Хафа. Затем на основе скорости транспортного средства выполняется обнаружение дорожных знаков на со-
Компьютерная оптика, 2015, том 39, №5
795
Отслеживание дорожных знаков в видеопоследовательности с использованием скорости автомобиля
Якимов П.Ю.
седних кадрах. На заключительном этапе обнаруженная область классифицируется.
Для построения алгоритмов локализации и классификации была использована модель дорожной сцены, изображённая на рис. 1. На рисунке угол а - это угол обзора камеры в горизонтальной проекции, W -это ширина изображения дорожного знака, AC - это расстояние от автомобиля до линии установки знака, перпендикулярной к направлению движения. Мы будем называть AC расстоянием от автомобиля до знака. Ширина кадра - это ширина изображения в пикселях, в нашем случае ширина кадров будет равняться ширине FullHD, т.е. 1920 пикселям. 2
2. Обнаружение и отслеживание дорожных знаков
Модификация обобщённого преобразования Хафа
Обнаружение дорожных знаков осуществляется с помощью модификации обобщённого преобразования Хафа (ОПХ) [8]. Реализация классического ОПХ в FullHD 1080p видеопоследовательности требует большого времени выполнения. Одной из основных целей системы обнаружения дорожных знаков является работа в режиме реального времени. Т аким образом, для обработки одного кадра на этапе обнаружения может быть потрачено не более 50 миллисекунд.
Многие системы обнаружения и различения дорожных знаков предназначены для обнаружения только круглых знаков. Окружность - это легко параметризуемая фигура, поэтому её можно обнаружить, используя обычное преобразование Хафа, а использование CUDA позволяет реализовать её в режиме реального времени. Вся обработка занимает не более 40 мс, в том числе шаги по выделению цвета, шумоподавлению, обнаружению и распознаванию. Некоторые системы используют различные методы машинного обучения, такие как Виола-Джонса [9] или
опорных векторов [10], которые не всегда укладываются во временные ограничения.
В данной статье рассматривается обнаружение треугольных знаков в режиме реального времени. Основное отличие от оригинального ОПХ заключается в использовании модифицированного аккумуляторного пространства [7] (рис. 2б) и отсутствии необходимости построения R-таблицы [8]. После наложения специального треугольного шаблона на бинарное изображение на рис. 2а точка с максимальным значением на рис. 2б - это центральная точка искомого объекта. Аккумуляторное пространство на рис. 2 получено в случае одинаковых масштабов изображения шаблона и объекта в реальной сцене.
а) б)
Рис. 2. а) Пример треугольного дорожного знака после извлечения цвета;
б) аккумуляторное пространство после применения модификации преобразования Хафа
В случае различных масштабов получаем несколько «ярких» точек в аккумуляторном пространстве, три точки, если используется треугольный шаблон (рис. 3).
Рис. 3. Аккумуляторное пространство в случае, когда шаблон а) меньше искомого объекта; б) больше искомого объекта
Предполагая, что размер изображения искомого дорожного знака достигает не более 150 пикселей, было выяснено, что расстояние между двумя из этих ярких точек принимает значения не более 20 пикселей. Это позволяет вычислить разницу в масштабах изображений шаблона и объекта в реальной сцене. Используя это значение, можно точно определить координаты знака, а затем передать его на этап классификации. Центральное расположение между этих ярких точек в аккумуляторном пространстве - это координаты центра найденного объекта.
Отслеживание дорожного знака
Описанный выше алгоритм обнаружения дорожных знаков рассчитан на локализацию объектов на каждом отдельном двумерном кадре видеопоследовательности. Однако ряд исследователей предлагает использовать дополнительную информацию для увеличения надёжности traffic sign recognition. Напри-
796
Компьютерная оптика, 2015, том 39, №5
Отслеживание дорожных знаков в видеопоследовательности с использованием скорости автомобиля
Якимов П.Ю.
мер, в статье [11] авторы предлагают комбинировать данные, получаемые с обычной видеокамеры, и трёхмерную сцену, получаемую с лидара.
В данной статье рассмотрен вариант, в котором в автомобиле установлена только одна обычная FullHD камера. В таком случае мы можем использовать только подряд идущие двумерные кадры видеопоследовательности. Использование соседних кадров описано в статьях [12] и [13].
В настоящей статье отслеживание дорожных знаков в видеопоследовательности выполняется с использованием информации о текущей скорости автомобиля. Большинство современных автомобилей оборудованы бортовыми компьютерами, которые могут возвращать текущую скорость автомобиля V. Также известно число получаемых кадров в секунду FPS. Таким образом, мы можем получить точную разницу расстояния до знака DAC на двух соседних кадрах: DAC = У/(FPS). (1)
Продолжим рассматривать случай поиска треугольного знака, изображённого на рис. 2, используя модель дорожной сцены, показанной на рис. 1. Расстояние от автомобиля до знака можно определить по следующему равенству:
FrameWidthp SignWidthm х------------
AC =-------------------2-----. (2)
a
SignWidthp хtan(—)
Здесь индекс m означает, что значение указано в метрах, индекс p означает значение в пикселях. Sign-Width - это ширина дорожного знака, FrameWidth -это ширина видеокадра.
Реальный размер дорожных знаков известен и в России составляет 0,7 м в ширину. Пусть размер изображения дорожного знака составляет 41 пиксель, именно такой размер является наиболее подходящим для последующей процедуры классификации. Угол а камеры, установленной в автомобиле, равен 70°. В таком случае расстояние AC равно 30 метрам.
Используя разницу (1) и расстояние (2), мы можем подсчитать точный размер знака на соседнем кадре:
SignWidth ’ p =
AC х Sign Widthp AC + DAC
(3)
Таким образом, процедура обнаружения с отслеживанием использует значение скорости автомобиля для предсказания размера изображения обнаруженного дорожного знака на соседних кадрах.
Отслеживание знака на соседних кадрах может не только увеличить уверенность в корректном детектировании, но и уменьшить вычислительную сложность алгоритма за счёт уменьшения области поиска объекта на изображении на соседних кадрах.
3. Различение дорожных знаков
На этапе различения дорожных знаков алгоритм классификации использует специально подготовленные эталонные бинарные изображения, которые яв-
ляются внутренними областями дорожных знаков. На рис. 4 изображены несколько таких шаблонов.
Рис. 4. Шаблоны для алгоритма классификации
На этапе обнаружения алгоритм получает изображения локализованных объектов, которые затем масштабируются до размера эталонных изображений для большего сходства. Чтобы определить тип найденного объекта, мы можем использовать любой метод распознавания. Тем не менее, в случае успешного обнаружения объекта и из-за ограничений на время выполнения целесообразно использовать простое вычитание двух изображений и выбрать пару с наименьшим значением, которое будет указывать на наибольшую близость эталона. В случае больших значений, алгоритм выдаст сообщение о ложном обнаружении, так как ни одно из эталонных изображений не похоже на локализованную область. А это обозначает, что скорее всего найденная область не содержит дорожный знак.
Время выполнения такого различения в среднем 1 - 2 мс с использованием 32 типов эталонных изображений. Под типом изображения подразумевается уникальное изображение одного дорожного знака. Эталонных изображений каждого типа может быть неограниченное количество. Так, например, в настоящей реализации данного метода было использовано по 5 изображений каждого типа, то есть всего 160 эталонных изображений.
4. Результаты экспериментов
Для того, чтобы оценить точность алгоритма обнаружения, была использована немецкая база данных аннотированных изображений, содержащих дорожные знаки [14]. Она содержит более 50 000 изображений с дорожными знаками, зарегистрированными в различных условиях. Для оценки качества обнаружения было посчитано количество изображений с правильно локализованными и классифицированными дорожными знаками. При тестировании разработанных алгоритмов использовались только 9987 изображений, содержащих дорожные знаки требуемой формы и с красными контурами. Эксперименты показали 97,3 % правильно локализованных и классифицированных запрещающих и предупреждающих дорожных знаков. В табл. 1 представлены результаты точности и быстродействия работы алгоритмов из [14] и метода, описанного в настоящей статье.
Точность всех алгоритмов, указанных в таблице, была получена с использованием аннотированной базы данных изображений GTSDB [14]. Алгоритм обработки скользящим окном [15] демонстрирует наилучший результат по точности обнаружения дорожных знаков - 100 %. Однако наилучшим результатом по скорости работы является описанный выше модифицированный метод ОПХ. Модификация обобщённого пре-
Компьютерная оптика, 2015, том 39, №5
797
Отслеживание дорожных знаков в видеопоследовательности с использованием скорости автомобиля
Якимов П.Ю.
образования Хафа была также протестирована при отсутствии предобработки и показала не только меньшую точность обнаружения, но и почти вдвое худший результат по скорости обработки одного кадра.
Табл. 1. Показатели точности и быстродействия алгоритмов обнаружения и различения дорожных знаков
Алгоритм Точность Время обработки, кадров в секунду
Обработка скользящим окном + метод опорных векторов 100 % 1
Модифицированный метод ОПХ с предобработкой 97,3 % 43
Модифицированный метод ОПХ без предобработки 89,3 % 25
Метод Виолы-Джонса 90,81 % 15
Метод гистограмм ориентированных градиентов (HOG) 70,33 % 20
Реализация разработанного метода была протестирована на видеокадрах, полученных на улицах города Самары с использованием камеры GoPro Hero 3 Black Edition, установленной на автомобиле. На рис. 5 приведены фрагменты исходных изображений с отмеченными дорожными знаками на них. На рисунках видны отмеченные квадратным контуром верно локализованные дорожные знаки. В верхнем левом углу каждого изображения представлен результат различения обнаруженного объекта.
WW ' '1ЯГ, 1
Рис. 5. Примеры обнаружения дорожных знаков в видеопоследовательностях
В случае успешной классификации обнаруженного знака поиск и локализация объекта на следующем кадре осуществляется не по всему изображению, а только в области, размер которой рассчитывается при помощи формулы (3). Скорость автомобиля вычисляется при помощи датчика GPS.
Использование алгоритма отслеживания дорожных знаков в видеопоследовательности позволяет со-
кратить время обработки нескольких последующих после обнаружения знака кадров.
Среднее время обработки одного кадра при показателе 43 кадра в секунду - 23,2 мс. Из них в среднем 20 мс - это время, затрачиваемое на этапы предобработки и обнаружения дорожного знака. При ограничении области поиска на последующих кадрах время локализации снижается до 10 - 15 мс. Отслеживание дорожного знака продолжается до тех пор, пока он не выйдет за границы получаемых с камеры изображений.
Рис. 6. а) Изображение с отмеченной областью поиска дорожного знака на следующем кадре; б) следующий кадр с отмеченной областью поиска других неотслеживаемых дорожных знаков
Для того, чтобы не пропускать дорожные знаки, которые ещё не были обнаружены, поиск осуществляется не только в рассчитанной области интереса (рис. 6а), но и в той части изображения, которая не пересекается с отслеживаемой областью (рис. 6б).
Помимо снижения вычислительной сложности, отслеживание обнаруженных объектов в видеопоследовательности добавляет уверенности в верной классификации. То есть при обнаружении объекта такого же класса в рассчитанной области интереса на следующем кадре подтверждается предположение о наличии на текущем участке дорожного знака определённого класса.
Заключение
В статье рассматриваются алгоритмы обнаружения и отслеживания дорожных знаков. Метод локализации, являющийся модификацией обобщённого преобразования Хафа, разрабатывался с учётом ограничения по времени выполнения обработки одного кадра видеопоследовательности. Разработанный алгоритм показывает эффективные результаты и хорошо работает с предварительно обработанными изображениями. Отслеживание с использованием значения
798
Компьютерная оптика, 2015, том 39, №5
Отслеживание дорожных знаков в видеопоследовательности с использованием скорости автомобиля
Якимов П.Ю.
текущей скорости автомобиля позволило улучшить производительность системы, так как область поиска на соседних кадрах может быть значительно уменьшена. Кроме того, наличие знака в последовательности смежных кадров в предсказанных областях значительно повышает уверенность в правильности обнаружения. Классификация локализованных дорожных знаков гарантирует, что вся процедура обнаружения дорожных знаков успешна.
В статье рассмотрены только треугольные знаки дорожного движения. Однако разработанный алгоритм обнаружения позволяет локализовать объекты любой формы. Для этого необходимо только заменить изображение - шаблон на шаблон требуемой формы.
Тестирование описанных алгоритмов на видеопоследовательностях, полученных при съёмке реальных дорожных знаков, подтвердило возможность обработки видеопотока высокого разрешения в реальном времени. Дальность обнаружения дорожных знаков при использовании FullHD видеокамеры достигает 50 м. Для получения численной оценки точности обнаружения и различения дорожных знаков в видеопотоке необходимо создать аннотированную базу данных с локализованными и классифицированными дорожными знаками в ручном режиме. Для дальнейших исследований описанного метода планируется создание такой базы данных.
Для ускорения выполнения описанных методов были использованы графические процессоры и технология массивно-многопоточного программирования CUDA. В дальнейшем планируется перенести все разработанные алгоритмы на мобильный процессор Nvidia Tegra X1, который был специально создан для использования в автомобилях.
Благодарности
Работа выполнена при финансовой поддержке Министерства образования и науки РФ (соглашение RFMEFI57514X0083).
Литература
1. Nikonorov, A. Traffic sign detection on GPU using color shape regular expressions / A. Nikonorov, P. Yakimov, M. Petrov // VISIGRAPP IMTA-4 Workshop proc. - 2013. - Paper 8.
2. Ruta. A. A New Approach for In-Vehicle Camera Traffic Sign Detection and Recognition / A. Ruta, F. Porikli, Y. Li,
S. Watanabe, H. Kage, K. Sumi // IAPR Conference on Machine vision Applications (MVA), Session 15: Machine Vision for Transportation, Yokohama, Japan. - 2009. - P. 509-513.
3. Belaroussi, R. Road Sign Detection in Images / R. Bela-roussi, P. Foucher, J.P. Tarel, B. Soheilian, P. Charbonnier, N. Paparoditis // A Case Study, 20th International Conference on Pattern Recognition (ICPR). - 2010. - P. 484-488.
4. Lafuente-Arroyo, S. Road sign tracking with a predictive filter solution / S. Lafuente-Arroyo, S. Maldonado-Bascon, P. Gil-Jimenez, H. Gomez-Moreno, F. Lopez-Ferreras // IEEE 32nd Annual Conference on Industrial Electronics. -2006. - P. 3314-3319.
5. Lopez, L. Color-based road sign detection and tracking. Image Analysis and Recognition / L. Lopez, O. Fuentes // Lecture Notes in Computer Science. - 2007. - Vol. 4633. -P. 1138-1147.
6. Якимов, П.Ю. Предварительная обработка цифровых изображений в системах локализации и распознавания дорожных знаков // Компьютерная оптика. - 2013. -Т. 37, № 3. - С. 401-405.
7. Фурсов, В.А. Локализация контуров объектов на изображениях при вариациях масштаба с использованием преобразования Хафа / С.А. Бибиков, В.А. Фурсов, П.Ю. Якимов // Компьютерная оптика. - 2013. - Т. 37, № 4. - С. 496-502.
8. Ruta, A. Detection, Tracking and Recognition of Traffic Signs from Video Input / A. Ruta, Y. Li, X. Liu // Proceedings of the 11th International IEEE Conference on Intelligent Transportation Systems, Beijing, China. - 2008. - P. 55-60.
9. Megelmose, A. Learning to Detect Traffic Signs: Comparative Evaluation of Synthetic and Real-World Datasets /
F. Mogelmose, M. Trivedi, M. Moeslund // IEEE 21st International Conference on Pattern Recognition. - 2012. -P. 3452-3455.
10. Lafuente-Arroyo, S. A decision support system for the automatic management of keep-clear signs based on support vector machines and geographic information systems /
S. Lafuente-Arroyo, S. Salcedo-Sanz, S. Maldonado-Basc'on, J.A. Portilla-Figueras, R.J. Lopez-Sastre // Expert Systems with Applications. - 2010. - Vol. 37, Issue 1. - P. 767-773.
11. Timofte, R. Multi-view traffic sign detection, recognition, and 3D localization / R. Timofte, K. Zimmermann, L. Van Gool // Machine Vision and Applications. - 2014. -Vol. 25, Issue 3. - P. 633-647.
12. Chunzhao, G. Robust road detection and tracking in challenging scenarios based on Markov random fields with unsupervised learning. Intelligent transportation systems /
G. Chunzhao, S. Mita, D. McAllester // IEEE Transactions on. - 2012. - Vol. 13(3). - P. 1338-1354.
13. Mogelmose, A. Vision-Based Traffic Sign Detection and Analysis for Intelligent Driver Assistance Systems: Perspectives and Survey / A. Mogelmose, M.M. Trivedi,
T. B. Moeslund // Intelligent Transportation Systems, IEEE Transactions on. - 2012. - Vol. 13(4). - P. 1484-1497.
14. Houben, S. Detection of Traffic Signs in Real-World Images: The German Traffic Sign Detection Benchmark / S. Houben, J. Stallkamp, J. Salmen, M. Schlipsing, C. Igel // International Joint Conference on Neural Networks. - 2013.
15. Mathias, M. Traffic sign recognition - how far are we from the solution? / M. Mathias, R. Timofte, R. Benenson, L.V. Gool // Proceedings of IEEE International Joint Conference on Neural Networks. - 2013. - P. 1-8. - ISSN 2161-4393.
References
[1] Nikonorov A, Yakimov P, Maksimov P. Traffic sign detection on GPU using color shape regular expressions. VISIGRAPP IMTA-4 2013; Paper 8.
[2] Ruta A, Porikli F, Li Y, Watanabe S, Kage H, Sumi K. A New Approach for In-Vehicle Camera Traffic Sign Detection and Recognition. IAPR Conference on Machine vision Applications (MVA), Session 15: Machine Vision for Transportation, Yokohama, Japan 2009; 509-13.
[3] Belaroussi R, Foucher P, Tarel JP, Soheilian B, Charbon-nier P, Paparoditis N. Road Sign Detection in Images. A Case Study. 20th International Conference on Pattern Recognition (ICPR) 2010: 484-8.
[4] Lafuente-Arroyo S, Maldonado-Bascon S, Gil-Jimenez P, Gomez-Moreno H, Lopez-Ferreras F. Road sign tracking with a predictive filter solution. IEEE 32nd Annual Conference on Industrial Electronics 2006: 3314-9.
[5] Lopez L, Fuentes O. Color-based road sign detection and tracking. Image Analysis and Recognition; Lecture Notes in Computer Science 2007; 4633: 1138-47.
Компьютерная оптика, 2015, том 39, №5
799
Отслеживание дорожных знаков в видеопоследовательности с использованием скорости автомобиля
Якимов П.Ю.
[6] Yakimov PYu. Preprocessing of digital images in systems of location and recognition of road signs [In Russian]. Computer Optics 2013; 37(3): 401-5.
[7] Fursov VA, Bibikov SA, Yakimov PYu. Localization of objects contours with different scales in images using Hough transform [In Russian]. Computer Optics 2013; 37(4): 496-502.
[8] Ruta A, Li Y, Liu X. Detection, Tracking and Recognition of Traffic Signs from Video Input. Proceedings of the 11th International IEEE Conference on Intelligent Transportation Systems, Beijing, China 2008; 55-60.
[9] Mogelmose F, Trivedi M, Moeslund M. Learning to Detect Traffic Signs: Comparative Evaluation of Synthetic and Real-World Datasets. IEEE 21st International Conference on Pattern Recognition 2012; 3452-5.
[10] Lafuente-Arroyo S, Salcedo-Sanz S, Maldonado-Basc'on S, Portilla-Figueras JA, Lopez-Sastre RJ. A decision support system for the automatic management of keep-clear signs based on support vector machines and geographic information systems. Expert Syst Appl 2010; 37(1): 767-73.
[11] Timofte R, Zimmermann K, Van Gool L. Multi-view traffic sign detection, recognition, and 3D localization. Machine Vision and Applications 2014; 25(3): 633-47.
[12] Chunzhao G, Mita S, McAllester D. Robust road detection and tracking in challenging scenarios based on Markov random fields with unsupervised learning. IEEE Transactions on intelligent transportation systems 2012; 13(3): 1338-54.
[13] Mogelmose A, Trivedi MM, Moeslund TB. Vision-Based Traffic Sign Detection and Analysis for Intelligent Driver Assistance Systems: Perspectives and Survey. IEEE Transactions on Intelligent Transportation Systems 2012; 13(4): 1484-97.
[14] Houben S, Stallkamp J, Salmen J, Schlipsing M, Igel C. Detection of Traffic Signs in Real-World Images: The German Traffic Sign Detection Benchmark. International Joint Conference on Neural Networks 2013.
[15] Mathias M, Timofte R, Benenson R, Gool LV. Traffic sign recognition - how far are we from the solution?. Proceedings of IEEE International Joint Conference on Neural Networks 2013; 1-8.
TRACKING TRAFFIC SIGNS IN VIDEO SEQUENCES BASED ON A VEHICLE VELOCITY
P. Y. Yakimov 1,2
1 Image Processing Systems Institute, Russian Academy of Sciences, Samara, Russia,
2 Samara State Aerospace University, Samara, Russia
Abstract
The paper proposes an efficient algorithm for road sign detection in a video obtained from a car dash camera. The algorithms for road sign detection and recognition are implemented using CUDA and operate in real time. A vehicle velocity is used to predict the road sign position in adjacent frames in a video sequence. The paper shows that the road sign tracking of this type improves the system reliability. The experimental results have confirmed high efficiency of the developed road sign detection system.
Keywords: traffic sign detection, traffic sign tracking, image processing, computer vision system, GPU.
Citation: Yakimov PY. Tracking traffic signs in video sequences based on a vehicle velocity. Computer Optics 2015; 39(5): 795-800. DOI: 10.18287/0134-2452-2015-39-5-795-800.
Acknowledgements: The work was funded by the Russian Federation Ministry of Education and Science (Project # RFMEFI57514X0083).
Сведения об авторе
Якимов Павел Юрьевич, родился в 1987 году, в 2011 году окончил магистратуру Самарского государственного аэрокосмического университета имени академика С.П. Королёва по специальности «Прикладная математика и информатика», в 2014 году защитил кандидатскую диссертацию по специальности 05.13.18. В настоящее время работает стажёром-исследователем в Институте систем обработки изображений РАН и м.н.с. в СГАУ, имеет 36 опубликованных работ. Область научных интересов: распознавание образов и анализ изображений, параллельные и распределённые вычисления, вычисления с помощью графических процессоров, системы компьютерного зрения.
E-mail: pavel.y.vakimov@gmail.com .
Pavel Yurievich Yakimov, (b. 1987), graduated from SSAU in 2011, received Master’s degree, majoring in Applied Mathematics and Informatics, received Ph.D. in Computer science in SSAU in 2014, currently works as a research associate in Samara State Aerospace University and Image Processing Systems Institute of RAS, has 36 scientific publications. Field of scientific interest: pattern recognition and image analysis, parallel and distributed programming, GPGPU programming, computer vision.
Поступила в редакцию 1 апреля 2015 г. Окончательный вариант - 12 октября 2015 г.
800
Компьютерная оптика, 2015, том 39, №5
