Разработка системы распознавания дорожных объектов Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.931

Д. А. ЕЛИЗАРОВ

Омский государственный университет путей сообщения, г. Омск

РАЗРАБОТКА СИСТЕМЫ РАСПОЗНАВАНИЯ ДОРОЖНЫХ ОБЪЕКТОВ

В статье приводится описание разрабатываемой системы распознавания дорожных объектов (знаки, пешеходы и другие участники дорожного движения). Описываются алгоритмы, применяемые в модулях «Предобработка изображения» и «Поиск и распознание объектов». Данная система направлена на сокращение числа дорожно-транспортных происшествий, вызванных неверной оценкой водителями дорожной ситуации. По сравнению с аналогичными системами разрабатываемая система будет отличаться по качеству распознавания дорожных знаков и анализировать большее число объектов, выделяемых в дорожной ситуации.

Ключевые слова: активное компьютерное зрение, обнаружение объектов, предобработка изображения, распознавание образов, безопасность движения.

1. Введение. Статистика дорожно-транспортных происшествий (ДТП) в РФ свидетельствует о росте их количества и большом числе раненых и погибших в результате аварий. Если рассматривать основные причины ДТП (рис. 1), то наибольшее количество аварий вызвано неверной оценкой дорожной ситуации. Для сокращения числа ДТП предлагается использовать систему для распознавания дорожных объектов (знаки, пешеходы, другие участники дорожного движения). Данная система поможет оценить ситуацию как неопытным водителям, не успевающим одновременно следить за дорогой, знаками и другими участниками движения, так и опытным водителям в условиях недостаточной видимости.

Для создания системы распознавания дорожных объектов необходимо выбрать прототип системы, разработать модель предобработки изображения, разработать модель поиска и распознавания объекта. Компьютерное моделирования алгоритмов производилось в среде МаНаЪ [ 1 — 2]. Упрощенная модель эксперимента представлена на рис. 2.

2. Выбор прототипа системы. В первом виде аппаратного исполнения разрабатываемой системы планируется использовать дополнительную камеру, установленную под лобовым стеклом. Данные от видеокамеры будут обрабатываться средствами смартфона (рис. 3). Использование дополнительной камеры дает не только хорошее качество изображения, но и телефон не будет нагреваться из-за длительного использования его камеры.

3. Разработка модуля «Предобработка изображения». На первом этапе разработки модуля «Предобработка изображения» была решена задача по стабилизации видео. В качестве базовой части алгоритма был взят пример по стабилизации видео, представленный в среде МаНаЪ. Исходный код был изменен, исправлены параметры стабилизации, повышающие качество видео на неровных участках дороги.

Из-за работы системы распознавания дорожных объектов в различных условиях (светлое/темное

время суток, различные погодные условия) необходимо улучшать качество изображения (проводить усиление контрастности, коррекцию динамического диапазона и выравнивание гистограммы изображения).

Низкий контраст возникает из-за плохих погодных условий или недостаточности света (в темное время суток), что сказывается на качестве изображения. При реализации метода отдельно обрабатывалась каждая цветовая RGB-составляющая исходного изображения с помощью функций fspecial, im2double и conv2, а затем восстанавливалось результирующее цветное изображение. Для повышения контрастности видео в темное время суток в дальнейшем необходимо опытным путем подобрать коэффициенты усиления контрастности.

При недостаточности света формируются изображения с ограниченным динамическим диапазоном. Так как разрабатываемая система должна распознавать объекты в любое время суток, был разработан алгоритм коррекции динамического диапазона. При реализации метода отдельно обрабатывалась каждая цветовая RGB-составляющая исходного изображения с помощью функции im2double, а затем восстанавливалось результирующее цветное изображение из трех составляющих после коррекции динамического диапазона. Помимо коррекции динамического диапазона одновременно применялась медианная фильтрация изображения с помощью функции medfilt2 для устранения импульсного шума. Результаты работы алгоритма представлены на рис. 4.

При работе системы распознавания дорожных объектов при различных погодных и временных условиях формируются изображения либо слишком светлые, либо слишком темные. Для повышения качества таких изображений был разработан метод выравнивания гистограммы. При реализации метода отдельно обрабатывалась функцией histeq каждая цветовая RGB-составляющая исходного изображения, а затем восстанавливалось результиру-

Рис. 1. Основные причины ДТП

Рис. 2. Схема модели эксперимента

ющее цветное изображение из трех составляющих после выравнивания гистограммы. Функция histeq улучшает контраст изображения с помощью преобразования значений пикселей исходного изображения таким образом, чтобы гистограмма яркостей результирующего изображения приблизительно соответствовала предопределенной гистограмме. Помимо коррекции выравнивания гистограммы для устранения импульсного шума одновременно применялась медианная фильтрация изображения. Результаты работы алгоритма представлены на рис. 5.

4. Разработка модуля «Поиск и распознание объектов». Обнаружение пешеходов является одной из задач системы обнаружения объектов. Самый точный метод [3] по обнаружению людей — подход, основанный на гистограммах ориентированных градиентов (Histogram of Oriented Gradients, HOG) [4].

В среде Matlab система Computer Vision Toolbox поддерживает подход обнаружения людей, находящихся в вертикальном положении, используя метод HOG. Для обнаружения движущихся пешеходов значения свойств системного объекта Matlab vision. PeopleDetector были изменены. При анализе видеопотока каждый кадр обрабатывается отдельно. Результаты работы алгоритма обнаружения пешеходов представлены на рис. 6.

Существует множество подходов для решения задачи обнаружения и распознавания объектов (контурный анализ, блоб-анализ, методы сегментации изображений, сопоставление шаблонов, оптический поток и определение углов [5 — 9]). После моделирования существующих методов в среде

Рис. 3. Аппаратное исполнение разрабатываемой системы

МаИаЪ был выбран блоб-анализ в качестве базового подхода для решения задачи обнаружения дорожных знаков.

Алгоритм распознавания дорожных знаков основан на применении двух тип шаблонов. Первый тип шаблонов отвечает за непосредственное обнаружение объекта, второй вид — за окончательное

IV»

[ш И тт ш 1м см* *

а ов ■ □

а)

б)

Рис. 4. Результаты работы алгоритма коррекции динамического диапазона: а) исходное изображение; б) исходное изображение после коррекции динамического диапазона

Рис. 5. Результаты работы алгоритма выравнивания гистограммы: а) исходное изображение; б) исходное изображение после выравнивания гистограммы

Рис. 6. Результаты работы алгоритма обнаружения пешеходов

распознание объектов. Примеры шаблонов для обнаружения и окончательного распознания знака «Уступи дорогу» представлены на рис. 7. Шаблон окончательного распознания содержит различные ориентации знака.

Поиск объектов осуществляется на каждом кадре видеопотока при помощи шаблонов для обнаружения. После того как алгоритм определяет совпадение, найденный объект помечается как «по-

тенциальный знак». Если «потенциальный знак» алгоритмом определяется на трех подряд идущих кадрах, в этом случае происходит сравнение блока «потенциальный знак» с шаблоном для окончательного распознания. При установлении корреляционной связи между изображением шаблона и полученным «потенциальным знаком», делается вывод и выдается результат. Коэффициенты корреляции между объектом «потенциальный знак» и шабло-

а)

б)

Рис. 7. Шаблоны для обнаружения и распознавания дорожного знака «Уступи дорогу»: а) шаблон для обнаружения; б) шаблон для окончательного распознания

Рис. 8. Результаты работы модуля «Поиск и распознание объектов»

ном определяются с помощью функции согг2. Результаты работы модуля «Поиск и распознание объектов» представлены на рис. 8.

5. Выводы. Для создания системы распознавания дорожных объектов был выбран прототип системы, разработаны модели предобработки изображения, поиска и распознавания объектов. При разработке модуля «Предобработка изображения» был решена задача по стабилизации видео и предложены алгоритмы по улучшению качества изображения за счет усиления контрастности, коррекции динамического диапазона и выравнивания гистограммы изображения. При разработке модуля «Поиск и распознание объектов» для распознавания пешеходов применялся подход, основанный на гистограммах ориентированных градиентов, а для распознавания дорожных знаков в качестве базового подхода был выбран блоб-анализ.

В результате проведенных исследований были изучены и разработаны алгоритмы обнаружения и распознавания дорожных объектов, предложены алгоритмы, повышающие качество входных изображений, позволяющие реализовать модули «Предобработка изображения» и «Поиск и распознавание объектов». Далее планируется объединить алгоритмы разработанных модулей в единый модуль и проанализировать полученные результаты.

fr/pubs/2005/DT05/hog_cvpr2005.pdf (дата обращения: 16.05.2017).

4. Южаков Г. Б. Алгоритм быстрого построения дескрипторов изображения, основанных на технике гистограмм ориентированных градиентов // Труды МФТИ. 2013. Т. 5, № 3 (19). C. 84-91.

5. Nikonorov A., Petrov M., Yakimov P. Traffic sign detection on GPU using color shape regular expressions // VISIGRAPP IMTA-4 2013. URL: https://www.researchgate.net/ profile/Artem_Nikonorov/publication/286738110_Spectrum_ shape_elements_model_to_correct_color_and_hyperspectral_ images/links/57175ea208aeb56278c44e53.pdf (дата обращения: 16.05.2017).

6. Shneier M. Road sign detection and recognition // Proceedings. IEEE Computer Society Int. Conf. on Computer Vision and Pattern Recognition. 2005. P. 215-222.

7. Методы сегментации изображений: автоматическая сегментация. URL: http://cgm.computergraphics.ru/content/ view/147 (дата обращения: 16.05.2017).

8. Detecting Objects as Colored Blobs using HSV Colors. URL: http://shervinemami.info/blobs.html (дата обращения: 16.05.2017).

9. Ruta A., Li Y., Liu X. Detection, Tracking and Recognition of Traffic Signs from Video Input // Proceedings of the 11th International IEEE Conference on Intelligent Transportation Systems (ITSC '08). Beijing. China. 2008. P. 55-60. DOI: 10.1109/ ITSC.2008.4732535.

Библиографический список

1. Computer Vision System Toolbox — компьютерное зрение для Simulink. URL: http://matlab.ru/products/computer-vision-system-toolbox (дата обращения: 15.05.2017).

2. Matlab и Simulink — сообщество пользователей, материалы, книги, форум. URL: http://matlab.exponenta.ru (дата обращения: 15.05.2017).

3. Dalal N., Triggs B. Histograms of Oriented Gradients for Human Detection // INRIA, 2005. URL: http://lear.inrialpes.

ЕЛИЗАРОВ Дмитрий Александрович, доцент кафедры «Автоматика и системы управления». Адрес для переписки: elizarovda@gmail.com

Статья поступила в редакцию 26.05.2017 г. © Д. А. Елизаров