CC BY
61
УДК 004.93
А. Е. Соколов
Институт автоматики и электрометрии СО РАН пр. Акад. Коптюга, 1, Новосибирск, 630090, Россия
E-mail: ktonibud@gmail.com
СИСТЕМА ТЕХНИЧЕСКОГО ЗРЕНИЯ ДЛЯ УЧЕТА ДВИЖЕНИЯ НА ПЕРЕКРЕСТКАХ
В статье идет речь о разработке системы учета движения автотранспорта на перекрестках, использующей техническое зрение. Основными направлениями исследований являлись выявление отличительных особенностей учета движения на перекрестках, анализ существующих решений, сравнение библиотек технического зрения и построение системы.
Ключевые слова: учет движения, перекресток, автотранспорт, техническое зрение.
Введение
За последнее десятилетие произошел резкий рост количества автомобилей. Особенно заметен этот рост в больших городах, таких как Москва, Санкт-Петербург, Новосибирск, в которых постоянно образуются автомобильные пробки, сильно осложняющие жизнь как водителям, так и пешеходам. Одна из причин пробок - низкая пропускная способность перекрестков. Основной способ увеличить пропускную способность перекрестка - его перестройка. Для того чтобы перестроить перекресток под текущий автомобильный трафик, необходимо иметь информацию о текущей загруженности - количестве транспорта и направлениях его движения.
Существуют различные способы сбора информации о загруженности дорог. В Германии проводится анкетирование местных жителей, но этот способ неточен. Иногда эти измерения проводятся визуально, оператором. Такой способ учета движения на перекрестках затратен и также имеет высокую погрешность. Еще один способ - использовать автоматический подсчет с помощью системы технического зрения. Однако существующие видеосистемы неприменимы для таких целей, поскольку они установлены только на некоторых полосах движения.
Цель работы заключается в создании системы технического зрения для учета движения автотранспорта на перекрестках.
В статье формулируются требования к системе и приводится архитектура системы и используемые алгоритмы. Предлагается обрабатывать видеозаписи, получаемые в результате съемки всего перекрестка. Полученная при обработке статистическая информация позволит перепроектировать транспортные развязки так, чтобы уменьшить пробки.
Специфика задачи и требования
Перепланировка перекрестка производится на основе информации о его текущей загруженности в зависимости от: количества автомобилей, направления их движения, суточных изменений трафика, габаритов проезжающих автомобилей, скоростных режимов и т. д. Эта информация позволяет оптимизировать режимы работы светофоров, организовать «зеленую волну», предусмотреть отдельные полосы с более долговечным дорожным покрытием для грузового автотранспорта, выделить велосипедные дорожки и т. п.
ISSN 1818-7900. Вестник НГУ. Серия: Информационные технологии. 2012. Том 10, выпуск 1 © А. Е. Соколов, 2012
Таблица 1
Сравнение способов учета движения
Способ учета Достоверность По направлениям Стоимость Определение скорости
Анкетирование - + низкая +
Яндекс.Пробки + - низкая +
Стационарные системы технического зрения + - высокая +
Ручной подсчет - + средняя -
Однако получить информацию о ситуации на перекрестке весьма проблематично (табл. 1). Например, применяющееся в небольших городах Германии анкетирование местных жителей дает слабо достоверные данные, обработка анкет трудоемка [1]. Затраты на обработку анкет могут быть снижены при использовании анкетирования через Интернет, но качество получаемых данных при этом по-прежнему низкое, особенно в условиях мегаполиса.
Сервис «Яндекс.Пробки» 1 предоставляет информацию о загруженности дорог с помощью специального программного обеспечения, устанавливаемого водителями на свой смартфон или КПК. Это приложение каждые несколько секунд определяет по GPS свое местоположение и отсылает текущие координаты, направление и скорость на сервер «Яндекс.Пробки». Сервер, получая информацию от нескольких водителей, вычисляет среднюю скорость движения и публикует ее на сайте. Также водители могут сами добавлять информацию о ДТП, ремонтных работах или других дорожных неприятностях. Однако этот сервис не предоставляет статистики о конкретном перекрестке, данные о количестве и направлении движения автотранспорта по перекрестку, его габаритах.
Существующие комплексы видеонаблюдения за дорогами, такие как «VOCORD Traffic» 2, «Трафик-Инспектор» 3, распознают нарушения ПДД, номера автомобилей, собирают статистику о движении на дороге. Но они установлены только на некоторых полосах движения, тогда как для обследования трафика на перекрестке необходимо анализировать движение на всех полосах. Установка такой системы стоит 4,5 млн рублей 4, и дооборудование системы на недостающие полосы ведет к дополнительным затратам, что неприемлемо, если нужно обследовать перекресток только для того, чтобы его после этого перестроить.
Недостатки описанных методов приводят к тому, что на практике самый распространенный способ обследования перекрестков - ручной подсчет автомобилей оператором, «вживую» либо по видеозаписи. Недостатки этого способа - трудоемкость, затратность.
Низкая трудоемкость и приемлемая стоимость сбора данных может быть обеспечена автоматическим подсчетом автомобилей с использованием недорогой мобильной видеокамеры. Такой подход может предполагать обработку не только потокового видео, но и записанных ранее видеорядов. Когда камера установлена на открытом воздухе, возникают вибрации от ветра.
К интересующим оператора параметрам относятся: время суток, день недели, время года, дороги въезда и выезда, количество автомобилей, их габариты. Также операторам важна статистика как за все время, так и за конкретный период.
Итак, система должна:
• обрабатывать видеозапись в формате .avi или прямой видеопоток с камеры, на котором изображен перекресток. Наклон оптической оси камеры к горизонту не менее 45°, размеры объектов не менее 20 х 20 пикселей, частота кадров не менее 15 в секунду;
1 http://company.yandex.ru/technology/yaprobki/
2 http://www.vocord.ru/218/
3 http://www.iss.ru/products/traffic/
4 http://tvcom-tv.ru/news/16/12267.php
• иметь высокое быстродействие; для прямого видеопотока с камеры с параметрами 640 х 480 при частоте кадров 20 fps обработка должна происходить в реальном времени;
• компенсировать дрожания и корректировать вносимые им искажения съемки;
• иметь интерфейс, в котором пользователь может задавать линии примыкания дорог к перекрестку, их идентификаторы;
• определять для каждого автомобиля габариты, дорогу и время въезда, дорогу и время выезда;
• отображать статистику в виде графиков;
• иметь возможность ограничивать исходные данные для статистической обработки по времени, габаритам, направлению движения.
Архитектура и алгоритмы
Предложенная архитектура состоит из компонента обработки видео и компонента представления результатов (рис. 1). Компонент обработки видео воспринимает на входе видеозаписи или видеопоток, находит на изображении движущиеся объекты, определяет их параметры и сохраняет в базу данных. Компонент представления результатов на основе заданных оператором ограничений выводит на экран графики, отображающие информацию из базы данных.
Рис. 1. Архитектура системы
Компонент Представления результатов
Компонент обработки видео
База данных
Алгоритм подсчета автомобилей (рис. 2) предполагает покадровую обработку. При обработке кадра используется накопленная ранее информация о текущем фоне, об обнаруженных автомобилях.
Фон определяется по последовательности кадров итерационным алгоритмом, основанном на смешении Гаусса 5. Объекты выделяются алгоритмом трассировки контуров [2]. Выделен-
5 KadewTraKuPong P., Bowden R. An Improved Adaptive Background Mixture Model for Realtime Tracking with Shadow Detection. 2001. URL: http://personal.ee.surrey.ac.Uk/Personal/R.Bowden/publications/avbs01/avbs01.pdf
ные объекты фильтруются по габаритам, минимальные и максимальные допустимые габариты задаются в пикселях. Устанавливается соответствие для обнаруженных объектов с объектами, полученными на предыдущем кадре, для каждого переместившегося объекта обновляется его положение 6. Удаление исчезнувшего автомобиля задерживается на 10 кадров, чтобы исключить помехи. Для каждого автомобиля запоминается, в какой области экрана он появился и в какой исчез, а также в какое время. Если автомобиль появился и исчез в областях, указанных как дороги, примыкающие к перекрестку, то делается вывод о дорогах въезда и выезда. Полученная информация сохраняется в базу данных.
6 Senior A., Hampapur A., Tian Y., Brown L., Pankanti S., Bolle R. Appearance Models for Occlusion Handling // 2nd IEEE Workshop on Performance Evaluation of Tracking and Surveillance. 2001. URL: http://www.research.ibm.com/ peoplevision/PETS2001.pdf
Реализация
При реализации было проведено исследование наиболее популярных и мощных библиотек технического зрения - LabView IMAQ Vision 7 и OpenCV 8 с целью сравнения их производительности. Исследование проводилось на следующих функциях: чтение файлов .avi, фильтрация, рисование примитивов, извлечение каналов, вывод на экран и проч. Из каждого класса было выбрано по функции и проведены замеры времени их исполнения. Для более точного определения времени исполнения функций использовалось зацикливание от 1 000 до 1 000 000 раз. Для соблюдения равных условий тестирования функции библиотеки IMAQ и библиотеки OpenCV запускались из среды LabView, при этом функции OpenCV подключались через механизм DLL. Сравнение (табл. 2) показало более высокую (от 3 до 10 раз) эффективность библиотеки OpenCV для функций чтения файлов, фильтрации, рисования примитивов, извлечения каналов и проч. IMAQ оказался производительнее при копировании одного изображения в другое (на 10 %) и при выводе на экран (в 5 раз). При сравнении было использовано встроенное в OpenCV средство вывода изображения на экран, предназначенное для отладки; вывод с помощью сторонних библиотек, отображающих графический интерфейс пользователя, происходит быстрее.
Таблица 2
Сравнение OpenCV и IMAQ Vision
Функция с к м > и n e p O с к м а A IM I Отношение времени IMAQ ко времени OpenCV, раз
Чтение кадра из .avi 9 866 75 197 7,62
Вывод изображения на экран 14 207 2 635 0,19
Трехцветное размытие 40 455 166 364 4,11
Перевод в серую шкалу 6 038 18 755 3,10
Перевод в серую шкалу с последующим размытием 19 495 62 145 3,18
Копирование изображения 4 413 3 933 0,89
Рисование отрезка 4,053 40,318 9,95
Извлечение зеленого канала 2 591 8 098 3,13
Преобразование из RGB в HLS 124 105 396 111 3,19
Копирование цветов пикселей из одного отрезка в другой 5,744 30,908 5,38
На основании этого исследования было принято решение использовать OpenCV в качестве базового инструмента.
Для исключения фона использованы специальные функции OpenCV, выделение объектов реализовано с помощью библиотеки cvBlob 9. Библиотека wxWidgets 10 использована для отображения графического интерфейса пользователя. Выдача графиков организована с помощью библиотеки PLplot п. В качестве СУБД выбрана SQLite 12. Использованные библиотеки имеют свободные лицензии, допускающие применение в коммерческих продуктах.
Интерфейс компонента обработки видео (рис. 3) позволяет пользователю указать перекресток, задать набор дорог, примыкающих к нему, указать их местоположение на картинке. Кнопка Run запускает работу алгоритма (рис. 4).
7 IMAQ Vision for LabView User Manual: http://www.csun.edu/~rd436460/Labview/IMAQ-Manual.pdf
8 http: //opencv. willowgarage.com/wiki/
9 http://cvblob.googlecode.com/
10 http://www.wxwidgets.org/
11 http://plplot.sourceforge.net/
12 http://sqlite.org/
Рис. 3. Настройка местоположения улиц на экране
Рис. 4. Работа алгоритма
В окне компонента отображения результатов (рис. 5) пользователь может задать параметры выборки из базы данных (направление, время суток, дни недели, интервал дат), а также способ отображения информации (в зависимости от дня недели, времени суток за весь указанный интервал).
Рис. 5. Отображение результатов (на тестовых данных)
Заключение
В работе проведено исследование существующих алгоритмов, предложена двухкомпо-нентная архитектура, разработана система учета движения на перекрестках на основе этой архитектуры.
Получены следующие результаты:
• показано, что LabVIEW IMAQ Vision менее производителен, чем OpenCV;
• создано программно-техническое решение задачи нахождения статистики о движении транспорта на перекрестке с использованием системы технического зрения и одной видеокамеры.
Применение разработанной системы учета движения позволяет определить статистику о движении автотранспорта по перекрестку и на основании этой информации перестроить перекресток так, чтобы уменьшить пробки.
При развитии планируется исследовать влияние вибрации на качество работы системы и тестирование на реальных видеопотоках.
Список литературы
1. Колтышев Д. А. Мониторинг автомобильного трафика // Материалы XLVIII Между-нар. науч. студ. конф. «Студент и научно-технический прогресс»: Информационные технологии. Новосибирск, 2010.
2. Fu Chang, Chun-jen Chen, Chi-jen Lu. A Linear-Time Component-Labeling Algorithm Using Contour Tracing Technique // Computer Vision and Image Understanding. 2004. Vol. 93. Р. 206-220. URL: http://citeseer.ist.psu.edu/viewdoc/summary?doi=10.1.1.95.6330
Материал поступил в редколлегию 20.01.2012
A. E. Sokolov
CROSSROADS TRAFFIC COUNTING USING COMPUTER VISION
This paper discusses development of traffic counting system for crossroads. The main areas of research include specificity of traffic counting on crossroads, analysis of existing solutions, comparison of computer vision libraries, and construction of the system.
Keywords: traffic counting, vehicle, crossroad, computer vision.
