CC BY
17УДК 656, 004, 004.8
:10.18720^РВРи/2М21 -379
Якубович Ефим Александрович1,
старший специалист по анализу данных;
Селиверстов Ярослав Александрович1, заведующий лаборатории, с.н.с., канд. техн. наук;
Бялковский Константин 3
старший преподаватель, д-р техн. наук
ИСПОЛЬЗОВАНИЕ ТЕХНОЛОГИИ СЛИЯНИЯ ДАННЫХ В ИНТЕЛЛЕКТУАЛЬНЫХ ТРАНСПОРТНЫХ СИСТЕМ
1 2
' Россия, Сочи, ООО «Отраслевой центр разработок и внедрения», лаборатория искусственного интеллекта и нейронных сетей, efim.yakubovich@ocrv.ru;
Россия, Санкт-Петербург, ИПТ РАН, лаборатория интеллектуальных
транспортных систем; Австралия, Брисбен, шт. Квинсленд, Университет Квинсленда, Школа информационных технологий и электротехники,
konstanty@ieee.org
Аннотация. В составе интеллектуальных транспортных систем для сбора и анализа информации о транспортном потоке и условиях дорожного движения используются различные типы датчиков: видео камеры, магнитные петли, акселерометры и другие. Как правило информация от каждого типа датчика обрабатывается обособленно, а сами датчики решают специфичные для себя задачи. Для решения задач детекции и классификации транспортных средств в потоке используются дорожные видеокамеры с программным инструментарием видеоаналитики. Однако, данный вид устройств дорог в установке и обслуживании, а программное сопровождение для анализа транспортного потока требует существенных вычислительных ресурсов. Одновременное использование информации с источников данных различного типа становится популярным направлением для исследований, так как позволяет добиться экономии стоимостных и вычислительных ресурсов, за счет использования более простого оборудования и алгоритмов, не требующих больших вычислительных затрат. В данной статье, авторы сравнивают профессиональную систему дорожного видеонаблюдения, в которой используются только видеоданные с системой на основе информации из разных источников. Авторы представляют систему на основе типовой видеокамеры и регистратора шума (диктофона) для анализа дорожного траффика. Анализируют достоинства и недостатки профессиональной системы дорожного видеонаблюдения с разработанной, а также описывают дальнейшее развитие данной системы.
Ключевые слова, интеллектуальные транспортные системы, слияние данных, компьютерное зрение, классификация транспортных потоков, нейронные сети.
Efim A. Yakubovich1,
Senior Data Scientist, Yaroslav A. Seliverstov2, Head of Laboratory, Senior Researcher, Candidate of Technical Sciences;
Konstanty Bialkowskf Senior Lecturer, Doctor of Technical Sciences
DATA FUSION IN INTELLIGENT TRANSPORTATION
SYSTEMS
1 л
' "Industry Development and Implementation Center" LLC, Laboratory of Artificial Intelligence and Neural Networks, Sochi, Russia,
efim.yakubovich@ocrv.ru;
2 Solomenko Institute of Transport Problems of the Russian Academy of Sciences, Laboratory of Intelligent Transport Systems, St. Petersburg, Russia;
The University of Queensland, School of Information Technology and Electrical Engineering, Brisbane, Australia, konstanty@ieee. org
Abstract. Road sensing is a crucial part of modern Intelligent Transportation Systems (ITS). Different types of sensors (video cameras, induction loops, accelerometers) are usually used separately solving a specific narrow problem. While video cameras are widely used type of sensors to solve detection and classification tasks they remain the most expensive to operate. Regarding this fact information fusion from different sources has become a popular area of research. This trend aims to optimize and improve the efficiency of road sensor networks. In this paper, the authors present a video road-sensing module and a road sensing system that uses information fusion. The advantages and disadvantages of both implementations are analyzed and a future work is discussed.
Keywords, intelligent transport systems, data fusion, computer vision, traffic classification, neural networks.
Введение
Компьютерное зрение — широко применяемый инструмент для детекции транспортных средств (ТС). Используя видеопоток с камер и вычитание фона, система может распознать движущийся объект. Однако, искажения, вызванные колебанием опоры камеры, солнечными лучами, качающимися ветвями и др. снижают эффективность видеонаблюдения в интеллектуальных транспортных системах (ИТС). Для устранения таких негативных факторов может быть применено многомерное ядерное Гауссово преобразование [1].
Приближающееся (или проезжающее) ТС может быть обнаружено через взрывное увеличение частоты в аудио сигнале. Важно отметить, что окружающая среда содержит много других шумов, помимо шу-
мов ТС. Это делает корректное сегментирование сигнала от ТС затруднительным. Нейронная сеть (НС) может быть обучена отделять паттерны ТС от посторонних звуков [2].
Сравнение интеллектуальных транспортных систем
Интересный метод предложен Хартквистом [3], где вместо анализа звука как волны, преобразование Фурье применено к аудио сигналу. Результат преобразования — спектрограмма (рис. 1). Используя такие спектрограммы для обучения, НС имеет потенциал решать задачи автоматических детекии и классификации ТС.
С МХМ ЛОНО ПО» «ООО
Рис. 1. Спектрограмма проезжающего ТС
В то время как детекция характеризуется взрывным изменение частоты, классификация требует набор признаков для анализа. Извлечение и выбор признаков довольно трудозатратный процесс, требующий большое количество временных и вычислительных ресурсов. Региональные свёрточные нейронные сети (RCNN) могут быть использованы, чтобы ускорить процесс [4]. Когда кадр попадет в RCNN, сеть разбивает его на регионы интереса (РИ). Внутри каждого РИ сеть кластеризует признаки и относит их к одному из классов.
До сих пор, датчики ИТС, в основном, используют один специфичный тип информации (видео, вибрации, магнитные поля и т. д.) для анализа траффика. Однако, слияние информации из разных источников — область исследований, которые потенциально могут улучшить эффективность ИТС. Такой подход может использовать несколько источников данных для самостоятельно калибровки и обучения [5]. Такие системы могут стать автономными.
Существующие системы дорожного видеонаблюдения [6, 7] на основе программной видеоаналитики, построенной на основе фреймворках TensorFlow и RCNN [8], используются для детекции и классификации ТС. Данные системы способны различать проезжие части и направление движения транспортных потоков ('out' и 'in') (рис. 2). Также данные си-
стемы способны осуществлять классификацию транспортных средств, например, на три категории: 'small', 'medium', 'big'. Точность детекции у таких систем близка к 100 %. В процессе эксперимента система на основе дорожной видеокамеры SMARTEC STC-IPM5691/1 и видеоаналитике на основе нейросетевых алгоритмов (YOLO-2) не пропустила ни одного ТС. Уверенность системы в классификации так же была довольно высока - от 87 % до 99 %. Модуль способен обнаружить ТС с относительно большого расстояния и отслеживать его до пределов видимости.
Рис. 2. RCNN детекция и классификация ТС
Однако такой подход очень затратен в человеческих и вычислительных ресурсах. Метод требует размеченных данных. Для ручной разметки 400 кадров требуется около 10 часов работы. Обучение на GeForce GT 740M заняло 40 часов.
Для снижения затрат была разработана система, где видео и аудио информация используются совместно. Используя доступные цифровые устройства (Canon SX620 HS и Xiaomi Redmi 3S) были собранные данные дорожного траффика. Разработанная система способна решать задачу детекции с точностью порядка 90 %.
Синхронизированные сигналы (рис. 3) адресуют недостатки каждой компоненты системы. Вычитание фона может не обнаружить ТС из-за теней, солнечных лучей и т. д. Звуковая компонента может совершить ложно-положительное срабатывание из-за сирен или звуков ТС вне РИ. Используя простые функции из OpenCV к видео и свёрточную НС (CNN) к спектрограммам, система вероятностно оценивает наличие ТС в РИ.
Рис. 3. Синхронизированные сигналы
Заключение
Разработанная система не решает задачу классификации. Есть несколько аспектов, которые необходимо принять во внимание.
Система использует относительно простые механизмы обработки видео. Это помогает снизить время на обучение. Возможно, используя такой подход, задача классификации может быть решена путем анализа, попавшего в РИ ТС. Однако цвет ТС или размытие изображения ТС могут негативно повлиять на качество работы системы. Более того, разные классы ТС могут иметь сравнительно схожие геометрические размеры и формы. Применение более сложных практик машинного обучение (например, RCNN) не целесообразно, так как не соответствует идеи упрощения ИТС.
Классификация при помощи звука имеет несколько осложняющих факторов. ТС может проходить РИ ускоряясь, или на холостом ходу, или тормозя. Один и тот же тип ТС может использовать разные шины, двигатели, может быть гружёным или порожним. Всё это влияет на паттерн спектрограммы.
Это исследование может служить основой для будущих работ. Ошибки и достижения метода могут быть использованы для поддержки идеи использования слияния информации в ИТС.
Ресурсы для данного исследования любезно предоставлены Университетом Квинсленда (Брисбен, Австралия).
Особую благодарность выражаем Konstanty Bialkowski без которого данная работы не была бы возможна.
Список литературы
1. Chen Z., Ellis T., Velastin S.A. Vehicle detection, tracking and classification in urban traffic. // 2012 15th International IEEE Conference on Intelligent Transportation Systems, Anchorage, AK. - 2012. - Pp. 951-956.
2. George J., Mary L., Riyas K.S. Vehicle detection and classification from acoustic signal using ANN and KNN. // 2013 International Conference on Control Communication and Computing (ICCC), Thiruvananthapuram, 2013. - Pp. 436-439.
3. Hartquist J. Audio Classification using FastAI and On-the-Fly Frequency Transforms. // Medium, Nov. 2018.
4. Lin M., Zhao X. Application Research of Neural Network in Vehicle Target Recognition and Classification. // 2019 International Conference on Intelligent Transportation, Big Data & Smart City (ICITBS). - Changsha, China, 2019. - Pp. 5-8.
5. Bischof H., Godec M., Leistner C., Rinner B., Starzacher A. Autonomous Audi-oSupported Learning of Visual Classifiers for Traffic Monitoring. // In: IEEE Intelligent Systems. May-June, 2010. - Vol. 25, no. 3. - Pp. 15-23.
6. Seliverstov Ya.A., Seliverstov Sv.A., Komashinskiy V.I., Tarantsev A.A., Shatalo-va N.V., Grigoriev V.A. Intelligent systems preventing road traffic accidents in megalopolises in order to evaluate. // In: Proceedings of 2017 20th IEEE International Conference on Soft Computing and Measurements, SCM 2017. - 2017. - Pp. 489-492.
7. Seliverstov S.A., Seliverstov Y.A., Tarantsev A.A., Grigoriev V.A., Elyashe-vich A.M., Muksimova R.R. Elaboration of intelligent development system of megalopolis transportation. // In: Proceedings of 2017 IEEE II International Conference on Control in Technical Systems (CTS), CTS 2017. - 2017. - Pp. 211-215.
8. Juras Evan. Tensor Flow Object Detection API Tutorial Train Multiple Objects Windows 10 [Online]. - URL: github.com/EdjeElectronics (date of access: 26.08.2021).
УДК 004.89. 656.078
:10.18720^РВРи/2М21 -380
Свистунова Александра Сергеевна1,
младший научный сотрудник СПб ФИЦ РАН;
Кравец Даниил Михайлович2,
студент СПбПУ
РАЗРАБОТКА АЛГОРИТМА ДОСТАВКИ ПАССАЖИРОВ ДО АЭРОВОКЗАЛА ПУТЁМ ПРИМЕНЕНИЯ МЕТОДА АГЕНТНОГО МОДЕЛИРОВАНИЯ
1 Россия, Санкт-Петербург, Санкт-Петербургский Федеральный исследовательский центр Российской академии наук, svistunova_alexandra@bk.ru; Россия, Санкт-Петербург, Санкт-Петербургский политехнический университет Петра Великого, danilkravets@yandex.ru
Аннотация. В статье представлены описание и разработка алгоритма, основанного на методе агентного моделирования, доставки пассажиров от долгосрочной парковки до терминала аэропорта Пулково. Рассматриваемыми объектами является долгосрочная парковка Р4 в аэропорту Пулково и терминал аэропорта Пулково. Произведен анализ пассажиропотока на маршруте от долгосрочной парковки Р4 до здания аэровокзала Пулково. Предложена схема реализации маршрута движения шаттла от долгосрочной парковки до терминала аэропорта.
Ключевые слова, агентное моделирование, аэропорт, паркинг, аэровокзал, пассажиры, имитационное моделирование, автобус-шаттл.
