МУЛЬТИСЕНСОРНАЯ ОБУЧАЮЩАЯ СИСТЕМА ДЛЯ ОБНАРУЖЕНИЯ УЧАСТНИКОВ ДОРОЖНОГО ДВИЖЕНИЯ В ТУМАНЕ Текст научной статьи по специальности «Компьютерные и информационные науки»

Список литературы

1. Урсул А.Д. Проблема информации и информатизация общества. // НТИ. Сер. 2. - 1991. - № 6. - С. 1-8.

2. Пароджанов В.Д. Кризис цивилизации и нерешенные проблемы информатизации. // НТИ. Серия 2. Информатизационные процессы и системы. - 1993. - № 12. -С. 1-9.

3. Стратегия перехода Санкт-Петербурга к информационному обществу. // Проблемы информатизации. - 1999. - Вып. 4. - С. 50-65.

4. Смолян Г.Л., Черешкин Д.С., Вершинская О.Н., Костюк В.Н. и др. Путь России к информационному обществу (предпосылки, проблемы, индикаторы, особенности). - М.: Изд. Института системного анализа РАН, 1997. - 64 с.

5. Вернадский В.И. Несколько слов о ноосфере. // Успехи современной биологии. - 1994. - № 18. - Вып. 2. - С. 113-120.

6. Le Rou E. Lexidgence idealiste et le fait devolution. - Paris, 1927. - P. 196.

7. Моисеев Н.Н. Человек и ноосфера. - М.: Молодая гвардия, 1990. - 351 с.

8. Ракитов А.И. Философия компьютерной революции. - М., 1991.

9. Заболотский В.П., Юсупов Р.М., Иванов В.П. Человек в информационном пространстве. // Проблемы информатизации. - 1996. - № 4. - С. 3-7.

10. Заболотский В.П., Юсупов Р.М. Социальный аспект информатизации. // Информатика и вычислительная техника. - Вып. 1-2. - М., 1993. - С. 39-42.

11. Юсупов Р.М., Заболотский В.П. Концептуальные и научно-методологические основы информатизации. - СПб.: Наука, 2009. - 542 с., 80 ил.

УДК 330.1

doi :10.18720/SPBPU/2/id21 -397

Верясов Артем Вячеславович1,

студент

МУЛЬТИСЕНСОРНАЯ ОБУЧАЮЩАЯ СИСТЕМА ДЛЯ ОБНАРУЖЕНИЯ УЧАСТНИКОВ ДОРОЖНОГО ДВИЖЕНИЯ В ТУМАНЕ

1Россия, г. Санкт-Петербург, Санкт-Петербургский политехнический университет Петра Великого, raf.ru.9976@gmail.com.

Аннотация. В настоящее время активно развивается робототехника и машинное обучение, делая нашу жизнь проще и безопаснее. В данной работе представлены результаты исследования по разработке мультисенсорной обучающейся системы распознавания объектов в туманной среде. Основной целью является улучшение системы распознавания, которая применяется в автомобилях для предотвращения аварий в условиях тумана. Метод основан на интеграции двух систем снабжения для обнаружения пешеходов, которые чаще всего используются в современных транспортных средствах: лидар и радар.

Ключевые слова, машинное обучение, 3D радар, 2D лидар, мобильная робототехника, обучение в режиме реального времени, интеграция датчиков, SVM, PointNet.

Artem V. Veryasov1, Student

MULTI-SENSOR LEARNING-FUSION SYSTEM FOR VULNERABLE TRAFFIC PARTICIPANT DETECTION IN FOG

1 Peter the Great St. Petersburg Polytechnic University, St. Petersburg, Russia,

raf.ru.9976@gmail.com

Abstract. Currently, robotics and machine learning are actively developing, making our life easier and safer. This paper provides an overview and analysis of research on the development of a multisensory learning system for object recognition in a foggy environment. The main goal is to improve the recognition system used in cars to prevent accidents in foggy conditions. The method is based on the fusion of two pedestrian detection supply systems that are most commonly used in modern vehicles: lidar and radar.

Keywords: machine learning, 3D radar, 2D lidar, mobile robotics, on-line learning, sensor fusion, SVM, PointNet.

Введение

Развитие области робототехники позволяет задействовать роботов в большем диапазоне ролей, в том числе и для того, чтобы предотвратить угрозу жизни человека, например, в беспилотных автомобилях. Но все же происшествия случаются, например, в г. Москва в апреле 2021 года [1]. Исследования показывают, что автономные автомобили имеют более низкий коэффициент летальных исходов по сравнению с автомобилями, управляемыми людьми. За последние 7 лет было зарегистрировано 5 аварий с участием автономных транспортных средств с летальным исходом [2]. Проанализировав их, можно понять, что основной причиной аварий является несовершенство систем восприятия в необычных погодных условиях.

Один из способов улучшить информацию, поступающую с сенсорных датчиков - использовать несколько датчиков разных модальностей. Например, камера, которая обеспечивает большой поток данных, но зависящей от освещения и погодных условий в том числе, и активных датчиков, таких как лидары, которые снижают зависимость от освещения, но также зависят от погоды. Объединение таких датчиков с другими, которые работают на более длинных волнах, позволит решить данную проблему. Основываясь также на работе [3], показывающей способность выполнять непрерывное обучение от одного датчика к другому. Так же приведены сравнения систем объединения: Support Vector Machine (SVM) [4] и PointNet.

1. Описание системы

На рисунке 1 представлена система объединения систем слежения, основанная на SVM.

Рис. 1. Конфигурация обучения объединения с использованием SVM

Поступающие с лидара данные проходят через модуль обнаружения лидара [4]. Выходящие данные этого модуля можно после использовать для комментирования входящих данных радара. Затем данные группируются и отправляются в модуль SVM для обучения. По мере ухудшения условий окружающей среды и снижения надежности данных лидара SVM теперь может интерпретировать поступающие данные радара, на которые в меньшей степени влияет погода. Выходящие данные SVM и модулей обнаружения лидара затем обрабатываются модулем объединения датчиков, где мы сравниваем использование взвешенных и переключаемых фильтров.

Classified

points

PoiniNet

1

Objuring

Lidar

PoiniMet

detections

Lidar detection

Clusters

Weighted

Serisor fusion I Filtering

Filter Switching Filter

Рис. 2. Конфигурация обучения объединения с использованием PointNet

Pedestrian1 Position

На рисунке 2 представлена структура с использованием PointNet. В этой конфигурации данные лидара аннотируются с использованием того же модуля обнаружения лидара, который используется в качестве аннотированного набора данных для обучения PointNet интерпретации данных радара. Затем PointNet добавляет метку класса к каждой точке, кото-

рая затем отправляется в модуль кластеризации. После классифицированные кластеры отправляются в модуль объединения датчиков.

Общими модулями у обеих систем являются модули обнаружения лидара и интеграции датчиков.

Модуль обнаружения лидара предназначен для обработки 2D-сканирования лидара и получения оценок местоположения и надежности положения пешеходов. В модуль подается набор точек из 2-мерной плоскости, представляющей поперечное сечение сцены от лидарного сканера. В данной реализации двумерный лидар был помещен близко к земле и обработан детектором ног, как показано на рисунке 3. Он использует плоскость точек лидара для оценки положения ног на основе 14 характеристик, таких как количество пересеченных лучей, радиус предполагаемого обнаружения, а также его округлость и средняя кривизна. Он также включает такую информацию, как скорость движения ноги. Используя оценки двух ног, оценка человека дается с использованием подхода фильтра Калмана. Более подробную информацию о методе можно найти в [4].

Цель модуля интеграции датчиков — объединить выходы модуля обнаружения лидара с выходами модулей PointNet и SVM на основе радара. Модуль важен для способности платформы автоматически обрабатывать показатели датчиков при изменении погодных условий на открытом воздухе. Входы в модуль сначала проходят через временной фильтр. Это отслеживает пространственно близкие обнаружения с течением времени, и его цель состоит в том, чтобы удалить любые ложные срабатывания, которые могут кратковременно произойти из-за аномальных показаний датчика.

Модуль PointNet основан на нейронной сети, разработанной специально для того, чтобы иметь возможность интерпретировать облака точек на основе пространственного отношения точек. Исходная сеть PointNet работает, беря набор из 4096 точек и применяя к ним симметричные функции, так что сеть инвариантна к вращению и порядку. Затем можно изучить пространственное кодирование точек, и через последовательные уровни многослойных перцептронов и максимального объединения сеть может агрегировать объекты, чтобы вывести оценку класса для каждой точки. В работе сеть была модифицирована, таким образом, чтобы можно было как онлайн, так и офлайн изучать входящие данные.

В макете на основе SVM вместо модуля PointNet используется модуль кластеризации, который сегментирует все полученные точки на

кластеры с использованием евклидовой кластеризации, предоставляемой Point Cloud Library (PCL) [5].

Затем эти кластеры помечаются как «пешеходы» или «другие» в зависимости от их расстояния до места пешехода, предоставляемого модулем обнаружения лидара. Используется расстояние 0,5 метра в качестве порога между центром кластера и предполагаемым положением пешехода. Остальные кластеры, которые не были помечены, остаются неизвестными. Эти помеченные кластеры затем отправляются классификатору SVM. SVM извлекает геометрические элементы из помеченных кластеров, а затем использует их для обучения. После модуль пытается классифицировать любые неизвестные кластеры, причем точность со временем повышается по мере появления большего количества обучающих примеров. Позиции пешеходов, предоставленные модулем SVM, затем передаются модулю объединения датчиков. Полное описание модуля SVM можно найти в [6].

Рис. 3. Визуализация данных, полученных с лидара. Датчики установлены в нижней части изображения, а обнаруженные лидары показаны в виде черных точек на плоскости. Также виден выходной сигнал детектора ног: оценки ног показаны зеленым цветом, а человек — красной сферой.

\

В

Рис. 4. Визуализация данных, полученных с радара. Радиолокационные точки показаны в виде сфер и имеют цветовую кодировку в соответствии с метками классов, предоставленными в данном случае «человек» (красный) и «другой» (зеле-

ный). Данные лидара также отображаются в виде черных точек.

2. Анализ

Данное исследование максимально актуально на настоящий момент. Проблема распознавания пешеходов действительно присутствует, хоть и статистика имеет скорее положительные показатели, но все же не идеальные.

Предложено решение проблемы путем объединения датчиков и взаимного самообучения с помощью двух подходов SVM и Рот1№! В результате двух экспериментов в различных установках и условиях оба подхода показали значительное превосходство перед стандартным лида-ром, что видно на рисунках 5-6.

_ о. к

Б

р 0.6

Е

IU

% 0.4 —

U

< 0.2

О

0 20 40 60 80 100 120 140

Типе [ь|

Рис. 5. Эксперимент 1. Стационарная установка

9

»

I

Pedestrian localisation error over time (10s sliding average)

1 1 1 1 Standalone lidar Standalone PointNet Standalone SVM PointNet + weighted filter SVM + weighted filter ^^^ Normal conditions 1 Hazy conditions J *

i i i i i i i

По графику видно, что вначале при нормальных погодных условиях все системы имеют хороший показатель ошибки, системы SVM, PointNet с течением времени обучаются и показатель ошибки соответственно уменьшается, что говорит об эффектном подходе с взаимообучением. С переходом на туманные условия, ошибка модуля лидара существенно ошибается в определении «объекта», однако, благодаря объединению с радаром, на ошибку системы это никак не влияет. Оба подхода с обучением отлично справляются с туманом, лишь после 120 секунды система $УМ показывает лучший результат.

Рис. 6. Эксперимент 2. Установка на мобильном роботе

В условиях тумана видно, что лидар быстро ухудшается, в то время как подходы SVM и PointNet, которые обучались самостоятельно с лидара, по-прежнему поддерживают хорошие значения ошибок. Увеличение погрешности по сравнению с экспериментом 1 вызвано относительно высокой скоростью робота во время эксперимента. Два локальных максимума ошибки около 60 и 110 с вызваны быстрым поворотом робота.

Эксперименты доказывают эффективность подхода. Объединение лидара и радара существенно увеличивает обнаружение пешехода на дороге в нормальных и туманных условиях. Оба способа обучения показали одинаково хорошие результаты, особенно это видно во втором эксперименте.

Эксперименты показывают, что использование неоднородности выходных сигналов датчиков для обучения друг друга дает лучшие результаты по сравнению со случаем, когда их измерения просто объединяются классическим объединением датчиков.

Однако, как видно из результатов второго эксперимента, в движении происходят скачки в показателях ошибки. Улучшить показатели способна замена временного фильтра на фильтр Калмана. Он уже упо-

минался в работе лишь на этапе модуля обнаружения лидара. Но все же его можно так же использовать на этапе интеграции датчиков. Алгоритм фильтра Калмана состоит из 2 циклически повторяющихся фаз: предсказания и корректировки (рис. 7). На первой фазе рассчитывается предсказание состояния системы в следующий момент времени с учетом неточности их измерения. На второй поступившая информация с датчика корректирует предсказанное значение (также с учетом неточности и зашумленности этой информации) [7].

Начальные значения и

Корректировка

1. Вычисление усиления Калмана (Kaiman Gain)

Кк = р-Н^НГ-НТ I Я)"1

2. Обновление оценки с учетом измерения

хк = х~ + Kk(zk - Нхк)

3. Обновление ошибки ковариации

рк=(1- КкН)Рк

Рис. 7. Алгоритм фильтра Калмана

Данный фильтр отлично справляется с фильтрацией искаженных данных, а также способен обрабатывать поврежденные данные, которые система не способна распознать, за счет предсказания состояния системы и ошибки ковариации. Фильтр Калмана является оптимальным вариантом для данной системы и способен значительно улучшить распознавание пешеходов в условиях повышенной туманности.

Также в дальнейшем возможна интеграция временного фильтра и фильтра Калмана за счет нейронного обучения [8], аналогично с интеграцией радара и лидара.

Заключение

Результаты показали, что можно использовать дополнительные характеристики датчиков не только путем комбинирования их измерений, но и путем использования их измерений для обучения радара от лидар-ной системы снабжения. Чтобы убедиться в универсальности подхода, были протестированы как классический метод машинного обучения на основе классической SVM, так и современный метод глубокого обучения на основе PointNet.

/

_С_

Предсказание

1. Предсказание состояния системы

К = F*k-1 + Вик-!

2. Предсказание ошибки ковариации

P~ = FPk.1FT+Q

Также показано, как установка работает, используя как и SVM, так и метод глубокого обучения, и показано, как ее можно эффективно использовать для поиска нескольких людей в динамической сцене и из движущегося транспортного средства. Проведен анализ и предложен дальнейший путь развития исследования.

Список литературы

1. В Москве произошла массовая авария с участием беспилотного автомобиля. - URL: https://iz.ru/1157670/2021-04-27/v-moskve-proizoshla-massovaia-avariia-s-uchastiem-bespilotnogo-avtomobilia (дата обращения: 21.08.2021).

2. URL: https://tjournal.ru/tech/370532-avariya-tesla-v-tehase-stala-sedmym-smertelnym-sluchaem-za-pyat-let-chto-proizoshlo-i-opasen-li-avtopilot (дата обращения: 21.08.2021).

3. Broughtona George, Majera Filip, Rouceka Tomás, Ruichekb Yassine, Yanb Zhi, Krajníka Tomás. Learning to see through the haze: Multi-sensor learning-fusion System for Vulnerable Traffic Participant Detection. // Fog. Robotics and Autonomous Systems. -2021. - Vol. 136. - Pp. 40-53.

4. Arras K.O., Mozos O.M., Burgard W. Using boosted features for the detection of people in 2D range data. // In: Proceedings of the 2007 IEEE International Conference on Robotics and Automation (ICRA), 2007. - Pp. 3402-3407.

5. Rusu R.B., Cousins S. 3D is here: Point cloud library (PCL). // In: Proceedings of the 2011 IEEE International Conference on Robotics and Automation (ICRA), 2011.

6. Majer F., Yan Z., Broughton G., Ruichek Y., Krajník T. Learning to see through haze: Radar-based human detection for adverse weather conditions. // In: 2019 European Conference on Mobile Robots (ECMR), IEEE, 2019. - Pp. 1-7.

7. Brown R.G. Introduction to Random Signal Analysis and Kalman Filtering. - New York: JohnWiley & Sons, Inc., 1983. - 255 p.

8. Haoran Yang, Juanjuan Wang, Yi Miao, Yulu Yang, Zengshun Zhao, Zhigang Wang, Qian Sun, Dapeng Oliver Wu. Combining Spatio-Temporal Context and Kalman Filtering for Visual Tracking. // Mathematics. - 2019. - 7(11), 1059.

УДК 681.2.08

doi:10.18720/SPBPU/2/id21 -398

Раимжанова Адель Бахтияровна1,

аспирант;

Сушников Виктор Александрович1,

доцент, канд. техн. наук

УСТРОЙСТВО КОНТРОЛЯ РЕГУЛИРОВОЧНЫХ ПАРАМЕТРОВ РЕЛЕ

1 2

' Россия, Санкт-Петербург, Санкт-Петербургский политехнический

университет Петра Великого, 1 2 raimzhanova.adele@gmail.com, sushnikov_v@mail.ru

Аннотация. Методы контроля качества регулировочных параметров электромагнитных реле, основанные на применении граммометров часового типа, зачастую не в полной мере удовлетворяют требованиям современного релейного производства