CC BY
21УДК 629.36 DOI: 10.46960/1816-210X_2022_1_137
ЭКСПЕРИМЕНТАЛЬНЫЕ ИССЛЕДОВАНИЯ СИСТЕМЫ КОНТРОЛЯ ПОЛОСЫ ДВИЖЕНИЯ НА ОСНОВЕ НЕЙРОННЫХ СЕТЕЙ
Д.М. Порубов
ORCID: 0000-0002-4873-6557 e-mail: dmitry.porubov@nntu.ru
Нижегородский государственный технический университет им. Р.Е. Алексеева
Нижний Новгород, Россия
А.А. Родин
ORCID: 0000-0002-6159-6077 e-mail: xmrarro@gmail.com
Нижегородский государственный технический университет им. Р.Е. Алексеева
Нижний Новгород, Россия
А.В. Пинчин
ORCID: 0000-0002-1602-6315 e-mail: pinchinav96@gmail.com
Нижегородский государственный технический университет им. Р.Е. Алексеева
Нижний Новгород, Россия
Д.Н. Зарубин
ORCID: 0000-0002-0092-3011 e-mail: hatpkdzr@mail.ru
Нижегородский государственный технический университет им. Р.Е. Алексеева
Нижний Новгород, Россия
A.В. Тумасов
ORCID: 0000-0002-3766-4615 e-mail: anton.tumasov@nntu.ru
Нижегородский государственный технический университет им. Р.Е. Алексеева
Нижний Новгород, Россия
B.Ф. Кулепов
ORCID: 0000-0002-8319-3973 e-mail: kulepov@dpingtu.ru
Нижегородский государственный технический университет им. Р.Е. Алексеева
Нижний Новгород, Россия
Л.Н. Орлов
ORCID: 0000-0003-4852-1174 e-mail: lev.n.orlov@mail.ru
Нижегородский государственный технический университет им. Р.Е. Алексеева
Нижний Новгород, Россия
Рассматриваются результаты испытаний LDWS - системы предупреждения о выезде с полосы движения, основанной на распознавании разметки с помощью нейронных сетей даже в сложных дорожных условиях. Данная система разработана в НГТУ им. Р.Е. Алексеева для использования на транспортных средствах легкого коммерческого класса группы ГАЗ (ГАЗель). Приведены основные шаги алгоритма системы, а также проведен сравнительный анализ испытаний в двух разных регионах: Нижегородской области и Ханты-Мансийском автономном округе. Сделаны выводы о работе системы в разных дорожных и погодных условиях данных регионов.
Ключевые слова: система помощи водителю, выход из полосы движения, легкие коммерческие автомобили, сравнительные испытания, регионы России.
© Порубов Д.М., Родин А.А., Пинчин А.В.., Зарубин Д.Н., Тумасов А.В., Кулепов В.Ф., Орлов Л.Н.
ДЛЯ ЦИТИРОВАНИЯ: Порубов, Д.М. Экспериментальные исследования системы контроля полосы движения на основе нейронных сетей / Д.М. Порубов, А.А. Родин, А.В. Пинчин, Д.Н. Зарубин, А.В. Тумасов, В.Ф. Кулепов, Л.Н. Орлов // Труды НГТУ им. Р.Е. Алексеева. 2022. №1. 137-147. DOI: 10.46960/1816-210X_2022_1_137
EXPERIMENTAL STUDIES OF TRAFFIC LANE CONTROL SYSTEM BASED ON NEURAL NETWORKS
D.M. Porubov
ORCID: 0000-0002-4873-6557 e-mail: dmitry.porubov@nntu.ru
Nizhny Novgorod state technical university n.a. R.E. Alekseev Nizhny Novgorod, Russia
A.A. Rodin
ORCID: 0000-0002-6159-6077 e-mail: xmrarro@gmail.com
Nizhny Novgorod state technical university n.a. R.E. Alekseev Nizhny Novgorod, Russia
A.V. Pinchin
ORCID: 0000-0002-1602-6315 e-mail: pinchinav96@gmail.com
Nizhny Novgorod state technical university n.a. R.E. Alekseev Nizhny Novgorod, Russia
D.N. Zarubin
ORCID: 0000-0002-0092-3011 e-mail: hatpkdzr@mail.ru
Nizhny Novgorod state technical university n.a. R.E. Alekseev Nizhny Novgorod, Russia
A.V. Tumasov
ORCID: 0000-0002-3766-4615 e-mail: anton.tumasov@nntu.ru
Nizhny Novgorod state technical university n.a. R.E. Alekseev Nizhny Novgorod, Russia
V.F. Kulepov
ORCID: 0000-0002-8319-3973 e-mail: kulepov@dpingtu.ru
Nizhny Novgorod state technical university n.a. R.E. Alekseev Nizhny Novgorod, Russia
L.N. Orlov
ORCID: 0000-0003-4852-1174 e-mail: lev.n.orlov@mail.ru
Nizhny Novgorod state technical university n.a. R.E. Alekseev Nizhny Novgorod, Russia
Abstract. Results of testing of LDWS - a lane departure warning system based on the recognition of markings using neural networks, even in difficult road conditions, are considered. This system was developed at the R.E. Alekseev NNSTU for use in light commercial vehicles of the GAZ group (GAZelle). The main steps of the system algorithm are given, as well as a comparative analysis of tests in two different regions is carried out: Nizhny Novgorod Region and Khanty-Mansi Autonomous Okrug. Conclusions are drawn about the system operation in different road and weather conditions of these regions.
Key words: driver assistance system, lane departure, light commercial vehicles, comparative tests, regions of
Russia.
FOR CITATION: D.M. Porubov, A.A. Rodin, A.V. Pinchin, D.N. Zarubin, A.V. Tumasov, V.F. Kulepov, L.N. Orlov. Experimental studies of traffic lane control system based on neural networks. Transactions of NNSTU n.a. R.E. Alekseev. 2022. №1. С. 137-147. DOI: 10.46960/1816-210X_2022_1_137
Введение
Большинство дорожно-транспортных происшествий, ставших сегодня одной из самых серьезных социальных проблем, происходит по неосторожности водителя. В связи с этим много работ посвящено исследованию способов разработки системы помощи водителю для повышения безопасности вождения [1, 2]. Общество автомобильных инженеров (SAE) определяет 6 уровней автоматизации вождения в диапазоне от 0 (полностью ручное управление) до 5 (полностью автономное) [3]. Большая часть систем помощи водителю, устанавливаемая на современные автомобили заводами изготовителями, относится ко второму уровню по классификации SAE. При этом транспортное средство способно влиять на рулевое управление, а также управлять ускорением и/или замедлением транспортного средства. Например, системы помощи водителю компании BMW [4], Mercedes, Toyota [5] соответствуют уровню 2 и позволяют оценить дорожную разметку, следить за впередиидущим транспортным средство и т.д.
За последнее десятилетие большое количество исследований в области интеллектуальных транспортных систем было посвящено теме предупреждения о выезде с полосы движения (LDWS, Lane Departure Warning System). Значительная часть несчастных случаев со смертельным исходом на шоссе каждый год связана с выездом за пределы полосы движения транспортных средств. Многие производители автомобилей разрабатывают передовые системы помощи водителю, помогающие предотвратить непреднамеренный выезд за пределы полосы движения. Последовательный подход этих систем состоит в том, чтобы предупреждать водителя о непреднамеренном выезде за пределы полосы движения. Для прогнозирования возможного съезда с полосы движения система технического зрения, установленная на транспортном средстве, обнаруживает разметку полос на дороге и определяет ориентацию и положение транспортного средства по отношению к обнаруженным линиям полосы движения. Несмотря на широкую распространенность, данные системы несовершенны и расположены к сбоям в различных дорожных условиях. Сбои подобных систем в сложных дорожных условиях могут приводить к ДТП. Для повышения надежности таких систем, при их разработке необходимо постоянно проводить комплекс дорожных испытаний как в специально подготовленных, так и в реальных дорожных условиях различных географических областей, в которых предполагается эксплуатация данных систем. В Российской Федерации общая протяженность дорог с твердым покрытием составляет более 984 000 км, а качество дорожной разметки может меняться в зависимости от региона. Поэтому для оценки качества работы подобных систем в наиболее полном спектре дорожных условий (в частности, качества дорожной разметки и погодных условий), а также их совершенствования, полевые испытания нельзя ограничивать одним географическим регионом.
Данная статья имеет своей целью продемонстрировать сравнение результатов испытаний на дорогах общего пользования системы помощи водителю, разработанной командой инженеров НГТУ им. Р.Е. Алексеева в двух разных субъектах РФ: Нижегородская область и Ханты-Мансийский автономный округ - Югра (ХМАО). В качестве объекта испытаний выступает портативная система предупреждения о непреднамеренном сходе с полосы движения, работающая в реальном времени и обладающая такими свойствами, как низкая стоимость, простота установки и хорошая совместимость с различными транспортными средствами легкого коммерческого класса.
Разработка системы LDWS
Ранее коллективом авторов была разработана система LDWS [6]. Новое решенме проведено в рамках создания второго прототипа детектора данной системы. Она состоит из двух модулей: модуля оценки и модуля предупреждения (принятия решения). В первом модуле оценивается геометрия дороги, включая кривизну и положение транспортного средства относительно полосы на дороге, что имеет решающее значение для обнаружения съезда с полосы движения. Модуль предупреждения принимает решение о подаче звукового сигнала предупреждения, используя информацию из сенсорных данных и модуля оценки. Для системы предупреждения о выезде с полосы движения определены два критерия эффективности: частота ложных срабатываний и время срабатывания предупреждения. Вычислитель разработанной системы установлен в салоне транспортного средства легкого коммерческого класса группы ГАЗ (ГАЗель NEXT). Видеокамера системы LDWS установлена за ветровым стеклом и направлена вперед вдоль направления движения транспортного средства.
В первом прототипе системы LDWS использовались подходы технического зрения для распознавания дорожной разметки. При этом использование подхода на основе технического зрения обладает как рядом преимуществ, таких как понятность и простота реализации; высокая производительность работы всей системы; низкие требования к вычислительным мощностям, так и рядом недостатков: сбои при резких перепадах освещения; сбои при наличии бликующих поверхностей в солнечную погоду. Более подробно недостатки описаны в работе [7]. Данные недостатки могут приводить к некорректной работе всей системе в ряде следующих дорожных ситуаций: нечеткие линии дорожной разметки (перекрытие линий, истертость линий, загрязненность линий, линии слабо контрастируют с дорожным полотном); сильная нагрузка задней оси ТС; резкая смена освещения (въезд/выезд из тоннеля); наличие нескольких полос движения; быстрое изменение ограничительных линий разметки; перекрытие линий дорожной разметки другими ТС; крутые повороты; повреждение или загрязнение ветрового стекла в непосредственной близости к сенсору. Соотвтетственно, для распознавания дорожной разметки был использован более эффективный алгоритм на основе нейросетевого подхода, который решает основные проблемы, описанные в работах [6, 7].
При таком подходе:
1) найденная разметка обрезается регионом интереса, параметры которого задаются в конфигурационном файле системы LDWS; это делается для того, чтобы дальнейшее применение линейной регрессии к изображению было подвержено меньшему количеству зашум-ления;
2) найденные линии сортируются слева направо;
3) к найденной разметке применяется линейная регрессия, чтобы разбросанные по кадру точки вытянуть в одну линию.
В итоге граничные координаты линии публикуются в специальном ros-сообщении. Дальнейший цикл работы состоит из следующих ключевых методов (которые также используются и для распознавания дорожной разметки на основе методов технического зрения): фильтрация линий по углу наклона; объединение близких линий в группы (кластера); усреднение параметров прямых по кластерам; перевод линий в bird's eye view формат; фильтрация многообъектным фильтром частиц; принятие решения о подаче уведомления. В основе текущего решения лежит открытая нейронная сеть Point Instance Network (PINet) [8]. Предложенный метод основан на подходе оценки ключевых точек и мгновенной сегментации. PINet включает несколько сложенных нейронных сетей, которые обучаются одновременно. Поэтому, размер обученных моделей можно выбрать в соответствии с имеющейся вычислительной мощностью. PINet можно обучить независимо от количества полос движения. Также данная сеть обеспечивает конкурентоспособную точность и минимизацию количества ложных срабатываний.
В ходе выполнения проекта по разработке LDWS PINet претерпела некоторые изменения на этапе постобработки, но сама архитектура не менялась. Данная сеть изначально тренировалась на наборе данных TuSimple [9] - популярном общедоступном наборе данных для обнаружения полос движения. В качестве структуры данных и их разметки была взята структура TuSimple. Для обучения и работы нейросетевого детектора требуется определенный список ключевых параметров, который описан ниже. Общие параметры:
• ширина изображения, которое будет подаваться на вход сети;
• высота изображения, которое будет подаваться на вход сети;
• флаг, отвечающий за использование режима вычислений с половинной точностью (FP16);
• доверительный интервал для всех точек дорожной разметки, которые выдает нейронная сеть.
Параметры, которые используются при обучении сети перечислены ниже:
• шаг корректировки весов;
• параметр для оптимизатора;
• количество эпох обучения;
• параметр в интервале (0, 1), который указывает, как часто во время обучения на эпохе будет осуществляться валидация модели (расчет метрик Accuracy/FP/FN на валидаци-онной выборке) (0.1 означает 10 раз за эпоху);
• размер батча для тренировки;
• количество процессов, которые работают параллельно при формировании входных данных для сети;
• список разбиений тренировочных данных, которые будут использоваться. Решение о лучших весах принимается на основе валидационной выборки. Для
бенчмаркинга сети используются следующие параметры:
• размер батча для бенчмаркинга;
• количество процессов, которые работают параллельно при формировании входных данных для сети;
• список разбиений тестовых данных, которые будут использоваться. Параметры нормализации данных:
• среднее значение по каждому из каналов, необходимое для нормализации изображений;
• стандартное отклонение по каждому из каналов, необходимое для нормализации изображений;
При обучении нейросети использовалась так называемая аугментация данных - метод, используемый для увеличения объема данных путем добавления слегка измененных копий существующих или вновь созданных синтетических данных из существующих данных. Он действует как регуляризатор и помогает уменьшить переобучение при обучении нейросети.
Ниже, на рис. 1 приведена демонстрация описанных аугментаций. Для разметки данных использовался специальный инструмент от OpenVINO: CVAT [10].
При выполнении аугментации данных к исходному изображению добавлялись эффекты, имитирующие различные дорожные условия. В частности, к исходному изображению добавлялись эффекты:
• случайного сдвига вниз/вверх, влево/вправо;
• случайного поворота вокруг центра кадра;
• случайного зашумления в виде белого шума;
• случайного размытия в виде так называемого Motion Blur;
• случайного размытия в виде Гауссовского размытия;
• случайного изменения яркости и контраста;
• имитации падающей тени;
имитации идущего дождя; имитации заснеженной дороги; имитации солнечной вспышки; случайного отражения по горизонтали.
Рис. 1. Аугментация данных для обучения нейронной сети путем добавления на видеокадр специальных эффектов, имитирующих различные дорожные условия
Fig. 1. Augmentation of data for a neural network training by adding to a video frame spécial effects simulating different road conditions
Набор данных TuSimple, на которых нейросеть проходит первичное обучение, не является достаточным для использования системы на дорогах общего пользования в различных дорожных условиях. Процент отказа системы будет очень велик на данном этапе. В связи с этим, для проверки внедренных решений, а также для дальнейшего обучения нейросети необходимо провести масштабные испытания разработанной системы на дорогах общего пользования, увеличивая спектр дорожных условий, что и было реализовано. Сравнительный анализ результатов испытаний приведен ниже.
Испытания
Испытания проводились на участках дорог Нижегородской области, а также в ХМАО. Испытания на дорогах общего пользования осуществлялись в разное время суток и в различных погодных условиях (в период весна-лето-осень 2021 г.) Для сверки с нормативной базой как на этапе разработке, так и на этапе тестирования системы LDWS был выбран стандарт ISO 17361 [11], применяемый к подобным системам. При проведении испытаний регистрировались способности системы распознавать разметку, позиционировать ТС внутри полосы движения, а также подавать предупреждающий сигнал в регламентированный стандартами интервал времени.
Приведем в качестве примера испытаний определение линий разметки на дорожном полотне. Согласно соответствующему пункту программы и методики испытаний системы LDWS транспортное средство плавно разгоняется до скорости 65 км/ч. Далее осуществляет-
ся движение по измерительному участку с нанесенной дорожной разметкой с поддержанием заданной скорости до тех пор, пока система LDWS не перейдет в активный режим работы, распознав дорожную разметку. При условии сохранения предписанной скорости ТС движется по центру полосы движения с приближением к линиям разметки, но без их пересечения (рис. 2). Испытания на дорогах Нижегородской области и в ХМАО отличались как по погодным условиям, так по качеству дорожной разметки. На дорожном полотне выбранной территории в ХМАО присутствовала дорожная разметка, разделяющая встречное и попутное движение, которая на некоторых участках (рис. 3) была частично стерта. Аналогичные испытания проводились в темное время суток (рис. 4, 5).
При проведении апробации на дорогах общего пользования в условиях средней полосы и северных районов РФ разработанная система LDWS показала стабильные результаты распознавая как хорошо отличимую, так и частично стертую дорожную разметку в светлое (рис. 2,3) и темное (рис. 4,5) время суток.
Рис. 2. Движение ТС внутри полосы движения (испытания в Нижегородской области). Правая сторона ТС находится у границы полосы движения, система LDWS находится в активном режиме
Fig. 2. Vehicle movement inside the traffic lane (tests in Nizhny Novgorod region). The vehicle right side is located at the lane border, LDWS system is in active mode
Рис. 3. Испытания в светлое время суток при сухой погоде с частично стертой дорожной разметкой. Синими точками обозначена распознанная дорожная разметка
Fig. 3. Tests at daylight hours in dry weather with partially erased road markings. Blue dots indicate the recognized road markings
Рис. 4. LDWS в активном режиме работы в темное время суток. Прерывистая линия дорожной разметки слева от ПТ2
Fig. 4. LDWS is in active operation mode at darkness hours. Broken line of road markings to the left of the PT2 vehicle
Рис. 5. Испытания в темное время суток при сухой погоде с частично стертой дорожной разметкой. Синими точками обозначена распознанная дорожная разметка
Fig. 5. Tests at dark hours in dry weather with partially erased road markings. Blue dots indicate the recognized road markings
Сравнение результатов испытаний, проведенных в двух различных субъектах РФ, приведено в табл. 1.
Таблица 1.
Сравнение результатов эффективности работы системы LDWS при проведении испытаний в Нижегородской области (НО) и ХМАО
Table 1.
Comparison of LDWS system overall performance results when conducting tests in Nizhny Novgorod region (NNR) and KhMAO
Название испытания Эффективность работы, %
НО ХМАО
Испытание определения линий разметки полосы движения, положения ТС в полосе движения 100 100
Испытания на отсутствие линий разметки полосы движения 100 100
Испытания согласно стандарту ISO 17361: уведомление водителя о выходе из полосы движения 97.8 97.6
Испытание на предупреждение о выходе из полосы движения при криволинейном движении 98 97.8
Проверка отсутствия срабатывания предупреждения при включении запроса на подавление срабатывания предупреждения - сигнала указателя направления поворота 100 100
Испытание на выявление ложных срабатываний системы 96,4 96,7
Испытание на удержание пассивного режима после отключения указателей направления поворота 100 100
Эффективность системы во всех испытаниях составила более 96 % для обоих регионов, в которых проводились испытания. Разница в эффективности работы системы между двумя испытательными районами не превышает 0,5 %, что говорит об устойчивости работы применяемых алгоритмов в разных дорожных и погодных условиях. Проведение испытаний
позволило отработать все аспекты поведения системы в реальных условиях. Были выявлены и устранены все обнаруженные недочеты, которые были пропущены в процессе разработки и тестирования в виртуальной среде.
Разработанная система предупреждения о непреднамеренном выходе из полосы движения апробирована широким спектром тестов, включающих полевые испытания на специальном полигоне, а также испытания на дорогах общего пользования в Нижегородской области, а также в северных районах РФ.
Выводы
Приведены результаты испытаний системы предупреждения о непреднамеренном выходе из полосы движения, разработанной командой инженеров НГТУ им. Р.Е, Алексеева, в реальных дорожных условиях двух субъектов Российской Федерации: Нижегородская область и ХМАО. Структура разрабатываемой системы LDWS для автомобиля ГАЗель Next, реализованная с помощью нейросетевого подхода, позволяющего производить предварительную обработку видеокадра, поиск и фильтрацию линий разметки, вычисления позиции ТС в полосе движения и обработки условий подачи предупреждающего сигнала, позволила определять как хорошо различимую, так и частично поврежденную дорожную разметку в светлое и темное время суток. Общие результаты испытаний демонстрируют несущественную разницу в работе системы в различных регионах страны.
Среди преимуществ данного подхода следует отметить понятность и простоту реализации, высокую производительность всей системы, а также невысокие требования к вычислительным мощностям. В целом алгоритмические методы нейросетевого подхода, применяемые для распознавания дорожной разметки и реализации функции LDWS, являются стабильно работающими в хороших условиях, но в них возможны ложные срабатывания. Основной причиной срабатываний является чувствительность данной технологии к условиям внешнего освещения.
В дальнейшем планируется увеличение объема проводимых испытаний в различных регионах Российской Федерации.
Исследования выполнены при финансовой поддержке Минобрнауки России в рамках проекта «Создание высокотехнологичного производства модельного ряда автомобилей ГАЗель Next с новой электронной архитектурой электронных систем» по Соглашению № 07511-2019-027 от 29.11.2019 (постановление Правительства Российской Федерации от 09 апреля 2010 года №218). Экспериментальные исследования выполнены с использованием оборудования Центра коллективного пользования НГТУ «Транспортные системы».
Библиографический список
1. Okuda, R. A survey of technical trend of ADAS and autonomous driving / R. Okuda, Y. Kajiwara, K. Terashima // Technical Papers of 2014 International Symposium on VLSI Design, Automation and Test, 2014, pp. 1-4, doi: 10.1109/VLSI-DAT.2014.6834940.
2. Ziebinski, A. Review of advanced driver assistance systems (ADAS) / A. Ziebinski, R. Cupek, D. Grzechca, L. Chruszczyk // IP Conference Proceedings 1906, 120002 (2017), https://doi.org/10.1063/L5012394.
3. SAE J3016 - 2021. Taxonomy and Definitions for Terms Related to Driving Automation Systems for On-Road Motor Vehicles.
4. BMW [Электронный ресурс]: [офиц. сайт]. - Электрон. Дан. Режим доступа: https://www.bmw.com/
5. Toyota [Электронный ресурс]: [офиц. сайт]. - Электрон. Дан. Режим доступа: https://www.toyota.com/.
6. Порубов, Д.М. Разработка системы контроля полосы движения на основе технического зрения / Д.М. Порубов, А.А. Гладышев, Д.Ю. Тюгин, П.О. Береснев, В.И. Филатов, А.В. Пинчин // Труды
НГТУ им. Р.Е. Алексеева / НГТУ им. Р.Е. Алексеева. - Нижний Новгород, 2020. No4(131). DOI: 10.46960/1810-210X_2020_4_119.
7. Nixon, M. Feature extraction and image processing for computer vision. / M. Nixon, A. Aguado - Academic press, 2019.
8. Ko, Y. Key Points Estimation and Point Instance Segmentation Approach for Lane Detection / Yeongmin Ko, Younkwan Lee, Shoaib Azam, Farzeen Munir, Moongu Jeon, Witold Pedrycz // EEE Transactions on Intelligent Transportation Systems, doi: 10.1109/TITS.2021.3088488.
9. TuSimple [Электронный ресурс]: [офиц. сайт]. - Электрон. дан. Режим доступа: https://github.com/TuSimple/tusimple-benchmark/issues/3
10.CVAT [Электронный ресурс]: [офиц. сайт]. - Электрон. дан. Режим доступа: https://cvat.org/.
11.ISO 17361 -2017. Intelligent transport systems — Lane departure warning systems — Performance requirements and test procedures.
Дата поступления в редакцию: 01.12.2021
