CC BY
66УДК 629. 336 DOI: 10.46960/1810-210X 2020 4 119
Д.М. Порубов, А.А. Гладышев, Д.Ю. Тюгин, П.О. Береснев, В.И. Филатов, А.В. Пинчин
РАЗРАБОТКА СИСТЕМЫ КОНТРОЛЯ ПОЛОСЫ ДВИЖЕНИЯ НА ОСНОВЕ ТЕХНИЧЕСКОГО ЗРЕНИЯ
Нижегородский государственный технический университет им. Р.Е. Алексеева
Способ повышения безопасности движения автотранспортных средств за счет применения систем ADAS успешно зарекомендовал себя на практике. Применение в составе автомобилей систем ADAS является обязательным во многих странах мира и закреплено на государственном уровне. Одной из наиболее применяемых систем ADAS является система предупреждения о непреднамеренном сходе с полосы движения (LDWS). Приведено описание принципов работы существующих систем LDWS в сегменте легких коммерческих транспортных средств (LCV). Представлены алгоритм и структура разрабатываемой системы LDWS для автомобиля ГАЗель Next. Дано описание и анализ алгоритмов распознавания дорожной разметки. Приведены результаты и сравнительный анализ виртуальных испытаний системы LDWS. Даны выводы о работе системы и алгоритме распознавания дорожной разметки.
Ключевые слова: система помощи водителю, выход из полосы движения, система удержания в полосе движения, легкие коммерческие автомобили.
Введение
Применение в составе автомобилей систем ADAS является обязательным во многих странах мира и закреплено на государственном уровне. Одной из наиболее применяемых систем ADAS является система предупреждения о непреднамеренном сходе с полосы движения (LDWS). Система LDWS занимает широкую нишу в сегменте легкового транспорта за исключением бюджетных моделей, а также, частично сегмент легкого коммерческого транспорта. Как правило, такие системы предлагаются в качестве дополнительного оборудования и являются доступными у многих крупных автопроизводителей.
Система помощи водителю о непреднамеренном выходе из полосы движения (LDWS) - это функционал ТС, предназначенный для предупреждения водителя о том, что транспортное средство начинает выезжать с полосы движения (если в этом направлении не включен сигнал поворота) на автомагистралях и магистральных дорогах, чтобы водитель смог принять необходимые корректирующие меры. Такие системы предназначены для минимизации аварий за счет устранения основных причин столкновений: ошибок водителя, отвлекающих факторов и сонливости. Исследованию алгоритмов работы таких систем и посвящена данная статья.
Краткий обзор систем LDWS
В настоящее время на рынке представлен ряд систем, большинство из которых используют ориентированную вперед, установленную за ветровым стеклом, видеокамеру. В редких случаях системы используют инфракрасные датчики или технологии лазерного сканирования. Современные системы используют различные типы предупреждений: визуальные, звуковые или тактильные, или их комбинацию.
Функционирование системы LDWS на базе видеокамеры осуществляется путем оценки текущего положения и направления транспортного средства в пределах полосы движения, с помощью определения линий дорожной разметки, разграничивающих полосу движения,
© Порубов Д.М., Гладышев А.А., Тюгин Д.Ю., Береснев П.О., Филатов В.И., Пинчин А.В.
из входящего видеопотока или изображений участков дороги, снятых камерой, установленной на переднем ветровом стекле транспортного средства [1-5].
Ниже представлена сводная таблица с некоторыми системами LDWS от различных автопроизводителей в сегменте легкого коммерческого транспорта.
Таблица 1
Системы LDWS различных автопроизводителей для легких коммерческих автомобилей
Производитель Модель ТС Название
Fiat [6] Ducato Lane Departure Warning System
Ford [7] Transit Lane keeping system
Mercedes-Benz [8] Sprinter Active lane keeping assist
Volkswagen [9] Crafter Lane keeping assist system
Citroen [10] Jumper Alerte de franchissement involontaire de ligne(AFIL)
Peugeot [11] Boxer Alerte de franchissement involontaire de ligne(AFIL)
Renault [12] Master Lane Departure Warning
В основе работы всех этих систем лежат два последовательных этапа.
1. Обработка изображения с камеры, расположенной на лобовом стекле автомобиля, с целью поиска линий разметки.
2. Процесс принятия решения о том, необходимо ли подать водителю предупреждающий сигнал о непреднамеренном выходе из полосы движения.
Этап детектирования дорожной разметки также может включать в себя несколько последовательных шагов.
1. Предварительная фильтрация изображения для подавления возможных шумов.
2. Детектирование самой разметки с помощью методов технического зрения и/или нейронных сетей.
3. Постобработка найденных линий для отсечения ложных или некорректных срабатываний.
Известны основные ситуации, которые могут приводить к некорректной работе. Некоторые из них описаны в работе [13]:
• нечеткие линии дорожной разметки (перекрытие линий, истертость линий, загрязненность линий, линии слабо контрастируют с дорожным полотном);
• сильная нагрузка задней оси ТС;
• резкая смена освещения (въезд/выезд из тоннеля);
• наличие нескольких полос движения;
• быстрое изменение ограничительных линий разметки;
• перекрытие линий дорожной разметки другими ТС;
• крутые повороты;
• повреждение или загрязнение ветрового стекла в непосредственной близости к сенсору.
Разработка системы LDWS
Группой исследователей из НГТУ разрабатывается собственная система LDWS для применения в сегменте легкого коммерческого транспорта, в частности, на автомобиле Газель Next. За основу подхода были использованы алгоритмы технического зрения. Выбор в пользу данного подхода был определен рядом преимуществ.
1. Простота и прозрачность решения: алгоритмы [14-21], в данном подходе, уже давно разработаны и неоднократно протестированы.
2. Производительность - в общем случае, производительность алгоритмических методов выше, чем у нейронных сетей. Это является немаловажным преимуществом, так как
дает возможность удешевления стоимости всей системы за счет выбора менее производительного вычислительного блока, что сделает ее более доступной.
3. Адаптивность - все решение представляет из себя набор последовательных блоков. Каждый из последовательных блоков является зависимым от предыдущего в плане входных/выходных данных, но содержание отдельно взятого блока можно изменить. Например, алгоритмический блок поиска дорожной разметки в будущем может быть заменен на блок, который использует в себе нейронные сети. Тогда для сохранения работоспособности всей системы в целом будет достаточно того, чтобы его выходные данные были такими же, как и у алгоритмического.
Схематично основной цикл работы системы можно представить следующим образом (рис. 1):
Предварительная обработка кадра Поиск и фильтрация линий разметки
Обработка условий подачи предупреждающего сигнала Вычисление позиции ТС в полосе движения
Рис. 1. Основной цикл работы LDWS
Приведенный выше цикл работы состоит из следующих ключевых методов.
1. Оператор Кэнни [14] для выделения границ.
Применение данной операции к полутоновому изображению позволяет выделить на нем границы, которые соответствуют перепадам в цветах. В данном случае это решение оправдано тем, что разметка имеет отличный от асфальта цвет, т.е. имеет явную разницу в цветах.
2. Дилатация [15] (расширение) найденных границ.
Найденные на предыдущем шаге границы проходят процедуру дилатации. Это подготовительный шаг для последующих этапов. Его суть заключается в том, чтобы расширить найденные на изображении границы.
3. Выделение целевых цветов на изображении.
Как уже говорилось ранее, выделение границ с помощью оператора Кэнни находит все перепады (градиенты) цветов, однако, они могут относиться не только к дорожной разметке. Они также могут быть найдены на бордюрах, установленных вдоль дороги, или при особом расположении теней от объектов на дороге.
Для того, чтобы отсечь ненужные границы, производится дополнительная операция по выделению нужных (целевых) цветов на изображении (белых и желтых). Выделение цветов происходит с помощью пороговых отсечений значений пикселей изображения.
Перед применением порогового отсечения стоит также применить метод выравнивания гистограммы распределения цветов, который улучшает контрастность изображения.
4. Побитовое пересечение бинарных изображений.
Оператор Кэнни, к сожалению, может выделять не только интересующие нас линии дорожной разметки, но и побочные границы. Выделение целевых цветов на изображении с помощью пороговых значений, зачастую, является зашумленным, т.к. пороги приходится занижать для того, чтобы они работали в различных условиях. Поэтому для компенсации недостатков двух этих подходов происходит их побитовое пересечение.
На вход данной операции поступают изображение из пункта 2 (дилатация) и изображение из пункта 3 (выделение целевых цветов). Результирующее изображение получается путем наложения входных изображений друг на друга и «включением» только тех пикселей, в которых на обоих изображениях было значение, отличное от нулевого.
5. Преобразование Хафа [16, 17] для поиска прямых линий.
Бинарное изображение, полученное на предыдущем пункте, отправляется на вход преобразования Хафа. Оно позволяет подобрать параметры прямых линий, которые могли бы находиться на подготовленном бинарном изображении.
6. Первоначальная фильтрация линий по углу наклона.
После того, как параметры возможных линий разметки были найдены, происходит их первоначальная фильтрация по углу наклона. Этот этап нужен, чтобы сразу отсеять горизонтальные и вертикальные линии, которые заведомо не могут быть интересующей нас разметкой. Попутно с этим происходит разделение линий на левые и правые прямые по углу наклона.
7. Объединение близких линий в группы (кластера).
Отфильтрованные линии необходимо кластеризовать. Это связано с тем, что на одну и ту же линию разметки может быть подобрано несколько параметров прямых. Кластеризация нужна для того, чтобы усреднить все эти параметры и получить одну линию. В качестве метода кластеризации был выбран алгоритм DBSCAN[18].
8. Усреднение параметров прямых по кластерам.
После того, как кластеризация была проделана, производится усреднение прямых в этих кластерах, чтобы для каждой линии разметки была только одна прямая.
9. Перевод линий в bird's eye view формат [19].
На данном этапе линии переводятся из исходного изображения в bird's eye view формат. Это делает линии более отделимыми друг от друга, и позволяет накладывать на них осмысленные физические ограничения. Например, что расстояние между двумя соседними линиями разметки не может быть меньше, чем один метр.
10. Многообъектный фильтр частиц [20], [21].
После того, как прямые были преобразованы в bird's eye view, они отправляются на обработку в многообъектный фильтр частиц. Это позволяет скомпенсировать шум, который может присутствовать при подборе параметров прямых. Также за счет этого происходит снижение влияния выбросов, которые случаются из-за различных внешних условий среды. В дополнение этот процесс позволяет еще некоторое время (параметризуемое значение) восстанавливать линии, которые перестали детектироваться.
11. Алгоритм принятия решения.
После того, как линии разметки были найдены и отфильтрованы, на их основе рассчитывается относительное положение ТС внутри полосы движения. Далее, в зависимости от выполнения условий, может подаваться или не подаваться предупреждающий сигнал.
После завершения этапа разработки системы была проведена серия испытаний для того, чтобы протестировать разработанные модули и оценить работоспособность системы LDWS в виртуальных и дорожных условиях.
Испытания
Испытания системы проводились согласно двум основных нормативным документам для системы LDWS:
• Правила ЕЭК ООН 130 [22];
• Стандарт ISO 17361 [23].
Все подготовленные и проведенные тесты были направлены на проверку следующих пунктов:
• работа логической составляющей системы (включение, активация, смена режимов и т.д.);
• способность системы распознавать разметку;
• способность системы позиционировать ТС внутри полосы движения;
• способность системы подавать предупреждающий сигнал в нужное время. Тестирование проводилось в виртуальной среде симулятора Carla [24, 25]. Одним из важных преимуществ тестирования системы на симуляторе является возможность оценивать работоспособность системы не только качественно, но и количественно. Это означает, что можно, например, сравнивать расстояние до линий разметки, которое выдает система, с тем, которое выдает симулятор. За счет этого можно получить количественную оценку точности позиционирования системы в полосе движения. Ниже приведена демонстрация данной оценки (рис. 2).
Рис. 2. Сравнение расстояний до линий дорожной разметки, которые выдает система и симулятор
Тестирование системы на симуляторе позволило отметить ряд ошибок во время разработки (в том числе и неудобства с точки зрения использования) еще на этапе разработки и до сборки реального прототипа. В качестве примера приведем тест, который является целевым с точки зрения применения системы: непреднамеренный выход из полосы движения.
Условия теста:
ТС движется прямолинейно внутри полосы движения со скоростью 65 км/ч; начиная с некоторого момента ТС начинает выход из полосы движения; указатели поворота отключены; скорость выхода достигает 0.1 м/с;
расстояние подачи предупреждающего сигнала: 0.75 м от соответствующей линии разметки внутрь полосы движения, 0.3 м от линии разметки за пределы полосы движения.
Ниже приведены графики, описывающий часть внутреннего состояния системы, на основе которых она принимает решение и возможном предупреждении водителя ТС о непреднамеренном выходе из полосы движения (рис. 3).
В данном примере ТС совершает выход из полосы движения в правую строну:
• первый график показывает расстояние от правого колеса ТС до правой линии разметки;
• второй сверху график отражает факт пересечения транспортным средством WarningZone;
• видно, что значения графика соответствуют описанным выше условиям;
Расстояние от правого колеса до правой полосы разметки (от LDWS}
1,60155е+09 1,60155е+09 l,601S5e+09 1,60155е+09 1,60155е+09 1,60155е+09 1,б0155е+09 Время (с)
Пересечение WarningZone
~0,8 г о,б
о
•£0,4 12 0,2 0
1,601 55е+09 1,60155е+09 1,60155е+09 1,601 55е+09 1,60155е+09 1,601 55е+09 1,60155е+09 Время (с)
Поперечная скорость движения
1,60155е+09 1,60155е+09 1,60155е+09 1,60155е+09 1,6Q155e+09 1,601 55е+09 1,60155е+09 Время (с)
Наличие предупреждений от системы LDWS
р0,8 "ш 2 0,6
^0,4 C0,2
1,S0155e+09 1,60155е+09 1,б0155е+09 1,6015Se+09 1.60155М-09 1,601S5e+09 1,601559+09 Время (с)
Рис. 3. Испытание работы системы при выходе ТС из полосы движения (компьютерное моделирование с помощью симулятора)
• третий сверху график показывает поперечную скорость ТС (скорость выхода из полосы движения). Положительные значения скорости означают, что ТС движется вправо, отрицательные - влево;
• четвертый график отражает факт наличия предупреждающего сигнала от системы. Видно, что сигнал подается только в тех случаях, когда ТС находится в WarningZone, поперечная скорость вышеописанного ранее порога, а также направление поперечной скорости соответствует стороне выхода.
Проведение испытаний позволило отработать все аспекты поведения системы в виртуальной среде. Были выявлены и устранены все обнаруженные недочеты, допущенные в процессе разработки.
Выводы
Рассмотрены способы повышения безопасности дорожного движения с помощью систем активной помощи водителю на примере системы LDWS. Приведены примеры существующих и применяемых на серийных автомобилях систем LDWS. Представлен алгоритм и структура разрабатываемой системы LDWS для автомобиля ГАЗель Next, состоящий из предварительной обработки видеокадра, поиска и фильтрации линий разметки, вычисления
позиции ТС в полосе движения и обработки условий подачи предупреждающего сигнала. Для данного решения были проведены испытания при помощи симулятора Carla. На основе результатов, полученных в процессе проведенных испытаний разрабатываемого алгоритма можно выделить основные преимущества и недостатки.
Преимущества:
• понятность и простота реализации;
• высокая производительность работы всей системы;
• низкие требования к вычислительным мощностям.
Недостатки ([13]):
• чувствительность алгоритма к цветам на кадре, а именно к желтым цветам на закате;
• сбои при резких перепадах освещения;
• сбои при наличии бликующих поверхностей в солнечную погоду.
Таким образом, алгоритмические методы технического зрения, применяемые для распознавания дорожной разметки и реализации функции LDWS, являются стабильно работающими в хороших условиях, но в них возможны ложные срабатывания. Основной причиной срабатываний является чувствительность данной технологии к условиям внешнего освещения. В дальнейшем планируется проведение натурных испытаний на специально подготовленном полигоне, а также проведение работ по настройке системы, модернизации работы алгоритмов и интерфейса.
Исследования выполнены при финансовой поддержке Минобрнауки России в рамках проекта "Создание высокотехнологичного производства модельного ряда автомобилей ГАЗель Next с новой электронной архитектурой электронных систем" по Соглашению № 07511-2019-027 от 29.11.2019 (постановление Правительства Российской Федерации от 09 апреля 2010 года №218).
Библиографический список
1. Neumann-Cosel, K. Preadjustment of a Vision-Based Lane Tracker-Using Virtual Test drive within a Hardware in the Loop Simulator / K. Neumann-Cosel et al.//Proceedings of the Driving Simulation Conference Monaco, 2009.
2. Amditis, A. A situation-adaptive lane-keeping support system: Overview of the safelane approach / A. Amditis et al. // IEEE Transactions on Intelligent Transportation Systems. - 2010. - Т. 11. - №. 3. -С. 617-629.
3. Deusch, H. A random finite set approach to multiple lane detection / H. Deusch et al. // 2012 15th International IEEE Conference on Intelligent Transportation Systems. - IEEE, 2012. - С. 270-275.
4. Ambarak J.M. A neural network for predicting unintentional lane departures / J.M. Ambarak et al. // 2017 IEEE International Conference on Industrial Technology (ICIT). - IEEE, 2017. - С. 492-497.
5. Hamid, U.Z.A. Current collision mitigation technologies for advanced driver assistance systems-a survey / U.Z.A. Hamid et al. // Perintis eJournal. - 2016. - Т. 6. - №. 2.
6. FIAT [Электронный ресурс]: [офиц. сайт]. - Электрон. дан. Режим доступа: https://www.fiatprofessional.ru/, свободный.
7. FORD [Электронный ресурс]: [офиц. сайт]. - Электрон. дан. Режим доступа: http://www.ford.ru/Commercialvehicles, свободный.
8. MERCEDES-BENZ [Электронный ресурс]: [офиц. сайт]. - Электрон. дан. Режим доступа: http://www.mercedes-benz.ru/content/russia/mpc/mpc_russia_website/ru/home_mpc/van.html, свободный.
9. VOLKSWAGEN [Электронный ресурс]: [офиц. сайт]. - Электрон. дан. Режим досту-па:https://www.volkswagen-commercial.ru/ru.html, свободный.
10. CITROEN [Электронный ресурс]: [офиц. сайт]. - Электрон. дан. Режим доступа: http: //www .citroen.ru/index.html, свободный.
11. PEUGEOT [Электронный ресурс]: [офиц. сайт]. - Электрон. дан. Режим досту-па:http://www.peugeot.ru/index.html, свободный.
12. RENAULT [Электронный ресурс]: [офиц. сайт]. - Электрон. дан. Режим доступа: https: //www .renault.ru/vans/, свободный.
13. Nixon, M. Feature extraction and image processing for computer vision / M. Nixon, A. Aguado. - Academic press, 2019.
14. Canny, J. A Computational Approach To Edge Detection / J. Canny // IEEE Transactions on Pattern Analysis and Machine Intelligence, 8(6):679-698, 1986.
15. Serra, J. Image analysis and mathematical morphology / J. Serra. - Academic Press, Inc., 1983.
16. Hough, P.V.C. Method and means for recognizing complex patterns : пат. 3069654 США / P.V.C. Hough, 1962.
17. Duda, R.O. Use of the Hough transforms to detect lines and curves in pictures / R.O. Duda //Commun. ACM. - 1992. - Т. 15. - №. 1. - С. 327-336.
18. Ester, M. A density-based algorithm for discovering clusters in large spatial databases with noise / M. Ester et al. // Kdd. - 1996. - Т. 96. - №. 34. - С. 226-231.
19. Carlbom, I. Planar geometric projections and viewing transformations / I. Carlbom, J. Paciorek //ACM Computing Surveys (CSUR). - 1978. - Т. 10. - №. 4. - С. 465-502.
20. Thrun, S. Probabilistic / S. Thrun, W. Burgard, D. Fox // Robotics (Intelligent Robotics and Autonomous Agents), 2005.
21. Правила ЕЭК ООН №130-2013. Единообразные предписания, касающиеся официального утверждения механич еских транспортных средств в отношении системы предупреждения о выходе из полосы движения (СПВП).
22. ISO 17361 -2017. Intelligent transport systems - Lane departure warning systems - Performance requirements and test procedures.
23. Mahler, R.P.S. Statistical multisource-multitarget information fusion / R.P.S. Mahler. - Artech House, Inc., 2007.
24. Dosovitskiy, Alexey CARLA: An Open Urban Driving Simulator / Alexey Dosovitskiy, German Ros, Felipe Codevilla, Antonio Lopez, Vladlen Koltun // In Proceedings of the 1st Annual Conference on Robot Learning (pp. 1-16).2017.
25. CARLA Open-source simulator for autonomous driving research. // http://carla.org/
Дата поступления в редакцию: 20.09.2020
D.M. Porubov, A.A. Gladyshev, D.Yu. Tyugin, P.O. Beresnev, V.I.Filatov, A.V. Pinchin
DEVELOPMENT OF LANE DEPARTURE WARNING SYSTEM BASED
ON TECHNICAL VISION
Nizhny Novgorod state technical university n.a. R.E. Alekseev
Purpose: The paper is devoted to the description of the development of a lane departure warning system.
Design / methodology / approach: A market survey of existing systems in the field of lane departure warning systems
from various car manufacturers has been carried out.
Findings: Based on the conclusions made after analyzing the results of the review, an algorithm for the functioning of the system is proposed, and methods for the road markings recognition and interpretation are described. Virtual tests of the system were carried out in the CARLA simulator.
Research limitations/implications: Limitations of the developed system are described.
Originality/value: The developed system is specially designed to be used in GAZ Group's light commercial vehicles.
Key words: advanced driver assistance system, driver assistance, lane departure, lane keeping system, light commercial vehicles.
